安装测试facebook FAISS(CPU)

来源:互联网 发布:我朝太祖知乎 编辑:程序博客网 时间:2024/05/22 12:47

利用 Anaconda2 工具包安装 FAISS,并进行实例测试。
过程参考了 FAISS 安装教程。

  • 开发环境介绍
  • 安装 Anaconda2
  • 安装 openblas,并软链到 /usr/lib64 库
  • 下载安装 FAISS
  • C++ 开发环境配置
  • Python 开发环境配置
  • 结束

1、开发环境介绍

  • CentOS7.3系统,64位
  • GTX1080

2、安装 Anaconda2

Anaconda是 Python 的科学计算工具包。根据对 Python2 和 Python3 的支持,分为 Anaconda2 和 Anaconda3。官网提供的是最新的版本,其他版本可以在清华大学开源软件镜像站下载。

下载安装 Python2 对应的 Anaconda2:

# 下载wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-4.3.0-Linux-x86_64.sh# 修改权限chmod +x Anaconda2-4.3.0-Linux-x86_64.sh# 执行默认安装,一路Enter键。bash Anaconda2-4.3.0-Linux-x86_64.sh# 编辑脚本文件。vim $HOME/.bashrc添加指令如下:export PATH="$HOME/anaconda2/bin:$PATH"# 加载。source $HOME/.bashrc# 检测1conda list 出现 N多Python依赖包# 检测2python --version出现带Anaconda标记的Python,如下:Python 2.7.13 :: Anaconda custom (64-bit)

3、安装 openblas,并软链到 /usr/lib64 库

事实上,mkl支持的FAISS是最高效的,然而,由于版权认证等问题,我们选择openblas。

# Anaconda2 安装 openblas。conda install openblas# root权限下创建软链。ln -s $HOME/anaconda2/lib/libopenblas.so.0 /usr/lib64/libopenblas.so.0

4、下载安装FAISS

从 Facebook的github 上下载 FAISS。

# 下载FAISS源码.git clone https://github.com/facebookresearch/faiss.git# 进入FAISS源码目录.cd faiss# 根据系统配置编译环境. [Linux 为例]cp example_makefiles/makefile.inc.Linux ./makefile.inc# 编译 &测试BLAS案例.make tests/test_blas./tests/test_blas

5、C++ 开发环境配置

Faster is faster.

# 编译安装.make# 5.1、简单测试.# 运行测试案例../tests/demo_ivfpq_indexing# 5.2、复杂测试.# 下载数据集.wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gztar -xzvf sift.tar.gz# 转移数据集。mv sift sift1M# 编译 &运行测试案例.make tests/demo_sift1M./tests/demo_sift1M

5.1、简单测试
5.1、简单测试

5.2、复杂测试
5.2、复杂测试

6、Python开发环境配置

FAISS 将 Python 的复杂计算集成到 Numpy 包,方便敏捷开发。

# 更改配置文件vim makefile.rc找到 PYTHONCFLAGS 选项,替换如下:PYTHONCFLAGS=-I$HOME/anaconda2/include/python2.7/ -I$HOME/anaconda2/lib/python2.7/site-packages/numpy/core/include/# 编译.make py# 检验 python-faiss.python -c "import faiss"ldd -r _swigfaiss.so# 6.1、简单测试.python -c "import faiss, numpyfaiss.Kmeans(10, 20).train(numpy.random.rand(1000, 10).astype('float32'))"# 6.2、复杂测试.export PYTHONPATH=.mkdir tmppython python/demo_auto_tune.py

从 tmp 文件中,会看到有一张图。如下所示:
6.2 复杂测试

结束

GPU 版本的 FAISS 配置成功了,正在研究怎么用。欢迎交流~