Ubuntu搭建Caffe(仅CPU)

来源:互联网 发布:linux 递归授权 编辑:程序博客网 时间:2024/05/16 15:46

Ubuntu搭建Caffe(仅CPU)

一直以来都没有写博客的习惯,后来发现以前做的工作如果不注意及时整理和记录往往丢失的很快。对我而言这是一篇具有重要意义的文章,好的习惯要持之以恒,以后的日子我会常驻博客园!由于本人水平有限,智商略低,欢迎大神前来拍砖。废话结束,下面是干货:

首先吐槽一下本屌的笔记本,我现在的笔记本还是大一时候买的Dell INSPIRON 4010,没有Nvidia,没有Nvidia,没有Nvidia,没有Nvidia,重要的事情说四遍,呵呵。

操作系统: Ubuntu 14.04
是否使用PYTHON API: 是, 目标是安装后CAFFE能作为PYTHON MODULE来使用
硬件: 低端笔记本, 只使用CPU模式

1.安装依赖

1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler2 sudo apt-get install --no-install-recommends libboost-all-dev3 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev4 sudo apt-get install libatlas-base-dev
PYTHON需要2.7版本,这是操作系统本身已经安装好的. 输入python2.7 --version 会显示具体的版本号说明安装了.
但是还需要sudo apt-get install python-dev

2.下载Caffe 
使用Git直接下载Caffe非常简单,或者去https://github.com/BVLC/caffe下载。由于我习惯去github上找代码,所以就直接去下载的源码。

下载完成后,会在家目录下的下载里找到caffe-master.zip,用unzip命令解压到家目录下,然后重命名为caffe.

3.编译Caffe 
(1)切换到Caffe所在目录

cp Makefile.config.example Makefile.config

(2)修改配置文件Makefile.config

  • CPU_ONLY := 1

修改Makefile.config配置文件

在~/caffe目录下

 A、先将Makefile.config.example复制为Makefile.config

[python] view plain copy
  1. cp Makefile.config.example Makefile.config  

B、去掉 # CPU_ONLY: = 1 的注释

用gedit打开Makefile.config(或者直接用vim在终端中打开修改也可以)

[python] view plain copy
  1. gedit Makefile.config  

结果如下图:



C、修改PYTHON_INCLUDE路径

[python] view plain copy
  1. /usr/lib/python2.7/dist-packages/numpy/core/include    
改为:
[python] view plain copy
  1. /usr/local/lib/python2.7/dist-packages/numpy/core/include  

 如图:




D、如果没有 hdf5,安装一下,如果有了,就跳过安装

安装hdf5

sudo apt-get install libhdf5-dev

 

添加hdf5库文件

[python] view plain copy
  1. INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/  
  2. LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/  

如图:




8.编译caffe

在caffe目录下面:

[python] view plain copy
  1. make pycaffe    
  2. make all    
  3. make test  

编译通过则说明安装正确,也可以用下面的例子来进行验证。

9.使用MNIST手写数据集测试,训练数据模型

A、获取数据库

[python] view plain copy
  1. cd ~/caffe (or whatever you called your Caffe directory)    
  2. ./data/mnist/get_mnist.sh    
  3. ./examples/mnist/create_mnist.sh   

 B、编辑examples/mnist文件夹下的lenet_solver.prototxt文件,将solver_mode模式从GPU改为CPU。

 

C、训练模型

[python] view plain copy
  1. ./examples/mnist/train_lenet.sh  



10、该步很重要,连接python与caffe

判断python 与caffe是否相连其实很简单,只要在终端上输入   python, 然后输入  import caffe ,便可以知道是否相连接成功。




如果成功,则会像上图所示无任何提示信息,否则会提示找不到caffe。连接方法如下:

[python] view plain copy
  1. gedit ~/.bashrc  #打开  
  2. export PYTHONPATH=/home/usrname/caffe/python:$PYTHONPATH   #配置文件最后写入该路径,本人是export PYTHONPATH=/home/dell/caffe/python:$PYTHONPATH  
  3. sorce ~/.bashrc   #生效  

执行完之后,在python中重新输入  import caffe。


四、编译常出现的错误:

(1)在make pycaffe后常出现:提示错误:src/caffe/net.cpp:8:18: fatal error: hdf5.h: No such file or directory

网上说给的解决方法:https://github.com/NVIDIA/DIGITS/issues/156

cd /usr/lib/x86_64-Linux-gnu

sudo ln -s libhdf5_serial.so.10.1.0 libhdf5_serial.so

sudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_serial_hl.so

修改Makefile.config

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/

即可

我的解决方法:

先安装一下hdf5,以防未安装。执行命令 sudo apt-get install libhdf5-dev

我看了我的/usr/lib/x86_64-linux-gnu目录下并没有libhdf5_serial.so.10.1.0与libhdf5_serial_hl.so.10.0.2,所以我只根据上面提示修改Makefile.config

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/


(2)提示错误:directoryg++: internal compiler error: Killed (program cc1plus) 

                          Please submit a full bug report,

 主要原因大体上是因为内存不足



[python] view plain copy
  1. gedit ~/.bashrc    #打开bashrc  
  2. export PYTHONPATH=/home/usrname/caffe/python:$PYTHONPATH   #在配置文件最后写入,本人是export PYTHONPATH=/home/dell/caffe/python:$PYTHONPATH  
  3. source ~/.bashrc    #生效 

如果上面4行某一行报错之后想要重试,建议先make clean再重新开始。

4.编译Python接口 
Caffe拥有python\C++\shell接口,在Caffe使用python特别方便,在实例中都有接口的说明。

  • 确保pip已经安装
sudo apt-get install python-pip
  • 执行安装依赖

在caffe根目录的python文件夹下,有一个requirements.txt的清单文件,上面列出了需要的依赖库,按照这个清单安装就可以了。

在安装scipy库的时候,需要fortran编译器(gfortran),如果没有这个编译器就会报错,因此,我们可以先安装一下。

首先回到caffe的根目录,然后执行安装代码:

cd ~/caffesudo apt-get install gfortrancd ./pythonfor req in $(cat requirements.txt); do pip install $req; done

安装完成以后,再次回到caffe根目录我们可以执行:

sudo pip install -r python/requirements.txt

就会看到,安装成功的,都会显示Requirement already satisfied, 没有安装成功的,会继续安装。

  • 编译python接口
make pycaffe -j8

--结果显示ALL TESTS PASSED就安装好了!

  • 运行python结构
复制代码
$ python2.7Python 2.7.12 (default, Jul  1 2016, 15:12:24) [GCC 5.4.0 20160609] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> import caffe>>> 
复制代码

如果没有报错,说明caffe安装全部完成(注意:要进入caffe/python再执行python命令,否则import caffe会提示找不到caffe)!

5.在Mnist运行Lenet

  • 获取数据源
./data/mnist/get_mnist.sh./examples/mnist/create_mnist.sh
  • 因为是CPU运行,所以修改在examples文件下的Mnist下的lenet_solver.prototxt中的solver_mode:CPU
solver_mode: CPU
  • 训练模型
./examples/mnist/train_lenet.sh

整个训练时间会持续很久,这是因为本屌的笔记本还是i3处理器,且没有启用GPU,并且默认是单核,所以本屌足足等了3个小时 =。= ..... 自动脑补我心里的万马奔腾吧

6.最后,我的文章是基于各位前辈大神们的文章,虽然按他们的过程走我都报错了,但是最终还是帮助我安装成功。为了表示对别人成果的尊重,这里留下大神们的参考链接:

http://www.linuxidc.com/Linux/2016-09/135034.htm

http://blog.csdn.net/u010402483/article/details/51506616

http://www.cnblogs.com/denny402/p/5679037.html

0 0