Ubuntu16.04 CUDA8.0+caffe+gpu运行环境配置
来源:互联网 发布:支持国密算法的浏览器 编辑:程序博客网 时间:2024/06/07 07:42
完成win10+ubuntu 16.04双系统的安装后,开始在ubuntu16.04系统上安装nVidia驱动,配置cuda,cudnn运行环境,并完成caffe成功配置+MNIST数据库测试。现在写下博客记录安装配置过程,以及对配置过程中遇到的错误提供解决办法,避免今后再配置caffe时又踩坑。
电脑配置
系统:Ubuntu16.04GPU:NVIDIA GTX1070
一、安装nVidia驱动,配置cuda,cudnn运行环境
1.安装相关依赖项
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev> libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-all-dev sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
如果安装错误,重新运行代码即可,保证网络畅通。
2.安装NVIDIA驱动
(1)查询NVIDIA驱动
首先去官网(http://www.nvidia.com/Download/index.aspx?lang=en-us)查看适合自己显卡的驱动:
图1.显卡驱动查询
驱动文件后缀名应当是以.run结尾的。把这个文件移动到home目录下,原因是下面我们要切换到文字界面下,如果放到~/下载 下面,我们没有办法进入下载这个目录(没有中文输入法,且中文全部是乱码)
我的显卡型号是GTX1070,系统是linux 64位,按照要求选择后点击search.,点击下载就好了。我下载后的驱动文件是:NVIDIA-Linux-x86_64-384.98.run。
更新:后面测试MNIST数据库时发现报了一个错,怀疑是驱动版本太新的问题,因此我又卸载了384.98,重新安装了375.82。在www.geforce.cn/drivers 下可以选择适合GTX1070的不同驱动版本,我选择了375.82。
(2)安装驱动
在终端下输入:sudo gedit /etc/modprobe.d/blacklist.conf
输入密码后在最后一行加上 blacklist nouveau 。这里是将Ubuntu自带的显卡驱动加入黑名单。
在终端输入:sudo update-initramfs -u
重启电脑~ 这里要尤其注意,安装显卡驱动要先切换到文字界面,(按Ctrl+Alt+F1~F6)。所以,启动电脑后,先进入文字界面。
然后,输入命令sudo service lightdm stop
,关闭X-Win窗口。
现在可以安装驱动了,先进入家目录 cd ~ ,然后:sudo ./NVIDIA-Linux-x86_64-384.98.run
,按照提示一步步来。若是没能安装,可能是权限问题, chmod 777NVIDIA-Linux-x86_64-384.98.run
修改权限后再安装。
完成后,再次重启电脑。(或者输入命令sudo service lightdm start,打开X-Win窗口,然后ALT+CTRL+F7切换回图形界面即可。)
安装完成之后输入以下指令进行验证:sudo nvidia-smi
,若列出了GPU的信息列表则表示驱动安装成功。
tips:
按ALT+CTRL+F1切换到字符界面(Linux实体机)
按ALT+CTRL+F7切换到图形界面(Linux实体机)
3.安装CUDA
CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda。
(1)下载CUDA
首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA,选择自己合适的版本。
该链接界面只显示最新版本。若需要下载以前的版本,可在页面下方点击Legacy Releases,选择自己需要的其他版本。
图2.CUDA下载
(2)安装CUDA
下载完成后执行以下命令:
sudo chmod 777 cuda_8.0.44_linux.run sudo ./cuda_8.0.44_linux.run
(注意:执行后会先出现一个声明,需要阅读到100%,同意声明后才会开始安装。)
安装时首先会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia361驱动时,一定要选择否:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?
因为前面我们已经安装了更加新的nvidia384,所以这里不要选择安装。其余的都直接默认或者选择是即可。
可能出现的错误:
安装cuda时可能有下面的信息
Installing the CUDA Toolkit in /usr/local/cuda-8.0 … Missing recommended library: libGLU.so Missing recommended library: libX11.so Missing recommended library: libXi.so Missing recommended library: libXmu.so
原因是缺少相关的依赖库,安装相应库就解决了:
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
再次安装,就不再提示了。
(3)环境变量配置
打开~/.bashrc文件: sudo gedit ~/.bashrc
将以下内容写入到~/.bashrc尾部:
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(4)测试CUDA的samples
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery make sudo ./deviceQuery
如果显示一些关于GPU的信息,则说明安装成功。
4.配置cuDNN
注意:首次配置cuDNN时我是下载的cuDNN6.0版本,但是后来在编译fast rcnn及SSD时发现有很多问题是由于cuDNN版本不匹配引起的,因此后来又手动删除掉了cuDNN6.0的include和lib文件,重新下载cuDNN5.1版本并重新编译caffe。
cuDNN是GPU加速计算深层神经网络的库。 首先去官网https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN,需要注册一个账号才能下载。
图3.cuDNN下载
下载cuDNN5.1 之后进行解压:
sudo tar -zxvf ./cudnn-8.0-linux-x64-v5.1.tgz
进入cuDNN5.1 解压之后的include目录,在命令行进行如下操作:
cd cuda/includesudo cp cudnn.h /usr/local/cuda/include #复制头文件
再进入lib64目录下的动态文件进行复制和链接:
(这里的libcudnn.so.5.1.10是固有文件,而libcudnn.so.5是libcudnn.so.5.1.10链接得到的动态文件,libcudnn.so是libcudnn.so.5链接得到的动态文件。)
cd ..cd lib64 sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件
sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接(注意这里要和自己下载的cudnn版本对应,可以在/usr/local/cuda/lib64下查看自己libcudnn的版本)sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接
注意:下面这个步骤不能缺少!!否则可能链接失败!
执行
sudo ldconfig -v #必须在/usr/local/cuda/lib64/目录下执行,否则可能会报libcudnn.so.5: cannot open shared object file: No such file or directory
或者
sudo ldconfig /usr/local/cuda/lib64
至此,cudnn就配置完成了。
5.安装opencv3.3.0
从opencv官网找到GitHub的下载链接,下载Opencv,并将其解压到你要安装的位置,假设解压到了~/opencv。
安装前准备,创建编译文件夹:
cd ~/opencv mkdir build cd build
配置:
sudo apt install cmake sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
编译:
sudo make -j8
-j8表示并行计算,根据自己电脑的配置进行设置,配置比较低的电脑可以将数字改小或不使用,直接输make。
安装: 以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install
二、安装Anaconda*
python好用,但是python不同版本和各种包管理很让人头疼。Anaconda是一个python的一个包装,它将一些python常用的package打包,方便pythoners直接使用。不但如此,他还有自己的安装方式conda,这里有提供各种pip里面找不到的包。
anaconda安装参照官网下载安装即可https://www.anaconda.com/download/,傻瓜式安装非常方便
安装之后在命令终端输入
$ pythonPython 2.7.14 |Anaconda custom (64-bit)| (default, Oct 16 2017, 17:29:19) [GCC 7.2.0] on linux2Type "help", "copyright", "credits" or "license" for more information.>>>
出现上述信息,说明安装成功
重要提示:有一些软件需要py2.7的环境,比如XX-Net, 最好是先安装Anaconda2,这样系统默认的环境是py2,然后再安装Anaconda3。需要py3环境时,用 下面命令切换。
source activate py3
三、配置caffe*
(1)将终端cd到要安装caffe的位置。
(2)从github上获取caffe:
git clone https://github.com/BVLC/caffe.git
注意:若没有安装Git,需要先安装Git:
sudo apt-get install git
(3)因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子,因此,首先将Makefile.config.example的内容复制到Makefile.config:
sudo cp Makefile.config.example Makefile.config
(4)打开并修改配置文件:
sudo gedit Makefile.config #打开Makefile.config文件
根据个人情况修改文件:
a.若使用cudnn,则
将#USE_CUDNN := 1修改成: USE_CUDNN := 1
b.若使用的opencv版本是3的,则
将#OPENCV_VERSION := 3 修改为: OPENCV_VERSION := 3
c.若要使用python来编写layer,则
将#WITH_PYTHON_LAYER := 1 修改为 WITH_PYTHON_LAYER := 1
d. 重要的一项 :
将# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/includeLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 修改为: INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serialLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
这是因为ubuntu16.04的文件包含位置发生了变化,尤其是需要用到的hdf5的位置,所以需要更改这一路径.
(5)修改makefile文件
打开makefile文件,做如下修改:
将:NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)替换为:NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
(6)编辑/usr/local/cuda/include/host_config.h
将其中的第115行注释掉:
将#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!改为//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
(7)编译
make all -j8 #-j根据自己电脑配置决定
编译过程中可能会出现如下错误:
错误内容1:
"fatal error: hdf5.h: 没有那个文件或目录"
解决办法:
step1:在Makefile.config文件的第85行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代码改为第二行代码。
将:INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include替换为:INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
stept2:在Makefile文件的第173行,把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial,也就是把下面第一行代码改为第二行代码。
将:LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5改为:LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
错误内容2:
"libcudart.so.8.0 cannot open shared object file: No such file or directory"
解决办法是将一些文件复制到/usr/local/lib文件夹下:
#注意自己CUDA的版本号!sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfigsudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfigsudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig
(8)测试
sudo make runtest
如果运行之后出现下图,说明caffe配置成功。
图6.caffe测试结果
到此caffe配置完毕!
四、MNIST数据集测试
配置caffe完成后,最好利用MNIST数据集对caffe进行测试,以确定caffe是否配置好能正常运行了,再去运行其他深度学习代码。MNIST数据集测试过程如下:
1.将终端定位到Caffe根目录
cd ~/learning/caffe
2.下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
3.将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
4.训练网络
./examples/mnist/train_lenet.sh
训练网络时可能报错:
关于这个错误,上网搜索后发现,有人说“是因为显卡驱动版本不匹配导致的。也有可能是因为没有权限,加上sudo后重试若问题仍没有解决,则要重装低版本的驱动”。
加上sudo后发现,找不到libcudnn.so.5。
不确定是驱动问题还是cudnn链接库问题,我的解决办法是:
卸载所有驱动,然后重装375.82.版本驱动,如前面安装显卡驱动部分所说。然后再测试MNIST,发现同样的问题。最后,看到博客里有人的评论,尝试命令
sudo ldconfig /usr/local/cuda/lib64 #重要!!指明了lib的路径
问题解决。得到MNIST训练结果。
原因猜测:这个问题应该不是驱动版本的问题,而是cudnn没有找到链接库的问题。虽然前面都按照要求把cudnn的include文件和lib文件加入到/usr/local/cuda/里了,但是执行 sudo ldconfig -v 时命令没有在/usr/local/cuda/lib64目录下执行,因此没能找到cudnn的链接库。
训练的时候可以看到损失与精度数值,如下图:
图7.MNIST数据集训练
可以看到最终训练精度是0.9914。
至此,运行环境配置完成。下次我们就可以开始安装运行一些最近的深度学习代码了!
- Ubuntu16.04 CUDA8.0+caffe+gpu运行环境配置
- ubuntu16.04+caffe+GPU Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+cuda8.0+caffe配置记录
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04+CUDA8.0+Caffe配置
- Ubuntu16.04+CUDA8.0+caffe配置
- Ubuntu16.04安装caffe+CUDA8.0+cuDNN GPU version
- ubuntu+cuda8.0+opencv3 Caffe GPU环境配置
- Ubuntu16.04+GTX1050ti+CUDA8.0+TensorFlow-gpu+Keras+Pycharm配置深度学习环境
- Ubuntu16.04+GTX1070显卡驱动+cuda8.0+cudnn5.1+tensorflow-gpu环境配置
- ubuntu16.04+cuda8.0+caffe
- Ubuntu16.04 faster-rcnn+caffe+gpu运行环境配置以及解决各种bug
- Window多线程同步之(互斥锁)
- oracle-高级查询
- C语言面试题---指针(四)
- HTML Tab 选项卡
- kaggle 入门
- Ubuntu16.04 CUDA8.0+caffe+gpu运行环境配置
- TreeSet的两种排序方式
- Linux设备驱动之阻塞与非阻塞---等待队列
- 《文法俱乐部》读书笔记之副词--LG二进制
- 【ORA】ORA-00030: User session ID does not exist.
- 使用pycharm断点调试-debug
- poj1912 A highway and the seven dwarfs【凸包+二分】
- HttpClientUtils.post不设置超时时间容易导致,请求无法返回
- c#如何获取某一命名空间下的所有的类的信息