CaffeOnSpark 安装笔记 可以正常运行

CaffeOnSpark 安装环境
平台：Ubuntu 16.04

对于CaffeOnSpark的安装，默认的前提是已经在机器上安装CUDA， Hadoop 和 Spark 集群，并且它们可用的。关于Hadoop和Spark的版本，官方文档有严格定义：
Hadoop 2.6 Spark 1.6 或者是： Hadoop 2.7 Spark 2.0
另外环境需要 Java8. Scala 2.11.7

注：安装CaffeOnSpark时，对各个插件的版本有严格要求。

---

安装Apache Maven
在编译CaffeOnSpark中的MakeFile.config文件中用到了mvn命令。
a. 确保已经安装好 jdk.
b. 到maven官网下载 apache-maven-3.2.5-bin.tar.gz （最新的版本可能发生maven插件冲突，3.2.5是检测可行的版本）。
c. 解压到工作区：

$ tar –zxvf apache-maven-3.2.5-bin.tar.gz 

d. 添加环境变量：

$ sudo vi /etc/profile$ export M2_HOME=/[maven安装目录]/apache-maven-3.2.5$ export PATH=$M2_HOME/bin:$PATH$ . /etc/profile

e. 检测是否安装成功：

$ mvn –v

---

安装Cmake
到官网下载最新的Cmake : https://cmake.org/download/ 版本无要求
下载后解压，进入目录执行：

$ ./bootstrap$ make –j8$ sudo make install

验证版本：

$ cmake –version

---

安装Google Protobuf 2.5.0
Protobuf 目前已经全面一直到Github https://github.com/google/protobuf 版本必须是 2.5.0 最新版会出现无法解析类名冲突
下载安装包后解压到目录，进入目录下：

$ ./configure$ make$ make check$ sudo make install

验证版本：

$ protoc –version

注意：由于版本库的问题，你的OpenCV可能找不到对应库：

$ sudo vi /etc/ld.so.conf.d

在里面添加：

/usr/local/lib$ sudo ldconfig    #使配置生效

---

安装OpenCV
首先安装依赖库：

$ sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev \ libavformat-dev libjpeg.dev libtiff4.dev libswscale-dev libjasper-dev

从官网下载 OpenCV 注意：CUDA 8.0之后的版本会与OpenCV冲突，所以只能选择2.4 , 本文选择的是17.10推出的小版本2.4.13。
解压OpenCV并进入目录：

$ cmake .  （注意空格和点）$ sudo make $ sudo make install

注意：由于版本库的问题，你的OpenCV可能找不到对应库：

$ sudo vi /etc/ld.so.conf.d

在里面添加：

 /usr/local/lib$ sudo ldconfig    #使配置生效（参考：http://www.mobibrw.com/2017/7393      http://m.blog.csdn.net/supe_king/article/details/73882528 ）

验证版本：

pkg-config --modversion opencv  

---

安装Caffe
更新源：

$ sudo apt-get update

下载Caffe：

$ git clone https://github.com/bvlc/caffe.git

依赖包：

$       sudo apt-get install libprotobuf-dev protobuf-compiler $   sudo apt-get install libleveldb-dev $   sudo apt-get install libsnappy-dev$   sudo apt-get install libopencv-dev$       sudo apt-get install libhdf5-serial-dev$       sudo apt-get install --no-install-recommends libboost-all-dev $   sudo apt-get install libatlas-base-dev $   sudo apt-get install python-dev $   sudo apt-get install libgflags-dev $   sudo apt-get install libgoogle-glog-dev $   sudo apt-get install liblmdb-dev$   sudo apt-get install libatlas-base-dev$   sudo apt-get install --no-install-recommends libboost-all-dev$   sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

修改 Makefile 和 Makefile.config，同时选择cpu 或者是 gpu
编译 Caffe :

$ make all$ make test$ make runtest

---

安装CaffeOnSpark
下载CaffeOnSpark:

$ sudo git clone https://github.com/yahoo/CaffeOnSpark.git  --recursive

把Caffe当中的Makefile和Makefile.config拷贝到Caffe-public中替换原来的。
修在在caffe-public文件夹下的Makefile.config文件：

添加：INCLUDE_DIRS +=${JAVA_HOME}/include

编译CaffeOnSpark:

$ make build

这个过程会下载许多的内容，所以会持续很长时间。
在安装完成之后会明显出现Build Success，然后就可以根据官方GIT上的操作来跑数据集进行测试。