如何快糙好猛地在Windows下编译CAFFE并使用其matlab和python接口

来源:互联网 发布:游族网络002174股吧 编辑:程序博客网 时间:2024/04/30 10:36

原文:http://blog.csdn.net/happynear/article/details/45372231

目录(?)[-]

  1. 零最近更新
  2. 一准备
  3. 二编译
  4. 三测试
  5. 四旧更新日志

零、最近更新

2015/02/25 微软制作了一个caffe的windows版,他们更加专业,做出来的solution更加容易维护,第三方库完全由Nuget进行管理,几乎不用配置什么东西,建议大家都去尝试一下:https://github.com/Microsoft/caffe 。 
2015/12/09 我总结了一下比较常见的问题,写在 https://github.com/happynear/caffe-windows/blob/master/FAQ.md 里,而且未来会持续更新,如果碰到问题请先查看这个FAQ列表。 
2015/09/14 Caffe现在支持单机多GPU啦,直接在caffe命令后面加--gpu=all--gpu=0,1 即可使用多个GPU进行训练。 
如果使用多gpu训练,不要直接点cmd窗口的X,最好使用Ctrl+C来终止程序,不然显卡驱动有时候会崩溃。 
还有如果要在训练中途存一个snapshot,可以用Ctrl+Break。 
因此一个正常的终止训练的操作是: 
Ctrl+Break保存当前工作状态,然后Ctrl+C终止训练。

2015/08/18 lmdb现在已经可以使用了,不过磁盘必须是NTFS格式的才可以。有需要的请到http://pan.baidu.com/s/1dDHbbgP 下载,并覆盖掉3rdparty/lib 中同名的文件,然后右键各个工程->仅用于项目->仅链接 即可,无需重新生成。 
2015/08/08 有很多人报告(包括我自己)cuDNN v3 的速度比v2慢很多,因此master分支被我回滚回v2版本了,所幸cuDNN向下兼容,所以无需再次下载第三方库。

一、准备

  需要用到的东西我已经帮大家全部准备好了,有2016年2月4日刚刚从caffe官方master分支fork过来的源代码:https://www.github.com/happynear/caffe-windows。有我自己亲手制作的第三方库http://pan.baidu.com/s/1sk3QyyL,在源码的根目录下建立个3rdparty文件夹,把文件解压进去就可以了。 
  解压好之后,要将3rdparty/bin文件夹添加到环境变量的PATH中,这样才能让程序找到这些第三方库的dll。 
  最后是CUDA和MKL了,MKL是可选的,大家可以去Intel官方申请,如果不用cpu模式的话其实也无所谓,在第三方库包中我还提供了openblas的库文件。 
  我使用的是CUDA 7.0版,建议大家也安装这个版本。 
   
ps:如果你没有NVIDIA显卡或者显卡比较老,请还是将CUDA安装上,然后在C/C++选项卡的预处理器定义中,将USE_CUDNN删除。3个项目都要删。同时,为了您的身心健康,请尽快购置显卡。

二、编译

  编译非常简单,分为以下几步: 
  1、双击./src/caffe/proto/extract_proto.bat批处理文件来生成caffe.pb.hcaffe.pb.cc两个c++文件,和caffe_pb2.py这个python使用的文件。 
  2、打开./buildVS2013/MainBuilder.sln,打开之后切换编译模式至Release X64模式。如果打开之后显示加载失败,可能你的CUDA版本和我的不一致,我的是CUDA 7.5版,这时就要用记事本打开./buildVS2013目录下各个文件夹内的.vcxproj文件,搜索CUDA 7.5,把这个7.5换成你自己的CUDA版本,就可以正常打开了。
  3、点上边工具栏中的绿色三角编译吧。编译大概需要半小时左右,请耐心等待。 
   
  如果要用matlab wrapper来提取特征、观察训练好的权重的话呢,只需要把matcaffe项目里面的matlab目录修改成你自己的,然后编译,你就能从matlab/+caffe/private文件夹里面找到一个叫caffe_.mexw64的文件啦。 
  python的wrapper类似,把pycaffe项目里的python目录改成你自己的(我用的是Anaconda),就能在python/caffe文件夹中生成_caffe.pyd的python dll文件。

三、测试

  到 http://pan.baidu.com/s/1mgl9ndu 下载已经转换好的MNIST的leveldb数据文件,解压至./examples/mnist文件夹中,然后运行根目录下的run_mnist.bat即可开始训练,训练日志会保存在./log文件夹中,以INFO开头,txt格式的日志文件中。

ps:如果你编译成功的话,不要忘了给我的github工程点个star! 
star

四、旧更新日志

2015/08/06 新版caffe-windows上线了,由于vs2012编译速度太慢,从这个版本开始,不再对vs2012提供支持。 
2015/07/07 现在caffe也支持VS2013了,第三方库全部更新至最新版本。请从http://pan.baidu.com/s/1sj3IvzZ http://pan.baidu.com/s/1i390tZB下载并替换掉原有的build文件夹,其他步骤与先前版本一致。如果发现bug,烦请反馈给我,留言或在github上提issue均可。 
2015/06/07 添加Insanity Layer(即randomized leaky rectified linear units),我也不知道为什么叫Insanity。。论文上说效果比PReLU还好些。 
2015/06/05 将Caffe版本更新至6月5日的master分支,与上一版最大的不同在于matlab接口更加丰富,cudnn更新至v2版,所以要重新下载第三方库。 
2015/06/05 Batch Normalization更新至新版,现在的默认mnist测试文件即为使用了Batch Normalization层的版本。 
2015/05/29 发现上个版本的lmdb.lib使用了别人在vs2013下编译的版本,现改为vs2012版; 
2015/05/29 添加了提取任意层特征的matlab接口,使用方法:

<code class="language-matlab hljs  has-numbering" style="display: block; padding: 0px; background-color: transparent; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-top-left-radius: 0px; border-top-right-radius: 0px; border-bottom-right-radius: 0px; border-bottom-left-radius: 0px; word-wrap: normal; background-position: initial initial; background-repeat: initial initial;">OUTPUT = caffe(<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">'get_features'</span>, INPUT, <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">'layername1,layername2...'</span>);</code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; background-color: rgb(238, 238, 238); top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right;"><li style="box-sizing: border-box; padding: 0px 5px;">1</li></ul>

例如:f = caffe('get_features', H, 'conv51,pool5'); 返回的f为2*1的cell类型,里面记录了层的名称和该层的特征。 
现在有了更好的方法来获得每层特征,该函数不再更新。请参见新版matlab接口。


0 0