caffecn.com上的caffe问题汇总

http://caffecn.cn/?/question/12

http://caffecn.cn/?/question/36

http://caffecn.cn/?/question/123

caffe的总体流程是怎样的？

取消关注 | 12

...

从leveldb的一张图片，到一个blob，到一个层，到一次迭代，到整个训练完。这个总体的思路谁能够详细的讲一下。代码中太多blob，不知道他们的关系，这些blob就不知道干嘛用的。？谢谢

2016-01-21 添加评论 邀请 1

感谢 分享举报

• 关注的人
• 时间 
• 票数

  1 个回复

ruirui_ICT - 听大大们说，要“左手代码，右手公式”，喵~

赞同来自: 海之蓝、李扬、ZhangXu、attitude、孙琳钧更多 » 、张凯霖0303

我很想详细讲一下的，然而自己才疏学浅，学艺不精，只能大概讲讲，就当抛砖引玉了(⊙v⊙)
 
很多人建议caffe从四个层次来理解：Blob、Layer、Net、Solver，和题主的问题还挺match的
 
1.Blob
Blob是caffe基本的数据结构，用四维矩阵 Batch×Channel×Height×Weight表示，存储了网络的神经元激活值和网络参数，以及相应的梯度（激活值的残差和dW、db)。其中包含有cpu_data、gpu_data、cpu_diff、gpu_diff、mutable_cpu_data、mutable_gpu_data、mutable_cpu_diff、mutable_gpu_diff这一堆很像的东西，分别表示存储在CPU和GPU上的数据（印象中二者的值好像是会自动同步成一致的），其中带data的里面存储的是激活值和W、b，diff中存储的是残差和dW、db，另外带mutable和不带mutable的一对指针所指的位置是相同的，只是不带mutable的只读，而带mutable的可写。
 
2.Layer
Layer代表了神经网络中各种各样的层，组合成一个网络。一般一个图像或样本会从数据层中读进来，然后一层一层的往后传。除了数据层比较特殊之外，其余大部分层都包含4个函数：LayerSetUp、Reshape、Forward、Backward。其中LayerSetup用于初始化层，开辟空间，填充初始值什么的。Reshape是对输入值进行维度变换，比如pooling接全连接层的时候要先拉成一个向量再计算。Forward是前向传播，Backward是后向传播。当然对于我这种喜欢偷懒的童鞋一般学习的时候最喜欢看各种层的Backward函数了，最好是对着公式边推导边看，可以有更直观的理解。
那么数据是如何在层之间传递的呢？每一层都会有一个（或多个）Bottom和top，分别存储输入和输出，比如bottom[0]->cpu_data()存输入的神经元激活值，换成top存输出的，换成cpu_diff()存的是激活值的残差，换成gpu是存在GPU上的数据，再带上mutable就可写了，这些是神经元激活值相关的，如果这个层前后有多个输入输出层，就会有bottom[1]，比如accuracy_layer就有两个输入，fc8和label。而每层的参数会存在this->blobs_里，一般this->blobs_[0]存W，this->blobs_[1]存b，this->blobs_[0]->cpu_data()存的是W的值，this->blobs_[0]->cpu_diff()存的梯度dW，b和db也类似，然后换成gpu是存在GPU上的数据，再带上mutable就可写了。。（各种变量好多好晕，但愿我说清楚了。。）
哦对了，凡是能在GPU上运算的层都会有名字相同的cpp和cu两个文件，cu文件中运算时基本都调用了cuda核函数，可以在math_function.cu中查看。
 
3.Net
Net就是把各种层按train_val.prototxt的定义堆叠在一起，首先进行每个层的初始化，然后不断进行Update，每更新一次就进行一次整体的前向传播和反向传播，然后把每层计算得到的梯度计算进去，完成一次更新，这里注意每层在Backward中只是计算dW和db，而W和b的更新是在Net的Update里最后一起更新的。而且在caffe里训练模型的时候一般会有两个Net，一个train一个test。刚开始训练网络时前面的一大堆输出，网络的结构什么的也都是这里输出的。
 
4.Solver
Solver是按solver.prototxt的参数定义对Net进行训练，首先会初始化一个TrainNet和一个TestNet，然后其中的Step函数会对网络不断进行迭代，主要就是两个步骤反复迭代：①不断利用ComputeUpdateValue计算迭代相关参数，比如计算learning rate，把weight decay加上什么的，②调用Net的Update函数对整个网络进行更新。迭代中的一大堆输出也是在这里输出的，比如当前的loss和learning rate什么的。
 
综上，为了把整个过程串起来，可以从tools/caffe这个我们最常用的函数入手，训练一个网络然后跟着数据的流动方向看看一个网络是怎么更新的，然后找自己比较感兴趣的地方细看。我本人主要看各种Layer的实现比较多，对其余的部分理解也有限，希望可以一起讨论~
 
（针对最近大大们头疼的侵权问题，在这里弱弱的加一句：本内容为本人原创，仅授权给CaffeCN使用，如需转载须注明转载来源。(⊙v⊙)）

http://caffecn.cn/?/question/246

训练深层的网络，整个训练过程中，两万次迭代跟两千次迭代感觉没什么变化，听说需要很多trick，麻烦推荐一些trick。谢谢

训练NIN VGG网络的时候发现的问题

2016-03-10 添加评论

分享

1 个回复

YJango - 在日研究生，人工智能专业

赞同来自: 辛淼、十点睡七点起、ZhangXu、yiboin、jckzzu更多 »

深层学习更像是烹饪。确定哪里发生了问题很关键。你说的没变化是你只看最后的识别率或者误差没变化。
识别率和误差随着你的训练是如何变化的也很重要。画成曲线你可以从中得到有用信息。
你可以把你的误差随训练次数的变化画成图发出来。只有在你知道了你的问题后才可以给你相应的trick。
 
数据的预处理
activation function的选择
有没有shuffle数据
batch size的大小
learning rate的高低
hidden layer的层数，是powful还是weak
是否有overfiting问题决定是否加regularization，是否用dropout
还有很多。但都是针对性很强的trick
 
一般来说，你有了数据你先要把你的数据处理成适合深层学习的样子。0 mean， 1 std
你数据的范围还要跟activation function对应。
然后一点点增加层数，直到发生overfit问题。再开始调节其他参数。
为的是得到一个powful的深层学习模型，但要聪明的使用
 
最后回到的你问题。2000次和20000次没区别。如果是误差都是一直下降到某个数值的话，基本上你的层数少了。模型比较weak。 下降又上升的话，overfiting了