caffe——常用层及其参数

caffe——常用层及其参数
我们常用的层包括：softmax_loss层，inner_Product层，accuracy层，reshape层和dropout层。
1 softmax_loss
softmax_loss层和softmax计算大致相同。softmax是一个分类器，计算的是类别的概率。

如果用户最终想得到各个类别的概率似然值，这时候只需要一个Softmax层，不需要softmax-Loss操作，如果用户已经得到某种概率似然值，然后要做最大似燃估计，则只需要后面的softmax_loss，而不需要Softmax操作。因此提供来两个不同的Layer结构，更加灵活。
softmax-loss layer：输出loss值

layer{name:"loss"type:"SoftmaxWithloss"bottom:"ip1"bottom:"label"top:"loss"}

softmax layer：输出似然值

layer{bottom:"cls3_fc"top:"prob"name:"prob"type:"Softmax"}

2 ineer product
全连接层：输入一个向量，输出也是一个简单的向量
输入：n*c0*h*w
输出：n*c1*1*1
全连接层类型：innerProduct
lr_mult:学习率的系数，最终的需西率是这个数乘以solver.prototxt配置文件中的base_lr。如果有两个lr_mult.则第一个表示权值学习率，第二个表示偏置学习率。一般偏置学习率是权值学习率的两倍。
必须设置的参数：
num_output:过滤器（filters）的个数
其他参数：
weight_filter:权值初始化。默认全为0，很多情况用“xavier”进行初始化，也可设置为“gaussian”。
bias_filler:偏置项初始化，一般为”constant”,值全为0
bias_term：是否开启偏置项，默认开启

layer{name:"ip1"type:"InnerProduct"bottom:"pool2"top:"ip1"param{lr_mult:1}param{lr_mult:2}inner_product_param{num_output:500weight_filler{typr:"xavier"}bias_filler{type:"constant"        }    }}

3 accuracy
输出分类精确度，只有test阶段才有，因此需要加入include参数
层类型：Accuracy

layer{name:"accuracy"type:"Accuracy"bottom:"label"bottom:"ip2"top:"accuracy"include{phase:TEST    }}

4 reshape
在不改变数据的情况下，改变输入的维度
层类型：Reshape

layer{name:"reshape"type:"Reshape"bottom:"input"top:"output"reshape_param{    shape{        dim:0 #copy the dimension from below        dim:2        dim:3        dim:-1 #infer it from the other dimension        }    }}

有一组可选参数shape，用于指定blob数据的各维的值（blob是一个四维数据： n*c*w*h）
dim:0 表示维度不变，即输入和输出是相同的维度
dim：2 或dim：3表示将原来维度变为2 或3
dim：-1 表示由系统自动计算维度。数据总量不变，系统根据blob的数据的其他三维来计算当前维度值 。

5 Dropout
dropout是一个防止过拟合的trick。可以随机让某些隐含层节点的权重不工作

layer{name:"drop7"type:"Dropout"bottom:"fc7-conv"top:"fc7-conv"dropout{dropout_param:0.5    }}

只需设置一个dropout_ratio。