caffe网络参数

solver.prototxt

net:训练预测的网络描述文件，train_test.prototxt

test_iter:在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）>=测试集的大小，测试集的 batchsize可以在prototxt文件里设置。

test_interval:训练的时候，每迭代test_interval次就进行一次测试。

base_lr:基础学习速率。

gamma:调节学习速率的因子

power:调节学习速率需要用到的参数

stepsize:每隔stepsize降低学习速率，每隔stepsize，基础学习速率*gamma

stepvalue: “multistep”学习策略需要用到的参数，每到stepvalue，按”step”的方式调整学习速率

lr_policy:
“fixed”:固定学习速率，始终等于base_lr
“step”:步进衰减，base_lr*gamma^(floor(iter/stepsize))
“exp”:指数衰减，base_lr*gamma^(iter)
“inv”:倒数衰减，base_lr*(1+gamma*iter)^(-power)
“multistep”:多步衰减，与步进衰减类似，允许非均匀步进值(stepvalue)
“ploy”:多项式衰减，在max_iter时达到0，base_lr*(1-iter/max_iter)^(power)
“sigmoid”:S形衰减，base_lr*(1/(1+exp^(-gamma*(iter-stepsize))))

display:每display次打印一次Loss

max_iter：训练的最大迭代次数

momentum:冲量，灵感来自于牛顿第一定律，基本思路是为寻优加入了“惯性”的影响，这样一来，当误差曲面中存在平坦区的时候，SGD可以更快的速度学习。

weight_decay:权衰量，

snapshot:迭代snapshot次，打印一次快照，即保存一次.caffemodel，.solverstate

snapshot_prefix:快照，.caffemodel，.solverstate保存的位置

solver_mode:训练模式，可选，CPU，GPU，2种模式

train_test.prototxt

数据层参数：
data:数据层
type:数据属性，包含3种格式，1种是Data，输入格式为LMDB，LEVELDB，另一种是ImageData，输入格式为*.txt，txt中格式为，路径图片 类别标签，第三种为HDF5Data，该格式支持频谱图、特征向量的输入，
ps:matlab生成HDF5步骤，假设每个特征向量为512维，输入1000个特征向量
% 创建HDF5文件，包含data和label两个变量，数据类型是caffe支持的float型数据
h5create(‘train.h5’,’/data’,[1 1 512 1000],’Datatype’,’single’);
h5create(‘train.h5’,’/label’,[1 1 1 1000],’Datatype’,’single’);
%reshape: width x height x channels x num，注意MATLAB读数据是列优先，是和C++里面相反的。所以写数据的时候也要倒着写。
train_data = reshape(train_data,[1 1 512 1000]);
train_label = reshape(train_label,[1 1 1 1000]);
h5write(‘train.h5’ ,’/data’ , single(train_data));
h5write(‘train.h5’ ,’/label’, single(train_label));
HDF5Data-layer参数，
layer {
name: “data”
type: “HDF5Data”
top: “data”
top: “label”
include {
phase: TRAIN
}
hdf5_data_param {
source: “train.txt”
batch_size: 128
shuffle: true
}
}
train.txt内容，shuffle只对H5文件进行乱序，而每个H5文件内部的顺序不动，
train1.h5
train2.h5
…
mean_value:训练图片需要减去的均值，一般为127.5
scale:数据变换使用的数据缩放因子
mirror:是否做镜像操作，可选，true，false
crop_size:crop变换的大小
mean_file:均值文件
source：数据源地址，可以是LMDB或者txt格式的文件
batchsize:批量读取的图片数目
shuffle：是否要打乱图片顺序，使不同类别交叉排列，可选，true，false
backend:数据格式，可选参数，LMDB，LEVELDB
rand_skip:跳过开头的 rand_skip * rand(0,1)个数据，通常在异步随机梯度下降法里使用

卷基层参数：
Convolution:卷基层
lr_mult: 学习率，但是最终的学习率需要乘以 solver.prototxt 配置文件中的 base_lr .
如果有两个 lr_mult, 则第一个表示 weight 的学习率，第二个表示 bias 的学习率
一般 bias 的学习率是 weight 学习率的2倍
blobs_lr:和lr_mult意思一样，有的配置文件也这么写
decay_mult:权值衰减，为了避免模型的over-fitting，需要对cost function加入规范项。
weight_decay: 和decay_mult意思一样，有的配置文件也这么写
kernel_size:卷积核的大小。如果核的长和宽不等，需要用 kernel_h 和 kernel_w 分别设定卷积
stride: 卷积核的步长，默认为1。也可以用stride_h和stride_w来设置。
pad: 扩充边缘，默认为0，不扩充。
扩充的时候是左右、上下对称的，比如卷积核的大小为5*5，那么pad设置为2，则四个边缘都扩充2个像素，即宽度和高度都扩充了4个像素，这样卷积运算之后的特征图就不会变小。 也可以通过pad_h和pad_w来分别设定。
weight_filter:权值初始化。默认为“constant”,值全为0，很多时候我们用”xavier”算法来进行初始化，也可以设置为”gaussian”
weight_filler {
type: “constant”
value:0
}
weight_filler {
type: “xavier”
}
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filter:偏置项的初始化。一般设置为”constant”,值全为0
bias_filler {
type: “constant”
value: 0
}
bias_term:是否开启偏置项，默认为true,开启
group:默认为1，如果大于1，那么将每个滤波器都限定只与某个输入的子集有关联。换句话说，将输入分为group组，同时将输出也分为group组。那么第i组输出只与第i组输入有关。
dilation:atrous（hole algorithms），RFCN中的亮点，可以增大map，提高对小目标的检测。详细可以参考RestNet-res3a，RestNet-OHEM。

AbsVal：使用 abs(x)函数计算每个输入数据 x 的输出

Power：使用函数(shift + scale * x) ^ power 计算每个输入数据 x的输出
power_param {
power: 1
scale: 1
shift: 0
}

BNLL：使用函数log(1 + exp(x)) 计算每个输入数据 x 的输出

Dropout:防止模型过拟合；训练模型时，随机让网络某些隐含层节点的权重不工作，
dropout_param {
dropout_ratio: 0.5 #丢弃数据的概率
}

Eltwise:将2个bottom合并为1个top，合并的方式为，PRODUCT（点乘）， SUM（相加减） 和 MAX（取大值），其中SUM是默认操作
bottom相加：
eltwise_param {
operation: SUM
}

bottom相减：
eltwise_param {
operation: SUM
coeff:1
coeff:-1
}
bottom取大值：
eltwise_param {
operation: MAX
}
InnerProduct:也就是全连接层，fully_connected (fc)layer，主要实现，C←αA×B+βC，A为M*K维矩阵，B为K*N维矩阵，C为M*N维矩阵，缺点就是，使用包含全连接层的模型(如AlexNet)必须使用固定大小的输入，有时这是非常不合理的，因为必须对输入图片进行变形
lr_mult，decay_mult，weight_filter，bias_filter

Split:将blob复制为n份，分给不同的Layer，所有Layer共享该blob，实现为1个bottom，n个top

Slice:输入1个bottom，输出n个top，将blob中的数据切分为n份，假设input的维度是N*5*H*W，tops输出的维度分别为N*1*H*W ，N*2*H*W， N*1*H*W， N*1*H*W 。
这里需要注意的是，如果有slice_point，slice_point的个数一定要等于top的个数减一。
axis表示要进行分解的维度，0为N(num)上分解，1为C(channel)上分解。
slice_point的作用是将axis按照slic_point 进行分解。
slice_point没有设置的时候则对axis进行均匀分解。
slice_param {
axis: 1
slice_point: 1
slice_point: 3
slice_point: 4
}

Concat:将多个layer进行组合拼接，输入为n个bottom，输出为1个top，例如，输入k个blob为，n_i*c_i*h*w，则，
axis=0，输出为(n_1+n_2+……+n_k)*c_i*h*w，
axis=1，输出为n_i*(c_1+c_2+……c_k)*h*w，
axis表示要进行分解的维度，0为N(num)上拼接，1为C(channel)上拼接。
concat_param{
axis:1
}

Reduction:将某个维度缩减至1维，方法可以是sum、mean、asum、sumsq。
axis表示要进行缩减的维度，0为N(num)上缩减，1为C(channel)上缩减。
reduction_param {
axis: 0
}

Flatten: 把一个输入的大小为n * c * h * w变成一个简单的向量，其大小为 n * (c*h*w) * 1 * 1。

Reshape: 改变blob的维度，而不改变其自身的数据，每个blob为4维，故有4个dim参数，0代表不改变维度的值，-1代表由caffe计算出值，正数代表将维度更改为对应的值
reshape_param {
shape {
dim: 0 # copy the dimension from below
dim: 2
dim: 3
dim: -1 # infer it from the other dimensions
}
}

Crop:输入两个blob，将bottom[0] 按照bottom[1]的尺寸进行剪裁，
axis=0,1,2,3分别表示为N,C,H,W；默认axis等于2，即默认从H开始裁剪（裁剪H和W）;可以只设置1个，也可以为每个dimension分别设置，
offset表示裁剪时的偏移量，
crop_param {
axis: 2
offset: 5
}

BatchNorm:batch归一化层，需要和Scale层一起使用，即一个BatchNorm后面跟一个Scale，use_global_stats训练的时候设置为false，这时caffe会基于当前batch计算均值和方差，测试的时候设置为true，此时会强制使用模型中存储的均值和方差参数。
batch_norm_param{
use_global_stats:true
}

Scale:
scale_param{
bias_term:true
}

LRN(Local ResponseNormalization):AlexNet的产物，后期感觉对performance提升意义不大，local_size ，默认为5，对于cross channel LRN为需要求和的邻近channel的数量，对于within channel LRN为需要求和的空间区域的边长
alpha ，默认为1，scaling参数
beta ，默认为 5，指数
norm_region，默认为ACROSS_CHANNELS，
选择LRN实现的方法：
1. ACROSS_CHANNELS ，输出大小为localsize×1×1，
2. WITHIN_CHANNEL，输出大小为1×localsize×localsize，
lrn_param{
local_size:5
alpha:0.0001
beta:0.75
}

激活层参数：
ReLU:非线性层，使用ReLU作为激活函数，对于给定的一个输入值x，如果x > 0，ReLU层的输出为x，如果x < 0，ReLU层的输出为0，可选参数negative_slope，此参数使得x <0时，ReLU层的输出为negative_slope * x，类似于PReLU的功能，RELU层支持原址计算（in-place）
relu_param{
negative_slope: [默认：0]
}

PReLU: 非线性层，使用PReLU作为激活函数，在负半轴的输出乘以一个系数，而这个系数是可学习的（你可以为其指定学习率），其中value是系数的初始值，channel_shared指定是否在各个通道间共享这个系数。
prelu_param {
filler: {
value: 0.33 #: 默认为0.25
}
channel_shared: false
}

TanH: 使用 tanh(x)函数作为激活函数计算每个输入数据 x的输出

损失层参数：
SoftmaxWithLoss：类似svm，用于分类的层，输入blob为ip和label，这里注意label要从0开始(2个bottom)，输出blob为loss(1个top)，用于单标签多分类任务，各概率相互不独立，总和为1，这里需要注意一下，softmax有一个默认的隐含的参数，loss_weight，默认该值为1，所以大部分的时候，尤其是只有1个Loss的时候是不写这个的。但是当有多个Loss的时候，loss_weight的设置就很有必要了，例如下面的center_loss

SigmoidCrossEntropyLoss：S形交叉熵损失，用于目标概率分布和多标签多分类任务，各概率相互独立
layer{
name:”loss”
type:” SigmoidCrossEntropyLoss”
bottom:”loss3/classifier”
bottom:”label”
top:”loss”
}

EuclideanLoss:欧式距离损失，适用于实数值回归问题，
layer{
name:”loss”
type:” EuclideanLoss ”
bottom:”loss3/classifiersigmoid”
bottom:”label”
top:”loss”
}

HingeLoss：铰链损失，norm支持L1，L2，默认norm为L1，

L1 Norm

layer {
name: “loss”
type: “HingeLoss”
bottom: “pred”
bottom: “label”
}

L2 Norm

layer {
name: “loss”
type: “HingeLoss”
bottom: “pred”
bottom: “label”
top: “loss”
hinge_loss_param {
norm: L2
}
}

ContrastiveLoss:Siamese双生猫中提出的损失，用于人脸识别中，deepid2中也有使用
layer {
name: “loss”
type: “ContrastiveLoss”
bottom: “feat”
bottom: “feat_p”
bottom: “sim”
top: “loss”
contrastive_loss_param {
margin: 1
}
}

TripletLoss:FaceNet中提出的三元组，用于人脸识别

CenterLoss:caffeFace提出的损失，用于人脸识别，起到增大类间距离，减少类类距离
layer {
name: “center_loss”
type: “CenterLoss”
bottom: “fc5”
bottom: “label”
top: “center_loss”
param {
lr_mult: 1
decay_mult: 2
}
center_loss_param {
num_output: 10572
center_filler {
type: “xavier”
}
}
loss_weight: 0.008
}

池化层参数：
Pooling:池化层
pool:池化方法，默认为MAX。目前可用的方法有 MAX， AVE，STOCHASTIC
kernel_size:池化的核大小
stride:池化的步长

准确率层参数：
Accuracy:分类准确率层，只在test阶段有效，输入blob为的ip和label(2个bottom)，输出blob为accuracy(1个top)
可选参数，top_k表示前几正确率
accuracy_param {
top_k: 5
}