caffe文件配置

solver.prototxt

test_interval
假设训练样本121368个，batch_size为256；测试样本为1000个，batch_size为25。
对于训练样本，由于batch_size为256，所以需要121368/256=475次迭代才能遍历所有的训练样本；另一方面，我们希望在所有训练样本都经过训练后再进行测试，所以将test_interval设置为475（或更大），这是保证我每一次测试都是在所有样本都经过训练后的基础上进行测试。
test_iter
对于测试样本，我们希望所有的测试样本都能被测试一次，所以我们设置test_iter为40，保证经过40次迭代后能够测试到所有的测试样本。

总之一共两个原则：
1. 希望每次测试都是在训练了所有训练样本的基础上进行的；
2. 希望能够将所有的测试样本都进行测试一次；

net
指明训练/测试网络的路径以及文件名

base_lr
指明基础学习率，学习率会在这个base_lr的基础上进行变化和更新，但是不同的策略更新方法不一样。

lr_policy
lr_policy是用来表示学习率随着时间是如何变化的。值是字符串，需要加”“。学习率变化的可选参数有：

1. “step”:return base_lr * gamma ^ (floor(iter / step))
2. “multistep”:similar to step but it allows non uniform steps defined by stepvalue
3. “fixed”:always return base_lr
4. “exp”:return base_lr * gamma ^ iter
5. “poly”:return base_lr (1 - iter/max_iter) ^ (power)
6. “sigmoid”:return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
7. “inv”:return base_lr * (1 + gamma * iter) ^ (- power)

gamma
这个参数表示学习率每次的变化程度，值为实数

stepsize
这个参数表示什么时候应该进行训练的下一过程，值为正整数。主要用在lr_policy为step的情况。

stepvalue
这个参数表示什么时候应该进行训练的下一过程，值为正整数。主要用在lr_policy为multistep的情况。

max_iter
这个参数表示训练神经网络迭代的最大次数，值为正整数。一次迭代遍历一个batch，不是一个样本。

power
待更新

momentum
这个参数表示在新的计算中要保留的前面的权重数量，值为真分数，通常设为0.9。

weight_decay
这个参数表示对较大权重的惩罚（正则化）因子。值为真分数。目前猜测是正则化时的λ

display
这个参数用来表示每迭代多少次将输出结果打印到屏幕上，值为正整数，表示每次迭代次数。

snapshot
这个参数用来表示每迭代多少次就应该保存snapshot的model和solverstate，值为正整数。

snapshot_prefix
这个参数用来表示保存snapshot时model和solverstate的前缀，值为带引号的字符串。

type
这个参数表示训练神经网络采用的反向传播算法，值为带引号的字符串。可选的值有：
Stochastic Gradient Descent “SGD”—— 随机梯度下降，默认值。
AdaDelta “AdaDelta”—— 一种”鲁棒的学习率方法“，是基于梯度的优化方法。
Adaptive Gradient “AdaGrad”——自适应梯度方法。
Adam “Adam”—— 一种基于梯度的优化方法。
Nesterov’s Accelerated Gradient “Nesterov”——Nesterov的加速梯度法，作为凸优化中最理想的方法，其收敛速度非常快。
RMSprop “RMSProp”—— 一种基于梯度的优化方法。

solver_mode
这个参数用来表示求解神经网络的模式——值为CPU or GPU。

http://blog.leanote.com/post/farmerpace/Caffe-solver.prototxt-p
http://noahsnail.com/2017/02/23/2017-2-23-Caffe%E7%9A%84solver%E5%8F%82%E6%95%B0%E4%BB%8B%E7%BB%8D/
https://github.com/BVLC/caffe/wiki/Solver-Prototxt