caffe中lenet_solver.prototxt配置文件注解

caffe框架自带的例子mnist里有一个lenet_solver.prototxt文件，这个文件是具体的训练网络的引入文件，定义了CNN网络架构之外的一些基础参数，如总的迭代次数、测试间隔、基础学习率、基础学习率的更新策略、训练平台（GPU或CPU）等。

# The train/test net protocol buffer definition   //对训练和测试网络的定义//网络的路径，可以使用绝对路径或者相对路径net: "D:/Software/Caffe/caffe-master/examples/mnist/lenet_train_test.prototxt"//test_iter参数定义训练流程中前向传播的总批次数# test_iter specifies how many forward passes the test should carry out.//在MNIST中，定义的是每批次100张图片，一共100个批次，覆盖了全部10000个测试图例# In the case of MNIST, we have test batch size 100 and 100 test iterations,# covering the full 10,000 testing images./*test_iter是定义的测试图例分为多少批次，由于一次性执行所有的测试图例效率很低，所以把测试图例分为几个批次来依次执行，每个批次包含的图例数量是在net网络的模型文件.prototxt中的batch_size变量定义的，test_iter*batch_size等于总的测试图集数量*/test_iter: 100//测试间隔，训练没迭代500次后执行一次测试（测试是为了获得当前模型的训练精度）# Carry out testing every 500 training iterations.test_interval: 500/*网络的学习率设置1. base_lr：表示base learning rate，基础学习率，一般在网络模型中的每一层都会定义两个名称为“lr_mult”的学习率系数，这个学习率系数乘上基础学习率（base_lr*lr_mult）才是最终的学习率2. momentum：冲量单元是梯度下降法中一种常用的加速技术，作用是有助于训练过程中逃离局部最小值，使网络能够更快速的收敛，具体的值是经过反复的迭代调试获得的经验值3. weight_decay：权值衰减的设置是为了防止训练出现过拟合，在损失函数中，weight_decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度。weight_decay可以调节 模型复杂度对损失函数的影响，提高模型的泛化能力*/# The base learning rate, momentum and the weight decay of the network.base_lr: 0.01momentum: 0.9weight_decay: 0.0005/*学习率修改策略以上设置的是初始学习率参数，在训练过程中，依据需要，可以不断调整学习率的参数，调整的策略是通过lr_policy定义的lr_policy可以设置为下面这些值，相应的学习率的计算为：- fixed:　　 保持base_lr不变.- step: 　　 如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数- exp:   　　返回base_lr * gamma ^ iter， iter为当前迭代次数- inv:　　    如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)- multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据stepvalue值变化- poly: 　　  学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)- sigmoid:　学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))*/# The learning rate policylr_policy: "inv"gamma: 0.0001power: 0.75//每迭代100次显示一次执行结果# Display every 100 iterationsdisplay: 100//最大迭代次数# The maximum number of iterationsmax_iter: 10000//生成中间结果，记录迭代5000次之后结果，定义caffeModel文件生成路径# snapshot intermediate resultssnapshot: 5000snapshot_prefix: "D:/Software/Caffe/caffe-master/examples/mnist/lenet"//运行模式，CPU或者GPU# solver mode: CPU or GPUsolver_mode: GPU

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss
2、调用backward算法来计算每层的梯度
3、根据选用的slover方法，利用梯度进行参数更新
4、记录并保存每次迭代的学习率、快照，以及对应的状态。

可以设定网络经过多少次迭代训练之后去评价当前的网络。