caffe的python接口学习(2):生成solver文件
来源:互联网 发布:css和php哪个好 编辑:程序博客网 时间:2024/04/28 00:17
转载原文地址:http://www.cnblogs.com/denny402/p/5679154.html
caffe在训练的时候,需要一些参数设置,我们一般将这些参数设置在一个叫solver.prototxt的文件里面,如下:
base_lr: 0.001display: 782gamma: 0.1lr_policy: “step”max_iter: 78200momentum: 0.9snapshot: 7820snapshot_prefix: “snapshot”solver_mode: GPUsolver_type: SGDstepsize: 26067test_interval: 782test_iter: 313test_net: “/home/xxx/data/val.prototxt”train_net: “/home/xxx/data/proto/train.prototxt”weight_decay: 0.0005
有一些参数需要计算的,也不是乱设置。
假设我们有50000个训练样本,batch_size为64,即每批次处理64个样本,那么需要迭代50000/64=782次才处理完一次全部的样本。我们把处理完一次所有的样本,称之为一代,即epoch。所以,这里的test_interval设置为782,即处理完一次所有的训练数据后,才去进行测试。如果我们想训练100代,则需要设置max_iter为78200.
同理,如果有10000个测试样本,batch_size设为32,那么需要迭代10000/32=313次才完整地测试完一次,所以设置test_iter为313.
学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代78200次,我们将变化lr_rate三次,所以stepsize设置为78200/3=26067,即每迭代26067次,我们就降低一次学习率。
下面是生成solver文件的python代码,比较简单:
# -*- coding: utf-8 -*-"""Created on Sun Jul 17 18:20:57 2016@author: root"""path='/home/xxx/data/'solver_file=path+'solver.prototxt' #solver文件保存位置sp={}sp['train_net']=‘“’+path+'train.prototxt”' # 训练配置文件sp['test_net']=‘“’+path+'val.prototxt”' # 测试配置文件sp['test_iter']='313' # 测试迭代次数sp['test_interval']='782' # 测试间隔sp['base_lr']='0.001' # 基础学习率sp['display']='782' # 屏幕日志显示间隔sp['max_iter']='78200' # 最大迭代次数sp['lr_policy']='“step”' # 学习率变化规律sp['gamma']='0.1' # 学习率变化指数sp['momentum']='0.9' # 动量sp['weight_decay']='0.0005' # 权值衰减sp['stepsize']='26067' # 学习率变化频率sp['snapshot']='7820' # 保存model间隔sp['snapshot_prefix']=‘"snapshot"’ # 保存的model前缀sp['solver_mode']='GPU' # 是否使用gpusp['solver_type']='SGD' # 优化算法def write_solver(): #写入文件 with open(solver_file, 'w') as f: for key, value in sorted(sp.items()): if not(type(value) is str): raise TypeError('All solver parameters must be strings') f.write('%s: %s\n' % (key, value))if __name__ == '__main__': write_solver()
执行上面的文件,我们就会得到一个solver.prototxt文件,有了这个文件,我们下一步就可以进行训练了。
当然,如果你觉得上面这种键值对的字典方式,写起来容易出错,我们也可以使用另外一种比较简便的方法,没有引号,不太容易出错,如下:
# -*- coding: utf-8 -*-from caffe.proto import caffe_pb2s = caffe_pb2.SolverParameter()path='/home/xxx/data/'solver_file=path+'solver1.prototxt's.train_net = path+'train.prototxt's.test_net.append(path+'val.prototxt')s.test_interval = 782 s.test_iter.append(313) s.max_iter = 78200 s.base_lr = 0.001 s.momentum = 0.9s.weight_decay = 5e-4s.lr_policy = 'step'
s.stepsize=26067s.gamma = 0.1s.display = 782s.snapshot = 7820s.snapshot_prefix = 'shapshot's.type = “SGD”s.solver_mode = caffe_pb2.SolverParameter.GPUwith open(solver_file, 'w') as f: f.write(str(s))
0 0
- caffe的python接口学习(2):生成solver文件
- caffe的python接口学习(2):生成solver文件
- caffe的python接口学习(2):生成solver文件
- caffe的python接口学习(2):生成solver文件
- 【caffe】caffe的python接口学习:生成solver文件
- [caffe的python接口学习三]:生成solver文件
- caffe for windows的python接口学习(5):生成solver文件
- Caffe——python接口学习(2):生成solver文件
- caffe的python接口学习(5):生成deploy文件
- caffe的python接口学习(5):生成deploy文件
- caffe的python接口学习(5):生成deploy文件
- caffe的python接口学习(5):生成deploy文件
- 【用Python学习Caffe】5. 生成solver文件
- caffe的solver文件参数详解--caffe学习(2)
- caffe的 MATLAB和python接口学习:生成deploy文件
- caffe的python接口学习(1):生成配置文件
- caffe的python接口学习(1):生成配置文件
- caffe的python接口学习(1):生成配置文件
- word中插入Excel形式的文件附件
- GYM 100247 K. Three Contests(CDQ)
- 堆排序
- 129. Sum Root to Leaf Numbers (A good example to compare to Styles to solve tree problems)
- JVM内存管理
- caffe的python接口学习(2):生成solver文件
- linux 非常用命令总结
- Oracle--水位线
- excel中的快速填充F5/Ctrl+G
- 借助sentinel 实现redis集群HA配置
- 桶式排序
- C语言截取科目号字符串
- Android时间同步流程
- 错误次数超过4次锁定2分钟