Caffe base_lr递减

来源:互联网 发布:php location延时跳转 编辑:程序博客网 时间:2024/05/15 11:40

首先调整 test_iter, TRAIN_ batch_size, TEST_ batch_size  的值,使得GPU Load的值在97%,98%左右。


从0.1递减:base_lr: 0.1 ,   base_lr: 0.05,  base_lr: 0.01

使得GPU Load的值在97%,98%左右


base_lr越大,loss下降的越快;

base_lr: 0.1:     太大,           loss会恒等于87不变,   准确率保持和猜的一样, 例如此处是10分类,那准确率就保持0.1左右不变

base_lr: 0.05:  不是太大,    loss会恒等于87不变,   准确率保持和猜的一样

base_lr: 0.01:  合适,             loss会递减,                   准确率递增



(1) base_lr: 0.1




(2) base_lr: 0.05




(3) base_lr: 0.01