学习深度学习心得

１．开始不要学习封装的很好的大库，caffe, torch7. 而要学习高人的scrip scratch.因为封装的很好的库已经把细节隐藏了，而我们开始要学习的就是这个细节。

2. 当训练损失，不再降了，才能降低lr。我尝试很多resnet18,自己修改结构，在cifar10, 5000次迭代降lr/10，batchsize 128, 结果准确率只有60%多，后来发现是lr 降低太早了,改成30000次就好了。