Caffe学习笔记（2）优化算法的选择

优化算法的选择

参考：

1、http://blog.csdn.net/u014595019/article/details/52989301

caffe中的优化算法有以下六中可选项，他们分别是

1. SGD
2. AdaDelta
3. AdaGrad
4. Adam
5. Nesterov
6. RMSProp

1、SGD

SGD全名 stochastic gradient descent， 即随机梯度下降。

不过这里的SGD其实跟MBGD(minibatch gradient descent)是一个意思,即随机抽取一批样本,以此为根据来更新参数.

4、Adam（貌似说是比较不错的方式，推荐使用）

参考自：http://www.sohu.com/a/156495506_465975

Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for Stochastic Optimization）中提出的。

------------------------持续待更新------------------------