浅析深度学习中优化方法
来源:互联网 发布:淘宝上的皇冠可信吗 编辑:程序博客网 时间:2024/06/06 20:09
目前而言,深度学习是机器学习的发展前沿,一般针对大数据量的学习目标。其优化方法来源于基本的机器学习的优化方法,但也有所不同。
下面,小结一下,其基础是随机梯度下降的方法,但是为了学习的自适应性,做了如下改进:1. 因为每次训练的数据不一样,可能导致目标函数的梯度变化剧烈,为了解决这个问题,联合上次迭代的梯度和当前梯度,使梯度变化变缓(指数衰减);2. 在学习过程中,当迭代结果接近最优值时,我们需要学习率(即步长)越来越小,去逼近最优值,要不然会出现震荡情况导致网络不收敛。为了解决这个问题,引入学习率自适应减小机制。
参考资料:
1) Ruder, An overview of gradient descent optimization algorithms http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentoptimizationalgorithms
2) https://climin.readthedocs.org/en/latest/#optimizer-overview
3) Schaul, Antonoglou, Silver, Unit Tests for Stochastic Optimization
4) Sutskever, Martens, Dahl, and Hinton, “On the importance of initialization and momentum in deep learning” (ICML 2013)
5) Dyer, “Notes on AdaGrad”
6) Duchi, Hazan, and Singer, “Adaptive Subgradient Methods for Online Learning and Stochastic Optimization” (COLT 2010)
7) Hinton, Srivastava, and Swersky, “rmsprop: Divide the gradient by a running average of its recent magnitude”
8) Dauphin, Vries, Chung and Bengion, “RMSProp and equilibrated adaptive learning rates for non-convex optimization”
9) Graves, “Generating Sequences with Recurrent Neural Networks”
10) Zeiler, “Adadelta: An Adaptive Learning Rate Method”
11) Kingma and Ba, “Adam: A Method for Stochastic Optimization”
12)http://colinraffel.com/wiki/stochastic_optimization_techniques 1 0
- 浅析深度学习中优化方法
- 深度学习中优化方法总结
- 深度学习优化方法
- 【深度学习】优化方法
- 深度学习优化方法
- 深度学习优化方法比较
- 深度学习优化方法总结
- 深度学习中的优化方法
- 深度学习常用优化方法
- 项俊平:深度强化学习的交通信号优化控制浅析
- 深度学习 训练优化方法讲述
- 深度学习caffe:最优化方法
- 深度学习各种优化方法比较
- 深度学习实践向之优化方法
- 深度学习笔记:优化方法总结
- 机器学习&深度学习浅析
- 深度学习基本模型浅析
- 深度学习——sgd等优化方法比较
- 安装mariadb碰到的一个问题
- 设计模式六大原则(4):接口隔离原则
- Mac显示或隐藏默认隐藏的文件
- Windows7系统安装Oracle11g R2图解
- destoon建立新的模块
- 浅析深度学习中优化方法
- 新益技术推出整车天线测试方案 助推行业发展
- hive简介
- 学习js高程
- template<class T>函数模板
- Sublime Text 3常用插件安装
- linux硬盘检测健康状态
- Spark编程指南入门之Java篇六-RDD持久化介绍
- 线程堆栈