《深度学习Ng》课程学习笔记02week2——优化算法
来源:互联网 发布:网络数据传输方式 编辑:程序博客网 时间:2024/06/06 03:22
http://blog.csdn.net/u011239443/article/details/78066082
2.1 Mini-batch 梯度下降法
2.2 理解 mini-batch 梯度下降法
2.3 指数加权平均
对温度做指数加权平均曲线:
β = 0.98 时,会得到更加平缓的曲线,如图绿色。
β = 0.5 时,会得到更加波动的曲线,如图黄色。
2.4 理解指数加权平均
2.5 指数加权平均的偏差修正
当在训练刚刚开始的时候,v会很小,为了修正这种偏差,我们可以使用以下方法:
2.6 动量梯度下降法(momentun)
梯度下降中,随着迭代次数的增加,我们需要将变化的幅度越来越小。这就使用到了动量梯度下降法:
之所以叫动量梯度下降法,是因为从另外一个角度看,是在改变下降的速度:
v’ = 摩擦力影响比率*原来速度v + 加速
2.7 RMSprop
2.8 Adam 优化算法
Adam 就是 momentun 和 RMSprop的结合:
2.9 学习率衰减
减小幅度还可以用学习率衰减:
2.10 局部最优的问题
当特征维度非常大时,我们的最优化问题通常不是一个局部极小点或者局部极大点,而是鞍点。
当 Hessian 是正定的(所有特征值都是正的),则该临界点是局部极小点。当 Hessian 是负定的(所有特征值都是负的),这个点就是局部极大点。在多维情况下,实际上我们可以找到确定该点是否为鞍点的积极迹象(某些情况下)。如果 Hessian 的特征值中至少一个是正的且至少一个是负的,那么 x 是 f 某个横截面的局部极大点,却是另一个横截面的局部极小点。
走去鞍点的平缓区的方法是使用如Adam、momentun 和 RMSprop算法。
阅读全文
0 0
- 《深度学习Ng》课程学习笔记02week2——优化算法
- 《深度学习Ng》课程学习笔记01week2——神经网络基础
- 《深度学习Ng》课程学习笔记03week2——机器学习(ML)策略(2)
- 《深度学习Ng》课程学习笔记02week1——深度学习的实用层面
- 《深度学习Ng》课程学习笔记01week1——深度学习概论
- 《深度学习Ng》课程学习笔记01week3——浅层神经网络
- 《深度学习Ng》课程学习笔记01week4——深层神经网络
- 《深度学习Ng》课程学习笔记02week3——超参数调试、Batch正则化和程序框架
- 机器学习笔记week2(Andrew NG)
- Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式)
- 《深度学习Ng》课程学习笔记03week1——机器学习(ML)策略(1)
- 机器学习——Andrew NG老师课程学习笔记
- Coursera上的Andrew Ng《机器学习》学习笔记Week2
- Andrew NG 深度学习课程笔记:神经网络、有监督学习与深度学习
- Andrew Ng机器学习课程笔记--week10--优化梯度下降
- Andrew NG深度学习专业化课程介绍
- Andrew Ng 深度学习课程小记
- Andrew NG 机器学习 笔记-week2-多变量线性回归
- js控制文本框输入的值
- PAT 甲级 1023. Have Fun with Numbers (20)
- 【面向CSS--2.基础部分】
- C++动态规划之清帝之惑之顺治
- Java 生成随机中文、英文姓名(下)
- 《深度学习Ng》课程学习笔记02week2——优化算法
- spring security3.x学习(3)_初探过滤器机制和auto-config用法
- kali2017 shadowsocks-qt5 安装
- 【计算机动画】实验 路径曲线与运动物体控制 设计
- 1014. 福尔摩斯的约会 (20)
- python使用epoll实现的服务端例子
- mysql-5.7.17.msi SQLServer安装流程
- docker和docker-machine的安装
- (一)Jenkins小白入门:下载-安装-配置-构建