学习笔记一:learning rate,weight decay和momentum的理解
来源:互联网 发布:淘宝代写作业 编辑:程序博客网 时间:2024/05/17 02:18
Learning Rate
学习率决定了权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率,因此后面3种参数都是基于自适应的思路提出的解决方案。后面3中参数分别为:Weight Decay 权值衰减,Momentum 动量和Learning Rate Decay 学习率衰减。
Weight decay
在实际应用中,为了避免网络的过拟合,必须对价值函数(Cost function)加入一些正则项,在SGD中加入这一正则项对这个Cost function进行规范化:
上面这个公式基本思想就是减小不重要的参数对最后结果的影响,网络中有用的权重则不会收到Weight decay影响。
在机器学习或者模式识别中,会出现overfitting,而当网络逐渐overfitting时网络权值逐渐变大,因此,为了避免出现overfitting,会给误差函数添加一个惩罚项,常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。
Momentum
动量来源于牛顿定律,基本思想是为了找到最优加入“惯性”的影响,当误差曲面中存在平坦区域,SGD就可以更快的学习。
Learning Rate Decay
该方法是为了提高SGD寻优能力,具体就是每次迭代的时候减少学习率的大小。
点击这里:Difference between neural net weight decay and learning rate
weight decay(权值衰减)的使用既不是为了提高收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
normalization(batch normalization)。batch normalization的是指在神经网络中激活函数的前面,将按照特征进行normalization,这样做的好处有三点:
- 提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
- 提升学习速率。归一化后的数据能够快速的达到收敛。
- 减少模型训练对初始化的依赖。
关于网络调参,那就是经验。提供的资料:链接:http://pan.baidu.com/s/1pLtqfhT 密码:tkgp
转载博客:http://blog.csdn.net/AMDS123/article/details/69621688
- 学习笔记一:learning rate,weight decay和momentum的理解
- 超参数简单理解-->learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- Caffe中learning rate 和 weight decay 的理解
- Caffe中learning rate 和 weight decay 的理解
- Caffe中learning rate 和 weight decay 的理解
- learning rate 和weight decay
- 优化方法,一些重要参数learning rate,weight decay,momentum,learing rate decay
- weight decay and learning rate
- Tensorflow学习率的learning rate decay
- pytorch学习笔记(十):learning rate decay(学习率衰减)
- pytorch学习笔记(十):learning rate decay(学习率衰减)
- tensorflow学习笔记(三十六):learning rate decay
- 超参数momentum与weight-decay的作用
- 【deeplearning.ai笔记第二课】2.3 学习率衰减(learning rate decay),局部极小值和鞍点
- CNN:weight decay,momentum,batch normalization
- java编写创建json,将json数据转换成xml,ftp发送到服务器
- 网关及网关作用
- 计算连通区域的像素点个数,找目标圆点
- C#中将字符串转成大写或者小写的函数
- node
- 学习笔记一:learning rate,weight decay和momentum的理解
- JavaSE基础
- 新能源汽车补贴政策再调整,补贴几十亿依旧不给力
- [Idea] 如何快速将idea[快捷键]转化成Eclipse风格
- 万树IT:程序员的几种不同阶段
- ios wireshark 抓包
- 我的Java学习第一本书
- jsp基础大全
- 非常好的一篇对linux信号(signal)的解析 (转载)