CNN中,weigh decay 的作用,momentum的作用,BN层的作用
来源:互联网 发布:淘宝怎么测图 编辑:程序博客网 时间:2024/06/03 19:03
作者:陈永志
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
阅读全文
0 0
- CNN中,weigh decay 的作用,momentum的作用,BN层的作用
- 超参数momentum与weight-decay的作用
- CNN中pooling层的作用
- 深度学习中momentum的作用
- 深度学习中momentum的作用
- 深度学习中momentum的作用
- tensorflow: bn层 的 decay参数项
- CNN—pooling层的作用
- CNN中Max Pooling的作用
- service层的作用
- 三层架构中Model层的作用?
- SSH框架中service层的作用
- DXP中PCB各层的作用
- CNN中1×1的卷积核的作用
- CNN中特征映射层(S2)有特征提取层(C3)特征映射是怎么作用的
- 作用域::的作用
- 作用域的作用
- tcp层的作用,ip层的作用
- Android 中 %s %d %f占位符使用
- LinkedList源代码分析(基于JDK1.8)
- OCRmypdf安装部署深入详解
- 基于Dji M600-PRO的Onboard-SDk-ROS入门应用之———航点记录与自主飞行
- 用python-pandas作图矩阵
- CNN中,weigh decay 的作用,momentum的作用,BN层的作用
- 如何创建C++程序
- 校外北邮VPN使用
- JZOJ2017.08.07 C组
- java单例模式
- linux 上安装和设置mvn
- UVa 11059 最大乘积(水)
- zookeeper 二: snap file和配置
- 简单dp训练1