深度学习——PReLU激活
来源:互联网 发布:上海通联数据股份公司 编辑:程序博客网 时间:2024/05/21 05:56
本次介绍PReLU激活函数,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.
- PReLU激活
- PReLU的几点说明
PReLU激活
PReLU(Parametric Rectified Linear Unit), 顾名思义:带参数的ReLU。二者的定义和区别如下图:
如果ai=0,那么PReLU退化为ReLU;如果ai是一个很小的固定值(如ai=0.01),则PReLU退化为Leaky ReLU(LReLU)。 有实验证明,与ReLU相比,LReLU对最终的结果几乎没什么影响。
PReLU的几点说明
(1) PReLU只增加了极少量的参数,也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的,当不同channels使用相同的ai时,参数就更少了。
(2) BP更新ai时,采用的是带动量的更新方式,如下图:
上式的两个系数分别是动量和学习率。
需要特别注意的是:更新ai时不施加权重衰减(L2正则化),因为这会把ai很大程度上push到0。事实上,即使不加正则化,试验中ai也很少有超过1的。
(3) 整个论文,ai被初始化为0.25。
2 0
- 深度学习——PReLU激活
- 深度学习——PReLU激活
- 深度学习基础(十二)—— ReLU vs PReLU
- 深度学习——激活函数
- 深度学习——激活函数Sigmoid/Tanh/ReLU
- 深度学习总结(二)——激活函数的介绍
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习 激活函数
- PReLU
- 机器学习/深度学习测试题(一) —— 单层感知器的激活函数
- 深度学习caffe:激活函数
- 深度学习中激活函数
- 深度学习之激活函数
- 深度学习中的激活函数
- 深度学习常用激活函数
- C++实验5-求和
- MySQL学习7:操作数据表(一)
- 需要读读的博客文章
- IOS的三种定时器 GCD CADisplayLink NSTimer
- java Swing布局管理之GridLayout布局
- 深度学习——PReLU激活
- 位运算总结
- JAVA中的循环
- 误改sudoers的访问权限后的修复
- 左移与右移
- PageRank算法
- 程序猿每天积累的点点滴滴
- 设计模式(8)--Ioc模式
- Android中activity之间如何传递Hashmap数据