Cafffe中的激活函数
来源:互联网 发布:喜马拉雅网络加载失败 编辑:程序博客网 时间:2024/06/07 21:14
转载自:http://blog.csdn.net/u012177034/article/details/52165913?locationNum=9
激活函数的起源是希望该函数能够对神经元进行建模,进而起到对输入的数据进行非线性响应的过程。
常用的激活函数
激活函数应该具有的性质:
(1)非线性。线性激活层对于深层神经网络没有作用,因为其作用以后仍然是输入的各种线性变换。。
(2)连续可微。梯度下降法的要求。
(3)范围最好不饱和,当有饱和的区间段时,若系统优化进入到该段,梯度近似为0,网络的学习就会停止。
(4)单调性,当激活函数是单调时,单层神经网络的误差函数是凸的,好优化。
(5)在原点处近似线性,这样当权值初始化为接近0的随机值时,网络可以学习的较快,不用可以调节网络的初始值。
目前常用的激活函数都只拥有上述性质的部分,没有一个拥有全部的~~
(1)Sigmoid函数
目前已被淘汰
缺点:
(2)Tanh函数
(3)ReLU函数
优点:
缺点:
如果后层的某一个梯度特别大,导致W更新以后变得特别大,导致该层的输入<0,输出为0,这时该层就会‘die’,没有更新。当学习率比较大时可能会有40%的神经元都会在训练开始就‘die’,因此需要对学习率进行一个好的设置。
由优缺点可知
(4)Leaky ReLU函数
改善了ReLU的死亡特性,但是也同时损失了一部分稀疏性,且增加了一个超参数,目前来说其好处不太明确
(5)Maxout函数
真实使用的时候最常用的还是ReLU函数,注意学习率的设置以及死亡节点所占的比例即可
Caffe中激活函数的设置都比较简单,不在赘述~~~
阅读全文
0 0
- Cafffe中的激活函数
- cafffe中常用 blas 函数
- 神经网络中的激活函数
- 神经网络中的激活函数
- 神经网络中的激活函数
- tensorflow中的激活函数
- 神经网络中的激活函数
- 浅析神经网络中的激活函数
- 深度学习中的激活函数
- 深度学习中的激活函数
- 神经网络中的各种激活函数
- 8、TensorFlow 中的激活函数
- caffe中的激活函数代码解析
- 激活函数在神经网络中的功能
- 深度学习中的激活函数导引
- 深度学习中的激活函数导引
- 深度学习中的激活函数对比
- 深度学习:神经网络中的激活函数
- 微信小程序实例:创建下发模板消息实例
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- 华为AR-1200-S 路由器拨号上网不能正常访问网页的问题解决
- 点击Launcher重启问题
- 通读cheerio API
- Cafffe中的激活函数
- DB2基本命令操作
- 3月错题盘点
- 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系
- DWR框架实现服务器推送时的一个小问题
- 干货 | 36个大数据文档PDF开放下载
- 21、shell编程简介
- 高德地图,百度地图坐标系GPS的转化
- Koltin简明学习,解构声明