caffe学习笔记26-ReLU的有效性
来源:互联网 发布:mysql 事物引擎 编辑:程序博客网 时间:2024/05/06 11:24
ReLU的有效性体现在两个方面:
1.克服梯度消失的问题
2.加快训练速度
而这两个方面是相辅相成的,因为克服了梯度消失问题,所以训练才会快。其中有一段特别精彩的话引用在下面:
1.几十年的机器学习发展中,我们形成了这样一个概念:非线性激活函数要比线性激活函数更加先进。
2.尤其是在布满Sigmoid函数的BP神经网络,布满径向基函数的SVM神经网络中,往往有这样的幻觉,非线性函数对非线性网络贡献巨大。
3.该幻觉在SVM中更加严重。核函数的形式并非完全是SVM能够处理非线性数据的主力功臣(支持向量充当着隐层角色)。4.那么在深度网络中,对非线性的依赖程度就可以缩一缩。另外,在上一部分提到,稀疏特征并不需要网络具有很强的处理线性不可分机制。
综合以上两点,在深度学习模型中,使用简单、速度快的线性激活函数可能更为合适。
0 0
- caffe学习笔记26-ReLU的有效性
- caffe深度学习网络relu层代码注释
- DeepLearning学习笔记之ReLU函数
- Caffe学习笔记一 Caffe的结构
- 深度学习笔记(4)——Sigmoid和Relu激活函数的对比
- caffe源码 之 Relu层
- tensorflow学习笔记(二十七):leaky relu
- caffe学习系列四Sigmod、Tanh、ReLU等Layer源码分析
- caffe学习笔记4-caffe安装需要注意的libraries
- caffe学习笔记2--caffe的文件结构
- caffe学习笔记3.1 -- caffe的三级结构
- caffe学习笔记1.1-- caffe的Makefile文件
- caffe学习笔记--写一个运行caffe.cpp的makefile
- Caffe学习笔记二 mnist的使用
- caffe学习笔记--5---matlab的可视化
- 计算广告学习笔记1.2 广告的基础知识-广告的有效性模型
- 计算广告学习笔记1.2 广告的基础知识-广告的有效性模型
- caffe中对6种激活函数类的封装--ReLu
- Process类使用
- 【问题分析】Android 5.0版本SystemUI反复发生ANR crash
- Maven快速镜像(大幅提高下载速度)
- Java中compareTo()方法在不同字符串的各种情况
- 隐含参数_db_block_numa
- caffe学习笔记26-ReLU的有效性
- 如何学习Windows编程
- 类成员函数的重载、覆盖和隐藏区别?
- swift中比较字符串
- java的编译机制
- 一些重要但琐碎的知识点
- Array-Leetcode
- 1.Javascript语法-运算符(1)
- json的学习笔记_json必知必会