十二、人工神经元的其他模型(tanh、ReLU)
来源:互联网 发布:qt 5编程入门pdf下载 编辑:程序博客网 时间:2024/04/29 20:37
本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记,因此在全文中对它们多次引用。初出茅庐,学艺不精,有不足之处还望大家不吝赐教。
欢迎大家在评论区多多留言互动~~~~
理论上讲S型神经元构建起来的神经网络可以计算任意函数,但实践中使用其他神经元有时效果会好于S型神经元。对于不同的应用,其他类型的神经元组成的神经网络可能学习得更快或者在测试机上泛化的更好。
1. tanh 神经元
tanh [‘tæn] 神经元使用双曲正切(hyperbolic tangent)函数替换了 S 型函数,即
进行简单的代数运算,我们可以得到
因此可以将 tanh 神经元看作是 S 型神经元按比例变化的版本。
绘制出tanh 神经元的形状如图1
图 1. tanh 神经元的图像
tanh 神经元与 S 型神经元之间的一个差异就 tanh 神经元的输出的值域是
存在一些理论论点和实践证据表明 tanh 有时候表现更好。从启发式的角度考虑,假设现在只考虑
2. ReLU
修正线性神经元(rectified linear neuron)或者修正线性单元(rectified linear unit),简记为 ReLU。输入为
该函数的图像如图2
图 2. ReLU 神经元的图像
虽然函数形状与之前的两种神经元的形状不同,但是 ReLU 也可以计算任意函数,采用反向传播方法和随机梯度下降的方法。
从启发性的角度考虑这种神经元的优点主要在于两点。首先提高 ReLU 的权值输入并不会导致其饱和,所以就不存在前面那样的学习速度下降。另外,当权值输入是负数的时候,梯度就消失了,所以神经元就完全停止了学习。
3. 小节
只是在某些论文上有关于某一种神经元适合某一种应用的讨论,具体如何根据所面临的问题仍是一个待研究的问题。
- 十二、人工神经元的其他模型(tanh、ReLU)
- 人工神经网络中的activation function的作用以及ReLu,tanh,sigmoid激励函数的区别
- 请问人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?
- 人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?
- ReLU Sigmoid and Tanh
- 人工神经元
- 神经元与人工神经元
- 人工神经元网络
- 一次面试引发的问题:激活函数Relu,sigmoid ,tanh的角逐
- 常用的激活函数总结(Sigmoid函数、Tanh函数、ReLu函数、Softmax函数)
- sigmoid、tanh、softplus和ReLu激活函数
- sigmod函数tanh函数ReLU函数
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- ReLU Sigmoid and Tanh(2)
- 激活函数-Sigmoid,Tanh,ReLu,softplus,softmax
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- 人工神经网络之激活函数 -tanh函数
- 人工神经网络的典型模型
- Swift 中的集合 (Set)
- jersey实现rest入门实例
- 链表基本操作
- java 小数精度相关
- 收获,不止SQL优化——抓住SQL的本质--第十四章
- 十二、人工神经元的其他模型(tanh、ReLU)
- python random模块学习笔记
- 更改gcc默认版本(gcc版本降级/升级)
- 2018美团点评内推笔试编程题1
- 什么是I帧,P帧,B帧
- Spring+SpringMVC的整合 具体的开发步骤和xml文件配置
- 最简单 Viewpager 滑动页面
- Conda: Myths and Misconceptions (Conda之谬见与误解,兼论与pip的异同,本文为上篇)
- 实现:每个月的1到5日,提醒客户填写计划