DeepLearning:三、神经网络
来源:互联网 发布:未来的大数据 编辑:程序博客网 时间:2024/06/05 15:16
目录
- 生物神经元
- 神经网络概述
- 神经网路模型
本文主要的内容来源于UFLDL Tutorial
[1] ,这个教程中的内容很详细,我将这个教程摘抄下来,并补充一些东西以及自己的理解。这篇教程还是有点难度的,建议先把逻辑回归的公式推导一遍再来看神经网络。
生物神经元[2]
神经系统的基本结构和功能单位是神经细胞,即神经元(neurons)。无脊椎动物和脊椎动物的神经元形态相似,都是由细胞体和从细胞延伸的突起所组成。神经元之间通过突触传递信息,其中化学突触的突出前膜释放的是神经递质(neurotransimitters),它进入突触间隙后,运动至突触后膜,与特异性受体结合引起突触后神经元的兴奋或抑制。因此,神经递质起着神经调节的作用,它是神经元合成的化学物质,起着传导信息的作用。而神经网络的结构与生物神经的结构十分的相似。
神经网络概述
以监督学习为例,假设我们有训练样本集
为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示(有没有感觉与上面):
这个“神经元”是一个以
可以看出,这个单一“神经元”的输入-输出映射关系其实就是一个逻辑回归(logistic regression)。
这个教程中采用sigmoid函数,但是也有其他激活函数可以选择,这里列出部分:
双曲正切函数(tanh),
tanh(z) 函数是sigmoid函数的一种变体,它的取值范围为[−1,1] ,而不是sigmoid函数的[0,1] 。:ReLu,这个应用的比较多,效果比较好。DeepLearning中大部分的案例都是使用这个激活函数的。(下图的蓝色部分)
max(0,x) Softplus,Softplus函数是Logistic-Sigmoid函数原函数。可以看作是强制非负校正函数
max(0,x) 平滑版本。(下图中绿色部分线条)Softplus(x)=log(1+ex) 注意,与其它地方(包括OpenClassroom公开课以及斯坦福大学CS229课程)不同的是,这里我们不再令 \textstyle x_0=1 。取而代之,我们用单独的参数 \textstyle b 来表示截距。
神经网络模型
所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:
我们使用圆圈来表示神经网络的输入,标上“
我们用
我们用
我们用
这样我们就可以得到一种更简洁的表示法。这里我们将激活函数
我们将上面的计算步骤叫作前向传播。回想一下,之前我们用
将参数矩阵化,使用矩阵-向量运算方式,我们就可以利用线性代数的优势对神经网络进行快速求解。
目前为止,我们讨论了一种神经网络,我们也可以构建另一种结构的神经网络(这里结构指的是神经元之间的联接模式),也就是包含多个隐藏层的神经网络。最常见的一个例子是
神经网络也可以有多个输出单元。比如,下面的神经网络有两层隐藏层:
要求解这样的神经网络,需要样本集
参考资料
- http://deeplearning.stanford.edu/wiki/index.php/Neural_Networks
- http://www.cnblogs.com/freyr/p/4516941.html
- 深度学习-LeCun、Bengio和Hinton的联合综述
- DeepLearning:三、神经网络
- DeepLearning工具Theano学习记录(三) CNN卷积神经网络
- DeepLearning:四、BP神经网络
- deeplearning.ai-卷积神经网络
- deeplearning.ai之卷积神经网络
- deeplearning系列(一)浅层神经网络
- deeplearning系列(二)自编码神经网络
- deeplearning系列(六)卷积神经网络
- DeepLearning:五、BP神经网络in python
- [deeplearning-002] 单节点神经网络推导
- [deeplearning-008] convertional neural networks卷积神经网络
- 吴恩达DeepLearning-course1-神经网络和深度学习
- deeplearning.ai之神经网络和深度学习
- DeepLearning (六) 学习笔记整理:神经网络以及卷积神经网络
- 神经网络三
- deeplearning
- deeplearning
- deeplearning
- 手机端打开miracast
- 40. Combination Sum II [Not solved]
- Java学习提要——字符串连接
- Android环境搭建
- 垃圾陷阱(模拟\dp)
- DeepLearning:三、神经网络
- 93. Restore IP Addresses
- Leetcode - Brainteaser - 319. Bulb Switcher(规律题)
- Android TextView、EditText字符过滤-InputType详解
- FZU 2141 Sub-Bipartite Graph 贪心
- iOS 指定压缩大小(UIImage扩张)--Swift/OC版
- It Can Be Arranged
- Android中的几种多线程实现
- poj 1458 Common Subsequence (LCS模版题)