BP算法详解
来源:互联网 发布:前后端分离 知乎 编辑:程序博客网 时间:2024/05/28 05:13
预先说明
由于有些人实在太蠢,没办法只能加上这一段。首先,这里面什么看成变量,什么看成常量。
变量:网络的权值W(偏置b默认在W内。)以及输入X。
常量:就是target
你可能会说呃呃呃,不是输入都是有值得吗,不都是数吗,怎么会是变量啊。。我还能说什么呢?一般来说网络的反向传播就是两种类型。一种是更新网络权值W,这是属于常规的,一种是更新输入X。 不管哪种情况,我们都要把W和X看成变量,才能有反向传播。
推导过程中,W和X都是变量,输出是W和X的函数。
字母说明
W(l)ij :第l 层到第l+1 层的权值,并且是l 层的第j 个单元到l+1 层的第i 个单元的权值。Z(l)i :第l 层的第i 个结点的输入和。
显然Z(l)i=∑s(l−1)j=0Wl−1ijxj , 其中sl−1 代表l−1 层的结点个数(不计算偏置单元)。可以这样说,第0个单元是偏置,1~s(n−1) 是权重项。a(l)i :表示第l 层的第i 个结点的激活值,就是下面说的out的输出,或是说a=f(net) ,写成a=f(z) 也是一样的。δ(l)i : 叫做“残差”,这里表示第l 层的第i 个节点的残差。这个非常重要,残差的定义就是——总的代价函数对于某个节点的“net”的偏导。注意的是这里的“net”指的是W*x+b这样的函数结构。可以这样看网络:
现在只需要看每个结点是如何处理数据的。不要看箭头,可以看到,h1和h2再加上“1”共三个结点输入,构成输入x⃗ , 而相应的权值W⃗ 是w5 ,w6 ,b2 , 也就是说W⃗ ∗x⃗ 就是这里的“net”,然后“out”是指激活后的值,就是f(net) .残差就是∂E∂net ,*不是∂E∂out 哦!
BP算法细节
参数说明:假设有n层。J表示代价函数,和上面的E是同样的意思,只不过用不同的字母写而已。
1: 首先当然是正向计算咯,分别求出
2: 对于第n层(最后一层是特殊的,必须单独拿出来)每个输出单元
注意:这里最后乘上了对“net”的导,如果是用sigmoid的函数的话,根据
3: 从倒数第二层开始,也就是说
分析:要想知道第
4: 你可能会说要残差干嘛?当然是计算
只要:
结论:求J对“结点j到i的线路”的导数,求出后者i的残差,然后乘以这条线路的流量即可。
分析:其实是这样的,
请仔细看上面的公式,好好理解。
残差的定义就是
注意,第
最后一个问题,为啥
慢慢看,看懂问题不大。
编码
- 进行前馈传导计算,利用前向传导公式,得到
L2,L3,… 直到输出层Ll 的激活值。 - 对输出层(第
l 层),计算:δ(nl)=−(y−a(nl))∙f′(z(nl))
- 对于
l=nl−1,nl−2,nl−3,…,2 的各层,计算:δ(l)=((W(l))Tδ(l+1))∙f′(z(l))
- 计算最终需要的偏导数值:
∇W(l)J(W,b;x,y)=δ(l+1)(a(l))T,∇b(l)J(W,b;x,y)=δ(l+1).
最后说明一点,BP传播,计算各层的各点的残差是关键,残差是总的代价函数对于该点的net的偏导,从倒数第二层开始,求残差就要用到其后面的一层的各个残差,只要用后面一层的各个结点残差乘以其与这一层这个的结点所连接的权值,再求和,最后乘以这一层这个结点的out对net的偏导就可以了。如此一来,残差乘以这个结点的输入,就可以得到整个代价函数对于这个结点的w偏导了。
- BP算法过程详解
- BP算法详解
- 神经网络及反向传播(bp)算法详解
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- 深度学习算法实践8---BP算法详解
- 深度学习算法实践8---BP算法详解
- 浅显易懂的BP神经网络算法matlab处理方法详解
- BP算法、NB算法
- BP算法调研
- SQL基础
- dubbo找不到dubbo.xsd,报错Multiple annotations found at this line:
- 【论文笔记】Object Contour Detection with a Fully Convolutional Encoder-Decoder Network
- 生成SSH key步骤标记
- 快速破解IntelliJ IDEA
- BP算法详解
- 微信小程序之购物车功能
- NP完全问题
- jquery源码解析
- Linux系统中对SSD硬盘优化的方法
- Java学习笔记-《Java程序员面试宝典》-第5章Java Web-5.2J2EE与EJB(5.2.11-5.2.16)
- DFS:HDU1518-Square(剪枝较多的DFS)
- python_浅copy用法
- 开课一周