BackPropagation(BP, 误差反向传播)的一些理解

在现代神经网络中, 使用最多的算法当是反向传播(BP). 虽然BP有着收敛慢, 容易陷入局部最小等缺陷, 但其易用性, 准确度却是其他算法无可比拟的.

在本文中, wji为连接前一层uniti和后一层unitj的权值.

---

在MLP中, 对于输出层神经元unitjunitj, 它的输入xj按下式进行计算(忽略偏置):

xj=∑iyiwji

可以看到它的输入等于前一层所有神经元的输出yiyi和对应连接的加权和, 如上图

而unitjunitj的输出按下式计算:

yj=11+e−xj. 这就是一个非线性变换sigmoid,

对于有监督训练, 期望输出dd和实际输出yy现在都是已知的, 定义误差为:

E=12∑c∑j(yj,c−dj,c)2

其中的cc是输入-输出样本对的标号, jj是输出层神经元的标号.

为求出∂E/∂wji,

我们先求∂E/∂yj(之后就知道为何如此):

∂E/∂yj=yj−dj, 此为误差E对神经元unitj输出的偏导.

由链式法则:

∂E/∂xj=∂E/∂yj∗dyj/dxj, 及上面的输入输出的关系式

dyj/dxj=(11+e−xj)′=e−xj(1+e−xj)2=yj∗(1−yj)

我们可以求出误差EE对unitjunitj的输入xjxj的偏导:

∂E/∂xj=∂E/∂yj∗yj∗(1−yj)

至此, 我们得到了误差EE对于unitj输入xj的偏导, 但网络训练的是权值(偏置), 所以我们必须知道E对于wji的偏导表达式.

同样由链式法则:

∂E/∂wji=∂E/∂xj∗∂xj/∂wji, 及本层输入和权值的关系式:

xj=∑iyiwji, 可得 ∂xj/∂wji=yi, 即:

∂E/∂wji=∂E/∂xj∗yi, 

其中yiyi为前一层神经元uniti的输出, yj为后一层神经元unitj的输出.

为了处理中间层, 我们同样是按照链式法则, 对于第i个神经元, 我们可以求得误差E对其输出yi的梯度(注意这里是yi, 不是yj):

∂E/∂yi=∂E/∂xj∗∂xj/∂yi=∂E/∂xj∗wji, 

考虑到第i个神经元的所有连接, 可以得到:

∂E/∂yi=∑j∂E/∂xj∗wji (1)

这里的∂E/∂xj为误差对于后一层的神经元unitj输入xj的偏导.

---

我们梳理一下:

对于连接神经元ii和神经元jj的权值wji, 主要有3个偏导分子, 输入xj, 输出yj和权值wji, 他们的关系如下:

∂E/∂xj=∂E/∂yj∗yj∗(1−yj) (2)[基于yj和xj的非线性转换关系式];

∂E/∂wji=∂E/∂xj∗yi(3)[基于xj和yi的加权求和公式].

为求得上面的式(3), 我们需要求得∂E/∂xj, 而为求得∂E/∂xj, 需要求得∂E/∂yj.

对于输出层(最后一层), ∂E/∂yj=yj−dj;

对于中间层, ∂E/∂yi按式(1)进行计算, 而式(1)中的∂E/∂xj是由∂E/∂yj=yj−dj算出来的. 当我们算出中间层的∂E/∂yi之后, 把式(2)中的yj全部替换成yi就可以计算出∂E/∂xi从而计算出式(3), 注意此时的式(3)中的yi应该变为第i个神经元的前一层的对应神经元.

如此迭代, 我们就可以更新所有的权值啦.

权值调整的公式如下:

δw=−ϵ∂E/∂w

 

---

 

总结:

BP的精髓: 如何通过链式法则求出∂E/∂wji

求法: 

注意, 以下推导, 统一使用i 作为当前层前一层的神经元下标, j作为当前层的神经元下标, k 作为后一层神经元下标.

对于最后一层:

∂E/∂wji=∂E/∂xj∗∂xj/∂wji (1)

其中,

∂E/∂xj=∂E/∂yj∗∂yj/∂xj (2)

∂xj/∂wji=yi(3, 已求出, 谢谢背锅侠指正)

式(2)中,

∂E/∂yj=yj−dj (已求出)

∂yj/∂xj=yj∗(1−yj) (已求出)

从而计算出误差对[最后一层到倒数第二层的权值]的梯度.

∂E/∂wji=(yj−dj)∗yj∗(1−yj)∗yi

对于倒数第二层:

唯一变化的只有 ∂E/∂yj的求法. 同样适用链式法则展开:

∂E/∂yj=∂E/∂yk∗∂yk/∂yj, 其中 yk 为后一层(最后一层)的第
k个神经元输出.

由于∂E/∂yk=yk−dk(非固定, 每层表达式取前一层计算结果),

而∂yk/∂yj=∂yk/∂xk∗∂xk/∂yj,

其中 ∂yk/∂xk=yk∗(1−yk) (固定的, 每层表达式都一样)

∂xk/∂yj=wkj (固定的, 每层表达式都一样)

故∂yk/∂yj=yk∗(1−yk)∗wkj (固定的, 每层表达式都一样)

从而有 ∂E/∂yj=∂E/∂yk∗yk∗(1−yk)∗wkj (非固定, 用于下一层的误差梯度计算)

最终: ∂E/∂wji=∂E/∂yj∗yj∗(1−yj)∗yi

倒数第三层

可将倒数第二层求出的的∂E/∂yj作为本层的∂E/∂yk, 可计算出 ∂E/∂yj, 从而计算出 ∂E/∂wji.

相关文章：点击打开链接