神经网络反向传播（相关公式）

看了网上的帖子，写的很好，不过我还是想自己整理下，有的地方原来的博主还是有点散了，不过建议先看原博，然后在按照如下思路展开，不然可能有点跳跃。
自己认为下面的思路还是很清晰的，编辑公式就花了我好长时间啊。。。

正向传播是为了计算net out的值
反向传播

(1)隐含层—->输出层

∂Etotal∂W5=∂Etotal∂outo1∗∂outo1∂neto1∗∂neto1∂w5=δo1∗∂neto1∂w5=δo1∗outh1

在这里δo1=∂Etotal∂outo1∗∂outo1∂neto1表示输出层的误差含义如下

∂Etotal∂outo1∗∂outo1∂neto1=δo1=∂Etotal∂neto1=(∂Eo1∂outo1+∂Eo2∂outo1)∗∂outo1∂neto1=(∂Eo1∂outo1+0)∗∂outo1∂neto1=[−(targeto1−outo1)]∗[outo1(1−outo1)]

因此原式带入后：

∂Etotal∂W5=∂Etotal∂outo1∗∂outo1∂neto1∗∂neto1∂w5=δo1∗outh1=[−(targeto1−outo1)∗outo1(1−outo1)]∗[outh1]

(2)隐含层—->隐含层

∂Etotal∂W1=∂Etotal∂outh1∗∂outh1∂neth1∗∂neth1∂w1

这里的∂Etotal∂outh1可推导如下：

∂Etotal∂outh1=∂Eo1∂outh1+∂Eo2∂outh1=(∂Eo1∂neto1∗∂neto1∂outh1)+(∂Eo2∂neto2∗∂neto2∂outh1)=[(∂Eo1∂outo1∗∂outo1∂neto1)∗∂neto1∂outh1]+[(∂Eo2∂outo2∗∂Eo2∂outo2)∗∂neto2∂outh1]=[−(targeto1−outo1)∗outo1(1−outo1)∗w5]+[−(targeto2−outo2)∗outo2(1−outo2)∗w6]

为了简化公式记δ(h1)表示隐含层单元h1的误差为

∂Etotal∂w1=∑i=12[(∂Etotal∂outoi∗∂outoi∂netoi)∗∂netoi∂outh1]∗∂outh1∂neth1∗∂neth1∂w1=∑i[δoi∗wh?]∗[outh1∗(1−outh1)]∗[i1]=δh1∗i1

这里的δ和链接顶部的公式是同一个公式，所以为什么偏导是这样的也就解释清楚了，当然在链接也给出了形式化的证明

对比这上面两个，可以发现两个后面的红色字体部分是一样的，只不过针对两个层需要稍微改动点，并且两个偏导数的形式是一样的