BP神经网络介绍

刚接触BP神经网络，在网上已经找了很多相关资料，现对看到的资料进行简单的总结或者叫理解吧（如果哪位大神看到了希望指出不正之处）：

图：

（预期与实际偏差，其中，p是样本数，m是输出维数，输出y0,y1，ym-1）

（这个式子开始符号错了，针对原文来说，这应该是加号，或者wki和wki'换个位置，不过后面将错就错，不影响推导过程）

(由复合函数求导链式法则，这肯定是成立的，数学上可以严格证明)

其中：

，时求导有y'=y(1-y)，所以上述连续求导公式就变成：

，由梯度下降法则（至于梯度下降为什么是这个，参照我上一篇博客），所以

（最后得到的式子也错了，还是符号错误，在下一篇的计算过程中会指出）

思路比较简单：梯度下降法去找权值变化使误差最小（适可而止，不过拟合），梯度下降方向可以用一个复合函数求导链式法则求出来，链式法则本身就带有前向反馈的意思，由已知探未知；

结果也比较简单：最后一层的权值更新与（学习率、预期输出、实际输出、倒数第二层输入xk）有关；

另外，第一层的权值更新把链式求导法则又往前推了一层，

且其中

（这个式子比较重要，表明了一种可以迭代的意味，进入到深度学习时，要靠它，比如CNN里提到的权值更新公式δ^l_j=δ^l+1jW^l+1j°f′(u^l)就是这个式子）

最后第一层的权值更新公式，理所当然为：

（仍然符号错误，不过不是很重要，还是从一开始就引起的符号错误，忽略吧）

由该式子有结论：第一层的权值更新与（学习率、预期输出、实际输出、下一层的权值wki（因为是倒过来的，所以叫下一层）、总输入bn、还有该层更新前的权值（表现为Uk））有关

我的第一篇博客，基本抄的这位老兄的：

http://www.cnblogs.com/wb-DarkHorse/archive/2012/12/12/2815393.html

其中有一些符号问题，但不影响推导，在下一篇的实际计算过程中纠正了这个小错误