反向BP算法

翻译了：http://colah.github.io/posts/2015-08-Backprop/

总的来说，模型分为正向模型和反向模型。都是求导，但有一定差异

正向模型：是求每个节点对一个输入节点的导数。
反向模型：是求输出节点对每个节点的导数。（具体形式看下图）

如果想要根据输出结果，观察每个节点改变对它的影响，就用反向模型，计算量小，速度快。如果用了正向模型，计算量以指数形式增长。

但如果输出很多，输入少，就用正向模型。

对于神经网络输出的loss function函数，显然是求每个节点对它的影响 来改变权值，就用到了反向模型，也就是BP算法。