BP误差反向传播算法

来源：互联网发布：淘宝rx65电子狗编辑：程序博客网时间：2024/06/04 23:30

BP算法

BP算法通过将输出误差反向传播，将误差分配到每个权值上，利用梯度更新对所有参数进行调整以达到输出累计误差最小
这里写图片描述 [图片来自Andrew Ng的machine learning课程]

为了简化概念，先不加上偏置单元
符号介绍
${\delta }_{i}^{l}$ :第这里写图片描述层第i节点的误差

${z}_{i}^{l}$ :第这里写图片描述层第i节点的输入值

${a}_{i}^{l}$ :第这里写图片描述层第i节点的输出值

${w}_{ji}^{l}$ :第这里写图片描述 -1层第i节点到第层j节点的权值

h():节点的激活函数，如sigmod、tanh等

${m}_{l}^{}$ :第这里写图片描述层的节点个数

根据网络图，有以下关系:
${a}_{i}^{l} = h({z}_{i}^{l})$

${z}_{i}^{l} = \sum_{j}^{{m}_{}^{l}}$ ${w}_{ji}^{l}{a}_{j}^{l-1}$
误差反向传播递推公式以及对任一参数更新推导如下（打符号好慢，直接上手工图片）
手工推导

0 1