BP神经网络后向传播原理

BP神经网络后向传播原理

在BP神经网络中，最难理解也是最为重要的部分就是BP后向传播中风险函数J对各神经线上的权的偏导数的求解。然而，吃透这部分内容对于真正理解BP神经网络是至关重要的。

下面主要从推导风险函数J对各神经线上的权的偏导数的公式这个方面来帮助自己理解BP后向传播原理。

   首先，我设计了一个4层的神经网络——1个输入层（n个神经元）、2个隐藏层（分别为p、q个神经元）、1个输出层（k个神经元，即分为k类）。这样设计的原因，是为了推导风险函数J对隐藏层之间神经线上权的偏导数的一般公式。

   在分析之前，我们首先确定风险函数J。我们知道，在神经网络的单个神经元中，其模型是Logistic Regression。所以，我们知道对于单个训练样本而言，其风险函数J可表示为：

（要说明的是，有些资料上也定义

这样在公式推导时，会简便许多，其与对数形式的J对权的求偏导差别仅在隐藏层输出层上），下面对于两种形式的J都会给出推导。但是和Logistic Regression一样，出于对凸函数的考虑，建议使用对数形式J.

下面开始对公式推导：

1）   神经网络模型如图所示，

2）在该神经网络中，对于单样本而言，
(a)若风险函数J 为