BP Neural Network

BP Neural Network

神经网络是一个独立的学科领域，我们通常所说的“神经网络”是指机器学习与神经网络的交叉部分。BP神经网络是指能够使用误差逆传播算法解决神经网络中调参问题的统称。下面就让我们来介绍三层（输入层-隐层-输出层）的神经网络。

设训练样本为xi，其标签为yj，输入层与隐层的连接权值为wih，隐层与输出层的连接权值为vhj，隐层神经元的阀值为rh，输出层神经元的阀值为θj。激活函数为sigmoid函数，选择此函数的原因是易于求导且其函数值在[0,1]之间。

下面进行公式推导：
隐层神经元的输入

αh=wih∗xi

隐层神经元的输出

bh=f(αh−rh)

输出层神经元的输入

βj=vhj∗bh

输出层神经元的输出

y′j=f(βj−θj)

求得均方误差为

E=12∑i=1m(yj−y′j)2

此处的均方误差是指整个样本的误差，可看成所有行的误差总和。

我们的优化目标是使均方误差E达到最小，此处使用梯度下降法(gradient descent)进行调参。

Δvhj=−η∗∂E∂vhj

其中，η 是梯度下降的步长。可以注意到，vhj 是先影响到输出层神经元的输入，再影响到输出。

∂E∂vhj=∂E∂y′j∗∂y′j∂βj∗∂βj∂vhj

且有

∂E∂y′j=y′j−yj∂y′j∂βj=y′j(1−y′j)∂βj∂vhj=bh

故

∂E∂vhj=−η∗(y′j−yj)∗y′j(1−y′j)∗bh