学习笔记3 Supervised Neural Networks

一、神经网络模型

这是一个全连接的三层神经网络模型，分别为输入层，隐层，输出层。
层与层之间的关系如下：

其中f()为激活函数，一般是sigmoid function， 也有其他的，如tangent，tanh function等。

二、后向算法

代价函数为

其中后面一项为正则项，防止过拟合。

同样的，我们需要使用梯度下降的方法

其中

我们通过一种后向算法来计算残差，进而计算梯度。

我们可以选择一种均方误差的形式来表示代价函数

对于单个训练样本来说，计算梯度的过程如下：

整体的系数更新过程如下：

对于sigmoid函数，其导数可以表示为

以上就是网络的学习过程。

三、加入softmax function

我们的神经网络在多输出的时候，在最后一个隐层与输出层之间的连接可以采用softmax function.
此时的代价函数为

其中为最后一个隐层的。为了跟上面的式子一致对应，这里的代价函数J 可以在求和式之前加一个系数(1/m);

输出层的残差可以表示为

这就是加入softmax function之后所需要改变的地方。