多层网络和反向传播笔记

在我之前的博客中讲到了感知器（感知器），它是用于线性可分模式分类的最简单的神经网络模型，单个感知器只能表示线性的决策面，而反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面。

对于多层网络，如果使用线性单元的话，多个线性单元的连接仍然是线性函数，所以还不能表征非线性函数。使用感知器单元，但是它不连续所以也就不可微，不适合梯度下降算法。我们需要这么一种单元，它的输出是输入的非线性函数，而且输出是输入的可微函数。那么可以使用sigmoid单元，它非常类似于感知器单元，而且基于一个平滑的可微阈值函数，It looked like this:

sigmoid函数公式如下：

σ(y)=11+e −y   

它的输出范围为[0,1]，随输入单调递增，这个函数把非常大的输入值映射到一个小范围的输出，它经常被称为sigmoid单元的挤压函数（squashing function）。sigmoid函数的导数很容易以它的输出表示，即

dσ(y)dy =σ(y)⋅(1−σ(y)) 

有时候可以使用其他容易计算导数的可微函数代替，比如sigmoid函数中的e −y   有时候被替换为e −ky   其中k  是个正常数，用来决定函数的陡峭性。双曲正切函数也可用来代替sigmoid函数 。

对于由一系列确定的单元相互连接形成的多层网络，反向传播算法可以用来学习这个网络的权值，它使用梯度下降方法来最小化网络输出值和目标值之间的误差平方。

在这里我们要考虑网络中多个输出单元，而不是一个单元，所以可以看到下面的误差公式中要计算两次和：

E(w ⃗ )≡12 ∑ d∈D ∑ k∈outputs (t kd −o kd ) 2  

其中outputs  是网络输出单元的集合，t kd   和o kd   是与训练样例d  和第k  个输出单元相关的输出值。

反向传播算法需要解决的问题是搜索一个巨大的假设空间，这个空间由网络中所有单元的所有可能权值定义，此时可以用一个误差曲面来形象表示。在和训练单个单元的情况一样，梯度下降可以用来寻找使E  最小化的一个假设。

多层网络的一个主要不同是它的误差曲面可能有多个局部最小值，那么这就会带来一个问题，使用梯度下降的时候不能保证一定能收敛到全局最小值。不过在实践中反向传播都产生了出色的结果。

反向传播首先把输入x ⃗   沿网络前向传播，然后计算每个单元u  的输出o u   ，然后是误差沿网络反向传播（反向传播算法名字应该就是这么得来的吧），对于网络的每个输出单元k  ，计算它的误差项δ k   ：

δ k ←o k (1−o k )(t k −o k ) 

对于网络的每个隐藏单元h  计算它的误差项δ h   :

δ h ←o h (1−o h )∑w kh δ k  

更新每个网络的权值w ji   :

w ji ←w ji +Δw ji  

其中

Δw ji =ηδ j x ji  

反向传播已经开发除了许多变种，最常见的是修改权值更新法则，使第n  次迭代的权值更新部分依赖于第n−1  次迭代时的更新，即

Δw ji (n)=ηδ j x ji +αΔw ji (n−1) 

其中α∈[0,1)  ，一个冲量常数，上式右边第二项叫做冲量项。