神经网络

来源：互联网发布：域名贴吧编辑：程序博客网时间：2024/06/05 06:06

1 概念

神经网络（neural networks, NN）是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交叉反应。

2 感知机与多层网络

感知机（Perceptron）是由两层神经元组成的，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，输出，将 $\theta$ 也看作一个1的权重，则训练学习可统一为权重的学习。感知机的学习规则很简单，对训练样本 $(\mathbf{x},y)$ ,若当前感知机的输出为 $\hat{y}$

$w_{i}\leftarrow w_{i}+\Delta w_{i}$ (1)

$\Delta w_{i}=\eta (y-\hat{y})x_{i}$ (2)

$\eta$ 为学习率（learning rate）。

感知机只有输出层神经元进行激活函数处理。若两类模式是县新兴可分的，则感知机的学习过程一定会收敛而求得适当的权向量；否则感知机会发生振荡（fluctuation）,不能求得权重的合适解。

要解决非线性可分的问题，需要考虑多层功能神经元，输入层与输出层之间的的神经元则成为隐含层（hidden layer），隐含层和输出层都是拥有激活函数的功能神经元。

多层前馈神经网络（multi-layer feedforward neural networks）每层神经元与下一层神经元全互连，神经元之间不存在同层链接，也不存在跨层链接。

神经网络的学习过程就是根据训练数据来调整神经元之间的连接权（connection weight）以及每个功能神经元的阈值。

3 误差逆传播算法

多层网络的学习能力比单层感知机强得多，需要更强大的学习算法，误差逆传播算法（error BackPropagation,BP）算法就是其中最杰出的代表。一般所说的BP网络是指用BP算法训练的多层前反馈神经网络。

此处的神经网络内容出自：http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用圆圈来表示神经网络的输入，标上“ $\textstyle +1$ ”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。

我们用 $\textstyle {n}_l$ 来表示网络的层数，本例中 $\textstyle n_l=3$ ，我们将第 $\textstyle l$ 层记为 $\textstyle L_l$ ，于是 $\textstyle L_1$ 是输入层，输出层是 $\textstyle L_{n_l}$ 。本例神经网络有参数 $\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})$ ，其中 $\textstyle W^{(l)}_{ij}$ （下面的式子中用到）是第 $\textstyle l$ 层第 $\textstyle j$ 单元与第 $\textstyle l+1$ 层第 $\textstyle i$ 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， $\textstyle b^{(l)}_i$ 是第 $\textstyle l+1$ 层第 $\textstyle i$ 单元的偏置项。因此在本例中， $\textstyle W^{(1)} \in \Re^{3\times 3}$ ， $\textstyle W^{(2)} \in \Re^{1\times 3}$ 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 $\textstyle +1$ 。同时，我们用 $\textstyle s_l$ 表示第 $\textstyle l$ 层的节点数（偏置单元不计在内）。

我们用 $\textstyle a^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元的激活值（输出值）。当 $\textstyle l=1$ 时， $\textstyle a^{(1)}_i = x_i$ ，也就是第 $\textstyle i$ 个输入值（输入值的第 $\textstyle i$ 个特征）。对于给定参数集合 $\textstyle W,b$ ，我们的神经网络就可以按照函数 $\textstyle h_{W,b}(x)$ 来计算输出结果。本例神经网络的计算步骤如下：

$\begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \\h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}$

我们用 $\textstyle z^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元输入加权和（包括偏置单元），比如， $\textstyle z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i$ ，则 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ 。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 $\textstyle f(\cdot)$ 扩展为用向量（分量的形式）来表示，即 $\textstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]$ ，那么，上面的等式可以更简洁地表示为：

$\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}$

我们将上面的计算步骤叫作前向传播。回想一下，之前我们用 $\textstyle a^{(1)} = x$ 表示输入层的激活值，那么给定第 $\textstyle l$ 层的激活值 $\textstyle a^{(l)}$ 后，第 $\textstyle l+1$ 层的激活值 $\textstyle a^{(l+1)}$ 就可以按照下面步骤计算得到：

$\begin{align}z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)} \\a^{(l+1)} &= f(z^{(l+1)})\end{align}$

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

目前为止，我们讨论了一种神经网络，我们也可以构建另一种结构的神经网络（这里结构指的是神经元之间的联接模式），也就是包含多个隐藏层的神经网络。最常见的一个例子是 $\textstyle n_l$ 层的神经网络，第 $\textstyle 1$ 层是输入层，第 $\textstyle n_l$ 层是输出层，中间的每个层 $\textstyle l$ 与层 $\textstyle l+1$ 紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播，逐一计算第 $\textstyle L_2$ 层的所有激活值，然后是第 $\textstyle L_3$ 层的激活值，以此类推，直到第 $\textstyle L_{n_l}$ 层。这是一个前馈神经网络的例子，因为这种联接图没有闭环或回路。

神经网络也可以有多个输出单元。比如，下面的神经网络有两层隐藏层： $\textstyle L_2$ 及 $\textstyle L_3$ ，输出层 $\textstyle L_4$ 有两个输出单元。

要求解这样的神经网络，需要样本集 $\textstyle (x^{(i)}, y^{(i)})$ ，其中 $\textstyle y^{(i)} \in \Re^2$ 。如果你想预测的输出是多个的，那这种神经网络很适用。（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值 $\textstyle y_i$ 可以表示不同的疾病存在与否。）

假设我们有一个固定样本集 $\textstyle \{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}$ ，它包含 $\textstyle m$ 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 $\textstyle (x,y)$ ，其代价函数为：

$\begin{align}J(W,b; x,y) = \frac{1}{2} \left\| h_{W,b}(x) - y \right\|^2.\end{align}$

这是一个（二分之一的）方差代价函数。给定一个包含 $\textstyle m$ 个样例的数据集，我们可以定义整体代价函数为：

$\begin{align}J(W,b)&= \left[ \frac{1}{m} \sum_{i=1}^m J(W,b;x^{(i)},y^{(i)}) \right] + \frac{\lambda}{2} \sum_{l=1}^{n_l-1} \; \sum_{i=1}^{s_l} \; \sum_{j=1}^{s_{l+1}} \left( W^{(l)}_{ji} \right)^2 \\&= \left[ \frac{1}{m} \sum_{i=1}^m \left( \frac{1}{2} \left\| h_{W,b}(x^{(i)}) - y^{(i)} \right\|^2 \right) \right] + \frac{\lambda}{2} \sum_{l=1}^{n_l-1} \; \sum_{i=1}^{s_l} \; \sum_{j=1}^{s_{l+1}} \left( W^{(l)}_{ji} \right)^2\end{align}$

以上关于 $\textstyle J(W,b)$ 定义中的第一项是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。

[注：通常权重衰减的计算并不使用偏置项 $\textstyle b^{(l)}_i$ ，比如我们在 $\textstyle J(W, b)$ 的定义中就没有使用。一般来说，将偏置项包含在权重衰减项中只会对最终的神经网络产生很小的影响。如果你在斯坦福选修过CS229（机器学习）课程，或者在YouTube上看过课程视频，你会发现这个权重衰减实际上是课上提到的贝叶斯规则化方法的变种。在贝叶斯规则化方法中，我们将高斯先验概率引入到参数中计算MAP（极大后验）估计（而不是极大似然估计）。]

权重衰减参数 $\textstyle \lambda$ 用于控制公式中两项的相对重要性。在此重申一下这两个复杂函数的含义： $\textstyle J(W,b;x,y)$ 是针对单个样例计算得到的方差代价函数； $\textstyle J(W,b)$ 是整体样本代价函数，它包含权重衰减项。

以上的代价函数经常被用于分类和回归问题。在分类问题中，我们用 $\textstyle y = 0$ 或 $\textstyle 1$ ，来代表两种类型的标签（回想一下，这是因为 sigmoid激活函数的值域为 $\textstyle [0,1]$ ；如果我们使用双曲正切型激活函数，那么应该选用 $\textstyle -1$ 和 $\textstyle +1$ 作为标签）。对于回归问题，我们首先要变换输出值域（译者注：也就是 $\textstyle y$ ），以保证其范围为 $\textstyle [0,1]$ （同样地，如果我们使用双曲正切型激活函数，要使输出值域为 $\textstyle [-1,1]$ ）。

我们的目标是针对参数 $\textstyle W$ 和 $\textstyle b$ 来求其函数 $\textstyle J(W,b)$ 的最小值。为了求解神经网络，我们需要将每一个参数 $\textstyle W^{(l)}_{ij}$ 和 $\textstyle b^{(l)}_i$ 初始化为一个很小的、接近零的随机值（比如说，使用正态分布 $\textstyle {Normal}(0,\epsilon^2)$ 生成的随机值，其中 $\textstyle \epsilon$ 设置为 $\textstyle 0.01$ ），之后对目标函数使用诸如批量梯度下降法的最优化算法。因为 $\textstyle J(W, b)$ 是一个非凸函数，梯度下降法很可能会收敛到局部最优解；但是在实际应用中，梯度下降法通常能得到令人满意的结果。最后，需要再次强调的是，要将参数进行随机初始化，而不是全部置为 $\textstyle 0$ 。如果所有参数都用相同的值作为初始值，那么所有隐藏层单元最终会得到与输入值有关的、相同的函数（也就是说，对于所有 $\textstyle i$ ， $\textstyle W^{(1)}_{ij}$ 都会取相同的值，那么对于任何输入 $\textstyle x$ 都会有： $\textstyle a^{(2)}_1 = a^{(2)}_2 = a^{(2)}_3 = \ldots$ ）。随机初始化的目的是使对称失效。

梯度下降法中每一次迭代都按照如下公式对参数 $\textstyle W$ 和 $\textstyle b$ 进行更新：

$\begin{align}W_{ij}^{(l)} &= W_{ij}^{(l)} - \alpha \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b) \\b_{i}^{(l)} &= b_{i}^{(l)} - \alpha \frac{\partial}{\partial b_{i}^{(l)}} J(W,b)\end{align}$

其中 $\textstyle \alpha$ 是学习速率。其中关键步骤是计算偏导数。我们现在来讲一下反向传播算法，它是计算偏导数的一种有效方法。

我们首先来讲一下如何使用反向传播算法来计算 $\textstyle \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x, y)$ 和 $\textstyle \frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x, y)$ ，这两项是单个样例 $\textstyle (x,y)$ 的代价函数 $\textstyle J(W,b;x,y)$ 的偏导数。一旦我们求出该偏导数，就可以推导出整体代价函数 $\textstyle J(W,b)$ 的偏导数：

$\begin{align}\frac{\partial}{\partial W_{ij}^{(l)}} J(W,b) &=\left[ \frac{1}{m} \sum_{i=1}^m \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x^{(i)}, y^{(i)}) \right] + \lambda W_{ij}^{(l)} \\\frac{\partial}{\partial b_{i}^{(l)}} J(W,b) &=\frac{1}{m}\sum_{i=1}^m \frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x^{(i)}, y^{(i)})\end{align}$

以上两行公式稍有不同，第一行比第二行多出一项，是因为权重衰减是作用于 $\textstyle W$ 而不是 $\textstyle b$ 。

反向传播算法的思路如下：给定一个样例 $\textstyle (x,y)$ ，我们首先进行“前向传导”运算，计算出网络中所有的激活值，包括 $\textstyle h_{W,b}(x)$ 的输出值。之后，针对第 $\textstyle l$ 层的每一个节点 $\textstyle i$ ，我们计算出其“残差” $\textstyle \delta^{(l)}_i$ ，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，我们可以直接算出网络产生的激活值与实际值之间的差距，我们将这个差距定义为 $\textstyle \delta^{(n_l)}_i$ （第 $\textstyle n_l$ 层表示输出层）。对于隐藏单元我们如何处理呢？我们将基于节点（译者注：第 $\textstyle l+1$ 层节点）残差的加权平均值计算 $\textstyle \delta^{(l)}_i$ ，这些节点以 $\textstyle a^{(l)}_i$ 作为输入。下面将给出反向传导算法的细节：

进行前馈传导计算，利用前向传导公式，得到 $\textstyle L_2, L_3, \ldots$ 直到输出层 $\textstyle L_{n_l}$ 的激活值。
对于第 $\textstyle n_l$ 层（输出层）的每个输出单元 $\textstyle i$ ，我们根据以下公式计算残差：
$\begin{align}\delta^{(n_l)}_i= \frac{\partial}{\partial z^{(n_l)}_i} \;\; \frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 = - (y_i - a^{(n_l)}_i) \cdot f'(z^{(n_l)}_i)\end{align}$
[译者注：
$\begin{align}\delta^{(n_l)}_i &= \frac{\partial}{\partial z^{n_l}_i}J(W,b;x,y) = \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 \\ &= \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}} (y_j-a_j^{(n_l)})^2 = \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}} (y_j-f(z_j^{(n_l)}))^2 \\ &= - (y_i - f(z_i^{(n_l)})) \cdot f'(z^{(n_l)}_i) = - (y_i - a^{(n_l)}_i) \cdot f'(z^{(n_l)}_i)\end{align}$
]
对 $\textstyle l = n_l-1, n_l-2, n_l-3, \ldots, 2$ 的各个层，第 $\textstyle l$ 层的第 $\textstyle i$ 个节点的残差计算方法如下：
$\delta^{(l)}_i = \left( \sum_{j=1}^{s_{l+1}} W^{(l)}_{ji} \delta^{(l+1)}_j \right) f'(z^{(l)}_i)$
{译者注：
$\begin{align}\delta^{(n_l-1)}_i &=\frac{\partial}{\partial z^{n_l-1}_i}J(W,b;x,y) = \frac{\partial}{\partial z^{n_l-1}_i}\frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 = \frac{\partial}{\partial z^{n_l-1}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}}(y_j-a_j^{(n_l)})^2 \\&= \frac{1}{2} \sum_{j=1}^{S_{n_l}}\frac{\partial}{\partial z^{n_l-1}_i}(y_j-a_j^{(n_l)})^2 = \frac{1}{2} \sum_{j=1}^{S_{n_l}}\frac{\partial}{\partial z^{n_l-1}_i}(y_j-f(z_j^{(n_l)}))^2 \\&= \sum_{j=1}^{S_{n_l}}-(y_j-f(z_j^{(n_l)})) \cdot \frac{\partial}{\partial z_i^{(n_l-1)}}f(z_j^{(n_l)}) = \sum_{j=1}^{S_{n_l}}-(y_j-f(z_j^{(n_l)})) \cdot f'(z_j^{(n_l)}) \cdot \frac{\partial z_j^{(n_l)}}{\partial z_i^{(n_l-1)}} \\&= \sum_{j=1}^{S_{n_l}} \delta_j^{(n_l)} \cdot \frac{\partial z_j^{(n_l)}}{\partial z_i^{n_l-1}} = \sum_{j=1}^{S_{n_l}} \left(\delta_j^{(n_l)} \cdot \frac{\partial}{\partial z_i^{n_l-1}}\sum_{k=1}^{S_{n_l-1}}f(z_k^{n_l-1}) \cdot W_{jk}^{n_l-1}\right) \\&= \sum_{j=1}^{S_{n_l}} \delta_j^{(n_l)} \cdot W_{ji}^{n_l-1} \cdot f'(z_i^{n_l-1}) = \left(\sum_{j=1}^{S_{n_l}}W_{ji}^{n_l-1}\delta_j^{(n_l)}\right)f'(z_i^{n_l-1})\end{align}$
将上式中的 $\textstyle n_l-1$ 与 $\textstyle n_l$ 的关系替换为 $\textstyle l$ 与 $\textstyle l+1$ 的关系，就可以得到：
$\delta^{(l)}_i = \left( \sum_{j=1}^{s_{l+1}} W^{(l)}_{ji} \delta^{(l+1)}_j \right) f'(z^{(l)}_i)$
以上逐次从后向前求导的过程即为“反向传导”的本意所在。 ]
计算我们需要的偏导数，计算方法如下：
$\begin{align}\frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x, y) &= a^{(l)}_j \delta_i^{(l+1)} \\\frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x, y) &= \delta_i^{(l+1)}.\end{align}$

最后，我们用矩阵-向量表示法重写以上算法。我们使用“ $\textstyle \bullet$ ” 表示向量乘积运算符（在Matlab或Octave里用“.*”表示，也称作阿达马乘积）。若 $\textstyle a = b \bullet c$ ，则 $\textstyle a_i = b_ic_i$ 。在上一个教程中我们扩展了 $\textstyle f(\cdot)$ 的定义，使其包含向量运算，这里我们也对偏导数 $\textstyle f'(\cdot)$ 也做了同样的处理（于是又有 $\textstyle f'([z_1, z_2, z_3]) = [f'(z_1), f'(z_2), f'(z_3)]$ ）。

那么，反向传播算法可表示为以下几个步骤：

进行前馈传导计算，利用前向传导公式，得到 $\textstyle L_2, L_3, \ldots$ 直到输出层 $\textstyle L_{n_l}$ 的激活值。
对输出层（第 $\textstyle n_l$ 层），计算：
$\begin{align}\delta^{(n_l)}= - (y - a^{(n_l)}) \bullet f'(z^{(n_l)})\end{align}$
对于 $\textstyle l = n_l-1, n_l-2, n_l-3, \ldots, 2$ 的各层，计算：
$\begin{align}\delta^{(l)} = \left((W^{(l)})^T \delta^{(l+1)}\right) \bullet f'(z^{(l)})\end{align}$
计算最终需要的偏导数值：
$\begin{align}\nabla_{W^{(l)}} J(W,b;x,y) &= \delta^{(l+1)} (a^{(l)})^T, \\\nabla_{b^{(l)}} J(W,b;x,y) &= \delta^{(l+1)}.\end{align}$

实现中应注意：在以上的第2步和第3步中，我们需要为每一个 $\textstyle i$ 值计算其 $\textstyle f'(z^{(l)}_i)$ 。假设 $\textstyle f(z)$ 是sigmoid函数，并且我们已经在前向传导运算中得到了 $\textstyle a^{(l)}_i$ 。那么，使用我们早先推导出的 $\textstyle f'(z)$ 表达式，就可以计算得到 $\textstyle f'(z^{(l)}_i) = a^{(l)}_i (1- a^{(l)}_i)$ 。

最后，我们将对梯度下降算法做个全面总结。在下面的伪代码中， $\textstyle \Delta W^{(l)}$ 是一个与矩阵 $\textstyle W^{(l)}$ 维度相同的矩阵， $\textstyle \Delta b^{(l)}$ 是一个与 $\textstyle b^{(l)}$ 维度相同的向量。注意这里“ $\textstyle \Delta W^{(l)}$ ”是一个矩阵，而不是“ $\textstyle \Delta$ 与 $\textstyle W^{(l)}$ 相乘”。下面，我们实现批量梯度下降法中的一次迭代：

对于所有 $\textstyle l$ ，令 $\textstyle \Delta W^{(l)} := 0$ , $\textstyle \Delta b^{(l)} := 0$ （设置为全零矩阵或全零向量）
对于到，
1. 使用反向传播算法计算 $\textstyle \nabla_{W^{(l)}} J(W,b;x,y)$ 和 $\textstyle \nabla_{b^{(l)}} J(W,b;x,y)$ 。
2. 计算 $\textstyle \Delta W^{(l)} := \Delta W^{(l)} + \nabla_{W^{(l)}} J(W,b;x,y)$ 。
3. 计算 $\textstyle \Delta b^{(l)} := \Delta b^{(l)} + \nabla_{b^{(l)}} J(W,b;x,y)$ 。
更新权重参数：
$\begin{align}W^{(l)} &= W^{(l)} - \alpha \left[ \left(\frac{1}{m} \Delta W^{(l)} \right) + \lambda W^{(l)}\right] \\b^{(l)} &= b^{(l)} - \alpha \left[\frac{1}{m} \Delta b^{(l)}\right]\end{align}$

现在，我们可以重复梯度下降法的迭代步骤来减小代价函数 $\textstyle J(W,b)$ 的值，进而求解我们的神经网络。

上边介绍的其实是累积误差逆传播算法，是基于所有的样例的误差对参数进行更新的。标准BP算法是根据单个样例的误差进行参数更新。这两种算法都很常用。一般来说，标准BP算法每次更新只针对单个样例，参数更新的非常频繁，而对不同样例进行更新的效果可能出现“抵消”的现象。累积BP算法直接针对累积误差最小化，它在读取整个训练集一遍后才对参数进行更新，其参数更新的频率低得多。在很多任务中，累积误差下降到一定程度后，进一步下降会非常缓慢，这时标准BP会更快获得较好的解，尤其在训练集非常大时更明显。

有两种策略常用来环境BP网络的过拟合。1）早停（early stopping）:将数据分成训练集和验证集，训练集用来计算梯度、更新参数，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的参数。2）正则化（regularization）:如上文损失函数中就利用了L2正则化项。

4 全局最小与局部极小

全局最小和局部极小的数学概念这里就不再阐述：

在参数更新寻优的过程中容易陷入局部极小，以下策略常被用来跳出局部极小，从而进一步接近全局最小：

1）以多组不同参数初值初始化多个神经网络，训练后，取其中误差最小的解作为最终的参数；

2）使用模拟退火（simulated annealing）技术：模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出”局部极小；

3）使用随机梯度下降。随机梯度下降在计算时加入了随机因素，即便陷入了局部极小点，它计算出梯度仍可能不为零。这样就有机会跳出局部极小继续搜索。

5 其他常见的神经网络

5.1 RBF网络

RBF(Radial Basis Function,径向基函数）网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元的激活函数，而输出层是对隐层神经元输出的线性组合。假定输入为 $d$ 维向量 $\mathbf{\mathit{x}}$ ，输出为实值，则RBF网络可表示为：

$\psi (\mathbf{x})=\sum_{i=1}^{q}w_{i}\rho (\mathbf{x},\mathbf{c}_{i})$ (3)

其中 $q$ 为隐含层神经元个数， $\mathbf{c}_{i}$ 和 $w_{i}$ 分别是第 $i$ 个神经元所对应的中心和权重， $\rho (\mathbf{x},\mathbf{c}_{i})$ 为径向基函数，这是某种沿径向对称的标量函数，通常定义为样本 $\mathbf{x}$ 到数据中心 $\mathbf{c}_{i}$ 之间欧式距离的单调函数，常用的高斯径向基函数为：

$\rho (\mathbf{x},\mathbf{c}_{i})=e^{-\beta _{i}\left \| \mathbf{x}-\mathbf{c}_{i} \right \|^{2}}$ (4)

训练RBF网络：1）确定神经元中心 $\mathbf{c}_{i}$ ，常用的方式包括随机采样、聚类等；2）利用BP算法来确定参数 $w_{i}$ 和 $\beta _{i}$ 。

5.2 ART网络

竞争型学习（competitive learning）是神经网络中一种常用的无监督学习策略。在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元被抑制，这种机制也称为“胜者通吃”（winner-take-all）原则。

ART（adaptive Resonance Theory,自适应谐振理论）网络是竞争型学习的代表，该网络由比较层、识别层、识别阈值和重置模块构成。

1.比较层用来接收样本，并将其传递给识别层神经元。

2.识别层中的每个神经元对应一个模式类（可以认为是某类别的子类），神经元数目可在训练过程中动态增长以增加新的模式类。

在接收到比较层的输入信号后，识别层神经元之间相互竞争以产生获胜神经元。竞争最简单的方式是：计算输入向量与每个识别层神经元所对应模式类的代表向量之间的距离，距离小者获胜。获胜神经元向识别层其他神经元发送信号，抑制其激活。若输入向量与获胜神经元所对应的代表向量之间的相似度大于识别阈值，则当前输入样本被归入为该代表向量所属类别，同时，网络的链接权会更新，使得以后再接收到相似样本时该模式类会计算出更大的相似度；若相似度不大于识别阈值，则重置模块将在识别层增设一个新的神经元，其代表向量就设置为当前输入向量。

ART较好地缓解了竞争型学习中的“可塑性-稳定性窘境”（stability-plasticity dilemma）。可塑性是指神经网络要有学习新知识的能力，而稳定性则指神经网络再学新知识时要保持对旧知识的记忆。这就使得ART网络有一个很重要的优点：可进行增量学习（incremental learning）或在线学习(online learning)。

5.3 SOM网络

SOM(Self-Organizing Map,自组织映射）网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间（通常为二维空间），同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到网络输出层中的邻近神经元。

SOM的训练目标：为每个输出神经元找到合适的权向量，以达到保持拓扑结构。

训练过程：在接收一个样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离近的神经元成为竞争获胜者，成为最佳匹配单元（best matching unit）。然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前样本的距离缩小。这个过程不断迭代，直至收敛。

5.4 级联相关网络

结构自适应网络将网络结构也当作学习的目标之一，并希望在训练过程中找打最符合数据特点的网络结构。级联相关网络（Cascade-Correlation）网络是结自适应网络的重要代表。

级联相关网络两个重要部分：级联和相关。级联是指建立层次接连的层级结构。开始训练时，网络只有输入层和输出层，随着训练的进行，新的隐层神经元逐渐加入，从而创建起层级结构。当新的隐层神经元加入时，其输入端链接权值是冻结固定的。相关是指通过最大化新神经元的输出与网络误差之间的相关性来训练相关的参数。

与一般的前馈神经网络相比，级联相关网络无需设置网络层数、隐层神经元数目，且训练速度快，但是数据较小时，容易陷入过拟合。

5.5 Elman网络

递归神经网络（recurrent neural networks）允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输出信号，这样的结构与信息反馈过程，使得网络在t时刻的输出状态不仅与t时刻的输入有关，还与t-1时刻的网络状态有关，从而能处理与时间相关的动态变化。

Elman是最常用的递归神经网络之一，其结构如下图所示。隐层神经元通常采用Sigmoid激活函数，网络的训练则通过推广的BP算法进行。

5.6 Boltzmann机

神经网络中有一类模型是为网络状态定义的一个能量（energy），能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数。Boltzmann机就是一种基于能量的模型，分为两层：显层和隐层。显层用于数据的输入与输出，隐层则被理解为数据的内在表达。

Boltzmann机的训练过程就是讲每个训练样本视为一个状态向量，使其出现的概率尽可能大。标准Boltzmann机复杂度很高，常用受限Boltzmann机，受限Boltzmann机仅保留显层与隐层之间的连接，常用对比散度（Constrtive Divergence， CD算法）进行训练。

6 深度学习

典型的深度学习模型就是很深层的神经网络。对于神经网络模型，提高容量的一个简单办法就是：1）增加隐层的数目；2）增加隐层神经元的数目。增加隐层数目显然比单纯增加隐层神经元的数目更有效，这是因为增加隐层数不仅增加了拥有激活函数的神经元数目，还增加了激活函数嵌套的层数。然而，多隐层神经网络难以直接用经典算法（如标准BP算法）进行训练，因为误差在多隐层内传播时，往往会发散而不能收敛到稳定状态。此时可采用以下手段：

1）无监督逐层训练（unsupervised layer-wise trainning）：基本思想为每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层隐结点的输出作为下一层隐结点的输入，成为预训练（pre-trainning）;预训练全部完成后，再对整个网络进行微调（fine-tuning）。

这种“预训练+微调”的做法可视为将大量参数分组，对每组先找到局部看来比较好的设置，然后再基于这些局部较优的结果联合起来进行全局寻优。这样在利用模型大量参数多提供的自由度的同时，有效地节省了训练开销。

2）权共享（weight sharing）。参看卷积神经网络中权值共享的工作机制。

阅读全文

0 0