[神经网络]1.3-Using neural nets to recognize handwritten digits-The architecture of neural networks（翻译）

原文地址：http://neuralnetworksanddeeplearning.com/chap1.html#exercises_191892

The architecture of neural networks

在下一章，我们将介绍可以很好工作于识别手写数字的神经网络。为了更好的理解，下面先介绍一些术语。假设我们有网络如下：
和早期提到的一样，最网络中最左边的层被称之为输入层，并且在这一层的神经元称之为输入神经元，或者，就像在这种情况下，一个输出神经元。中间的层称之为隐藏层，因为在中间层的神经元既不是输入层也不是输出层。“隐藏”的属于听起来有点神秘-我第一次听到这个词我认为这一定有深厚的哲学或数学意义。但是并不是这样，它表达的意思仅仅是“既不是输入也不是输出”。上面所绘的网络仅仅包含一个隐藏层，但是一些网络包含多个隐藏层。举个例子，下面具有4层的网络有2个隐藏层：


因为一些历史原因，导致多层网络有时间被称为多层感知机或MLPs，尽管组成它的是Sigmoid神经元，而不是感知机，这一点是有点疑惑的。我不打算在这本书中使用MLP的术语，因为我认为这是令人困惑的，但想告诉你它的存在。

在网络中，输入和输出的设计往往是很简单的。举个例子，我们试图查明手写图像是否是“9”。一种很自然的方式是用编码的图像像素的强度来设计网络的输入神经元。如果图像是一个64乘64的灰度图像，那么我们就可以得到4096=64×64的在0~1之间的输入神经元，输出层将包含一个神经元，小于0.5代表“输入图像不是9”，否则是“输入图像是9”。

虽然神经网络的输入和输出层的设计往往是简单的，但是隐藏层的设计是很有艺术性的。特别地，用几个简单的经验法则来总结隐藏层的设计过程是不可能的。相反，神经网络研究者为隐藏层发明了启发式算法，这可以帮助人们获取网络中他们想要的行为。举个例子，这样的启发式可以帮助权衡训练模型需要的时间和隐藏层的数目。我们将在这本书的后面提出几个这样的启发式算法。

到现在为止，我们已经讨论了神经网络，一个层的输出是下一层的输入。这种网络称之为前馈神经网络。这意味着网络中没有循环，信息总是向前反馈，不会向后反馈。如果我们做的有循环,我们最终得到的情况输入σ函数依赖于输出。会很难理解,所以我们不允许这样的循环。

然而,还有其他的人工神经网络模型反馈循环是可能的。这些模型被称为复发性神经网络。这种模型火了一段时间就消停了。对这个的热情也刺激到了其他神经元模型的发展，经过一段时间的发展，我们得到了一种级联的神经元。在这样一个模型中，循环不会造成问题，因为神经元的输出只会在稍后的时间会影响它的输入，而不是瞬间。

复发性神经网络的影响比前馈网络的影响较小，部分是因为复发性网络学习算法（至少到目前）不太强大。但是复发性神经网络仍然是非常有趣的。他们在原理上更接近我们人脑的工作。有可能复发性网络可以解决一个非常困难问题，这种问题原本只能由前馈网络解决。然而，限制我们的范围，在这本书中，我们将专注于更广泛使用的前馈网络。