神经网络发展史

1. 机器学习(Machine Learning)

机器学习是人工智能（Artificial Intelligence）的核心。它和统计学有着密不可分的关系。作为对比，让我们先来看一看这两个领域的区别。

1.1. 传统的统计学的特点：

• 低维数据；
• 数据中有大量噪点（Noise）；
• 数据中没有复杂的结构，且所有结构均可以被简化为一个相对简单的模型；
• 面临的主要问题是如何从数据中分辨出正确的结构。

1.2. 人工智能的特点：

• 需要处理高维度的数据（超过100维的数据）；
• 如果我们正确处理的话，数据中的噪点将不足以遮蔽数据的结构；
• 数据中存在大量的结构，且这些结构过于复杂，所以无法用简单的模型代替。
• 面临的主要问题是如何找到一种方法来描述复杂的结构从而可让机器来学习。

2. 神经网络的发展历史

神经网络作为机器学习的一门重要技术，已经经历了数十年的发展。下面对它做一个简单的归纳。

2.1. 第一代神经网络

感知器（~1960）

感知器（Perceptrons）使用一层手编（Hand-coded）特征，通过学习如何给这些特征加权来识别对象。

• 感知器的优点：调整权值的学习算法很简洁。
• 感知器的缺点：感知器一些先天的缺陷，导致它们可以学习的东西大大地受限。

Vapnik和他的同事们发明了大名鼎鼎的支持向量机（SVM），改进了感知器的一些缺陷（例如创建灵活的特征而不是手编的非适应的特征），并得到了广泛的应用。但是归根到底，它还是一种感知器，所以无法避免感知器的先天限制。

2.2. 第二代神经网络

BP（反向传播，Back-propagate）神经网络（~1985）

BP神经网络通常使用梯度法来修正权值。BP并不是一种很实用的方法。原因有三：

• 它需要被标记的训练数据，但是几乎所有的数据都是未标记的。
• 学习时间不易衡量，在多层网络中，速度非常慢。
• 它陷入局部极小点而不收敛的情况极大。

2.3. 第三代神经网络

最近的神经科学研究表明，和人类的许多认知能力相关的大脑皮层，并不显式地预处理感知信号，而是让它们通过一个复杂的模块层次结构，久而久之，就可以根据观察结果呈现的规律来表达它们。
这一发现促进了深机器学习（DML, Deep Machine Learning）的发展。DML关注的恰恰正是是信息表达的计算模型，和大脑皮层类似。

目前DML领域有两种主流的方法：

• Convolutional Neural Networks
  

• Deep Belief Networks
  

---

引用
[1] Y. Bengio, “Learning deep architectures for AI”, Found. Trends Mach. Learn., vol. 2, no. 1, pp. 1–127, 2009.
[2] Itamar Arel, Derek C. Rose, and Thomas P. Karnowski, “Deep Machine Learning—A New Frontier in Artificial Intelligence Research”, IEEE Comput. Intell. Mag., vol. 5, pp. 13-18, 2010.