[深度学习PART I] 神经网络概述

1. 神经网络是什么

神经网络一般分为生物神经网络和人工神经网络。生物神经网络指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。人工神经网络（ANN）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接的关系，从而达到处理信息的目的。在计算机领域，我们所说的神经网络通常指的是人工神经网络。

2. 神经网络的应用

图像识别、自动驾驶、人工智能（AlphaGo）

3. 神经网络的种类

神经网络基础：单层感知机，线性神经网络，BP神经网络，Hopfield神经网络等

神经网络进阶：玻尔兹曼机，受限玻尔兹曼机，递归神经网络等

深度学习网络：深度置信网络，卷积神经网络，深度残差网络，LSTM网络等

深度网络应用：传统数据挖掘与机器学习问题，手写体识别，图像识别，自然语言处理，人工智能等

编程语言：python，R，matlab，java等

深度学习实现框架：Tensorflow，Caffe,Torch等

4. 发展历史

启蒙时期（1890-1969）

· 1890年，心理学家William James出版了第一部详细论述人脑结构及功能的专著《心理学原理》，他认为一个神经细胞受到刺激激活后可以把刺激传播到另一个神经细胞，并且神经细胞激活是细胞所有输入叠加的结果。

· 1943年，神经病学家和神经元解剖学家McCulloch和数学家Pitts在生物物理学期刊发表文章提出神经元的数学描述和结构，并且证明了只要有足够的简单神经元，在这些神经元互相连接并同步运行的情况下，可以模拟任何计算函数（M-P模型）。他们所做的开创性的工作被人为是人工神经网络（ANN）的起点。

· 1949年，生理学家Hebb出版了《行为组织学》，描述了神经元权值的Hebb调整规则。他指出在神经网络中，信息存储在连接权值中。并提出假设神经元A到神经元B的连接权与从B到A的连接权是相同的。

· 1958年，计算机学家Rosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”。

· 1969年，人工智能的创始人之一的Minsky和Papert出版了一本名为《感知器》的书，书中指出简单神经网络只能运用于线性问题的求解，能够求解非线性问题的网络应具有隐层，而从理论上还不能证明将感知器模型扩展到多层网络是有意义的。

低潮时期（1969-1982）

· Grossberg夫妇提出了自适应共振机理论和三个ART系统。

· Konhonen教授提出了自组织映射（SOM）理论。

· 福岛邦彦的新认知机。

复兴时期（1982-1986）

· 1982年，美国加州理工学院的优秀物理学家Hopfield提出了Hopfield神经网络。Hopfield神经网络引用了物理力学的分析方法，把网络作为一种动态系统并研究这种网络动态系统的稳定性。

· 1985年，Hinton和Sejnowski借助统计物理学的概念和方法提出了一种随机神经网络模型——玻尔兹曼机。一年后他们又改进了模型，提出了受限玻尔兹曼机。

· 1986年，Rumelhart，Hinton，Williams发展了BP算法。（多层感知器的误差反向传播算法）

新时期（1986-今）

· 1987年6月，首届国际神经网络学术会议在美国加州圣地亚哥召开，到会代表有1600余人。之后国际神经网络学会和国际电气工程师与电子工程师学会（IEEE）联合召开每年一次的国际学术会议。

5. 代表人物，三巨头：Hinton、LeCun、Bengio

Geoffrey Hinton

· 英国出生的计算机学家和心理学家，以其在神经网络方面的贡献闻名。Hinton是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者。目前担任多伦多大学计算机科学系领导。

· 2013年3月加入Google，领导Google Brain项目。

Yann LeCun

· 计算机科学家，他最著名的工作是光学字符识别和计算机视觉上使用卷积神经网络CNN，他被称为卷积神经网络之父。

· 多伦多大学跟随Hinton做博士后。1988年，加入贝尔实验室，之后开发出了卷积神经网络，曾广泛用于手写识别。

· 2003年去了纽约大学。2013年12月加入了Facebook，称为Facebook人工智能实验室的第一任主任。

Yoshua Bengio

· 毕业于麦吉尔大学，在MIT和贝尔实验室做过博士后研究员，自1993年之后在蒙特利尔大学任教，在训练问题，自动编码器降噪领域做出重大贡献。

Andrew Ng

· 曾经是斯坦福大学计算机科学系和电气工程系的副教授，斯坦福人工智能实验室主任。他还与达芙妮科勒一起创建了在线教育平台Coursera。

· 2011年，吴恩达在Google创建了Google Brain项目，通过分布式集群计算机开发超大规模的人工神经网络。

· 2014年5月，吴恩达加入百度，负责百度大脑计划，并担任百度公司首席科学家。