深度学习(1)：纲要

概述

AI的目标是创造出一种机器，能够象人一样感知、记忆、学习和识别。深度学习是近年来被开发的一个领域，它最大限度地模仿人脑：处理复杂的输入数据；智能快速地学习不同的知识；解决不同种类的复杂问题。带有优秀学习算法的深度架构，被认为是人工智能的新的方向。

深度学习

浅层架构通常只有少量的特征层以及一个权重层（通常是线性的）。直到最近，很多机器学习和信号处理系统仍然使用浅层架构，它们最多包含一到两层的非线性特征转换，这些浅层架构包括如下。

1. GMMS: Gaussian Mixture model（高斯混合模型）。

2. CRFs：Conditional Random Fields（条件随机域）。

3. MaxEnt：Maximum Entropy（最大熵）。

4. SVM：Support Vector Machine（支持向量机）。

5. MLPs：Multi Layer Perceptrons（多层次感知机）。

6. Extreme Learning Machines（极限学习机）。

浅层架构在解决很多简单或者具有良好约束的问题上很有效，但是也具有很大的局限性，主要包括以下几点。

1. 难以训练无标号的数据，而现实中，多数数据是无标号的。

2. 当经过几个层次的传输之后，正确的信号将被弱化。

3. 跨越多个隐藏层之间的学习非常缓慢。

4. 会陷入较差的局部优化解。

深度架构一般是多层次的，并且相邻层次之间以某种方式相连接。Bengio和Lecun所定义的深度架构如下。

“深度架构是一个包含多个层次的组合，每个层次由自适应组件所组成。换句话说，它是由多个参数化非线性模型所组成的阶梯式组合，所有的层次都包含可训练的参数。”

深层架构应该具有以下特点。

1. 具有一个高度灵活的描述先验知识的方法，一个能够应对多种架构的学习算法。

2. 学习算法能够处理多种中间概念以及由非线性步骤组成的多个层次。

3. 学习算法能够处理多种函数，包含百万量级的独立参数。

4. 学习算法能够被高效地训练，即使在样本元素非常巨大的情况下。

5. 学习算法能够发现多个学习任务之间共享的概念，能够利用好大量的无标号数据。

按照模型对深度架构的分类

有很多不同的深度架构，但是CNNs和DBNs是两类最主要的深度架构。
1. Convolutional  Neural Networks(CNNs)
    待补充。
2. Deep Belief Networks(DBNs)
    待补充。

按照功能对深度架构的分类

1. 非监督学习或者生成学习
    待补充。
2. 监督学习
    待补充。
3. 混合学习
    待补充。

深度学习的应用

1. 语音和音频处理系统
2. 语言建模和自然语言处理
3. 信息提取
4. 物体识别和计算机视觉
5. 多模型和多任务学习