——《TensorFlow 实战Google深度学习框架》读书笔记
最近，亟需学习关于深度学习的内容。因此，先对书里深度学习的简介部分进行了整理，完全按个人的理解，很多具体的内容现在还不理解，因此只是做一个框架体系的梳理。

深度学习初识

一. 深度学习是什么？

深度学习是机器学习的一个分支，它除了可以学习特征和任务之间的关联以外，还能自动地从简单特征中提取更加复杂的特征。

二. 深度学习和机器学习的流程对比

［1］传统机器学习：输入－》人工特征提取－》权重学习－》预测结果
［2］深度学习算法：输入－》基础特征提取－》多层复杂特征提取－》权重学习－》预测结果

三. 深度学习发展寻迹

目前大家所熟知的“深度学习”基本上是深层神经网络的代名词，而神经网络可以追溯到1943年。
神经网络发展的三个阶段：

［1］早期的神经网络模型

类似于仿生机器学习，试图模仿大脑的学习机理。

1）代表模型1：McCullocn-Pitts Neuron（莫克罗-彼特氏神经模型）

这个模型大致模拟了人类大脑神经元的工作原理：输入，然后将输入进行一些变换的到输出结果。

通过N个权重来计算这N个输入的加权和，然后这个加权和经过一个阈值函数处理得到一个0或者1的输出。

局限：
McCullocn-Pitts Neuron需要手动设置权重，这种方式既麻烦又很难达到最优效果。

应用：
二元分类（比如垃圾邮件分类等）

2）代表模型2：感知机模型（perceptron）

感知机模型能够让计算机更自动，更合理地设置权重大小。
感知机是首个可以根据样例数据来学习特征权重的模型。
局限：
（1）只能解决线性可分问题；
（2）无法解决异或问题；
（3）受限于计算能力，不可能实现多层的神经网络。

由于种种局限性，这一时期，基于神经网络的研究几乎处于停滞状态。

[2]第二波神经网络研究

因分布式知识表达(distributed representation)和神经网络反向传播算法（back-propagation）的提出而兴起。
1）原因：
（1）由于分布式知识表达大大加强了模型的表达能力，让神经网络从宽度的方向走向了深度的方向，为深度学习奠定了基础，而深层的神经网络很好地解决类似异或问题等线性不可分问题。

分布式的知识表达的核心思想是：现实世界中的知识和概念应该通过多个神经元（neuron）组合来表达，而模型中的每一个神经元也应该参与表达多个概念。比如“红色 ”，“小汽车”可以组合表达“红色的小汽车”。“小汽车”又可以和“白色”组合表达“白色的小汽车”。

（2）反向传播算法地提出大幅降低了训练神经网络所需要的时间。

2）这一阶段的神经网络模型：

• 卷积神经网络(Convolutional Neural Network,CNN)
  
• 循环神经网络(Recurrent Neural Networks,RNN)
  
• 时间递归神经网络模型LSTM(Long short-term memory,LSTM)

3）这一时期神经网络的局限：
这一时期，传统机器学习的算法也有了突破性的进展，并且在90年代末逐步超越了神经网络。比如SVM在手写识别中可以将错误降低到0.8%，这种精度当时的神经网络根本无法达到。导致这种情况的原因：
（1）当时的计算资源仍然限制深层神经网络的训练。
（2）当时的数据量太小，无法满足训练深层神经网络的需求。

[3]神经网络的发展高潮

（1）计算机性能的提高，云计算，GPU的出现解决了训练深度神经网络的计算资源限制问题。
（2）互联网＋，海量数据解决了训练数据不足的问题。

2012年以后，深度学习的发展便进入了高潮。

四. 深度学习在自然语言处理中的应用

1）单词向量（Word embedding）
2）机器翻译
3）情感分析
4）关系抽取
……