深度学习概念

深度学习，需要从“深度”和“学习”两方面来谈。

一、深度

深度学习的前身是人工神经网络，其基本特点是试图模仿人脑的神经元之间的传递和处理信息的模式。
人工神经网络由各个层组成：

  1.输入层：输入训练数据
  2. 输出层：输出计算结果
  3. 隐藏层：使输入数据向前传播到输出层（“深度”一般指隐藏层很多）

人工神经网络的每个层由大量节点（神经元）组成，层与层间有大量连接，但是层内部的神经元一般相互独立。深度学习的目的是要利用已知的数据学习一套模型，使系统在遇到未知数据时也能够做出预测。则需要神经元具有以下两个特性：

   1.激活函数：一般为非线性函数，每个神经元通过这个函数将原有的来自其他神经元的输入做一个非线性变化，输出给下一个神经元。激活函数实现的非线性能力是前向传播的很重要的一部分。
   2.成本函数：用来定量评估在特定输入值下，计算出来的输出结果距离这个输入值的真实值有多远，然后不断调整每一层的权重参数，使最后的损失值最小。这是一次反向传播。损失值越小，结果就越可靠。

二、学习

1、有监督学习：
  对于分类，输入的训练数据有特征（feature)和标记（label)，在学习中就是要找出特征和标记间的映射关系，通过标记来不断纠正学习中的偏差，使学习的预测率不断提高。
  训练数据都有标记的学习称为有监督学习。
2、无监督学习：
  1）训练时不为其指定明确的分类，但是这些数据会呈现出聚群的结构，彼此相似的结构会聚集在一起。称为聚类
  2）在成功时采用某种形式的激励制度，即强化学习（RL)。对于强化学习。虽然没有标记，但有一个延迟奖赏与训练相关，通过学习过程中的激励函数获得某种从状态到行动的映射。
3、半监督学习：
  训练数据一部分有标记，一部分没有标记，无标记的数据数量>>有标记的数据数量。
  基本规律:数据的分布必然不是完全随机的，通过结合有标记的数据的局部特征以及大量无标记的数据的整体分布，可得到比较好的分类结果。
参考：《Tensorflow 技术解析与实战》