深度学习之深度生成模型

深度生成模型可以分为有监督与无监督，主要还是在于无监督地应用，用于在没有目标类标签信息的情况下捕捉观测到或可见数据的高阶相关性，可以通过从网络中采样来生成有效样本，譬如受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）、深度信念网络（Deep Belief Network, DBN）、深度玻尔兹曼机（Deep Boltzmann Machine, DBM）和广义除噪自编码器（Generalized Denoising Autoencoders）。

DBN是由一组RBM堆叠而成的深度生成式网络，核心是贪婪的逐层学习的算法。而RBM是基于能量的模型，基于能量的模型是使用图描述模型结构，属于深度学习中的结构化概率模型。

所以本小白决定首先从贪婪的逐层学习算法开始学习。

贪婪逐层学习算法是属于表示学习。表示学习提供了一种进行无监督和半监督学习的方法，用于数据集有着巨量的未标注训练数据和相对较少的标注训练数据。表示学习理论基础就是假设未标注数据可以学习出良好的表示。表示其实也可以认为是特征。

贪心逐层无监督预训练

这个就是贪心逐层算法，其实就是不断地对于特征表示函数进行学习，最终找到最优特征函数，贪心逐层主要是依靠单层表示学习的堆叠，譬如RBM、单层自编码器、稀疏编码模型或其他学习潜在表示模型。贪心逐层最初是能够进行多层联合训练甚至全连接网络而出名，但是现在可以训练具有全连接的深度结构，已经勿需使用了。

贪心在于独立优化方案每一部分而不是联合优化所有，逐层是因为通过网络层独立解决，一层搞好之后就不会再变，预训练在于是联合训练算法精调所有层前的第一步。

受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）

背景知识：结构化概率模型是使用图来描述概率分布中随机变量间的相互作用，从而描述一个概率分布，也称图模型。

RBM本身不是一个深层模型，它拥有一层潜变量，它被设计是为了能够进行高效的Gibbs采样，并且模型设计的重点在于以很高的自由度学习潜变量。

通过v、h单元的概率分布可以进行高效的Gibbs采样，采样进而获取表示

DBN