受限玻尔兹曼机详解

第一章：受限玻尔兹曼机

1.1 马尔科夫链

随机变量：某电子元器件，不同时刻由于原子的移动而产生不同的电压，故在不同的时刻会产生一系列不同的电压，而且在不同时刻t，产生的电压服从不同的分布，定义：某时刻t，电压v(t)就是一个随机变量，在时间t轴上，{X(t),t>=0}定义为一个随机过程。当v(t)是连续的，称为连续参数的随机过程。当v(t)是离散的称为离散参数随机过程。比如天气是否下雨，x(t)=0,1。

由于随机过程是不同的时间t对应不同的分布，当在某一个时间段中，{t>=0且t<N}时候，对应的分布相同，这样的随机过程称为平稳随机过程。

马尔科夫性：

时间和状态都是离散的马尔科夫过程称为马尔科夫链。

马氏转移概率矩阵如下：

     

 

齐次马氏链：昨天推今天的转移矩阵和今天推明天的转移矩阵相同，这样的叫齐次马氏链。昨天推出今天这样的一步变化转移，对应的转移矩阵叫一步转移矩阵，昨天推明天的是二步转移矩阵。

CK方程，求解N步转移概率矩阵：

1.2受限玻尔兹曼机

玻尔兹曼机如图所示：

可见层和隐层是全连接，输入数据输入到可见层中，最后网络收敛到一个稳态。其中缺点有：1.计算时间漫长，特别是无约束自由迭代的负向阶段。2.对抽样噪声敏感。3.很难找到合适的案例。

受限玻尔兹曼机（RBM）结构如下：

他和BM想比较，主要是输入层和隐层之间没有全连接，输入相对是独立的。

 

1.3总结

受限玻尔兹曼机（RBM），只有输入层和隐层，输入层输入后经过权值的调整得到隐层，隐层再可以反推出输入层的数据，这个过程和自编码器有点类似，自编码器有输入层、隐层和输出层，采用BP误差反向传播的计算方法，目标函数为求取误差平方和最小。RBM相当于自编码的输入和输出重合，形成RBM的输入层。其采用的算法是CD快速计算方法，采用吉布斯抽样，符合玻尔兹曼分布，使其网络收敛得到一个稳态的过程。比如训练的数据有5种分类，经过玻尔兹曼分布后网络达到一个稳态。测试数据输入后，网络的输出以一定的概率一定会落到5种分类之一，这个是RBM相对于BM的一个优点，没有伪吸引子的影响，同时由于CD快速学习算法的出现，才使得RBM能够克服BM的缺点，在工业界可以大规模的使用。