contrastive divergence 算法

来源：互联网发布：明天教室网络课怎么样编辑：程序博客网时间：2024/05/01 05:50

原文链接在这里http://blog.sina.com.cn/s/blog_5980285201014pwy.html

把 <<[2002 Nuural Computation, 675]#######training products of experts by minimizing contrastive divergence>>这篇论文看了一遍，其实只看了一半

觉得PoE和contrastive divergence以及RBM学习算法这部分可以过了

主要意思是这样的：
1.RBM是PoE的一个特例
2.PoE可以用contrastive divergence来进行学习
3.contrastive divergence的学习方法大致是这样的：
本来是要进行极大似然学习的，也就是计算目标函数对权重的偏导数，并且使权重沿偏导数方向移动
但是偏导数计算量特别大，因为涉及到了Gibbs抽样（需要无限次），所以不用这个方法
发现了极大似然学习的目标函数等价于KL散度
更换了目标函数：极小化KL散度与CD1-KL散度的差
对这个新的目标函数求偏导数之后发现有两项是很容易计算的，第三项可以忽略掉
而且在实际应用中效果还不错

接下来的工作：
1.helmholtz machines and wake-sleep learning
2.啃大头。。。。

0 0