Boltzmann Machine 入门(1)
来源:互联网 发布:mac双系统 默认苹果 编辑:程序博客网 时间:2024/06/05 22:39
根据我的第一篇关于DBM的博文,明白了一个道理,1. v 和h 互相能推测出彼此,表示同一组特征的两种形式,就像时域频域一样。接下来又看了 http://www.cnblogs.com/tianchi/archive/2013/03/14/2959716.html 以热力学分子随机取值变化对整体能量影响的概念理解DBM中能量函数的概念。理解为 2. 整体的能量被各个随机节点以一定的概率朝着某个方向走而带来变化但仍然不理解这个能量函数和训练中似然函数该怎样使用,于是又看了解释能量函数和Gibbs采样的 http://m.blog.csdn.net/article/details?id=7768833
http://www.cnblogs.com/tornadomeet/archive/2013/03/26/2982694.html
随机模拟问题的Gibbs采样上面讲的还不是很清楚,于是参照
http://blog.163.com/lipse_huang/blog/static/191657545201341021645737/
几个可以学习gibbs sampling的方法
1,读Bishop的Pattern Recognition and Machine Learning,讲的很清楚,但是我记得好像没有例子。
2,读artificial Intelligence,2、3版,都有。但是我没读过。
3,最方便的,查wiki,这个说的最清楚。
这里通俗点的解释一下。首先,什么是sampling。sampling就是以一定的概率分布,看发生什么事件。举一个例子。甲只能E:吃饭、学习、打球,时间T:上午、下午、晚上,天气W:晴朗、刮风、下雨。现在要一个sample,这个sample可以是:打球+下午+晴朗。。。
问题是我们不知道p(E,T,W),或者说,不知道三件事的联合分布。当然,如果知道的话,就没有必要用gibbs sampling了。但是,我们知道三件事的conditional distribution。也就是说,p(E|T,W),p(T|E,W),p(W|E,T)。现在要做的就是通过这三个已知的条件分布,再用gibbs sampling的方法,得到joint distribution。
具体方法。首先随便初始化一个组合,i.e. 学习+晚上+刮风,然后依条件概率改变其中的一个变量。具体说,假设我们知道晚上+刮风,我们给E生成一个变量,比如,学习-》吃饭。我们再依条件概率改下一个变量,根据学习+刮风,把晚上变成上午。类似地,把刮风变成刮风(当然可以变成相同的变量)。这样学习+晚上+刮风-》吃饭+上午+刮风。
同样的方法,得到一个序列,每个单元包含三个变量,也就是一个马尔可夫链。然后跳过初始的一定数量的单元(比如100个),然后隔一定的数量取一个单元(比如隔20个取1个)。这样sample到的单元,是逼近联合分布的。
MCMC算法简介,一个很好的“百度贴吧”帖子
- Boltzmann Machine 入门(1)
- Boltzmann Machine 入门(2)
- Boltzmann machine
- 受限Boltzmann机(Restricted Boltzmann Machine)
- Restricted Boltzmann Machine 数学推倒
- Feedback Nerual Network(六):Boltzmann Machine
- 受限玻尔兹曼机机(restricted boltzmann machine)
- Restricted Boltzmann Machine (RBM)限制波尔兹曼机
- 受限玻尔兹曼机(Restricted Boltzmann Machine, RBM) 简介
- Restricted Boltzmann Machine (RBM)限制波尔兹曼机
- Restricted Boltzmann Machine(to be continued)
- Restricted Boltzmann Machine features for digit classification
- 深度学习(5):Boltzmann Machine
- 限制玻尔兹曼机 Restricted Boltzmann Machine (RBM)
- 受限玻尔兹曼机(Restricted Boltzmann Machine)分析
- Restricted Boltzmann Machine(限制玻尔兹曼机)
- 受限玻尔兹曼机(Restricted Boltzmann Machine, RBM) 简介
- 【deep learning学习笔记】Restricted Boltzmann Machine(待整理)
- heredoc
- 《网络工程师》 Part5 无线通信网
- hdu 2033
- 架构高性能网站秘笈(三)——浏览器缓存
- 实践--音乐播放器
- Boltzmann Machine 入门(1)
- 架构高性能网站秘笈(四)——反向代理缓存
- 如何查找PHP中哪里符合配对有错?syntax error, unexpected $end in D:\wamp\www\index.php on
- 数据治理:让数据质量更好(data governance)
- AngularJS Scope 继承解析
- CentOS网络接口文件详解(ifcfg-eth)
- 架构高性能网站秘笈(五)——Web组件分离
- 数据结构_字符串的操作_c/c++
- swift新增两种类型