LDA-math-认识Beta/Dirichlet分布
来源:互联网 发布:hadoop 非结构化数据 编辑:程序博客网 时间:2024/05/18 17:00
2. 认识Beta/Dirichlet分布
2.1 魔鬼的游戏—认识Beta 分布
统计学就是猜测上帝的游戏,当然我们不总是有机会猜测上帝,运气不好的时候就得揣度魔鬼的心思。有一天你被魔鬼撒旦抓走了,撒旦说:“你们人类很聪明,而我是很仁慈的,和你玩一个游戏,赢了就可以走,否则把灵魂出卖给我。游戏的规则很简单,我有一个魔盒,上面有一个按钮,你每按一下按钮,就均匀的输出一个[0,1]之间的随机数,我现在按10下,我手上有10个数,你猜第7大的数是什么,偏离不超过0.01就算对。”你应该怎么猜呢?
从数学的角度抽象一下,上面这个游戏其实是在说随机变量
对于不喜欢数学的同学而言,估计每个概率分布都是一个恶魔,那在概率统计学中,均匀分布应该算得上是潘多拉魔盒,几乎所有重要的概率分布都可以从均匀分布
潘多拉魔盒Uniform(0,1)
对于上面的游戏而言
把 [0,1] 区间分成三段
事件
则有
继续考虑稍微复杂一点情形,假设
事件E’
则有
从以上分析我们很容易看出,只要落在
所以,可以得到
利用Gamma 函数,我们可以把
还记得神奇的 Gamma 函数可以把很多数学概念从整数集合延拓到实数集合吧。我们在上式中取
这个就是一般意义上的 Beta 分布!可以证明,在
好,我们回到魔鬼的游戏,这
然而即便如此,我们能做到一次猜中的概率也不高,很不幸,你第一次没有猜中,魔鬼微笑着说:“我再仁慈一点,再给你一个机会,你按5下这个机器,你就得到了5个[0,1]之间的随机数,然后我可以告诉你这5个数中的每一个和我的第7大的数相比,谁大谁小,然后你继续猜我手头的第7大的数是多少。”这时候我们应该怎么猜测呢?
2.2 Beta-Binomial 共轭
魔鬼的第二个题目,数学上形式化一下,就是
X 1 ,X 2 ,⋯,X n ∼ iid Uniform(0,1) ,对应的顺序统计量是X (1) ,X (2) ,⋯,X (n) , 我们要猜测p=X (k) ;Y 1 ,Y 2 ,⋯,Y m ∼ iid Uniform(0,1) ,Y i 中有m 1 个比p 小,m 2 个比p 大;- 问
P(p|Y 1 ,Y 2 ,⋯,Y m ) 的分布是什么。
由于
p=X (k) 是我们要猜测的参数,我们推导出p 的分布为f(p)=Beta(p|k,n−k+1) ,称为p 的先验分布;- 数据
Y i 中有m 1 个比p 小,m 2 个比p 大,Y i 相当于是做了m 次贝努利实验,所以m 1 服从二项分布B(m,p) ; - 在给定了来自数据提供的
(m 1 ,m 2 ) 的知识后,p 的后验分布变为f(p|m 1 ,m 2 )=Beta(p|k+m 1 ,n−k+1+m 2 )
贝努利实验
我们知道贝叶斯参数估计的基本过程是
先验分布 + 数据的知识 = 后验分布
以上贝叶斯分析过程的简单直观的表述就是
其中
这个式子实际上描述的就是 Beta-Binomial 共轭,此处共轭的意思就是,数据符合二项分布的时候,参数的先验分布和后验分布都能保持Beta 分布的形式,这种形式不变的好处是,我们能够在先验分布中赋予参数很明确的物理意义,这个物理意义可以延续到后验分布中进行解释,同时从先验变换到后验过程中从数据中补充的知识也容易有物理解释。
而我们从以上过程可以看到,Beta 分布中的参数
其中
对于(***) 式,我们其实也可以纯粹从贝叶斯的角度来进行推导和理解。 假设有一个不均匀的硬币抛出正面的概率为
计算得到的后验分布正好是
百变星君Beta分布
Beta 分布的概率密度我们把它画成图,会发现它是个百变星君,它可以是凹的、凸的、单调上升的、单调下降的;可以是曲线也可以是直线,而均匀分布也是特殊的Beta分布。由于Beta 分布能够拟合如此之多的形状,因此它在统计数据拟合中被广泛使用。
在上一个小节中,我们从二项分布推导Gamma 分布的时候,使用了如下的等式
现在大家可以看到,左边是二项分布的概率累积,右边实际上是
我们可以如下构造二项分布,取随机变量
贝努利实验最多成功
显然我们有如下式子成立
此处
最后我们再回到魔鬼的游戏,如果你按出的5个随机数字中,魔鬼告诉你有2个小于它手中第7大的数,那么你应该
按照如下概率分布的峰值做猜测是最好的
很幸运的,你这次猜中了,魔鬼开始甩赖了:这个游戏对你来说太简单了,我要加大点难度,我们重新来一次,我按魔盒20下生成20个随机数,你同时给我猜第7大和第13大的数是什么,这时候应该如何猜测呢?
2.3 Dirichlet-Multinomial 共轭
对于魔鬼变本加厉的新的游戏规则,数学形式化如下:
X 1 ,X 2 ,⋯,X n ∼ iid Uniform(0,1) ,- 排序后对应的顺序统计量
X (1) ,X (2) ,⋯,X (n) , - 问
(X (k 1 ) ,X (k 1 +k 2 ) ) 的联合分布是什么;
游戏3
完全类似于第一个游戏的推导过程,我们可以进行如下的概率计算(为了数学公式的简洁对称,我们取
于是我们得到
熟悉 Dirichlet的同学一眼就可以看出,上面这个分布其实就是3维形式的 Dirichlet 分布
这个就是一般形式的3维 Dirichlet 分布,即便
从形式上我们也能看出,Dirichlet 分布是Beta 分布在高维度上的推广,他和Beta 分布一样也是一个百变星君,密度函数可以展现出多种形态。
不同
类似于魔鬼的游戏2,我们也可以调整一下游戏3,从魔盒中生成
-
X 1 ,X 2 ,⋯,X n ∼ iid Uniform(0,1) ,排序后对应的顺序统计量X (1) ,X (2) ,⋯,X (n) - 令
p 1 =X (k 1 ) ,p 2 =X (k 1 +k 2 ) ,p 3 =1−p 1 −p 2 (加上p 3 是为了数学表达简洁对称),我们要猜测p → =(p 1 ,p 2 ,p 3 ) ; Y 1 ,Y 2 ,⋯,Y m ∼ iid Uniform(0,1) ,Y i 中落到[0,p 1 ),[p 1 ,p 2 ),[p 2 ,1] 三个区间的个数分别为m 1 ,m 2 ,m 3 ,m=m 1 +m 2 +m3 ;- 问后验分布
P(p → |Y 1 ,Y 2 ,⋯,Y m ) 的分布是什么。
游戏4
为了方便,我们记
由游戏中的信息,我们可以推理得到
- 我们要猜测参数
p → =(p 1 ,p 2 ,p 3 ) ,其先验分布为Dir(p → |k → ) ; - 数据
Y i 落到[0,p 1 ),[p 1 ,p 2 ),[p 2 ,1] 三个区间的个数分别为m 1 ,m 2 ,m 3 ,所以m − → =(m 1 ,m 2 ,m 3 ) 服从多项分布Mult(m − → |p → ) - 在给定了来自数据提供的知识
m − → 后,p → 的后验分布变为Dir(p → |k → +m − → )
贝叶斯推理过程
以上贝叶斯分析过程的简单直观的表述就是
令
以上式子实际上描述的就是 Dirichlet-Multinomial 共轭,而我们从以上过程可以看到,Dirichlet 分布中的参数
此处
以上的游戏我们还可以往更高的维度上继续推,譬如猜测
对于给定的
而
Beta-Binomail 共轭和 Dirichlet-Multinomail 共轭都可以用纯粹数学的方式进行证明,我们在这两个小节中通过一个游戏来解释这两个共轭关系,主要是想说明这个共轭关系是可以对应到很具体的概率物理过程的。
2.4 Beta/Dirichlet 分布的一个性质
如果
上式右边的积分对应到概率分布
把上式带入
这说明,对于Beta 分布的随机变量,其均值可以用
以上两个结论很重要,因为我们在后面的 LDA 数学推导中需要使用这个结论。
- LDA-math-认识Beta/Dirichlet分布(1)
- LDA-math-认识Beta/Dirichlet分布(2)
- LDA-math-认识Beta/Dirichlet分布(3)
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- 认识beta和dirichlet分布
- beta分布和Dirichlet分布
- beta分布 and Dirichlet分布
- 如何理解Beta分布和Dirichlet分布?
- 如何理解Beta分布和Dirichlet分布?
- 如何理解Beta分布和Dirichlet分布?
- 【转载】 Beta分布和Dirichlet分布
- Gamma函数 & Beta分布 & Dirichlet分布 & Symmetric Dirichlet
- 伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
- 伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
- 认识 Beta 分布
- 如何开发一个产品级的Node.js 应用
- 修改XP/Win7开机动画
- Nginx系列(五. 将php-fpm注册为服务)
- Java的IO流
- websocket php
- LDA-math-认识Beta/Dirichlet分布
- 第一篇博客
- 程序员如何让自己更值钱?
- HihoCoder第四周:Trie图
- Android自定义控件-ListViewForRefresh
- [OpenWrt]安装mjpg-streamer
- 《结构方程模型及其应用》学习笔记0504第一、二章
- LDA-math-MCMC 和 Gibbs Sampling
- Foundation_NSStringAndNSMutableString