LDA-math-认识Beta/Dirichlet分布(2)
来源:互联网 发布:淘宝网针织护腰带 编辑:程序博客网 时间:2024/05/23 19:20
http://www.52nlp.cn/lda-math-%E8%AE%A4%E8%AF%86betadirichlet%E5%88%86%E5%B8%832
2. LDA-math-认识Beta/Dirichlet分布(2)
2.2 Beta-Binomial 共轭
魔鬼的第二个题目,数学上形式化一下,就是
X1,X2,⋯,Xn∼iidUniform(0,1) ,对应的顺序统计量是X(1),X(2),⋯,X(n) , 我们要猜测p=X(k) ;Y1,Y2,⋯,Ym∼iidUniform(0,1) ,Yi 中有m1 个比p 小,m2 个比p 大;- 问
P(p|Y1,Y2,⋯,Ym) 的分布是什么。
由于
p=X(k) 是我们要猜测的参数,我们推导出p 的分布为f(p)=Beta(p|k,n−k+1) ,称为p 的先验分布;- 数据
Yi 中有m1 个比p 小,m2 个比p 大,Yi 相当于是做了m 次贝努利实验,所以m1 服从二项分布B(m,p) ; - 在给定了来自数据提供的
(m1,m2) 的知识后,p 的后验分布变为f(p|m1,m2)=Beta(p|k+m1,n−k+1+m2)
贝努利实验
我们知道贝叶斯参数估计的基本过程是
先验分布 + 数据的知识 = 后验分布
以上贝叶斯分析过程的简单直观的表述就是
其中
这个式子实际上描述的就是 Beta-Binomial 共轭,此处共轭的意思就是,数据符合二项分布的时候,参数的先验分布和后验分布都能保持Beta 分布的形式,这种形式不变的好处是,我们能够在先验分布中赋予参数很明确的物理意义,这个物理意义可以延续到后验分布中进行解释,同时从先验变换到后验过程中从数据中补充的知识也容易有物理解释。
而我们从以上过程可以看到,Beta 分布中的参数
其中
对于(***) 式,我们其实也可以纯粹从贝叶斯的角度来进行推导和理解。 假设有一个不均匀的硬币抛出正面的概率为
之后,按照贝叶斯公式如下计算
计算得到的后验分布正好是
百变星君Beta分布
Beta 分布的概率密度我们把它画成图,会发现它是个百变星君,它可以是凹的、凸的、单调上升的、单调下降的;可以是曲线也可以是直线,而均匀分布也是特殊的Beta分布。由于Beta 分布能够拟合如此之多的形状,因此它在统计数据拟合中被广泛使用。
在上一个小节中,我们从二项分布推导Gamma 分布的时候,使用了如下的等式
现在大家可以看到,左边是二项分布的概率累积,右边实际上是
我们可以如下构造二项分布,取随机变量
贝努利实验最多成功
显然我们有如下式子成立
此处
最后我们再回到魔鬼的游戏,如果你按出的5个随机数字中,魔鬼告诉你有2个小于它手中第7大的数,那么你应该
按照如下概率分布的峰值做猜测是最好的
很幸运的,你这次猜中了,魔鬼开始甩赖了:这个游戏对你来说太简单了,我要加大点难度,我们重新来一次,我按魔盒20下生成20个随机数,你同时给我猜第7大和第13大的数是什么,这时候应该如何猜测呢?
- LDA-math-认识Beta/Dirichlet分布(2)
- LDA-math-认识Beta/Dirichlet分布(1)
- LDA-math-认识Beta/Dirichlet分布(3)
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- LDA-math-认识Beta/Dirichlet分布
- 认识beta和dirichlet分布
- beta分布和Dirichlet分布
- beta分布 and Dirichlet分布
- 如何理解Beta分布和Dirichlet分布?
- 如何理解Beta分布和Dirichlet分布?
- 如何理解Beta分布和Dirichlet分布?
- 【转载】 Beta分布和Dirichlet分布
- Gamma函数 & Beta分布 & Dirichlet分布 & Symmetric Dirichlet
- 伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
- 伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
- 认识 Beta 分布
- java swing边框Border的使用
- java(16) - 泛型
- Android 图片加载Bitmap OOM错误解决办法
- 1445素数练习
- ubuntu Android开发eclipse不识别手机解决方法!(附步步高vivo解决方法)
- LDA-math-认识Beta/Dirichlet分布(2)
- WPF之动画
- [转]解决a different object with the same identifier value was already associated with the session错误
- uva 839 - Not so Mobile
- 二叉树遍历
- vim 模式
- 匈牙利算法小心得
- (3)自定义鼠标提示
- URI和URL