The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
来源:互联网 发布:哪里可以找到淘宝客 编辑:程序博客网 时间:2024/06/08 09:35
原文链接:http://www.xperseverance.net/blogs/2012/03/510/
Dirichlet分布可以看做是分布之上的分布。如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数与试验总数的比值估计这个面出现的概率,则我们得到六面出现的概率,分别为{0.2,0.2,0.2,0.2,0.1,0.1}。现在,我们还不满足,我们想要做10000次试验,每次试验中我们都投掷骰子10000次。我们想知道,出现这样的情况使得我们认为,骰子六面出现概率为{0.2,0.2,0.2,0.2,0.1,0.1}的概率是多少(说不定下次试验统计得到的概率为{0.1, 0.1, 0.2, 0.2, 0.2, 0.2}这样了)。这样我们就在思考骰子六面出现概率分布这样的分布之上的分布。而这样一个分布就是Dirichlet分布。
首先用上面这一段来点直观印象,然后列一些资料:
维基里面对于狄利克雷分布貌似介绍的挺复杂,不够基础。我找到了一个CMU的PPT:Dirichlet Distribution, Dirichlet Process and Dirichlet Process Mixture,找到一篇华盛顿大学的《Introduction to the Dirichlet Distribution and Related Processes》介绍。
发现CMU那个ppt里面讲到,Beta is the conjugate prior of Binomial,有一种原来如此的感觉。嗯,原来贝塔分布是二项分布的共轭先验分布,那么狄利克雷分布就是多项分布的共轭先验分布。所以要看狄利克雷分布,就要先了解多项分布,然后呢,想要了解狄利克雷之于多元的关系,就要先看贝塔分布和伯努利分布的关系。所以,二项分布、beta分布、以及共轭这三点是理解狄利克雷分布的关键基础知识,这个基础知识记录在这里(PRML2.1整小章介绍了这个)。
下面正式进入狄利克雷分布介绍,首先说一下这个多项分布的参数μ。在伯努利分布里,参数μ就是抛硬币取某一面的概率,因为伯努利分布的状态空间只有{0,1}。但是在多项分布里,因为状态空间有K个取值,因此μ变成了向量
上式中,
其中
对于参数
从这个形式可以看出,后验也是狄利克雷分布。类似于贝塔分布归一化后验的方法,我们把这个后验归一化一下,得到:
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- The Dirichlet Distribution 狄利克雷分布
- The Dirichlet Distribution 狄利克雷分布
- The Dirichlet Distribution 狄利克雷分布
- 狄利克雷分布(The Dirichlet Distribution) 及其相关
- Dirichlet Distribution, Dirichlet Process and Dirichlet Process Mixture-狄利克雷分布相关
- Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)
- Dirichlet Distribution
- Dirichlet Distribution
- Dirichlet Process & Dirichlet Distribution
- PRML 第二章 狄利克雷分布
- dirichlet分布
- Android横向滚动屏幕特效分析
- python 实现大小写替换
- 读取其他应用程序中ListView中的内容
- WebService-AXIS高级特性 传递复杂对象
- 5.0 Introduction (Storyboards)
- The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)
- curl_errno错误码说明
- 微信自定义菜单的 创建|查询|取消 示例代码
- Android Fragment应用实战,使用碎片向ActivityGroup说再见
- JAVA学习.String不变性&StringBuffer&StringBuilder
- 整型与字符串类型互换 JAVA
- 批处理制作自解压包
- Android事件的分派处理
- iOS XCode4.6.3 SVN 配置