Dirielect process notes

本篇博客旨在翻译《dirichlet process》下面是个人翻译结果，0.0版本，不建议看，大神勿喷。

Dirichlet Process

介绍

DP是一个分布的分布，一般来说，分布是我们定义在数字上的一些分类（例如实数，非负数等），所以一开始我们看到分布的分布会觉得很意外，如果你在这一个观点上有这种感觉的话，一个明显的但是可靠的事实就是，我们更喜欢指出，概率论依然适用于这些对象。然而意外是因为你第一次看到。所以，很快我们就会看到，在关于他们像什么没有清晰的感觉的前提下，获得这些对象的可观察属性是可行的。    假设G是一个在测度空间theta上的概率分布（如果你觉得很学术，那么你可以认为G是在实数0-1之间的一个映射，这个映射是theta的一个概率子集）。    现在G是一个在theta上的概率分布，DP是一个在所有这样的分布上的分布，DP是一个通过concentration parameter α和base measure H来参数化的过程。    简单的说一些东西是一个其他东西上的分布是很勉强的（对比：正态分布是一个在实数上的分布）我们现在知道这个分布的一些属性。所以他就意味着说G是一个通过带有参数alpha和H参数的DP    或者更形象的说G~DP(alpha，H)，这个分布的意思如下：    (G(T1), G(T2), . . . , G(TK)) ~ Dirichlet(αH(T1), αH(T2), . . . , αH(TK))  （k是下标）对于theta上任意有限的划分（T1，T2，T3....TK）,或者在英语中，G的概率服从于任意有限的theta划分，这个划分是依从参数为αH(T2), . . . , αH(TK))的dirichlet分布（不是DP）。这个含蓄的定义或许太抽象，但是我们将从一个简短的DP中获得更多的有益的特性，对于现在，在第一段提到的概率，这里的DP有一些重要的属性即使在关于DP长什么样没有丝毫概念的因素下，你任然可以通过使用基础的概率理论导出这些属性。这些属性完全依从公式1和狄利克雷分布的属性。证明他们即使你对DP到底是什么东西没有固定的直观概念。这是很有益的。均值：DP的均值是他的base measure:E[G] = H,或者相当于E[G(T)] = H(T) 对于任意的T属于theta，平均而言，从DP中抽取的分布和H类似

后验概率：If G ∼ DP(α, H) 并且 θ1, … , θN ∼ G，G的后验任然是一个DP，

    G|θ1, . . . , θN ~ DP(α + N, 1/(α + N)(αH(θ) + sigma(δ(θ = θi)))其中，δ(θ = θi)是一个集中在thetai中的delta函数，换句话说，DP是一个在可测空间theta上的任意共轭先验分布。导出下面的属性需要一些复杂的数学，但是他们都依靠建设性的想法并且有一些假设或者物理类比法与其相关联。希望能帮助您建立一些DP的直观感受。

posterior predictive distribution(后验预测分布)

什么是后验预测分布呢？换句话说，if G ∼ DP(α, H) and θ1, . . . , θN ∼ G，什么是新item的后验预测分布： 是p(θN+1|θ1, . . . , θN) = INTEGRAL(p(θN+1|G)p(G|θ1, . . . , θN))dG？？？？为了回答这个问题，想象你产生了一个有限的序列， {θi}∞ i=1 (with θi ∈ Θ ),产生过程如下：θ1 ~ HθN+1|θ1, . . . , θN ~ GN(θN+1) = αH(θN+1) + PN i=1 δ(θN+1 = θi)/(α + N) （这个物理类比于他的结构相详细起来的是如下的推断）假设从缸中抽取不同颜色的球，叫做缸G， thetaI代表了抽取到的i_th个颜色的球。对于每一个抽取到的球，你将其放回，并且加一个相同颜色的球到缸中，注意，这就引起了“富人越富”的现象在缸内不同颜色球的序列中。当你抽取越来越多的相同颜色的球那就变成了越来越像重复的抽取这一种颜色的球。即使添加了多样性，你依然会偶尔抽取不同的球从缸中，H，放回并且加了一个相同颜色的球道原来的缸G中。这就是所有的关于如何做DP的后验测度分配么？这个被证明了，如果你连续的处理这个在公式3-4中描述的无限可加,Gn将会收敛到随机离散分布G这个分布它本身是依据DP(alpha, H)的GN → G ∼ DP(α, H) (n->MAX)此外， 样本{θi}构成的样本是来自随机限制分布G中的，并且公式[4] 给定新的观测值一个后验测度分布θN+1: p(θN+1|θ1, . . . , θN) = p(θN+1|G)p(G|θ1, . . . , θN)dG因此，这个结构给了你一个DP的后验测度分布

中国餐馆问题(CRP)

 polya缸组合让DP变得很清晰，一个DP加在聚类结构在观察的thetaI上，这有一个严格正概率，两个球从缸中抽取，，或许有相同的颜色，因此观测到的球，或者是在polya序列中的球，可以根据他们的眼神分类。CRP是这个聚结构很明确。更特别的，我们用整数索引明显差异颜色的球在polya缸序列中。使用Ci标示第i个被抽取球颜色下标，记，入股两个球i,j有相同的颜色，那么Ci = Cj,也记：Ci是不同于属于theta的thetaI和thetaJ的，他们是球的颜色，Ci是颜色的整数下标，假设你抽取了N个球，并且有K个不同颜色的，那么这个服从于公式[4]:p(cN+1|c1, . . . , cN) = [α/(α + N)] δ(cN+1 = K + 1) + sigma([nk/(α + N)] *δ(cN+1 = k))其中nk是下标为k的球个数(理解公式6是怎么从4中来的),所以，下一个球的颜色不会与已经存在的球颜色相同。或者是一个新的颜色不会再开始出现的K歌颜色之间(概率比例alpha)。因此CRP是一个简单的polya缸组合推论。但是，这个统计不得不给其一个新的完全的隐喻。通过这个隐喻，顾名思义，你可以想象成一个中国餐馆中有有限个桌子，每个桌子有有限个座位，当N+1个顾客来的时候，他也会坐在K个桌子中的一个，但是会根据每一个桌子上的人的概率比例来选择坐在哪一个上，nk。或者根据alpha的根据概率比例，他会坐在一个新的桌子上，这个桌子（K+1）目前没人坐。这个过程的重点在于，它证明是为CRP提供了一个非常好的解释，当在推导混合狄利克雷过程的时候。

Stick-breaking construction ：

我们还不清楚什么事随机从DP中抽取，我们将有一个非常清晰的想法一旦我们学习了Stick-breaking construction。所以，假设你生成了一个有限的权重序列{πk},(k-(1,MAX)),通过下面的步骤。βk ~ Beta(1, α)πk = βk Accumulate(1 − βl) (l-(1-k-1))有限的权重序列 π = {πk}的生成被称作分布通过一个GEM过程，这个过程集中带有参数alpha，(pie ~ GEM(alpha)),现在考虑下下面的离散随机概率分布：G(θ) =sigma(πkδ(θ = ζk)) k->(1,MAX) where ζk ~ H这个可以展示G~DP(alp, H)，更多的。所有从DP中抽取出来的可以被作为公式[9]解释。物理类比于公式7-8联系起来，是一个连续的b对一个单元长度reaking-stick你首先break 一个随机比例beta1,这一块的长度给了你第一个权重pie1，然后，你break掉剩余的stick中随机比例beta2,第二个长度作为第二个权重pie2,以此下去。注意当K变得很大的时候，stick的长度，或者是权重，将会变得很小很小。对于一个很小的alpha，仅仅只有前几个stick长度有有意义的长度，剩余的stick将有一个很小的长度。另一方面，对于很大的alpha,stick的长度将会趋向于更均衡化。这个可以通过E[βk] = 1/(1 + α) 得到。因此，对于很小的alpha，随机break比例betaK,将会变得很大，并且总体stick的长度会消耗的很快。然而对于大的alpha，这个比例会趋于很小，并且对于总体的stick将会花很长的时间来消耗殆尽。我们现在知道DP,他们都像一个公式[9]中有限的离散的分布。事实上，我们还可以画出他们。图一显示了随机从DP中抽取，在不同的参数alpha，H。H决定了原子ηk将会在哪里被找到。就像在上一章中讲到的，alpha控制了原子分布的权重，越小的alpha导致越离散的权重分布。

Dirichlet process mixture models

我们在什么地方会用到DP 呢？他只是一个理论还是在什么练习中会用到呢？DP的一个主要应用是在上下文混合模型中。在上下午环境中，DP分布的离散随机测度被用作混合模型中作为有混合成分参数的先验。这个模型的结果被称为DPMM,首先，让我们来描述一下DPMM数学定义：G ~ DP(α, H) (10)θi|G ~ G (11)  (11)xi|θi ~ F(θi)  (12)其中Xi是我们观察的变量，或者是我们希望建模的数据，theta是混合组成的参数，xi属于这个成分，F代表了混合成分的分布(例如高斯在混合高斯)。thetai可以是一个单一参数，就像高斯成分在一个混合的高斯中的均值，或者是一个多维向量参数,例如高斯成分在一个混合高斯中的均值和精度。注意，当两个数据指向xi,xj，属于相同的成分，他们成分的参数将会完全相同。