三硬币模型的变分贝叶斯EM解法

题目：假设有3枚硬币，分别记做A，B，C。这些硬币正面出现的概率分别是π,p和q。进行如下掷硬币实验：先掷硬币A，根据其结果选出硬币B或C，正面选硬币B，反面选硬币C；然后投掷选中的硬币，出现正面记作1，反面记作0；独立地重复n次(n=10)，结果为1111110000…
我们只能观察投掷硬币的结果，而不知其过程，估计这三个参数π,p和q。

我们假设A出现正面的概率π满足一个贝塔分布Be(α)，其中α=(α1,α2)，B和C出现正面的概率p和q分别满足Be(βi),i=1,2，其中

β=[β11β21β12β22]

那么，对于任意一列抽样数据X=(x1,x2,...,xn)，对应存在一列Z=(z1,z2,...,zn)，其中xi为硬币B或C的结果，zi为硬币A的结果

我们可以得到X和Z和π的联合分布为

P(π,X,Z|α,β)=P(π|α)∏i=1nP(zi|π)P(xi|zi,β)

我们对π积分对z求和，得到

P(X|α,β)=∫P(π|α)∏i=1n∑ziP(zi|π)P(xi|zi,β)dπ

所以我们要求z关于X的后验分布，我们有

P(π,Z|X,α,β)=P(π,X,Z|α,β)P(X|α,β)

而分母是难以计算的积分：

P(X|α,β)=Γ(α1+α2)Γ(α1)+Γ(α2)∫πα1−1(1−π)α2−1∏i=1n(πβxi11β1−xi12+(1−π)βxi21β1−xi22)dπ

我们用变分分布Q(π,Z|γ,ϕ)去近似估计表达式P(π,Z|X,α,β)，其中，Q(π,Z|γ,ϕ)=Q(π|γ)∏ni=1Q(zi|ϕi)，其中的贝塔参数γ和二项参数(ϕ1,ϕ2)为自由变分参数

变分参数的含义基本上可以理解为：γ=P(π|α)，ϕi=P(x|βi)

现在我们可以采用变分EM来迭代求(γ,ϕ)的最优解，公式如下：

(γ∗,ϕ∗)=argmin(γ,ϕ)D(Q(π,Z|γ,ϕ)||P(π,Z|X,α,β))

lnP(X|α,β)=ln∫∑zP(π,z,X|α,β)dπ=ln∫∑zQ(π|z)P(π,z,X|α,β)Q(π|z)dπ≥∫∑zQ(π|z)lnP(π,z,X|α,β)Q(π|z)dπ=∫∑zQ(π|z)lnP(π,z,X|α,β)−∫∑zQ(π|z)lnQ(π|z)

[博主犯懒了，有空补充]