Variational Inferecne

思路：在有隐变量涉入时求贝叶斯后验概率时通过KL散度解决分母不可求的问题。

p(n1:K,z1:n|x1:n)=(∏Kk=1p(μk)∏ni=1p(zi)p(xi|zi,μ1:k)∫μ1:k∑z1:n∏Kk=1p(μk)∏ni=1p(zi)p(xi|zi,μ1:k)) (1)

假设 q(z1:m|v)
Kl(q||p)=Eq[log(q(Z)p(Z|x))] (2)

由Jensen 不等式可以等到
logp(x)≥Eq[logp(x,Z)]−Eq[logq(Z)] (3)

根据链式法则：

p(z1:m,x1:n)=p(x1:n)∏mj=1p(zj|z1:j−1,x1:n) (4)

再结合3式子

目标函数p(x|θ)=∑zp(x,z|θ)(5)

我们假设q(z) 表示z的分布情况，则5式表示成p(X|θ)=∑Zp(X,Z|θ)q(Z)(6)

6式分解成两部分为L(q)+kl(q||p)
l(q)=∫q(Z)ln{p(X,Z)q(Z)}dZ
KL(q||p)=−∫q(Z)ln{p(Z|X)q(Z)}dZ (7)

求解(7)式就是为了得到最终的 q(z) 来代替p(z|x).