EM算法初探

说是初探，然而并没有什么干货，开一个页面，等学到一定深度来整理。
前言
在概率模型中，如果变量都是观测变量（observable variable），则可以直接用极大似然估计法活着贝叶斯估计方法，但是变量除了有observable variable，还有潜在变量（latent variable），则需要采用EM（expectation maximization algorithm）算法。
三硬币模型

很容易得出：

P(Y|θ)=∏j=1n[πpyj(1−p)1−yj+(1−π)q1−yj(1−q)yj]

P(Y|θ)=∑zP(Z|θ)P(Y|Z,θ)

其中Y是观测数据，Z是中间变量
求θ=argmaxθlogP(Y|θ)，也就是求模型参数θ=(π,p,q)的极大似然估计。
EM算法
input:YZP(Y,Z|θ)P(Z,Y|θ)
output: θ
(1)选择初值θ(0)，开始迭代
(2)E：记θ(i)为第i次参数θ的估计值，在第i+1次迭代的E步，计算:

Q(θ,θ(i))=Ez[logP(Y,Z|θ)]=∑zlogP(Y,Z|θ)P(Z|Y,θ(i))

(3)M: θ(i+1)=argmaxθQ(θ,θ(i))
(4)重复(2)(3)，直到收敛
参考文献
李航《统计学习方法》
从最大似然到EM算法浅解
K-means聚类算法