简单写写EM算法

有数据集x1,x2,x3,…,xn，假设他们的分布由参数θ 决定，依照极大似然的思想，即为：

θ:=argmaxθ∑i=1nlnp(xi;θ)

假设数据样本xi 可能来源于不同类别 z1,z2,…,zk,那么

p(xi;θ)=∑j=1kp(xi,zj;θ)

于是目标函数变为：

θ:=argmaxθ∑i=1nln∑j=1kp(xi,zj;θ)

∑i=1nln∑j=1kp(xi,zj;θ)=∑i=1nln∑j=1kQi(zj)p(xi,zj;θ)Qi(zj)≥∑i=1n∑j=1kQi(zj)lnp(xi,zj;θ)Qi(zj)

等号当且仅当Qi(zj)=p(zj|xi;θ)的时候成立。
因此得到EM算法的步骤：
E步：
根据θn更新Qi(zj)=p(zj|xi;θn)
M步：
使用更新后的Qi(zj)求解：、

θn+1:=argmaxθ∑i=1n∑j=1kQi(zj)lnp(xi,zj;θ)