EM算法的应用--高斯混合模型学习

适用问题

高斯混合模型：

P(y∣θ)=∑k=1Kαkϕ(y∣θk)

可以视为由不同模型参数θk=(μk,σ2k)构成的不同高斯分布，由不同的权重αk来共同决定y的概率。
算法需要输入观测数据y1,y2....yn和高斯混合模型，得到该混合模型的参数α,μ,σ

算法

原理

实质上是无监督的EM模型

观测数据yj来自第k个分模型的概率是未知的 可以视为隐变量
定义γjk为，若观测数据yj来自第k个分模型，则γjk=1 否则为0

要套用EM的算法 需要知道P(y,γ∣θ)和P(γ∣y,θ)

P(y,γ∣θ)=∏Nj=1P(y,γj1,γj2...γjk,∣θ)

=∏Nj=1P(y,γj1∣θ)P(y,γj2∣θ)....P(y,γjk∣θ)

=∏Kk=1∏Nj=1[akϕ(y∣θk)]γjk
带入高斯混合模型 若观测数据不来自该分布，则指数为0

带入高斯分布公式，即可获得关于αk,μk,σk的P(y,γ∣θ)

在统计学习方法中 作者直接使用对Z的期望计算Q，但实际上E(γjk)依旧是需要使用P(γ∣y,θ) 获得

Eγjk=P(γjk=1∣y,θ)

带入后即可获得Q函数 分别令对αk,μk,σk 偏导为零即可获得下一步迭代的 θk

参考资料：李航 《统计学习方法》