GMM：高斯混合模型的数学推导笔记（下）

§第三部分，GMM的另一种解法

在本部分，讲义中利用简森不等式（Jensen's Inequality）来实现GMM的求解。

在开始之前，首先对该不等式进行说明。由于对数函数f(x)=ln(x)是一个凹函数，可得到下面的不等式

ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)

推广该式可得到简森不等式（ Jensen's Inequality）

其中λi必须满足之和为1。

假设现有的参数为Θ(下面的公式中出现θ上面有~符号的文字中使用Θ来表示))现在想找出新的θ值，使得J(θ)>J(Θ),同样假设m=3为例，那么J(θ)可以表示为：

因此：

在上一篇文章中的推导中βj(xi)的计算是根据Θ，而且

因为βj(xi)之和为1，因此套用简森不等式可得J(θ)>J(Θ)>=Q(θ),因此如果Q(θ)>0,那么J(θ)>J(Θ)则成立。同时我们希望J(θ)-J(Θ)差值越大越好（见图一），

故使用微分的方式计算Q(θ)的最值。由于Q(θ)是θ的函数，因此其他的作为常量:

由拉格朗日乘数法：

对aj微分：

以上三式相加：

所以：

最后的结果：

其中βi的计算是根据Θ得到。因此该方法和上一篇文章中的解法所得结果一致。