EM算法在高斯混合模型中的应用

来源：互联网发布：淘宝网店怎么激活编辑：程序博客网时间：2024/05/19 19:14

高斯混合模型GMM

高斯混合模型GMM
高斯混合模型定义
GMM参数估计的EM算法
明确隐变量写完全数据对数似然函数
EM算法的E步
EM算法的M步
参考

注：该文章与《统计学习方法》by 李航中的章节大致相同。
回顾EM算法的可以参考EM算法

高斯混合模型定义

高斯混合模型是指具有如下形式的概率分布模型：

P (y | θ) = \sum k = 1 K α k Φ (y | θ k) (1)

其中，

αk是系数，

αk⩾0,∑Kk=1αk=1；

Φ(y|θk)是高斯分布密度，

θk=(μk,σ2k)，

Φ (y | θ k) = 1 2 π - - \sqrt σ k e x p [- ( y - μ k ) 2 2 σ 2 k] (2)

称为第k个模型。

一般可以用任意概率分布密度代替式(2)中的高斯分布。

GMM参数估计的EM算法

假设观测数据y1,y2,...,yN由高斯混合模型生成，

P (y | θ) = \sum k = 1 K α k Φ (y | θ k)

其中，

θ=(α1,α2,...,αK;θ1,θ2,...,θK)。我们使用EM算法估计高斯混合模型的参数

θ。

1. 明确隐变量，写完全数据对数似然函数

观测数据yj,j=1,2,...,N的是这样产生的：首先依概率αk选择第k个高斯分布模型Φ(y|θk)；然后依得到的高斯分布产生观测数据yj。此时，观测数据yj,j=1,2,...,N已知，但是我们根据观测数据yj并不能判断出来它来自于哪个高斯分布，我们以隐变量γjk表示观测观测数据yj来自于第k个高斯分布，如果yj来自第k个高斯分布模型，则γjk=1，否则γjk=0。
此时我们的完全数据(观测变量+隐变量)是：

(y j, γ j 1, γ j 2, . . ., γ j K), j = 1, 2, . . ., N

我们可以写出完全数据的似然函数：

P (y, γ | θ) = \prod j = 1 N P (y j, γ j 1, γ j 2, . . ., γ j K | θ)

= \prod k = 1 K \prod j = 1 N [α k Φ (y j | θ k)] γ j k

= \prod k = 1 K α n k k \prod j = 1 N [Φ (y j | θ k)] γ j k

= \prod k = 1 K α n k k \prod j = 1 N [1 2 π - - \sqrt σ k e x p [- ( y - μ k ) 2 2 σ 2 k]] γ j k

其中

nk=∑Nj=1γjk, ∑Kk=1nk=N。
那么完全数据的对数似然概率为：

l o g P (y, γ | θ) = \sum k = 1 K [n k l o g α k + \sum j = 1 N γ j k [l o g (1 2 π - - \sqrt) - l o g σ k - 1 2 σ 2 k (y j - μ k) 2]]

准备工作算是做完了，然后开始使用EM算法进行求解参数θ。

2. EM算法的E步

确定Q函数：

Q (θ, θ (i)) = E [l o g P (y, γ | θ) | y, θ (i)]

= E [\sum k = 1 K [n k l o g α k + \sum j = 1 N γ j k [l o g (1 2 π - - \sqrt) - l o g σ k - 1 2 σ 2 k (y j - μ k) 2]] | y, θ (i)]

= \sum k = 1 K [\sum j = 1 N (E γ j k) l o g α k + \sum j = 1 N (E γ j k) [l o g (1 2 π - - \sqrt) - l o g σ k - 1 2 σ 2 k (y j - μ k) 2]]

注意：这里的

Eγjk=E(γjk|y,θ(i))！

记

γ^jk=Eγjk，则

γ^jk的求解过程如下：

γ^j k = E (γ j k | y, θ (i)) = P (γ j k = 1 | y, θ (i))

= P ( γ j k , y i | θ ( i ) ) \sum K k = 1 P ( γ j k , y i | θ ( i ) )

= P ( y j | γ j k = 1 , θ ( i ) ) P ( γ j k = 1 | θ ( i ) ) \sum K k = 1 P ( y j | γ j k = 1 , θ ( i ) ) P ( γ j k = 1 | θ ( i ) )

= α k Φ ( y j | θ ( i ) k ) \sum K k = 1 α k Φ ( y j | θ ( i ) k ) (1)

γ^jk是当前模型参数θ(i)下观测数据yj来自第k个高斯分布模型的概率，其中j=1,2,...,N; k=1,2,...,K

将γ^jk=Eγjk以及nk=∑Nj=1γjk代入(1)式得：

Q (θ, θ (i)) = \sum k = 1 K [n k l o g α k + \sum j = 1 N (γ^j k) [l o g (1 2 π - - \sqrt) - l o g σ k - 1 2 σ 2 k (y j - μ k) 2]] (2)

现在我们可以看到，(2)式未知变量中只有μk,σk。下面就需要对该表达式进行极大化。

3. EM算法的M步

在M步，我们只需要求解函数Q(θ,θ(i))对θ的极大值，即求解θ(i+1)：

θ (i + 1) = a r g max θ Q (θ, θ (i))

θ(i+1)=(μ^k,σ^2k,α^k), k=1,2,...,K，对各变量求偏导求极值可以求解得到变量值

μ^k,σ^2k，在

∑Kk=1αk=1条件下可以求偏导求极值得到变量

α^k。结果如下：

μ^k = \sum N j = 1 γ ^ j k y j \sum N j = 1 γ ^ j k, k = 1, 2, . . ., K

σ^2 k = \sum N j = 1 γ ^ j k ( y j - μ k ) 2 \sum N j = 1 γ ^ j k, k = 1, 2, . . ., K

α^k = n k N = \sum N j = 1 γ ^ j k N, k = 1, 2, . . ., K

重复上述计算，直到对数似然函数值不再收敛为止。

参考

李航《统计学习方法》

阅读全文

1 0