高斯混合模型

来源：互联网发布：2017年10月份宏观数据编辑：程序博客网时间：2024/05/17 07:02

所谓高斯混合模型就是一组高斯分布的和，可以表示如下：

P (y | θ) = \sum k = 1 K α k ϕ (y | θ k)

αk是第k个高斯分布的系数，大于0且∑kk=1αk=1。ϕ(y|αk)是第k个高斯分布:

ϕ (y | α k) = 1 ( \sqrt 2 π ) σ k e x p (- ( y - μ k ) 2 2 σ 2 k)

从上面的定义可以看出，高斯混合模型的参数包括αk和每个高斯分布的均值和方差μk,σk

在高斯混合模型中，观测变量就是yj,j=1,2...N,隐含变量就是这个样本来自于哪个高斯模型，我们把这个变量记做γjk，表示第j个变量是否来自第k个高斯模型：

γ j k = {1 第 j 个 变 量 来 自 第 k 个 模 型 0, 否 则 j = 1, 2, . . ., N, k = 1, 2, . . ., K

所以完全数据是(yj,γj1,γj2,...,γjK),j=1,2,..,N。

完全数据的对数似然函数是:

P (y, γ | θ) = \prod j = 1 N P (y j, γ j 1, γ j 2, . . ., γ j K | θ) = \prod j = 1 N \prod k = 1 K [α k ϕ (y j | θ k)] γ j k = \prod k = 1 K \prod j = 1 N [α k ϕ (y j | θ k)] γ j k = \prod k = 1 K α \sum N j = 1 γ j k k \prod j = 1 N [ϕ (y j | θ k)] γ j k = \prod k = 1 K ⎛ ⎝ α n k k \prod j = 1 N ⎡ ⎣ 1 ( \sqrt 2 π ) σ k e x p (- ( y j - μ k ) 2 2 σ 2 k) ⎤ ⎦ γ j k ⎞ ⎠

其中，

n k = \sum j = 1 N γ j k, \sum k = 1 K n k = N

显然，

nk表示来自第k个高斯分布的样本数量。
对上式取对数即得到完全数据的对数似然函数

l o g P (y, γ | θ) = \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ j k ⎡ ⎣ l o g (1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

下面求Q函数。
Q函数是完全数据的对数似然函数关于在给定观测数据和当前参数的条件下隐含变量的条件概率分布的期望，即

Q (θ, θ i) = E [l o g P (y, γ | θ) P | y, θ i)] = E ⎛ ⎝ \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠ ⎞ ⎠ = \sum i = 1 K ⎛ ⎝ \sum j = 1 N E γ j k l o g α k + \sum j = 1 N E γ j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

上面这个式子里面我们需要计算的是E(γjk)，将该值记为γ^jk

γ^j k = E (γ j k | y, θ) = P (γ j k = 1 | y, θ) = P ( γ j k = 1 , y j | θ ) \sum K k = 1 P ( γ j k = 1 , y j | θ ) = P ( y j | γ j k = 1 , θ ) P ( γ j k = 1 | θ ) \sum K k = 1 P ( y j | γ j k = 1 , θ ) P ( γ j k = 1 | θ ) = α k ϕ ( y j | θ k ) \sum K k = 1 α k ϕ ( y j | θ k ) j = 1, 2, . . ., N, k = 1, 2, . ., K

第二步的推导使用了贝叶斯公式。

γ^jk是在当前参数下第j个样本来自第k个模型的概率。
将γ^jk=Eγjk和nk=∑Nj=1Eγjk代码Q函数得到:

Q (θ, θ i) = \sum i = 1 K ⎛ ⎝ n k l o g α k + \sum j = 1 N γ^j k ⎡ ⎣ l o g 1 ( \sqrt 2 π ) - l o g σ k - ( y j - μ k ) 2 2 σ 2 k ⎤ ⎦ ⎞ ⎠

至此，我们得到了Q函数的表达式了，
下面就是M步了，即最大化Q函数。

参数有μk,σk和αk。
首先求μk

求Q函数关于μk的导数

\partial Q ( θ , θ i ) \partial μ k = \sum j = 1 N γ j k^y j - μ k σ 2 k

令偏导为0，可以得到

μk的表达式

μ k = \sum N j = 1 γ ^ j k y j \sum N j = 1 γ ^ j k

求Q函数对σ2k的偏导

\partial Q ( θ , θ i ) \partial σ 2 k = \sum j = 1 N γ^j k ⎛ ⎝ - 1 2 σ 2 k + ( y j - μ k ) 2 2 ( σ 2 k ) 2 ⎞ ⎠

令偏导为0
得

σ 2 k = \sum N j = 1 γ ^ j k ( y j - μ k ) 2 \sum N j = 1 γ ^ j k

由于αk满足∑Kk=1αk=1,所以求解αk需要使用拉格朗日函数。

L = Q (θ, θ i) + λ (\sum k = 1 K α k - 1)

求L关于

αk的偏导

\partial L \partial α k = n k α k + λ k = 1, 2, . . ., K

令偏导等于0

n k + λ α k = 0 k = 1, 2, . . ., K

K个等式相加，有

\sum k = 1 K n k + λ = 0 λ = - \sum k = 1 K n k = - N α k = - n k λ = n k N = \sum j = 1 N γ ^ j k N

至此，高斯混合模型的EM推导就完成了。

0 0