高斯混合聚类

来源：互联网发布：免费的pdf编辑器知乎编辑：程序博客网时间：2024/05/22 05:23

高斯混合模型

p (Y | θ) = \sum k = 1 K a k ϕ (Y | θ k)

其中

ϕ (Y | θ k) = 1 2 π ‾ ‾ ‾ \sqrt δ k exp (- ( y - u k ) 2 2 δ 2 k) \sum k = 1 K a k = 1

高斯混合模型的意义可以这样理解，以

a1,a2,…,aK定义的概率分布从K个高斯分布中选择一个，然后再用这个分布生成一个观测变量

yi,这样的过程重复N次，得到观测变量序列

Y=y1,y2,…,yN.

设样本为X=x1,x2,…,xM ,按照高斯混合模型的定义，这m个样本是由高斯混合模型生成m次得到的，每个样本的生成都由有k个高斯分布组成。如果对于样本j,第k个混合成分的概率为γjk。那么样本j的类标记为

C j = arg max k γ j k

Q (θ, θ (i)) = \sum Z p (Z | Y, θ (i)) ln p (Y, Z | θ)

对于高斯混合模型来说，Y为观测变量，γ为隐变量

γ j k = {10 如 果 y j 由 第 k 个 高 斯 分 布 产 生

完全似然函数

P (Y, γ | θ) = \prod j = 1 N p (y j, γ j 1, γ j 2, . ., γ j K | θ) = \prod j = 1 N \prod k = 1 K (a k ϕ (y i | θ k)) γ j k = \prod k = 1 K a n k k \prod j = 1 N ϕ (y i | θ k) γ j k

其中

nk=∑Nj=1γjk,∑Kk=1nk=N

ln p (Y, γ | θ) = \sum k = 1 K (\sum j = 1 N γ j k ln a k + \sum j = 1 N γ j k (- 0.2 l n (2 π) - ln δ k - ( y j - u k ) 2 2 δ 2 k))

Q函数为

Q (θ, θ (i)) = \sum k = 1 K (\sum j = 1 N (\sum γ j k γ j k p (γ j k | y j, θ (i) k)) ln a k + \sum j = 1 N (\sum γ j k γ j k p (γ j k | y j, θ (i) k)) (- 0.2 l n (2 π) - ln δ k - ( y j - u k ) 2 2 δ 2 k)) = \sum k = 1 K (\sum j = 1 N γ j k^ln a k + \sum j = 1 N γ j k^(- 0.2 l n (2 π) - ln δ k - ( y j - u k ) 2 2 δ 2 k))

γjk的期望为

γ j k^= \sum γ j k γ j k p (γ j k | y j, θ (i) k) = p (γ j k = 1 | y j, θ (i) k) = p ( γ j k = 1 , y j | θ ( i ) k ) \sum k k = 1 p ( γ j k = 1 , y j | θ ( i ) k ) = p ( y j | γ j k = 1 , θ ( i ) k ) p ( γ j k = 1 , | θ ( i ) ) \sum k k = 1 p ( y j | γ j k = 1 , θ ( i ) k ) p ( γ j k = 1 , | θ ( i ) ) = a k ϕ ( y | θ ( i ) ) \sum k k = 1 a k ϕ ( y | θ ( i ) )

对uk求导

\partial Q \partial u k = \sum j = 1 N γ j k^y j - u k δ 2 k = 0 u k = \sum N j = 1 γ j k ^ y j \sum N j = 1 γ j k ^

对

δk 求导

\partial Q \partial δ k = \sum k = 1 N γ j k^(- 1 δ k + δ - 3 k (y j - u k) 2) = 0 δ 2 k = \sum j j = 1 γ j k ^ ( y j - u k ) 2 \sum j j = 1 γ j k ^

对

ak求导

因为 ∑Kk=1ak=1 ，拉格朗日函数为

L (a) = Q (θ, θ (i)) + λ (\sum k = 1 k a k - 1) \partial L ( a ) \partial a k = \sum j = 1 N γ j k ^ a k + λ = 0 a k = - \sum N j = 1 γ j k ^ λ \sum k = 1 K a k = - \sum K k = 1 \sum N j = 1 γ j k ^ λ = 1 λ = - N a k = \sum N j = 1 γ j k ^ N

0 0