EM算法在高斯混合模型中的应用
来源:互联网 发布:oracle sql性能优化 编辑:程序博客网 时间:2024/05/19 19:58
摘自《统计学习方法》 李航著 清华大学出版社
链接:
EM介绍请点击这里
EM算法在高斯混合模型中的应用
EM算法的一个重要应用是高斯混合模型的参数估计。高斯混合模型应用广泛,在许多情况下,EM算法是学习高斯混合模型的有效方法。想详细理解单高斯模型和混合高斯模型请点击这里
高斯混合模型
定义
高斯混合模型是指具有如下形式的概率分布模型:
其中,
一般混合模型可以由任意概率分布密度代替公式(2)中的高斯分布密度,我们只介绍最常用的高斯混合模型。
高斯混合模型参数估计的EM算法
假设观测数据
其中,
明确隐变量,写出完全数据的对数似然函数
可以设想观测数据
其中
有了观测数据
于是可以写出完全数据的似然函数:
式中,
公式注释:
上述第二个等号为什么成立?我们思考一下。在上节EM算法介绍中,我们在硬币例题介绍了
现在,我们来对应一下。
那么,完全数据的对数似然函数为:
EM算法的E步:确定Q函数
公式(4)
从第2个等号到第3个等号这里涉及到一些期望的知识,以图片的形式补充到下面。
资料来源:http://www.360doc.com/content/13/1124/03/9482_331690142.shtml
这里需要计算
将
确定EM算法的M步
迭代的M步是求函数
用
重复以上计算,直到对数似然函数值不再有明显变化为止。
算法总结
输入:观测数据
输出:高斯混合模型参数;
步骤:
(1)取参数的初始值开始迭代
(2)E步:依据当前模型参数,计算分模型k对观测数据
(3)M步:计算新一轮迭代的模型参数:
(4)重复第(2)步和第(3)步,直到收敛。
- EM算法与在高斯混合模型中的应用
- EM算法在高斯混合模型中的应用
- EM算法在高斯混合模型中的应用
- EM算法 - 2 - EM算法在高斯混合模型学习中的应用
- 【EM算法】在高斯混合模型中的应用及python示例
- 混合高斯模型(应用和EM算法)
- EM算法的应用--高斯混合模型学习
- EM算法--应用到三个模型: 高斯混合模型 ,混合朴素贝叶斯模型,因子分析模型
- EM算法--应用到三个模型: 高斯混合模型 ,混合朴素贝叶斯模型,因子分析模型
- EM(期望最大算法)在高斯混合模型中的python实现
- EM 算法在高斯混合模型中的实现(未完成)
- 混合高斯模型和EM算法
- 高斯混合模型和EM算法
- EM算法_混合高斯模型
- EM算法与混合高斯模型
- EM算法求解高斯混合模型
- 高斯混合模型EM算法
- EM算法与混合高斯模型
- MATLAB学习笔记之-----绘制直方图
- android五种布局模式
- 进程间通信时读写阻塞的条件
- 温故而知新
- 需要求3个长方体的体积,写一个基于对象的程序,数据成员包括 length width height 要求用成员函数实现以下功能
- EM算法在高斯混合模型中的应用
- 从零开始学算法(六)最短路径之Dijkstra算法
- 火影歌单
- HTTP 传输内容的压缩
- ExoPlayer google 试用exoplayer:r2.3.0
- 从一个git仓库迁移到另外一个git仓库
- BZOJ 1798 [Ahoi2009] Seq 维护序列seq [线段树+多重标记下传]【数据结构】
- 基于等高线算法绘制几何管道,并显示数据
- leetcode 111. Minimum Depth of Binary Tree(week 15)