机器学习算法(七)EM算法族 EM、GMM
来源:互联网 发布:谜踪之国全文解密知乎 编辑:程序博客网 时间:2024/06/06 02:34
一、GMM算法
EM算法实在是难以介绍清楚,因此我们用EM算法的一个特例GMM算法作为引入。
1、GMM算法问题描述
GMM模型称为混合高斯分布,顾名思义,它是由几组分别符合不同参数的高斯分布的数据混合而成的。
假设有n个样本点
1、不同高斯分布的数据占比:
2、每个高斯分布的均值与方差:
我们的目的是求出每个
因此我们的目标即是求合适的
这个目标函数中既有对数又有加和,因此不能直接求导因此我们采用迭代的方法。
2、GMM迭代方法描述
Step1:对于每一个样本点i,计算它由不同组分(第k个组分)生成的概率
Step2:由各个样本点的
Step3:回到Step1,迭代更新
这其实就是EM算法的E步和M步的过程。
下面给出通用的EM算法伪代码。
3、EM算法
Repeat util 收敛{
(E步):对每个样本
(M步):对每个参数
}
其中,E步的那个
这个形式可以推导可得,其实是等价的
M步中,那个公式就是对数似然函数,求使它最大化的参数
总结:EM算法说到底是一个迭代更新的过程。它首先对各个样本计算分布,然后更新参数;再计算分布,再更新参数……
阅读全文
0 0
- 机器学习算法(七)EM算法族 EM、GMM
- 机器学习 - GMM参数估计的EM算法
- 机器学习第十四课part2(EM,EM算法用于GMM)
- 机器学习(EM算法)
- GMM及EM算法
- EM算法与GMM
- 机器学习:EM算法
- 机器学习:EM算法
- 机器学习:EM算法
- 机器学习--EM算法
- 【机器学习】EM算法
- 机器学习-EM算法
- EM算法和GMM算法(五)
- 机器学习算法(八):EM算法
- GMM与EM算法(一)
- GMM与EM算法(二)
- GMM与EM算法(零)
- GMM的EM算法实现
- Linux安装ibus中文输入法
- JAVA重新学习第三篇-数据类型
- 深入理解共享内存机制
- HDU-6038 Function
- 04-关系型数据库产品介绍
- 机器学习算法(七)EM算法族 EM、GMM
- 【js基础】鼠标移到图片上产生遮障效果
- 游戏服务器框架 golang
- Python实现设计模式--02.工厂模式(Factory Pattern)
- Docker--安装及遇到的问题
- 二叉树的非递归遍历(前中后)
- 2017 多校训练第一场 HDU 6034 Balala Power!
- 排序算法之-插入排序
- D