关于混合高斯、EM和K-means
来源:互联网 发布:网络电视 卡不卡 编辑:程序博客网 时间:2024/06/05 02:45
与k-means一样,给定的训练样本是,我们将隐含类别标签用表示。与k-means的硬指定不同,我们首先认为是满足一定的概率分布的,这里我们认为满足多项式分布,,其中,有k个值{1,…,k}可以选取。而且我们认为在给定后,满足多值高斯分布,即。由此可以得到联合分布。
实际上,当知道后,最大似然估计就近似于高斯判别分析模型(Gaussian discriminant analysis model)了。所不同的是GDA中类别y是伯努利分布,而这里的z是多项式分布,还有这里的每个样例都有不同的协方差矩阵,而GDA中认为只有一个。
循环下面步骤,直到收敛: {
}
下面累述一下K-means与EM的关系,首先回到初始问题,我们目的是将样本分成k个类,其实说白了就是求每个样例x的隐含类别y,然后利用隐含类别将x归类。由于我们事先不知道类别y,那么我们首先可以对每个样例假定一个y吧,但是怎么知道假定的对不对呢?怎么评价假定的好不好呢?我们使用样本的极大似然估计来度量,这里是就是x和y的联合分布P(x,y)了。如果找到的y能够使P(x,y)最大,那么我们找到的y就是样例x的最佳类别了,x顺手就聚类了。但是我们第一次指定的y不一定会让P(x,y)最大,而且P(x,y)还依赖于其他未知参数,当然在给定y的情况下,我们可以调整其他参数让P(x,y)最大。但是调整完参数后,我们发现有更好的y可以指定,那么我们重新指定y,然后再计算P(x,y)最大时的参数,反复迭代直至没有更好的y可以指定。
- 关于混合高斯、EM和K-means
- 高斯混合模型中的K-means和EM
- 13.k-means聚类,混合高斯,EM算法
- 第12节-K-means算法,高斯混合分布和EM求解算法
- 机器学习(八)——在线学习、K-Means算法、混合高斯模型和EM算法
- 斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法
- 机器学习系列(4):混合高斯模型+EM+K-means算法
- 斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法
- K-means与高斯混合模型
- 高斯混合模型聚类算法和K-Means聚类算法
- K-means算法、高斯混合模型 matlab
- 混合高斯模型和EM算法
- 高斯混合模型和EM算法
- 高斯混合模型GMM和EM
- 高斯混合模型和EM
- GMM&K-means&EM
- 混合高斯模型(应用和EM算法)
- 混合高斯模型mixture Gaussians和EM算法
- 智能路由器:忽悠,还是变革
- Hessian学习
- js控制浏览器
- 全局 CSS
- Maven插件安装
- 关于混合高斯、EM和K-means
- PROC系列之---/proc/loadavg
- win2008 asp IIS
- gradeview可拖动效果实现
- 八极拳 八大招
- express安装成功创建项目的时候出现错误的解决方案
- 图的广度优先搜索(BFS)
- android开发问题集锦
- eclipse 修改jre