高斯混合模型GMM
来源:互联网 发布:中老年春秋连衣裙淘宝 编辑:程序博客网 时间:2024/06/05 08:11
使用概率模型的原因
k均值等价于假设了球对称形状的聚类。使用带权欧式距离,仍然假设了轴对齐的椭球。没有考虑聚类的形状。
促使概率模型的原因:混合模型
- 提供观测点到聚类的软分配soft assignment(分配包含不确定性)
- 考虑了聚类的形状而不仅仅是中心
- 允许从不同维度来学习权重
高斯分布
双变量高斯分步,协方差矩阵的主对角线决定了展度;副对角线决定朝向
高斯混合模型
GMM估计的EM算法
GMM推导
EM算法的收敛性,初始化和过拟合
收敛性
- EM是一种坐标下降算法,等价于交替最大化E步和M步目标函数
- 收敛于局部最优解
初始化
- 许多初始化EM算法的方式
- 对于收敛和局部最优解的质量重要
- 距离
- 随机选择K个中心
- 选择类似k-means++
- 根据k-means的解初始化
- 通过划分(移除)簇直到形成k个簇生成混合模型
过拟合
不要让方差为0.
协方差矩阵对角线添加小的常数。
使用贝叶斯方法为参数添加先验。
k-means与EM关系
- k-means是两个步骤交替进行,可以分别看成E步和M步;
- E步中将每个点分给中心距它最近的类(硬分配),可以看成是EM算法中E步(软分配)的近似。当方差无限小的时候,EM相当于k-means。
- M步中将每类的中心更新为分给该类各点的均值,可以认为是在「各类分布均为单位方差的高斯分布」的假设下,最大化似然值;
参考资料
知乎王赟 Maigo的回答
《Machine Learning》ColumbiaX: CSMM.102x Lecture 16
阅读全文
0 0
- 混合高斯模型GMM
- 混合高斯模型GMM
- GMM高斯混合模型
- GMM混合高斯模型
- GMM(高斯混合模型)
- 混合高斯模型GMM
- 高斯混合模型GMM
- GMM高斯混合模型
- 高斯混合模型--GMM
- 混合高斯模型GMM
- 混合高斯模型GMM
- 混合高斯模型GMM
- 高斯混合模型 GMM
- 高斯混合模型GMM
- 高斯混合模型GMM
- 高斯混合模型--GMM
- GMM(高斯混合模型)
- 高斯混合模型(GMM)
- Georgia and Bob POJ
- Spring Boot maven配置环境部署及定义相关属性
- Servlet向JSP传值
- MyBatis使用注解进行开发
- LightOJ-1012-Guilty Prince [DFS]
- 高斯混合模型GMM
- 《机器学习》读书笔记6
- IAT挂钩实现和检测
- 对表格的td标签执行点击事件
- Nim游戏—改 博弈论 解题报告
- JAVA多线程(第一天 )
- C编译过程以及gcc编译参数
- 【FFplay】零基础读懂视频播放器控制原理——ffplay播放器源代码分析
- POJ