机器学习理论 || GMM模型
来源:互联网 发布:python for line in f 编辑:程序博客网 时间:2024/06/03 09:36
EM算法的应用—— 高斯混合聚类模型 GMM模型
参考书籍:
- 周志华.机器学习 P206
- 李航.统计学习方法 P162
- 范明译.数据挖掘导论P368
李航.统计学习方法中高斯混合模型仅介绍一元高斯分布的情况,周志华.机器学习则采用多元高斯分布的写法,但求解过程不够突出EM算法的思想。此外,李航.统计学习方法中的一些写法会产生误解。因此下面过程主要根据李航.统计学习方法中的推导方法,但会有部分修正。
GMM算法主要利用EM算法来估计高斯混合模型中的参数,然后根据计算得到的
概率进行聚类。
EM算法原理看这里
1、定义
2、目标函数
理论的目标函数:
求解的目标函数:
3、步骤
(1)首先计算高斯混合模型的参数
输入:观测数据D={y1,y2,y3,…,yn} ,高斯混合模型的个数
输出:高斯混合模型参数
一维高斯混合模型公式根据《统计学习方法》,多维高斯混合模型公式根据《机器学习》
4、注意
如果细心的同学可以看见,迭代更新参数中,一维和多维中方差或协差阵计算所带入的均值有所差异(或者说是两本书的差异)。一维高斯分布参数计算中,方差更新计算带入的是上一步的均值,而多维高斯分布中协差阵带入的是更新后的均值。两者的差异不大,计算方差或协差阵时带入上一步计算的均值或更新后的均值都可以,只要保证收敛即可。一般情况下都是收敛的。
阅读全文
0 0
- 机器学习理论 || GMM模型
- 机器学习笔记--GMM模型
- 机器学习理论
- 机器学习理论与实战(十三)概率图模型01
- 机器学习理论与实战(十四)概率图模型02
- 机器学习理论与实战(十五)概率图模型03
- 机器学习理论与实战(十六)概率图模型04
- 机器学习理论与实战(十六)概率图模型04
- 二、机器学习理论起点 ,模型及关键定理
- GMM模型
- 统计机器学习理论
- 统计机器学习理论
- 机器学习理论与实战
- 机器学习理论与实战
- 机器学习理论依据
- 机器学习---计算学习理论
- 统计机器学习理论
- 【机器学习理论】信息熵
- 一个有意思的C++泛型比较技巧文章
- JS维护nginx反向代理,妈妈再也不用担心我跨域了!
- 34岁!100天!学会Java编程(Day49-Day52)—OOP设计模式
- linux查看文件行号
- C语言作业(4)
- 机器学习理论 || GMM模型
- Mysql ERROR 1040 (HY000): Too many connections
- Android 反编译(四)了解.smail方法
- label设置字数超出不换行
- duilib的Combo控件滚动条不显示的问题
- .net 解析json格式数据
- Mac下采用zsh代替bash
- 关于支付宝商户(蚂蚁金服)api调用
- 40个js小技巧:屏蔽鼠标右键、取消选取、防止复制、粘贴、转换地址栏图标