机器学习理论 || EM算法
来源:互联网 发布:千兆路由器和千兆端口 编辑:程序博客网 时间:2024/06/05 17:06
参考书籍:李航.统计学习方法
视频资料:张志华.上海交通大学.机器学习
李航.统计学习方法主要介绍在离散的情况下EM算法的推导,张志华则介绍了连续情况下的EM算法推导,下面笔记则是将两者结合起来。
1、定义
EM算法是求解含有隐变量概率模型的极大似然估计(或极大后验概率)的迭代方法。
2、目标函数
理论的目标函数:
实际求解的目标函数:
推导:
3、步骤
输入:观测变量数据,隐变量数据Z,联合分布,条件分布
输出:参数模型
4、EM算法收敛性证明
单调有界即收敛
证明单调性之前,首先证明
(此部分和统计学习方法有差异,主要根据张志华老师视频得来,该解释结合EM算法的推广更为合理)
最终得
(1) 证明观测数据似然函数为单调增函数,也就是证L函数是单调增函数
(2)只要有上界,则收敛
5、改进(or推广)
GEM算法(以后补充)
6、算法的时间和空间复杂度
(以后补充)
7、问题
1)有上界,EM算法才收敛,并且不一定收敛到全局最优
2)对数似然函数的收敛与参数序列的收敛不一致,上面仅证明了对数似然函数序列的收敛。(详细看《统计学习方法》)
解决办法:选择不同初值进行迭代,比较不同结果取最好的值。
8、应用
- 高斯混合聚类模型(GMM)
- 朴素贝叶斯法的非监督学习模型
- 隐马尔科夫的非监督学习模型
阅读全文
0 0
- 机器学习理论 || EM算法
- 机器学习:EM算法
- 机器学习:EM算法
- 机器学习方法:EM算法
- 机器学习:EM算法
- 机器学习--EM算法
- 【机器学习】EM算法
- 机器学习-EM算法
- 机器学习理论
- 【机器学习系列】EM算法
- 【机器学习】EM算法入门
- 机器学习(EM算法)
- 机器学习之 EM算法
- 机器学习---EM算法(分类)
- <机器学习练习>EM算法
- 机器学习算法疗程(EM)
- 机器学习(4) EM算法
- 机器学习24-EM算法
- 生日日数
- 使用注解实现声明式事务处理
- SSLError(SSLError(1, '_ssl.c:510: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:
- 第三方登录(QQ登录)
- 有关oracle存储过程的6个问题
- 机器学习理论 || EM算法
- 求N的阶乘
- 前端不同渠道分享总结
- 线程池
- 4-1 复数类的运算符重载
- java 集合的使用笔记
- Termux第一篇之ssh使用
- Complex analysis review 4
- git新建分支