机器学习优化算法之EM算法
来源:互联网 发布:电信网络犯罪有哪些 编辑:程序博客网 时间:2024/05/21 14:54
EM算法简介
EM算法其实是一类算法的总称。EM算法分为E-Step和M-Step两步。EM算法的应用范围很广,基本机器学习需要迭代优化参数的模型在优化时都可以使用EM算法。
EM算法的思想和过程
E-Step:E的全称是Expectation,即期望的意思。E-step也是获取期望的过程。即根据现有的模型,计算各个观测数据输入到模型中的计算结果。这个过程称为期望值计算过程,即E过程。
M-Step:M的全称是Maximization,即最大化的意思。M-step也是期望最大化的过程。得到一轮期望值以后,重新计算模型参数,以最大化期望值。这个过程为最大化过程,即M过程。
最大化的意思是我们在使用这个模型时希望我们定义的函数能使得到的结果最大化,而结果越大越接近我们希望得到的结果。我们优化的目标也就是这些能得到最大值的函数。
常见的EM算法有:隐含马尔科夫模型的训练方法Baum-Welch算法;最大熵模型的训练方法GIS算法等。
EM算法结果
EM算法不一定能保证获得全局最优解,但如果我们优化的目标函数是一个凸函数,那么一定能保证得到全局最优解。否则可能获得局部最优解。因为如果优化的目标函数有多个峰值点,则如果优化到某个不是最高的峰值点处,则会无法再继续优化下去,这样获得的是局部最优解。
总结
EM算法只需要输入一些训练数据,同时定义一个最大化函数,接下来经过若干次迭代,就可以训练出我们需要的模型了。
参考
吴军《数学之美》
0 0
- 机器学习优化算法之EM算法
- 机器学习之 EM算法
- 机器学习:EM算法
- 机器学习:EM算法
- 机器学习:EM算法
- 机器学习--EM算法
- 【机器学习】EM算法
- 机器学习-EM算法
- 机器学习之EM算法解析
- 机器视觉学习之--EM算法
- 机器学习读书笔记之3 - EM算法
- [机器学习](六)cs229之EM算法
- 机器学习系列之EM算法
- 机器学习算法(优化)之二:期望最大化(EM)算法
- 机器学习之期望最大算法(EM算法)
- 机器学习之期望最大算法(EM算法)
- 【机器学习系列】EM算法
- 【机器学习】EM算法入门
- (一)VMware 搭建环境
- java学习之路
- onmouseover与onmouseenter的区别
- 7月中旬了
- 传参问题
- 机器学习优化算法之EM算法
- gdb调试多进程和多线程命令
- 放大镜1
- 人生经验 专业为自动化或与电子有关的理工科大学生应该掌握单片机技能
- 欢迎使用CSDN-markdown编辑器
- 传递数组到 Shader
- Java学习- 他人的 总结 printf总结
- 放大镜2
- VIM中自动添加文件信息