EM(期望最大)算法详解(上)
来源:互联网 发布:我友网络 编辑:程序博客网 时间:2024/06/04 19:44
EM算法(The Expectation-Maximization Algorithm)实质是对含有隐变量的概率模型参数的极大似然估计。EM算法的推导过程真的灰常容易理解,只需要一点点概率论的知识加上一点点的讲解,便可对此算法了然。
学习EM算法,只需要2个小技能(合计4个小知识点):
1. 概率分布的参数常用极大似然估计——了解极大似然估计以及她的对数形式;在一概率分布下有一组观测值:
2. 知道什么事凸函数以及凸函数的三个小知识点——
2.1) 凸函数的定义:
2.2) 若
2.3) 詹森不等式(Jensen’s inequality)
接下来该是我们今天的主角出场了:EM算法的过程——
因为有隐变量的存在,我们无法直接令对数似然函数的导数方程等于零的方式来求参数——需要迭代去计算:
1) E-step:根据观测数据和对当前的参数估计值,去计算出隐变量的期望值;
2)M-step:根据E-step得到的隐变量的期望值去重新估计参数值,也就是进行新的一次极大似然估计
重复E & M 步骤,直至满足终止条件(参数估计值没有多大的变化)
很多时候,我们去学EM算法,最先接触到大概就是上面的定义了,往往让我们摸不着头脑,瞬间失去学习它的兴趣。别急,下面会用简单的推导去说明这一切~
怎么去理解”极大似然估计”呢?比如说当我们在
也就是不管在什么时候,我们希望最大化这样的差异:
下面,再把隐变量
所以,重写等式(5)
注意到我们之前提到的
接下来的一小段推导请仔细看着,其中使用到的技巧皆是为了推导出EM形式而服务的——
将
于是,重写(9)式:
草版,未完待续
- EM(期望最大)算法详解(上)
- EM(最大期望)算法
- EM最大期望算法
- 最大期望(EM)算法
- EM最大期望算法
- EM-最大期望算法
- EM最大期望算法
- 期望最大(EM)算法
- 简析EM算法(最大期望算法)
- 机器学习之期望最大算法(EM算法)
- 机器学习之期望最大算法(EM算法)
- 【机器学习】EM最大期望算法
- 最大期望算法EM-机器学习ML
- 期望最大化(EM)算法
- 数据挖掘十大算法----EM算法(最大期望算法)
- 数据挖掘十大算法----EM算法(最大期望算法)
- 数据挖掘十大算法----EM算法(最大期望算法)
- 数据挖掘十大算法----EM算法(最大期望算法)
- 玩转Python爬虫与信息获取(1)
- WebUploader 设置单个图片上传
- Unity中 www 与Resources 使用区别
- 读懂源码系列-FileZilla Server 设计原则分析-入口分析(2)
- xposed hook 方法 含有自定义类和自定义类数组
- EM(期望最大)算法详解(上)
- php 发送与接收流文件
- 洛谷 P3708 koishi的数学题
- my sql部分重要语句示例
- 大学生该怎么活,才有意义。
- Linux系统安装之前
- 二维数组动态改变下拉菜单内容
- mysql 主从复制环境搭建
- springboot **Controller Autowired required a single bean, but 2 were found