最大期望算法
来源:互联网 发布:access数据库格式 编辑:程序博客网 时间:2024/05/18 22:11
假设我们有一个样本集{x(1),…,x(m)},包含m个独立的样本。但每个样本i对应的类别z(i)是未知的(相当于聚类),也即隐含变量。故我们需要估计概率模型p(x,z)的参数θ,但是由于里面包含隐含变量z,所以很难用最大似然求解,但如果z知道了,那我们就很容易求解了。
对于参数估计,我们本质上还是想获得一个使似然函数最大化的那个参数θ,现在与最大似然不同的只是似然函数式中多了一个未知的变量z,见下式(1)。也就是说我们的目标是找到适合的θ和z让L(θ)最大。那我们也许会想,你就是多了一个未知的变量而已啊,我也可以分别对未知的θ和z分别求偏导,再令其等于0,求解出来不也一样吗?
本质上我们是需要最大化(1)式(对(1)式,我们回忆下联合概率密度下某个变量的边缘概率密度函数的求解,注意这里z也是随机变量。对每一个样本i的所有可能类别z求等式右边的联合概率密度函数和,也就得到等式左边为随机变量x的边缘概率密度),也就是似然函数,但是可以看到里面有“和的对数”,求导后形式会非常复杂(自己可以想象下log(f1(x)+ f2(x)+ f3(x)+…)复合函数的求导),所以很难求解得到未知参数z和θ。那OK,我们可否对(1)式做一些改变呢?我们看(2)式,(2)式只是分子分母同乘以一个相等的函数,还是有“和的对数”啊,还是求解不了,那为什么要这么做呢?咱们先不管,看(3)式,发现(3)式变成了“对数的和”,那这样求导就容易了。我们注意点,还发现等号变成了不等号,为什么能这么变呢?这就是Jensen不等式的大显神威的地方
1 0
- EM最大期望算法
- 最大期望(EM)算法
- EM最大期望算法
- EM-最大期望算法
- EM最大期望算法
- 最大期望算法
- 最大期望算法
- 期望最大(EM)算法
- EM(最大期望)算法
- 简析EM算法(最大期望算法)
- 【机器学习】EM最大期望算法
- EM(期望最大)算法详解(上)
- 最大期望算法EM-机器学习ML
- 机器学习期望最大算法:实例解析
- 机器学习期望最大算法:实例解析
- 数据挖掘十大算法---EM 期望最大算法
- 机器学习之期望最大算法(EM算法)
- 机器学习之期望最大算法(EM算法)
- Ionic -- Ionic1与Ionic2的区别
- 无向连通图中两点间所有路径的算法
- 原生js实现复制对象、扩展对象 类似jquery中的extend()方法
- 数据库概论
- Eclipse错误: 找不到或无法加载主类或项目无法编译10种解决大法!
- 最大期望算法
- 线性插值法
- ViewPager自动轮播(获取网络资源)
- Android CoordinatorLayout AppBar 上边缘阴影原因
- Bellman-Ford算法
- 使用loop模拟一个ext4设备
- win7 64 安装mysql-python:fatal error C1083: Cannot open include file: 'config-win.h': No such file or
- 第二只爬虫---百度贴吧
- 建造者模式