参数估计(二)----极大后验概率估计
来源:互联网 发布:linux新建用户步骤 编辑:程序博客网 时间:2024/05/22 08:14
Maximum a posteriori estimation(极大后验概率估计),和ML(极大似然估计)相似,只不过是考虑了参数的先验分布。
还是贝叶斯公式:
极大后验概率,顾名思义,即:
根据贝叶斯公式转换一下,
注意:(1)在转化的时候P(X)直接删除了。(2)与极大似然估计的公式比较发现,多了一个先验分布项。
通过加上这个先验分布项,我们可以编码额外的信息,并且可以避免参数的过拟合问题。
我们认为,theta也是服从一个先验分布的:alpha是他的超参数
和前面计算极大似然估计相同,求出上面的表达式之后,通过偏导数置为0,求参数值:
求出参数值之后,当然接下来就要预测了,
接下来,我们再通过一个例子来加深理解:
还是上一篇讲到的掷硬币,只不过与ML不同的是,我们这里考虑到了参数p的先验分布(即是正面的概率),我们认为这个硬币是均匀的,因此p 很大可能是约等于0.5的,因此,我们对参数p选择了beta分布,beta分布的值介于0和1之间,因此可行:
其中a,b是超参数。
观察上面的图,因为我们先验认为p约等于0.5,因此超参数a和b是相等的,我们这里选择等于5.
与ML方法相比,这里分子分母上分别多了(a-1)和(a+b-2),我们称这两者为pseudo count伪计数,这两项的作用是使总概率p向0.5拉近,因为我们的先验认为就是约等于0.5的。
0 0
- 参数估计(二)----极大后验概率估计
- 参数估计(极大似然估计,极大后验概率估计,贝叶斯估计)
- 先验概率 后验概率 似然 极大似然估计 极大后验估计 共轭 概念
- 先验概率 后验概率 似然 极大似然估计 极大后验估计 共轭 概念
- 贝叶斯法则,先验概率,后验概率,极大后验估计,极大似然估计
- 极大似然估计 最大后验概率估计
- [转] 先验概率 后验概率 似然 极大似然估计 极大后验估计 共轭 概念
- 极大似然估计,最大后验概率估计(MAP),贝叶斯估计
- 极大似然估计,最大后验概率估计(MAP),贝叶斯估计
- 参数估计--极大似然估计
- 概率密度估计--参数估计与非参数估计
- 极大似然估计(MLE)和最大后验估计(MAP)
- 极大似然估计和最大后验估计
- 参数估计-矩估计和极大似然估计概述
- 概率估计(极大似然估计、拉普拉斯平滑定理、M-估计的关系)
- 极大似然和极大后验概率
- 参数估计:最大似然估计、贝叶斯估计与最大后验估计
- 最大后验概率估计算法(简单,通俗易懂)
- Java的this和super的用法
- Xcode 5: 将新项目同步到Svn上
- 数组循环移位
- java实现公共调用分页js
- 第五周作业——字体设置
- 参数估计(二)----极大后验概率估计
- jquery.datepick日历控件
- 我在安装 MySQL 时出现 1067 错误的解决办法
- c++中far,near区别
- TestCpp中 视差粒子 parallaxParticle 创建中 onEnter()相关代码
- java jxl插件导出excel
- 毕业设计项目 知识点总结
- Cocos2d-x学习笔记1
- 关于ADT 17的BuildConfig.DEBUG