参数估计:最大似然估计(MLE),最大后验估计(MAP),贝叶斯估计,经验贝叶斯(Empirical Bayes)与全贝叶斯(Full Bayes)
来源:互联网 发布:lcd字模提取软件 编辑:程序博客网 时间:2024/05/06 13:02
参数估计:最大似然估计(MLE),最大后验估计(MAP),贝叶斯估计,经验贝叶斯(Empirical Bayes)与全贝叶斯(Full Bayes)
- 参数估计最大似然估计MLE最大后验估计MAP贝叶斯估计经验贝叶斯Empirical Bayes与全贝叶斯Full Bayes
- 参数估计
- 最大似然估计MLE
- 最大后验估计MAP
- 贝叶斯估计
- 经验贝叶斯Empirical Bayes
- 全贝叶斯Full Bayes
参数估计
典型的离散型随机变量分布有二项式分布,多项式分布,泊松分布;典型的连续型随机变量分布有正态分布,拉普拉斯分布,student t 分布,帕雷托分布。它们都可以看成是参数分布,因为它们的函数形式被一小部分参数所控制。因此,给定一堆数据,我们希望用一个给定的分布去拟合实际数据分布的时候,就要估计出这些参数的值,以便能够利用分布模型来做密度估计。这就是参数估计!
对于参数估计,一直存在两个学派的不同解决方案。一是频率学派解决方案:通过某些优化准则(比如似然函数)来选择特定参数值;二是贝叶斯学派解决方案:假定参数服从一个先验分布,通过观测到的数据,使用贝叶斯理论计算对应的后验分布且选择的先验与后验都满足共轭性质。
最大似然估计(MLE)
最大似然估计(MLE),当给定一堆数据
举个栗子,我们假设抛硬币,正面朝上的次数满足二项分布,正面朝上的概率是
其中
对参数
我们另导数等于0,就可以得到:
最大后验估计(MAP)
最大后验估计(MAP)是最大似然估计(MLE)的扩展并与其类似,都是假设在给定数据的情况下,分布的参数都是固定的数值。但是不同的是,MAP介绍这个参数服从一个分布,既参数取到每个值的可能性不是相等的,而是服从一个分布的。而MLE的参数是不服从分布的(或者说服从均匀分布,因此取到每一值是均可能的。)。MAP是根据贝叶斯定理先验转后验推导出来的:
我们可以看到第一项
我们回到刚才那个抛硬币的栗子,我们假设参数
我们对
求导:
我们要让导数等于零,其中第一项求导的结果在上面已经求得,我现在只需要知道第二项的导数的表达式:
所以:
另导数等于0,求得:
其中a与b根据人的经验给定,比如我们认为一枚均匀硬币正反两面朝上的概率都是相等的,那么我们就可以假设
贝叶斯估计
贝叶斯估计是最大后验估计(MAP)的进一步扩展,和MAP一样,也认为参数不是固定的,都假设参数服从一个先验分布。但是MAP是直接估计出参数的值,而贝叶斯估计是估计出参数的分布,这就是贝叶斯与MLE与MAP最大的不同。定义如下
现在我们要求的就不再是后验概率,而是
上面的公式也就是贝叶斯估计的核心了,它把类条件概率密度
还是来看下抛硬币的栗子,设
根据Beta函数 期望和方差公式,我们可以得到参数的期望 方差是:
贝叶斯定理给出了最小化误差的最优解决方法,可用于分类和预测。理论上,它看起来很完美,但在实际中,它并不能直接利用,它需要知道证据的确切分布概率,而实际上我们并不能确切的给出证据的分布概率。因此我们在很多分类方法中都会作出某种假设以逼近贝叶斯定理的要求。
经验贝叶斯(Empirical Bayes)
经验贝叶斯(Empirical Bayes or ML-Ⅱ)也是计算参数的分布而不是值,但是它是通过计算出分布的超参来确定函数的分布的。
全贝叶斯(Full Bayes)
全贝叶斯(Full Bayes)就假设参数的参数都是服从一定分布的。。。
- 参数估计:最大似然估计(MLE),最大后验估计(MAP),贝叶斯估计,经验贝叶斯(Empirical Bayes)与全贝叶斯(Full Bayes)
- 参数估计(Parameter Estimation):频率学派(最大似然估计MLE、最大后验估计MAP)与贝叶斯学派(贝叶斯估计BPE)
- 参数估计(Parameter Estimation):频率学派(最大似然估计MLE、最大后验估计MAP)与贝叶斯学派(贝叶斯估计BPE)
- 【转载】参数估计(Parameter Estimation):频率学派(最大似然估计MLE、最大后验估计MAP)与贝叶斯学派(贝叶斯估计BPE)
- 机器学习->统计学基础->贝叶斯估计,最大似然估计(MLE),最大后验估计(MAP)
- 机器学习->统计学基础->贝叶斯估计,最大似然估计(MLE),最大后验估计(MAP)
- 最大后验估计MAP/最大似然估计MLE
- 参数估计:最大似然估计、贝叶斯估计与最大后验估计
- 最大似然估计(MLE)与最大后验估计(MAP)
- 最大后验估计(MAP)与最大似然估计(MLE)
- 最大似然估计(MLE)与最大后验估计(MAP)
- 详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解
- 参数估计-最大似然估计、MAP及贝叶斯估计
- 参数估计-最大似然估计、MAP及贝叶斯估计
- 最大似然估计(MLE)和最大后验概率估计(MAP)
- 最大似然估计MLE与贝叶斯估计
- 最大似然估计,最大后验估计,贝叶斯估计
- 最大似然估计、最大后验估计、贝叶斯估计
- C项目之猜拳游戏
- 数据结构之链表学习心得
- 3.文档设置标记
- tornado 入门 - 展示静态页面
- SQL表连接查询(inner join、full join、left join、right join)
- 参数估计:最大似然估计(MLE),最大后验估计(MAP),贝叶斯估计,经验贝叶斯(Empirical Bayes)与全贝叶斯(Full Bayes)
- C语言、编程语言发展史
- Android文件操作工具类,拿去用吧!
- 动态规划-完全背包问题
- monkey命令浅析
- perl 使用use utf8
- 简单链表的建立
- JavaScript进阶(十)Array 数组详解
- Hibernate Demo