最大似然估计和贝叶斯估计区别
来源:互联网 发布:在淘宝上开店货源怎么办 编辑:程序博客网 时间:2024/06/05 07:38
1.为什么要有参数估计(parameter estimation)
研究一个课题的时候,博主的第一反应一般都是”why”。为什么会有这个东东?这个东东到底能解决什么实际问题?
OK,那我们为什么要采用参数估计的方法呢?举个很简单的实际例子,我们国家每隔一段时间需要进行人口普查,但是因为我国国土面积太大,人口太多,不太可能真正挨个人口进行统计,所以可以统计部分人口样本,然后根据这部分样本的参数去描述人口的总体分布情况。那为什么我们可以这么干?因为我们对整体分布的形式是知晓的,比如我们知道全国人民的身高体重服从正态分布,这样我们只需要取得部分样本的数据,然后估计正态分布的均值与方差即可。否则,我们就需要借助非参数的方法了。
再用一句简单的话来总结参数估计:模型已定,参数未知!
2.最大似然估计(Maximum Likehood Estimation MLE)
最大似然估计的核心思想是:找到参数
假设有一组独立同分布(i.i.d)的随机变量
最大似然估计会寻找关于
因为是”模型已定,参数未知”,此时我们是根据样本采样
实际使用中,因为
那最终
根据前面的描述,总结一下求最大释然估计值的步骤:
1.写似然函数
2.一般对似然函数取对数,并将对数似然函数整理
3.对数似然函数求导,令导数为0,求得似然方程
4.根据似然方程求解,得到的参数即为所求估计值
3.对数似然求解实例
下面给大家举个别人文章中简单的小例子,看看对数似然的具体求解过程。
假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?
估计大家很快能反应出来答案是70%。但是如果让推导一下具体过程呢?
我们假设罐中白球的比例是
按照第二部分提到的似然估计求解过程,先写出似然函数:
接下来对似然函数对数化:
然后求似然方程:
最后求解似然方程,得:
以上就是最大似然估计的详细完整过程!
4.贝叶斯估计
统计学里有两个大的流派,一个是频率派,一个是贝叶斯派。时至今日,这两派还未就各自的观点达成统一。我们前面提到的最大似然估计就是频率派的典型思路,接下来再看看贝叶斯派的思路,到底跟频率派估计有何不同。
先来看几个相关的小公式:
两个随机变量
如果
那么条件概率就可以表示为:
对于一个完备事件组
由以上这些,可以得出贝叶斯公式:
其中,
5.MLE与Bayes的区别
细心的同学通过观察MLE与Bayes的公式,发现Bayes公式比MLE公式里就多了一项
换句话说,最大似然估计没有考虑模型本身的概率,或者说认为模型出现的概率都相等。而贝叶斯估计将模型出现的概率用先验概率的方式在计算过程中有所体现。
举个大家上学时候就遇到的例子:
假如人们会感染一种病毒,有一种测试方法,在被测试者已感染这个病毒时,测试结果 为阳性的概率为95%。在被测试者没有感染这个病毒时,测试结果为阳性的概率为2%。现在,有一个人的测试结果为阳性,问这个人感染了病毒吗?
如果用最大似然估计的方法,既然感染了病毒出现阳性的概率为95%,没感染出现阳性的概率为2%,本着谁大像谁的原则,那我就认为这个人已经感染了病毒。
但是如果用贝叶斯方法进行估计,如果我们得知有一个先验概率,比如整体人群中只有1%的人会感染此种病毒,那么由贝叶斯公式:
其中,
由此可见,在贝叶斯估计中,先验概率对结果的影响很大。在这种场景下,采用贝叶斯估计似乎更为合理一些。
最后来个总结:从本质上来说,最大似然是对点估计,贝叶斯推断是对分布估计。即,假设求解参数
6.一些tips
MLE简单又客观,但是过分的客观有时会导致过拟合(Over fitting)。在样本点很少的情况下,MLE的效果并不好。比如我们前面举的病毒的例子。在这种情况下,我们可以通过加入先验,用贝叶斯估计进行计算。
贝叶斯估计最要命的问题是,实际应用场景中的先验概率不是那么好求,很多都是拍脑袋决定的。一旦是拍脑袋决定的,这玩意自然就不准;更有甚者,很多时候是为了方便求解生造出来一个先验。那既然这样,要这个先验还有什么卵用呢?所以频率派的支持者就揪住这点不放攻击贝叶斯派。
在现在看来,Frequentist与Bayesian这两派还将长期并存,在各自适合的领域发挥自己的作用。
- 最大似然估计和贝叶斯估计区别
- 最大似然估计,最大后验估计,贝叶斯估计
- 最大似然估计、最大后验估计、贝叶斯估计
- 矩估计和最大似然估计
- 最大似然估计、最大后验估计和贝叶斯估计的关系
- 最大似然估计,最大后验估计和贝叶斯估计
- 最大似然估计与贝叶斯估计
- 贝叶斯估计与最大似然估计
- 【机器学习】MAP最大后验估计和ML最大似然估计区别
- 最大似然估计和最大后验概率估计的区别
- 最大似然估计和最大后验估计
- 最大似然估计和最大后验概率估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 关于linux编码问题
- 听书-中国人为什么看不起中国人-张鸣
- 删除元素_LintCode
- 8-15 最大公共子图
- Java树
- 最大似然估计和贝叶斯估计区别
- spring mvc mongodb web项目jar
- Java中的线程Thread方法之---interrupt()
- 解题常用工具
- 查询每个班成绩排名前三的学生信息
- QQ红包随机数算法
- Linux(CentOS)下设置nginx开机自动启动和chkconfig管理
- select for update
- Linux+Apache+Mysql+PHP优化技巧