极大似然估计(MLE)和最大后验估计(MAP)
来源:互联网 发布:电商销售记录数据 编辑:程序博客网 时间:2024/06/05 09:40
1.极大似然估计
给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参数,即“模型已知,参数未知”。例如,我们知道这个分布是正态分布,但是不知道均值和方差;或者是二项分布,但是不知道均值。 极大似然估计(MLE,Maximum Likelihood Estimation)就可以用来估计模型的参数。MLE的目标是找出一组参数,使得模型产生出观测数据的概率最大
即:
MLE的具体算法由概率论的知识可以解决,此处略去。
2.最大后验概率
MLE找的是一组能够使似然函数最大的参数,而MAP给参数施加了一个先验(例如在抛硬币的时候,我们认为出现正面的概率应该接近0.5)。
MAP试图优化下式:
两个方法之间的关系可以由贝叶斯公式导出:
当参数的后验P(theta)服从均匀分布的时候,MLE=MAP。MAP可以看做是正则化后的MLE。
MLE(频率学派)认为参数theta是一个未知的常量,需要从数据中估计出来。
MAP(贝叶斯学派)认为参数theta是一个随机变量,服从一个概率分布
MLE的缺点是如果数据集太小会出现过拟合。
MAP的缺点是使用不同的先验会得到不同的结果。
阅读全文
0 0
- 极大似然估计(MLE)和最大后验估计(MAP)
- 最大似然估计(MLE)和最大后验概率估计(MAP)
- 最大后验估计MAP/最大似然估计MLE
- 最大似然估计(MLE)与最大后验估计(MAP)
- 最大后验估计(MAP)与最大似然估计(MLE)
- 最大似然估计(MLE)与最大后验估计(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 极大似然估计(MLE)和贝叶斯估计(MAP)
- unity使用IDragHandler实现拖拽
- java.lang.NoClassDefFoundError: Failed resolution of: Lio/bugtags/agent/instrumentation/okhttp3/OkHt
- linux中tomcat中https配置
- jQuery学习笔记之Ajax用法详解
- 关掉模块的验证CONFIG_MODULE_SIG
- 极大似然估计(MLE)和最大后验估计(MAP)
- linux中用到的一些思想
- Mintty(Cygwin)快速定位当前目录
- OpenStack Horizon源代码分析-用户登录全过程
- UVALive 3516 Exploring Pyramids——递推
- webots自学笔记(四)传感器API使用、查看官方文档
- Ajax前台姓名和身份证号正则验证
- Python3 对网页进行简单爬虫操作
- Vue.js解析(三)【从Vue.js源码角度再看数据绑定】