如何理解最大似然估计?
来源:互联网 发布:熊猫书院 知乎 编辑:程序博客网 时间:2024/06/06 09:50
转载自:最大似然估计总结笔记,小编辛辛苦苦对原文进行了文字和公式的润色。
如何理解最大似然估计?
1、作用
在已知实验结果的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数
例如:一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球。要求解最有可能的黑白球之间的比例时,我们就可以采取最大似然估计法:利用8次黑球2次白球这个实验结果,反推最有可能(最大概率)导致这样结果的参数值,这里就是白球黑球的比例。
解:假设抽到黑球的概率为p,即P(抽到黑球)=p,那么得到8次黑球2次白球的这个结果的概率为:P(黑球=8次)=
2、离散型
设
3、连续型
设
4、关于概率密度(PD)
我们来考虑个简单的情况(m=k=1),即是参数和样本都为1的情况。假设进行一个实验,实验次数定为10次,每次实验成功率为0.2,那么不成功的概率为0.8,用y来表示成功的次数。由于前后的实验是相互独立的,所以可以计算得到成功的次数的概率密度为:
由于
图1如下:
图2如下:
那么
5、最大似然估计的求法
由上面的介绍可以知道,对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况:我们已经知道了一系列的观察值和一个感兴趣的模型,现在需要找出是哪个PD(具体来说参数
该函数可以理解为,在给定了样本值的情况下,关于参数向量
继续回顾前面所讲,图1,2是在给定
图3如下:
主要注意的是多数情况下,直接对变量进行求导反而会使得计算式子更加的复杂,此时可以借用对数函数。由于对数函数是单调增函数,所以
若该似然函数的导数存在,那么对
可以得出
还要指出,若函数
6、总结
最大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤:
(1) 写出似然函数
(2) 对似然函数取对数,并整理
(3) 求导数
(4) 解似然方程
对于最大似然估计方法的应用,需要结合特定的环境,因为它需要你提供样本的已知模型进而来估算参数,例如在模式识别中,我们可以规定目标符合高斯模型。而且对于该算法,我理解为,“知道”和“能用”就行,没必要在程序设计时将该部分实现,因为在大多数程序中只会用到我最后推导出来的结果。个人建议,如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容,在文献[2]附有3个推导例子。
7、参考文献
[1] I.J. Myung. Tutorial on maximum likelihood estimation[J]. Journal of Mathematical Psychology, 2003, 90-100.
[2] http://edu6.teacher.com.cn/ttg006a/chap7/jiangjie/72.htm
参考资料:
1. 最大似然估计和最小二乘法怎么理解?
- 如何理解最大似然估计?
- 理解最大似然估计
- 最大似然估计理解
- 我们该如何理解最大似然估计???
- 通俗理解最大似然估计,最大后验概率估计,贝叶斯估计
- 最大似然估计,最大后验估计,贝叶斯估计
- 最大似然估计、最大后验估计、贝叶斯估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 最大似然估计
- 数据结构中常见的树(BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B+树、B*树)
- Imageloader基本使用(显示图片设置)
- docker 容器后台运行
- 笔记day3进程池
- uboot控制台下的环境变量详解
- 如何理解最大似然估计?
- MyEclipse快捷键大全
- Java多线程编程——线程间通信
- 我对于卡精度的认识
- 多线程
- Android Studio(for mac) adb 命令command not found
- 内部类
- 冒泡法排序
- ubuntu 安装 mysql