最大似然估计

两种随机变量的极大似然估计

1.若总体X为离散型，其概率分布列为

其中

  

为为未知参数。设

  

是取自总体的样本容量为n的样本，则

  

的联合分布律为

  

。又设

  

的一组观测值为

  

，易知样本

  

取到观测值

  

的概率为

这一概率随

  

的取值而变化，它是

  

的函数，称

  

为样本的似然函数。

2.若总体X为连续型，其概率密度函数为

  

，其中

  

为未知参数。设

  

是取自总体的样本容量为n的简单样本，则

  

的联合概率密度函数为

  

。又设

  

的一组观测值为

  

，则随机点

  

落在点

  

的邻边（边长分别为

  

的n维立方体）内的概率近似地为

  

。

考虑函数

同样，

  

称为样本的似然函数。

极大似然估计法原理就是固定样本观测值

  

，挑选参数

  

使

这样得到的

  

与样本值有关，

  

称为参数

  

的极大似然估计值，其相应的统计量

  

称为

  

的极大似然估计量。极大似然估计简记为MLE或

  

。

问题是如何把参数

  

的极大似然估计

  

求出。更多场合是利用

  

是

  

的增函数，故

  

与

  

在同一点处达到最大值，于是对似然函数

  

取对数，利用微分学知识转化为求解对数似然方程

 

 

解此方程并对解做进一步的判断。但由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点，就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况，所以可以直接按上述步骤求极大似然估计。