极大似然估计

martin

---

极大似然估计基本原理：最大化似然函数

定义：假设样本{X1,X2,...Xn}服从概率密度函数fθ(x)。其中，θ=(θ1,θ2,...θk)是未知参数。当固定x的时候fθ(x)就是θ的函数，我们把这个函数称为似然函数，记为Lx(θ)或者L(θ)。

注意：似然函数不是概率，但是很类似于概率。当θ给定的时候，他是概率密度。当x给定的时候，θ变化的时候。他就类似于在表示在这个观测量x的条件下，参数等于θ的可能性(不是概率)，起个名字叫做似然函数。举个例子，有：

L(θ1)<L(θ2)

那么我们就可以说

P(θ=θ1)<P(θ=θ2)

---

假设x=(x1,x2,...xn)是样本的观测值，那么整个样本的似然函数就是：

Lx(θ)=∏i=1nLxi(θ)

这是一个关于θ的函数，选取使得Lx(θ)最大化的θ^作为θ的估计量。

最大化似然函数θ，相当于最大化似然函数的对数：lx(θ)=log(Lx(θ))。一般我们求解似然函数或者对数似然函数的驻点方程为：

dl(θ)dθ=0

然后判断这个驻点是否是最大点(求驻点可以用牛顿法或者梯度下降法等等)。