极大似然估计

贝叶斯公式

P(A|D)=P(D|A)P(A)P(D)

给定某些样本D，在这些样本中计算某结论A1、A2…An出现的概率，即P(Ai|D)
在给定样本的情况下，哪一组参数出现的概率最大，我们就认为哪组参数最有可能出现

maxP(Ai|D)=maxP(D|Ai)P(Ai)P(D)=max(P(D|Ai)P(Ai))

P(D)是样本发生的概率，样本已经改定所以，P(D)是常数
我们在认为在没有其他的条件下，P(Ai)近似相等，得到max(P(D|Ai))，即哪一个参数使得样本最大可能的发生，或者说是哪个参数使样本发生的概率最大

max(P(Ai|D))→max(P(D|Ai))

极大似然估计

设总体分布为f(x,θ)，X1,X2,X3…Xn为该总体采样得到的样本，因为X1,X2,X3…Xn独立同分布，于是它们的联合密度函数为：

L(x1,x1...xn;θ1,θ2...θk)=∏inf(x1;θ1,θ2...θk)

上式为样本发生的概率，或者说哪个参数使取的的样本与真实的样本最相似，即哪个参数是样本发生的概率最大
这里θ被看做是固定但未知的参数，反过来因为样本已经存在，可以看成x1,x1...xn是固定的，L(x,θ)是关于θ的函数，即似然函数
求参数θ的值，使得似然函数取极大值，这种方法就是极大似然估计

极大似然估计具体实践

在实践中由于求导数的需要，往往将似然函数取对数，得到对数似然函数，若对数似然函数可导，可通过求导的方式，解下列方程组，得到驻点，然后分析该点是极大值点

logL(θ1,θ2...θk)=∑inlogf(x1;θ1,θ2...θk)

∂L(θ)∂θi=0,i=1,2...k

极大似然估计实例

找出与样本分布最接近的概率分布模型
10次抛硬币的结果是：正正反正正正反反正正
假设p是每次抛硬币结果为正的概率，则得到这样结果的计算概率是：

P=p7(1−p)3

最优解为：p=0.7
抛硬币的过程中，进行了N次独立实验，n次朝上，N−n次朝下，假设朝上的概率为p，使用对数似然作为目标函数：

f(n|p)=log(pn(1−p)N−n)→h(p)

∂h(p)∂p=np−N−n1−p→0

p=nN

正太分布的极大似然估计

若给定一组样本X1,X2,X3…Xn，已知它们来自于高斯分布N(μ,σ)，试估计参数μ,σ
按照MLE的过程分析
高斯分布的概率密度函数：

f(x)=12π−−√σe−(x−μ)22σ2

将Xi的样本xi带入，得到：

L(x)=∏in12π−−√σe−(xi−μ)22σ2

取对数

l(x)=log∏in12π−−√σe−(xi−μ)22σ2

=∑inlog12π−−√σe−(xi−μ)22σ2

=(∑inlog12π−−√σ)+(∑in−(xi−μ)22σ2)

=−n2log(2πσ2)−12σ2∑in(xi−μ)2

将目标函数对参数μ,σ分别求偏导，很容易得到μ,σ的式子：

μ=1n∑inxi

σ2=1n∑in(xi−μ)2

上述结论与矩估计的结果是非常一致的，并且意义非常明显，样本的均值为高斯分布的均值，样本的伪方差为高斯分布的方差，经典意义上的方差，分母是n−1，在似然估计中求得方差是n