最大似然估计和最大后验概率估计

最大似然估计

似然函数

似然函数是一种关于统计模型中参数的函数，表示模型参数中的似然性。

给定观测量x时，关于参数θ的似然函数L(θ)（在数值上）等于给定参数θ后变量x的概率：

L(θ)=L(θ|x)=pθ=p(x|θ)=p(x;θ)

最大似然估计

给定一组观测量{x1,x2...xn}并假设它们独立同分布，我们可以得到参数μ的似然函数

L(μ)=p(x1,x2,...xn;μ)=∏i=1np(xi;μ)

为了估计μ，我们假设μ是使得观测量出现概率最大的一组参数。即

μ=argmaxμiL(μi)

为最大化似然函数，我们需要对它进行求导，为使得求导方便，一般对目标取log。所以最后求解的问题变成了

μ=argmaxμlog(L(μ))

一个例子

• 在一个50人左右的班级门口走动，发现从门口出来了10个人，其中3个男生，7个女生。估算从从门口出来的人是男生的概率？

使用最大似然的方法进行估计。假设走出来的人是男生的概率为μ，走出来的人是女生的概率为1-p。我们的观测量是十个人里面走出来的男生的数量。显然这是一个二项分布。

p(x;μ)=Cx10μx(1−μ)(10−x)

它的log-likelihood为

log(L(μ))=logCx10+xlogμ+(10−x)log(1−μ)

对它求导得到xμ−10−x(1−μ)=0

带入x=3，得到μ=0.3

即从教室出来的人是男生的概率为0.3。

这个概率也可以（在不考虑其他条件的情况下）理解为男生占班上人数的大概30%。

最大后验估计

条件概率公式

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。P(A|B)=P(AB)P(B)

• 解释：联合概率分布除以独立分布得到边缘分布

全概率公式

设B1，B2，…Bn是一组事件,若

1. 它们两两互斥

2. B1∪B2∪…∪Bn=Ω

则称B1，B2，…Bn样本空间Ω的一个划分，或称为样本空间Ω 的一个完备事件组。

设事件组{Bi}是样本空间Ω 的一个划分，且P(Bi)>0 (i=1，2，…n)，则有

P(A)=∑i=1nP(Bi)P(A|Bi)

称为全概率公式

• 解释：某事件的概率分布可以通过划分成不同条件下的概率分布，再进行累加求解。

贝叶斯公式

由条件概率公式我们可以得到

P(AB)=P(A|B)P(B)=P(B|A)P(A)

进而有

P(B|A)=P(A|B)P(B)P(A)

• 解释：设B为待估计量。A为观测量。知道B的先验P(B)，和B的似然L(B)=P(A|B)。我们可以求解出B的后验概率P(B|A)，也即在当前的观测A下B出现的概率。

设B1，B2，…Bn…是一完备事件组，则对任一事件A，P（A）>0，有

P(Bi|A)=P(ABi)P(A)=P(Bi)P(A|Bi)∑niP(Bi)P(A|Bi)

• 解释：上面的推广

贝叶斯估计

贝叶斯估计将待估计参数看作随机变量。假设观测量为x={xi}，参数的先验概率分布为p(μ)。使用贝叶斯定理，我们有p(μ|x)=p(x|μ)p(μ)∑nip(μi)p(x|μi)

由此我们可以得出参数的后验分布，即在当前观测量的情况下得到的参数的概率分布。

最大后验概率估计

上式中的分母在实际情况中往往很难计算，因此我们一般不计算出完整的参数的概率分布。这样我们就得到了参数的后验概率p(μ|x)=p(x|μ)p(μ)。取

μˆ=argmaxμip(x|μi)p(μi)

就得到了参数的最大后验估计。可以看到，最大后验估计与最大似然估计只相差一个先验概率。

一个例子

使用和前面相同的一个例子。

这个例子中的先验是什么？

考虑μ的先验分布。我们知道一般来说男女比例是相当的。在此题中没有提到任何具体的信息。于是假设随机变量μ的均值为0.5。从而E(μ)=αα+β=0.5→α=β。

可以假设μ同样表征了男生占人数的比例。假设班上有n个人，其中有nm个男生，nm可以看成一个二项分布，它的方差为np(1−p)。于是μ的方差为np(1−p)/n2=0.005

于是var(μ)=αβ(α+β)2(α+β+1)=0.005得到α=β=24.5

(当然更好的思路是直接假设μ是离散分布，为了直接套用一些结论这里就不推了）

由此得到后验概率

p(μ|x)=p(x|μ)∗p(μ)

其中x为10个人中男生的数量。p(x|μ)仍为二项分布。p(μ)为参数的先验概率分布，p(μ)=Beta(μ|α,β)。

为了最大化后验概率，我们对它的对数函数求导，其中p(x|μ)的对数函数的导数上面已经求过了。beta分布的对数函数导数为

ddμlog Beta(μ|α,β)=α−1μ−β−11−μ

令后验概率对数函数的导数为零，我们求解得到

μˆ=x+α−1n′+β+α−2

其中n′为走出教室的总人数。

带入数据我们得到μˆ=0.456。