最大似然估计_入门

最大似然估计(Maximum Likelihood Estimation)，考研的时候就没弄太明白，这篇文章把它搞定。

先来看这么个问题：假如有个罐子里面有黑白两色球，数目不知多少，两种球比例也不知道多少。我们想知道这个比例，但是球太多了不能全部倒出来一个个数，于是抽样。比方说，有放回地抽100次记录颜色，抽完放回去摇匀，结果有70个都是白球。问白球比例是百分之多少？

70%啊，这还用问！高中生都知道。可是为什么？

我们设要求的白球的比例为p，那么黑球就占了1-p。因为每次抽完都放回去摇匀，所以每次都是独立同分布地抽样。我们把这个分布记为模型M，从M中出现的抽样情况记做Data，那么一次抽样(如本例中，这次抽样抽了100次)，它出现的概率就是P( Data|M )。第一次抽样结果记做x1，第二次结果记做x2...第100次x100，则Data=(x1, x2, ..., x100)。每次抽球抽出是白球概率为p。

P( Data|M ) = P( x1, x2, ..., x100|M )

            = P(x1|M)P(x2|M)...P(x100|M)   （因为 每次抽球互相独立）

      = p^70( 1-p )^30

那么p取多少时，P(Data|M)取最大呢？（注意：这是最大似然估计里，最关键的一个问题） 要求P最大，可以把P = p^70( 1-p )^30看做是一个关于p的函数，对p求导，让导数=0。 即70p^69(1-p)^30-p^70*30(1-p)^29=0。 p=0 或 1都舍去，最后得到p=0.7时，P(Data|M)最大。

即，我们已知抽100次白球有70个，那么原模型中，白球占了多少比例？回答0.7是最靠谱最没风险的，因为它是最可能的。

再来看第二个问题：

我们有一组连续变量的采样值(x1, x2, ...., xn)，已知原数据符合正太分布，标准差σ也是已知量。问，原分布的期望μ是对少时，产生样本(x1, x2, ...., xn)概率最大？

根据公式（实际上上文已经用到，采样各自独立，所以连乘），

和正太分布公式， 

可得（e的多少次方，连乘变连加）：

    

让求μ多少时，上式最大，μ是未知，且是自变量，对它求导：

让上式=0。 即只有nμ = xi的和. 即μ=（x1+x2+...+xn）/n。

 

一般地，最大似然估计一般流程：

1、写似然函数（L（Θ|x1，x2,...， xn））

2、取它对数，并整理下

3、求导数，让导数=0

4、解方程，得出未知量