最大似然估计

先贴一下我的参考：维基百科 东北师范大学课件 知乎

由于年代久远，所以以前学的概率全忘了，所以复习下。首先，回想下统计学的核心，以样本去估计整体，我为什么要去求得这个最大似然估计，
例如：我有一个黑盒子，盒子里放了200个球，我次拿出一个，记录颜色，然后放回，摇匀，其中8个黑球，2个白球，同时，设拿到黑球的概率为p。这时，我所掌握的信息就是：每次拿出的不同的球的概率是相等的，即样本相互独立且同分布，那么可以记这次事件发生的概率：P(黑=8)=p8∗(1−P)2(称为似然函数) ,通过这，我想知道p到底是多少呢？
这便是问题的出发点，由已知的这些资料去探知整体的概率。
因为P(黑=8)已经出现了，所以我们要让它最大，所以，求偏导令其等于0，得出p=0.8,所以得出最符合p的值为0.8。
根据其他的资料，我们可知最大似然估计的一般求解过程：
　　（1） 写出似然函数；
　　（2） 对似然函数取对数，并整理；
　　（3） 求导数 ；
　　（4） 解似然方程
第二步只是为了方便求导而存在的。

上面只是离散的例子，下面举一个连续分布的例子(记住，我们是来求具体的p的)：
现在有 n个样本服从正态分布，即

P(x)=12π−−√σe(−(x−μ)22σ2)

求似然函数

L(μ,σ2)=∏i=1n12π−−√σe(−(x−μ)22σ2)=(2πσ2)−12σ2∑ni=1(xi−μ)

求对数

logL(μ,σ2)=−n2log(2π)−n2log(2π)−12σ2∑i=1n(xi−μ)2

求偏导，得似然方程组

⎧⎩⎨∂logL(μ,σ2)∂μ=1σ2∑ni=1(xi−μ)=0,∂logL(μ,σ2)∂σ2=−n2σ2+12σ4∑ni=1(xi−μ)2=0,

由第一式解得

μ.=x¯=1n∑i=1nxi

将其带入第二式

σ2=1n∑i=1n(xi−x¯)2

得似然方程组有唯一解(μ.，σ2)，是否为极大值呢？将他们带入似然函数看看就知道啦！