机器学习小组知识点6:最大似然估计法(MLE)

为了照顾大家不同的基础，我只能写的不是很数学化，因此就用大家都能理解的东西。

最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计：
最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。
备注：
1. 什么是独立？独立所谓的就是不受其他的影响，例如：上例中的人的身高不能相互影响，当然你不能来硬的说，姚明的女儿个子肯定很高，怎么可能独立？这里我们要这样想，样本太大了，那么他们爷俩的影响微不足道，毕竟姚明跟你跟我关系不大，身高上几乎不影响。
2. 什么是同分布？这个现实生活中就是身高的样本来自于中国这个区域，来自同一个地域，所以分布应该可以认为是来自一个分布。说到底，用我统计的同学话说，他们就是用同一个样本：中国人民的身高。

最大似然估计

首先，假设x1,x2,⋯,xn为独立同分布的采样，θ为模型参数，f为我们使用的模型，遵循上面的独立分布假设。参数为θ的模型f产生的上述采样为

f(x1,x2,⋯,xn)=f(x1|θ)∗f(x2|θ)∗⋯∗f(xn|θ)

解释下为什么能这样乘？就是他们独立同分布！ 不影响，可以拆开。
这样模型就固定了，就是上式。回到上面所说的“模型固定，参数未知”说法，此时我们已知的为x1,x2,⋯,xn（为什么？我们采样了，挨个挨个测量了他们的身高嘛），未知的为θ（为什么？我不知道国人的平均身高和方差，所以要求。这里只是假设了个参数，有点儿像待定系数法），所以极大似然估计定义为：

L(θ|x1,x2,⋯,xn)=f(x1,x2,⋯,xn)=Πni=1f(xi|θ)

在实际应用中对两边取对数，（为什么取对数？凸的，单调递增的函数我喜欢！），得到

lnL(θ|x1,x2,⋯,xn)=∑i=1nlnf(xi|θ)

于是有

l^=1nlnL

其中lnL(θ|x1,x2,⋯,xn)为对数似然，而l^为平均对数似然。为我们平时所称的最大似然为最大的对数平均似然，即:

θ^=arg max l^(θ|x1,x2,⋯,xn)

举个别人博客中的例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？

我们假设罐中白球的比例是p，那么黑球的比例就是1−p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜 色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的概率是P(Data|M)，这里Data是所有的数据，M是所给出的模型，表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1，第二抽样的结果记为x2⋯，那么Data=(x1,x2,…,x100)。这样，
P(Data|M)=P(x1,x2,…,x100|M)=P(x1|M)P(x2|M)⋯P(x100|M)=p70(1−p)30.
那么p在取什么值的时候，P(Data|M)的值最大呢？将p70(1−p)30对p求导，并其等于零。
解得p=0.7
在边界点p=0,1，P(Data|M)=0。所以当p=0.7时，P(Data|M)的值最大。这和我们常识中按抽样中的比例来计算的结果是一样的。
　　　
由上可知最大似然估计的一般求解过程：

　　（1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程
注意：
最大似然估计函数不一定是唯一的，也可能不存在。

总结：

极大似然估计（MLE）是建立在极大似然原理上的参数估计，在假定总体服从某种分布的情况下，我们可以通过一些样本，来估计总体的参数。

这就给我们抛出来几个问题，什么是极大似然原理，什么是参数估计，又是如何进行极大似然估计的。

1.极大似然原理

极大似然原理，简单地描述就是“存在即合理，所见即真实”，是人们对于事物认知的一种假设。对于一个有多种可能的事件，我们总是认为，我们看到的那些结果（样本），是该事件概率最大的可能。
比如，对于外星生物，人类最会理所应当地假设，我们见到的第一个外星生物的长相是普遍外形生物的模样。
更多的原理解释可以看维基百科。

2.参数估计

在统计里面，我们习惯于用一些参数来描述事物整体的分布情况。比如“男性平均寿命74岁”，这里面的74便是描述整体模样的一个参数。
这就是我们上面说的θ和σ
而通过我们取样的一千个男性的平均寿命来估计全体男性的平均寿命，这样的过程就称为参数估计。

致谢：感谢上海交大软件学院教师肖凯博士为机器学习平台的创建而做出的贡献。