文章标题

似然函数 Likelihood Function

在机器学习中我们通常基于已有的学习集数据建立预测模型，然后使用该模型在测试数据集上检测该模型的有效性。
为量化模型有效性引入似然函数概念:

L(θ⃗ |X1,X2,…..,Xn)

其中

θ⃗ 

表示当前模型的参数,一旦确认

θ⃗ 

则模型被唯一的确定。

X1,X2,…..,Xn

表示学习集中的n个观测结果.

该式的物理含义为： 已知

X1,X2,…..,Xn

的观测结果的前提下，模型参数取

θ⃗ 

的概率

以下举例参考：
http://blog.sina.com.cn/s/blog_4a018d080100x089.html

投掷一次硬币:

令正面朝上的概率为PH,背面向上的概率为1-PH;该假设即可视为预测抛币结果的模型。

投掷两次硬币:

已知投出的硬币正面朝上和反面朝上的概率各自是pH = 0.5，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：

P(HH|PH=0.5)=0.52=0.25

其中H表示正面朝上。
在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型：假设硬币投出时会有pH 的概率正面朝上，而有1 -pH 的概率反面朝上。这时，条件概率可以改写成似然函数：

L(PH=0.5|HH)=P(HH|PH=0.5)=0.52=0.25

(该情况下，假设PH=0.5为预测模型，HH表示抛硬币连续两次正面朝上)

也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，pH = 0.5 的似然性是0.25（这并不表示当观测到两次正面朝上时pH = 0.5的概率是0.25）。
如果考虑pH = 0.6，那么似然函数的值也会改变。

L(PH=0.6|HH)=P(HH|PH=0.6)=0.62=0.36

注意到似然函数的值变大了。这说明，如果参数pH 的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设 pH = 0.5 时更大。也就是说，参数pH 取成0.6 要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。
在这个例子中，似然函数实际上等于：
　　

L(PH=θ|HH)=P(HH|PH=θ)=θ2

如果取pH = 1，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。

投掷三次硬币:

头两次正面朝上，第三次反面朝上，那么似然函数将会是：

L(PH=θ|HHT)=P(HHT|PH=θ)=θ2(1−θ)

其中T表示反面朝上，
这时候，似然函数的最大值将会在的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率是最合理的。

对于连续N次抛币：

L(θ⃗ |X1,X2,…..,Xn)=P(X1,X2,…..,Xn|θ⃗ )=∏i=1nf(xi|θ)

而极大似然函数法就是求使

L(θ⃗ |X1,X2,…..,Xn)

取最大值时的

θ⃗