带你重拾概率论

声明：

1. 本文所有内容均来自笔者在学习中所做总结，难免会有错误，谨慎参考；
2. 本文所有内容的整理逻辑以及应用范围均只局限于机器学习相关内容，请勿延伸至其他领域；
3. 本文内容会不定期更新，总结，修改，排版，仅根据笔者所遇到的问题进行相关部分的完善；
4. 若发现错误，还望不吝赐教（留言，邮箱均可）；
5. 文章内容可转载，但请注明出处；

一、参数估计

所谓参数估计(Parameter estimation)指的是：用已知的样本数据在选定的分布（函数）下，进行参数估计的过程。

换在机器学习指的就是，在已知数据集（结果）和模型（分布函数）的情况下，估计出最适合该模型的参数。

1.1 最大似然估计

最大似然估计(Maximum likelihood estimation)就是指，在已知样本结果的情况下，推断出最有可能使得该结果出现的参数的过程。也就是说最大似然估计一个过程，它用来估计出某个模型的参数，而这些参数能使得已知样本的结果最可能发生。

举例：

假设你有一枚硬币，随机抛10次；现在的结果是6次正面。我们都知道，抛一枚硬币，正面朝上和反面朝上的概率均是θ=0.5；但前提时，这是在大量的实验（抛硬币）情况下才有的结论。那在我们这个情况下，参数θ到底取何值时才能使得出现6次正面的肯能性最大呢？

我们知道，抛硬币是符合二项分布B(n,p)，也就是说我们现在已知样本结果以及函数分布，估计出使得该结果最大可能出现的参数θ^。则有：

L=P(X=6)=C610θ^6(1−θ^)4

而我们接下来要做的就是求当L取最大值时，θ^的值。我们很容易求得当θ^=0.6时L取得最大值0.25；而当θ^=0.5时，L=0.21

再假设你有一枚硬币，随机抛10次；现在的结果是7次正面。则此时使得该结果最大可能性出现参数θ^又是多少呢？按照上面的方法我们很容易求得当θ^=0.7时可能性最大。

参考

1.2 数学定义

对未知参数θ进行估计时，在参数可能的取值范围内选取，使“样本获得此观测值x1,x2...,xn”的概率最大的参数θ^作为θ的估计，这样选定的θ^有利于x1,x2...,xn的出现。

• 设总体X是离散型，其概率分布为P{X=x}=p(x;θ),θ为未知参数，X1,X2,...,Xn为X的一个样本，则X1,X2,...,Xn 取值为x1,...,xn的概率是：
  
  P{X1=x1,...,Xn=xn}=∏i=1nP{Xi=xi}=∏i=1np{xi;θ}(1.1)

显然这个概率值是θ的函数，将其记为

L(θ)=L(x1,...,xn;θ)=∏i=1np{xi;θ}(1.2)

称L(θ)为样本(x1,...,xn)的似然函数.
若θ^使得

L(x1,...,xn;θ^)=maxL(x1,...,xn;θ)(1.3)

则称θ^=θ^(x1,...,xn)为未知参数θ的最大似然估计值.

• 同理，如果总体X是连续型随机变量，其概率密度为f(x,θ)，则样本的似然函数为
  
  L(θ)=L(x1,...xn;θ)=∏i=nnf(xi;θ)(1.4)

若θ^使得

L(x1,...,xn;θ^)=max∏i=1nf(x;θ)(1.5)

则称θ^=θ^(x1,...,xn)为未知参数θ的最大似然估计值.

1.3 求解步骤

a. 写出似然函数；

b. 方程两边同时取ln的对数；

c. 令∂lnL∂θi=0，求得参数

参考：概率论与数理统计9讲

1.4 举例

logistic回归代价函数推导