关于似然函数，后验函数的总结

最近在学习机器学习，各处收集的一些概念性的东西，自己多看看吧！

似然函数

似然函数（likelihood function），也称作似然，是一个关于统计模型参数的函数。也就是这个函数中自变量是统计模型的参数。对于结果 x ，在参数集合 θ 上的似然，就是在给定这些参数值的基础上，观察到的结果的概率 L(θ|x)=P(x|θ) 。也就是说，似然是关于参数的函数，在参数给定的条件下，对于观察到的 x 的值的条件分布。

似然函数在统计推测中发挥重要的作用，因为它是关于统计参数的函数，所以可以用来评估一组统计的参数，也就是说在一组统计方案的参数中，可以用似然函数做筛选。在非正式的语境下，“似然”会和“概率”混着用；但是严格区分的话，在统计上，二者是有不同。

不同就在于，观察值 x 与参数 θ 的不同的角色。概率是用于描述一个函数，这个函数是在给定参数值的情况下的关于观察值的函数。例如，已知一个硬币是均匀的（在抛落中，正反面的概率相等），那连续10次正面朝上的概率是多少？这是个概率。

而似然是用于在给定一个观察值时，关于用于描述参数的情况。例如，如果一个硬币在10次抛落中正面均朝上，那硬币是均匀的（在抛落中，正反面的概率相等）概率是多少？这里用了概率这个词，但是实质上是“可能性”，也就是似然了。

后验概率

Posterior probability

后验概率是关于随机事件或者不确定性断言的条件概率，是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是，考虑相关事件已经被检视并且能够得到一些信息。

后验概率是关于参数 θ 在给定的证据信息 X 下的概率： p(θ|x) 。

若对比后验概率和似然函数，似然函数是在给定参数下的证据信息 X 的概率分布： p(x|θ) 。

二者有如下关系：

我们用 p(θ) 表示概率分布函数，用 p(x|θ) 表示观测值 x 的似然函数。后验概率定义如下：

p(θ|x)=p(x|θ)p(θ)p(x)

鉴于分母不变，可以表达成如下正比关系：

Posteriorprobability∝Likelihood×Prior probability