贝叶斯公式 先验概率 后验概率（详细）

贝叶斯公式

贝叶斯公式是机器学习中的基础公式，也是概率统计里的常用公式，贝叶斯公式常用于监督学习算法中的生成（式）模型（Generative Model），想要对机器学习算法建立体系化的知识结构，对生成模型的理解至关重要，本篇只简述贝叶斯公式。并对先验概率和后验概率的知识点进行整理，以便随时查阅。首先给出两个例子
第一个例子。一所学校里面有 60% 的男生，40% 的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是男生的概率是多大吗？
第二个例子。两个一模一样的碗，一号碗有30颗水果糖和10颗巧克力糖，二号碗有水果糖和巧克力糖各20颗。现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？

公式

P（A|B）=P（B|A）∗P(A)/P(B)

P（A|B）

想要理解贝叶斯公式首先要对 A，B所代表的意义有所了解。如果我们作为一个出题人，要如何考查这个公式呢？给出一系列条件，求P（A|B）显然是一种方法。简单举几个例子（只涉及最后的问题）。

看到一个穿长裤的人，此人是男生的概率为多少？
摸到一颗水果糖，来自1号碗的概率是多少？

问题可以被总结为，

给出一个场景，在此场景下的结论概率。对于第一个问题来说，穿长裤是我所看到的情景，我所要求的，也就是不确定是此人是男是女？ 故易知，A为是男是女的结论，穿长裤是B。A，B已知后，此公式不难补齐。
对于第二个问题，显然水果糖为观察到的B，问来自1号碗是A。
然后顺势给出先验概率和后验概率的定义。

P（B）

通常应用全概率公式，定义如下：
如果事件B1、B2、B3…Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P(Bi)大于0，则对任一事件A有
P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn).
对于例一来说，P（B）为穿长裤的概率，分为男生情况，穿长裤，和女生情况穿长裤2种。P（穿长裤）=P（男生）P（穿长裤|男生）+P（女生）P（穿长裤|女生）=0.6*1+0.4*0.5=0.8.
例二同理。

P(B|A)

以例一为例，为P（穿长裤|男生）题中已知，为100%。既1.

补充

当我们查找贝叶斯公式相关知识时，经常会出现“执果寻因”，“执因寻果”之类的话语，显然，果对应上文说的结论，而“原因”对应上文提到的“情景”。。在下面的先验概率及后验概率中，“因果”，“情景及结论”的概念还会出现。

先验概率 （prior probability）

先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现的概率。

后验概率 （posterior probability）

表示在事情已经发生的条件下，要求该事发生原因是有某个因素引起的可能性的大小。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的。是“执果寻因”问题中的”果”。

总结

1.先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。。
2.简单来说，用贝叶斯公式求出来的结果，也就是等号左边的是后验概率，，*，既“执果寻因”，也就是题中所要求的东西。例一中的，P（穿长裤|男生），例二中，P（1号碗|水果糖）。先验概率，就是例一中的P（穿长裤），只用到了全概率公式，并没有用到贝叶斯公式，比较简单，根据“以往经验”，就是题中条件简单易求，体现了先验的特点。
3.先，后是以“是否知道条件”为划分点。
举一个简单的例子：一口袋里有3只红球、2只白球，采用不放回方式摸取，求：
⑴ 第一次摸到红球（记作A）的概率；
⑵ 第二次摸到红球（记作B）的概率；
⑶ 已知第二次摸到了红球，求第一次摸到的是红球的概率。
解：
⑴ P(A)=3/5，这就是验前概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，这就是后验概率。

·