(转载)理解全概率公式与贝叶斯公式

原文链接:http://blog.csdn.net/luc9910/article/details/54377626

在概率论与数理统计中，有两个相当重要的公式——全概率公式与贝叶斯公式。然而很多人对这两个公式感到非常迷茫。一来不知道公式背后的意义所在，二来不知道这些冰冷的公式能有什么现实应用。

1. 全概率公式

在讲全概率公式之前，首先要理解什么是“完备事件群”。 
我们将满足 

BiBj=∅(i≠j)B1+B2+⋯=Ω

这样的一组事件称为一个“完备事件群”。简而言之，就是事件之间两两互斥，所有事件的并集是整个样本空间（必然事件）。

假设我们要研究事件A。我们希望能够求出P(A)，但是经过一番探索，却发现P(A)本身很难直接求出，不过却能够比较容易地求出各个P(Bi)，以及相应的条件概率P(A|Bi)。 
能不能根据这些信息，间接地求出P(A)呢？ 
这当然是可以的。

我们不要忘记，Bi是两两互斥的。 

A=AΩ=AB1+AB2+AB3+⋯

显然，AB1，AB2，AB3，⋯也是两两互斥的。1 
一说到两两互斥，我们就想到了概率的加法定理：2

P(A)=P(AΩ)=P(AB1+AB2+AB3+⋯)=P(AB1)+P(AB2)+P(AB3)+⋯

再根据条件概率的定义，我们得到了教科书上的全概率公式： 

P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)+⋯

这样费了一番周折，我们总算得到了所求的P(A)。可以发现，虽然P(A)本身不好求，但我们可以根据它散落的“碎片”间接地将其求出。但不是所有情况都是能这样求出的——我们必须保证B1，B2，B3，⋯是一个完备事件群。这个其实也很好理解，假如你想将一个碎掉的花瓶重新还原，碎片如果不全，或者碎片之间出现了多余的“重叠”，还原工作都将以失败告终。

全概率公式可以从另一个角度去理解，把Bi看作是事件A发生的一种“可能途径”，若采用了不同的途径，A发生的概率，也就是相应的条件概率P(A|Bi)也会不同。但是，我们事先却并不知道将会走哪条途径，换言之，途径的选择是随机的3，这样就导致了不同途径被选中的可能性也许也会存在差异，这就是P(Bi)所表达的含义。这样一来，我们最终所要求的P(A)，实际上就是一个不同路径概率的加权平均。 
下面我们来举一个例子。 
某地盗窃风气盛行，且偷窃者屡教不改。我们根据过往的案件记录，推断A今晚作案的概率是0.8，B今晚作案的概率是0.1，C今晚作案的概率是0.5，除此之外，还推断出A的得手率是0.1，B的得手率是1.0，C的得手率是0.5。那么，今晚村里有东西被偷的概率是多少？ 
通过阅读上述文字，我们大概对A、B、C三人有了一个初步的印象。首先，A的脑子可能有些问题，特别喜欢偷，但是技术相当烂。B看来是个江湖高手，一般不出手，一出手就绝不失手。C大概是追求中庸，各方面都很普通。 
我们将文字描述转换为数学语言，根据作案频率可知 

P(A)=0.8,P(B)=0.1,P(C)=0.5

将“村里有东西被偷”记为S，根据得手率可以得到 

P(S|A)=0.1,P(S|B)=1.0,P(S|C)=0.5

很简单，所求得的就是 

P(S)=P(A)P(S|A)+P(B)P(S|B)+P(C)P(S|C)=0.43

祝这个村晚上好运吧。

2. 贝叶斯公式

有了前面的基础，我们现在先直接抛出贝叶斯公式： 

P(Bi|A)=P(ABi)P(A)=P(Bi)P(A|Bi)∑jP(Bj)P(A|Bj)