贝叶斯定理与贝叶斯估计

贝叶斯公式
如果我们把事件A看成“结果”，把诸事件 B1,B2,…,Bn 看成导致这结果可能的“原因”，而事件A只能伴随着“原因”B1,B2,…,Bn 其中之一发生。又已知各“原因”Bi 的概率和在每个“原因”下A的概率。若要求A的概率时，通常用全概率公式。如果在该试验中，事件A已经发生，要求出某个“原因”Bi 导致该结果发生的概率，要用到一下介绍的Bayes公式。
设一完备事件组 B1,B2,…,Bn，则对任一事件A，若P(A)>0,有：

P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj),i=1,2,….,n
以上定理称为Bayes公式。

先验(Priori)概率与后验(Posterior)概率
在上述公式中，P(Bi)是在没有得到信息，即不知A是否发生的情况下，人们对Bi 发生可能性大小的估计，成为先验概率。换一种说法，可以将先验概率视为边缘概率，即某个事件发生的概率。
若得到新的信息，即A已经发生的情况下人们对Bi 发生可能性大小有了新的估计。得到的条件概率P(Bi|A)称为后验概率。通俗易懂的说可以将条件概率视为后验概率。P(A|B)可以表达为事件A在事件B已经发生条件下的发生概率。
P(A|B)=P(A,B)P(B)
联合概率表示两个事件共同发生的概率。A与B的联合概率表示为P(A⋂B) 或 P(A,B).