独立性课程笔记

两个事件的独立性

直观上的定义(Intuitive “definition”)：P(B | A) = P(B).

正规的定义(Formal definition)：P(A∩B)=P(A)∗P(B)

正规定义的几个优势：

• 它包括了直观上的定义，因为：P(A∩B)P(A)=P(B|A)=P(B)
• 对于A和B来说它是对称的。因为它也包括P(A | B) = P(A),因此A和B是相互独立的
• 它允许条件概率为0

如上面的图片所示，P(A∩B)≠P(A)∗P(B),因此它不并满足独立性的定义，所以两个事件是不独立的。所以事件的独立性与是否相交是完全不同的。

判断独立性直观的方法是：一个事件发生的概率是否影响另一个事件发生的概率。有些事件的独立性是很不明显的，我们需要利用数值上的计算才能判断出来。

如果A和B是独立的，那么A和Bc也是独立的

证明如下：

A=(A∩B)∪(A∩Bc)
P(A)=P(A∩B)+P(A∩Bc)
P(A)=P(A)∗P(B)+P(A∩Bc)
P(A∩Bc)=P(A)−P(A)∗P(B)=P(A)∗(1−P(B))=P(A)∗P(Bc)

相似的：只要A和B是相互独立的，那么A和Bc、Bc和Ac都是相互独立的。

条件独立性(Conditional Independence)

定义：P(A∩B|C)=P(A|C)∗P(B|C)

由上图可知：P(A∩B|C)=0，而P(A|C)∗P(B|C)>0

所以，独立性并不意味着条件独立性。

多个事件的独立性

Intuitive “definition”：给定一些事件的信息并不影响剩下事件的概率。

Formal definition：如果任意不同的索引i,j…,m，使得P(Ai∩Aj∩...∩Am)=P(Ai)∗P(Aj)∗...P(Am)，那么事件A1,A2,....,An是独立的。

当对事件加上条件时，这并不会改变不同事件之间相关的概率，而可能会改变不同事件所在的样本空间。