独立与条件独立

事件间的条件独立（三个事件之间）条件弱于两个事件间的独立。

• 条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身，P(XY)=P(X)P(Y)，二者独立）；

  P(X,Y∣∣C)≠P(X|C)P(Y|C)

事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定 Z 下，X 与 Y 是条件独立的当且仅当：

X⊥Y|Z⇔P(X,Y|Z)=P(X|Z)⋅P(Y|Z)

也即 X 与 Y 的依赖关系借由 Z 产生。

例如，定义如下事件：

• X：明天下雨；
• Y：今天的地面是湿的；
• Z：今天是否下雨；

Z 事件的成立，对 X 和 Y 均有影响，然而，在 Z 事件成立的前提下，今天的地面情况对明天是否下雨没有影响。

1. 相关证明

X⊥Y|Z⇔p(x,y|z)=h(x,z)⋅g(y,z)

等式两边同时对 x 积分（对称地，对 y 进行积分）：

⎧⎩⎨⎪⎪⎪⎪⎪⎪p(y|z)⋅1h(z)=g(y,z)p(x|z)⋅1g(z)=h(x,z)

两式相乘 h(x,z)⋅g(y,z)=p(y|z)⋅1h(z)⋅p(x|z)⋅1g(z)，又由题设可知，h(x,z)⋅g(y,z)=p(x,y|z)，因此，

p(x,y|z)=p(y|z)⋅1h(z)⋅p(x|z)⋅1g(z)

等式两边同时对 x,y 进行积分，则可得：

1h(z)1g(z)=1

因此等式成立。

2. 离散型随机变量独立性的判断

P(A,B)=P(A)⋅P(B)

独立性的判断即是判断上述等式是否成立。

两随机变量的联合概率分布以及各个概率分布（marginalized）：

由此可知，P(i0,d0)=P(i0)⋅P(d0),…，可知事件彼此独立。

3. 条件独立举例

比如两枚硬币，一枚均匀（fair），一枚（biased，0.9 的概率为正，0.1 的概率为反面）。做如下操作，首先随机选择一枚硬币，然后投掷两次（tosses），现定义如下三个随机变量：

• C：随机选择一枚硬币；
• X1：第一次投掷的正反面情况；
• X2：第二次投掷的正反面情况；

考虑现在做第一次投掷，X1，如果为正面，则第二次投掷为正面的概率。如果知道选中的是哪一种硬币，显然第二次投掷与第一次投掷彼此是独立的。因此，P⊨(X1⊥X2∣∣C)

4. 条件独立与马尔科夫性

• P(AB|C)=P(A|C)P(B|C)⇒P(B|AC)=P(B|C)
  
  • C：事件表示现在；
  • A：事件表示过去；
  • B：事件表示未来；
    
    • 这样在条件独立的前提下，P(B|AC)=P(B|C) 未来发生的概率只有现在有关，而与过去无关；