高斯过程之条件分布(Conditional Distribution)

设X=(X1,X2)∈Rm×n∼N(μ,Σ)，其中X1∈Rm,X2∈Rn,μ=(μ1,μ2),μ1=E(X1),μ2=E(X2),Σ∈R(m+n)×(m+n).
这里,

Σ=(Σ11Σ21Σ12Σ22),cov(X1)=Σ11,cov(X2)=Σ22

由此可知，{X1∼N(μ1,Σ11)X2∼N(μ2,Σ22)，即联合高斯⟹边缘高斯。那么X2在X1条件下的条件分布为

fX2|X1(x2|x1)=fX1,X2(x1,x2)fX1(x1)

注意，这里的X1,X2,x1,x2都是列向量（随机向量）。为了计算上面这个条件分布，必须知道边缘分布fX1(x1)和联合分布fX2|X1(x2|x1)，这两个分布的形式如下：

fX1(x1)=C1exp(−12(x1−μ1)TΣ−1(x1−μ1))fX2|X1(x2|x1)=C1,2exp(−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2))

要计算联合分布fX2|X1(x2|x1)是一件十分困难的事情，由协方差矩阵为对称矩阵的性质，我们同样可以将其对角化。但是这个对角化不能随便做，因为我们要尽量完整地保留Σ11，因为这里处理的是在X1已知的条件下计算条件概率。也就是说，对角化的目标就是对

Σ=(Σ11Σ21Σ12Σ22)

将Σ11完整保留，同时将副对角线化为0。这里我们采用一种打洞技巧，即：

(Σ11Σ21Σ12Σ22)→(Σ1100something)

为达到这个目的，我们先对Σ进行行变换，

(I−Σ21Σ−1110I)(Σ11Σ21Σ12Σ22)=(Σ110Σ12Σ22−Σ21Σ−111Σ12)

再对上面的结果进行列变换

(Σ110Σ12Σ22−Σ21Σ−111Σ12)(I0−Σ−111Σ12I)=(Σ1100Σ22−Σ21Σ−111Σ12)

于是，我们可以得到

(I0−Σ−111Σ12I)−1(Σ11Σ21Σ12Σ22)−1(I−Σ21Σ−1110I)−1=(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)

也就是说

(Σ11Σ21Σ12Σ22)−1=(I0−Σ−111Σ12I)(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)(I−Σ21Σ−1110I)

这时我们就计算出了

fX2|X1(x2|x1)=C1,2exp(−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2))

中的协方差矩阵的逆。此时

−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2)=−12((x1−μ1)T,(x2−μ2)T)(I0−Σ−111Σ12I)(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)(I−Σ21Σ−1110I)(x1−μ1x2−μ2)=−12(x1−μ1)TΣ−111(x1−μ1)−12(x2−μ2−Σ21Σ−111(x1−μ1))T(Σ22−Σ21Σ−111Σ12)−1(x2−μ2−Σ21Σ−111(x1−μ1))

现在我们可以计算X2的条件期望，μX2|X1=E(X2|X1)=μ2+Σ21Σ−111(x1−μ1)，其中μ2是先验期望。为方便观察其物理含义，可以在低维情况下进行直观理解。假如随机变量X1,X2均为一维随机变量，则

μX2|X1=μ2+σ12σ11(x1−μ1)

这个式子中，μ2是先验期望，σ12是互相关，σ11是归一化因子，也就是说，互相关越大，X1所能提供的新信息越值得信任！