随机过程：统计独立、正交、不相关 辨析

在随机过程理论中，有两个地方会涉及这三个概念。一是用于判断一个随机过程中的两个不同时刻的随机变量之间的关系；二是用于判断两个随机过程之间的关系。

一、相关函数和协方差函数
为给出这三个概念的定义，我们先引入相关函数和协方差函数的定义。
设有随机过程X(t)和Y(t)，令pX和pY分别为X和Y这两个随机变量的概率分布。我们定义Rx（t1，t2）=E{X（t1）X（t2）}为自相关函数；再定义Cx（t1，t2）=E{[X（t1）-Mx(t1)][X(t2)-Mx(t2)]}为自协方差函数，其中Mx(t1)]和Mx(t2)]为两个时间点处随机变量的期望值。这两个函数之间存在下列关系：
Cx（t1，t2）= Rx（t1，t2）- Mx(t1)]Mx(t2)]
相应地，也可建立不同的随机过程在不同时刻的随机变量之间的互关联函数：Rxy（t1，t2）=E{X（t1）Y（t2）}；互 互协方差函数：Cxy（t1，t2）=E{[X（t1）-Mx(t1)][Y(t2)-MY(t2)]}，其中MY(t2)为Y在t2时刻的期望值。这两个函数之间也存在下列关系：
Cxy（t1，t2）= RxY（t1，t2）- Mx(t1)]MY(t2)]
二、“独立”、“不相关”和“正交”的概念
现在我们给出两个随机过程相互独立的定义：
若pXY(x,y,t1,t2)=pX(x,t1)p(y,t2)，则称随机过程X(t)和Y(t)相互统计独立。且有下式成立：
RxY（t1，t2）=E[X（t1）]E[Y（t2）]=MX(t1)MY(t2)
CxY（t1，t2）= RxY（t1，t2）- Mx(t1)]MY(t2)]=0
若 RxY（t1，t2）=E{X（t1）Y（t2）}=0，则称这两个随机过程相互正交。
若CxY（t1，t2）=E{[X（t1）-Mx(t1)][Y(t2)-MY(t2)]}=0，则称这两个随机过程互不相关。
上述结论同样可以描述两个随机过程在同一时刻的关系；并且也可以描述同一随机过程在同一或不同时刻的关系。
三、“独立”、“不相关”和“正交”之间的关系

1.由于在两个随机过程相互独立的时候必有 KxY（t1，t2）=0，所以相互独立的随机过程必不相关。但由于这个时候的互相关函数RxY（t1，t2）=E[X（t1）]E[Y（t2）]=MX(t1)MY(t2)不一定为零，故尽管相互独立的随机过程必定不相关，但未必正交。仅当随机过程X(t)在t1或随机过程Y(t)在t2的期望值等于零的时候，相互独立的随机过程才不仅不相关，且正交。

2.假若两个随机过程不相关，则CxY（t1，t2）=0，且RxY（t1，t2）=MX(t1)MY(t2)。可见，两个随机过程不相关并非一定能推得独立和正交的结论。仅当MX(t1)或MY(t2)等于零的时候，这两个不相关的随机过程才会正交。

3.设若这两个随机过程正交，则RxY（t1，t2）=0，且有 CxY（t1，t2）= -Mx(t1)]MY(t2)]。可见，两个正交的随机过程并非一定能推得不相关或独立的结论。仅当MX(t1)或MY(t2)等于零的时候，这两个正交的随机过程才会不相关。

可见，由于两个随机过程x(t)与Y(t)相互独立的充要条件就是它们的联合分布等于各自分布的乘积，而两个随机变量X与Y相关指的是在这两随机变量间存在线性关系（也就是式Y=aX+b成立），换句话说，相关性描述的是两个随机变量之间是否存在线性关系，而独立性考察的则是两个随机变量间是否存在某种关系，因此独立的条件要比不相关严格。如果两个随机变量独立，就是说它们之间不存在任何关系，自然也就不会有线性关系了，所以相互独立的随机变量一定不相关。反过来说，如果两个随机过程不相关，仅是说二者之间不存在线性关系，但二者之间不一定不存在非线性关系，所以不相关的随机过程不一定相互独立。例如，随机变量X与X^2之间不存在线性关系，亦即不相关，但显然不独立。不过，如果两个随机变量相关，也就是说它们之间存在线性关系，则二者之间一定不独立了。
当然，如果两个随机变量服从高斯分布，则不相关与相互独立等价