方差与协方差

方差

方差是实际值与期望值（均值）之差平方的平均值，衡量的是一组数据对于其期望值的离散程度。

离散型方差

D(X)=∑k=1∞[xk−E(X)]2pk

其中E(X)是X的期望值，P{X=xk}=pk,k=1,2,...是X的分布律。

连续型方差

D(X)=∫∞−∞[x−E(X)]2f(x)dx

其中f(x)是X的概率密度。
由数学期望的性质展开，上面两式都可得到

D(X)=E(X2)−[E(X)]2

协方差

在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。期望值分别为E[X]与E[Y]的两个随机变量X与Y之间的协方差Cov(X,Y)定义为：

Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E[XY]−E[X]E[Y]

当 Cov(X, Y)>0时，表明 X与 Y 正相关；
当 Cov(X, Y)<0时，表明 X与 Y 负相关；
当 Cov(X, Y)=0时，表明 X与 Y 不相关。
协方差的绝对值越大，则二个变量相互影响越大。

随机变量X与Y的相关系数：

ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√

若ρXY=0，则称X与Y不线性相关。
即ρXY=0的充分必要条件是Cov(X，Y)=0，亦即不相关和协方差为零是等价的。

两者关系

D(X±Y)=D(X)+D(Y)±2Cov(X,Y)

特别的，当X，Y是两个不相关的随机变量则D(X±Y)=D(X)+D(Y)