协方差矩阵

方差（variance）

方差是针对于一个随机变量X来说的，X是个标量而不是矢量

方差用来衡量随机变量的离散程度和偏离程度的、

Var(X)=E[(X−μ)2]

其中μ是随机变量X的均值，μ=EX

协方差（covariance）

协方差用于描述两个随机变量X和Y之间的相关关系的，这两个都是标量而不是矢量

cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX∗EY

如果XY毫不相关，cov(X,Y)=0，正相关则cov(X,Y)>0,负相关则cov(X,Y)<0

协方差矩阵

协方差矩阵 是针对于两个随机向量分布X和Y来说的。

协方差矩阵是两个分布之间的矩阵

X∈Rm

Y∈Rn

X=[X1,X2,...,Xm]

Y=[Y1,Y2,...,Yn]

X和Y中每个元素都是一个随机变量

则两者的协方差矩阵就是一个m×n的矩阵

这个矩阵的第(i,j)个元素就是cov(Xi,Yj)

协方差矩阵：

cov(X,Y)=⎡⎣⎢⎢⎢⎢⎢E[(X1−EX1)(Y1−EY1)]E[(X2−EX2)(Y1−EY1)]⋮E[(Xm−EXm)(Y1−EY1)]E[(X1−EX1)(Y2−EY2)]E[(X2−EX2)(Y2−EY2)]⋮E[(Xm−EXm)(Y2−EY2)]⋯⋯⋱⋯E[(X1−EX1)(Yn−EYn)]E[(X2−EX2)(Yn−EYn)]⋮E[(Xm−EXm)(Yn−EYn)]⎤⎦⎥⎥⎥⎥⎥

也可以表示一个向量分布的协方差矩阵：

cov(X)=cov(X,X)