第三章 随机变量的数字特征

数学期望

　数学期望用来反映平均情况。

定义

　设离散型随机变量X的分布律为P(X=xk)=pk,k=1,2,3...，若级数∑+∞k=1xkpk是收敛的，则称级数∑+∞k=1xkpk的值为随机变量X的数学期望。记为E(X)。

E(X)=∑k=1+∞xkpk

　pk可以理解为加权平均中的权值。数学期望又称为均值。
　设连续型随机变量X的概率密度函数为f(x),如果积分∫+∞−∞xf(x)dx绝对收敛，则称∫+∞−∞xf(x)dx为随机变量X的数学期望。

E(X)=∫+∞−∞xf(x)dx

常见随机变量分布的数学期望

　如果X~B(p)，E(X)=p
　如果X~B(n,p)，E(X)=np
　如果X~P(λ)，E(X)=λ
　如果X~Geom(p)，E(X)=1p
　
　如果X~U(a,b)，E(X)=(a+b)2
　如果X~E(λ)，E(X)=1λ
　如果X~N(μ,σ2)，E(X)=μ
　

随机变量函数的数学期望

　懒人定理：设Y是随机变量X的函数：Y=g(x)，
　X是离散型随机变量，X的分布律为P(X=xk)=pk,k=1,2,3...，若∑+∞k=1g(xk)pk收敛，则E(Y)=E(g(X))=∑+∞k=1g(xk)pk
　X是连续型随机变量，X的概率密度函数是f(x)，若∫+∞−∞g(x)f(x)dx绝对收敛，则E(Y)=E(g(X))=∫+∞−∞g(x)f(x)dx。
　因为有了定理，就不需要先求出g(X)的分布律或者概率密度函数，再计算期望，所以称为懒人定理。
　二元随机变量函数的期望定理：设Z是随机变量X，Y的函数：Z=h(X,Y)，
　若二元离散型随机变量(X,Y)的分布律为：P(xi,yj)=pij,i,j=1,2,3...，则有E(Z)=E(h(X,Y))=∑+∞i=1∑+∞j=1h(xi,yj)pij。
　若二元连续型随机变量(X,Y)的概率密度函数为：f(x,y)，则有E(Z)=E(h(X,Y))=∫+∞−∞∫+∞−∞h(x,y)f(x,y)dxdy
　特别地，

E(X)=∫+∞−∞∫+∞−∞xf(x,y)dxdy

　

E(Y)=∫+∞−∞∫+∞−∞yf(x,y)dxdy

　

数学期望的性质

1. c是常数，E(c)=c。
2. X是一个随机变量，c是常数，则E(cX)=cE(X)。
3. 设X,Y是两个随机变量，则有E(X+Y)=E(X)+E(Y)。可以拓展到任意有限个随机变量的线性组合：
   E(c0+∑i=1nciXi)=c0+∑i=1nciE(Xi)
4. 设X,Y是相互独立的随机变量，则E(XY)=E(X)E(Y)。可以拓展到任意有限个随机变量乘积的情况：
   E(∏i=1nXi)=∏i=1nE(Xi)
   ，其中Xi,i=1,2,3...相互独立。

方差

　方差是用来反映波动性的。

定义

　X是一个随机变量，如果E{(X−E(X))2}是存在的，则称E{(X−E(X))2}是X的方差。记为D(X)或者Var(X)。D(X)−−−−−√记为σ(x)，称为X的标准差或者均方差。
　D(X)和σ(x)刻画了X取值的波动性，是衡量X取值分散程度的数字特征。如果D(X)较小，则X取值比较集中。

计算公式

　D(X)=E(X2)−E(X)2

常见随机变量分布的方差

　如果X~B(p)，D(X)=p(1-p)
　如果X~B(n,p)，D(X)=np(1-p)
　如果X~P(λ)，D(X)=λ
　如果X~Geom(p)，D(X)=1−pp2
　
　如果X~U(a,b)，D(X)=(b−a)212
　如果X~E(λ)，D(X)=1λ2
　如果X~N(μ,σ2)，E(X)=σ2　

方差的性质

1 设c是常数，则D(c)=0。
2 设X是随机变量，c是常数，则D(cX)=c2D(X)。
3 设X,Y是两个随机变量，D(X+Y)=D(X)+D(Y)+2tail，tail=E{(X-E(X))(Y-E(Y))}。特别地，如果X,Y相互独立，则有D(X+Y)=D(X)+D(Y)。推广到任意有限个独立随机变量线性组合：

D(c0+∑i=1nciXi)=∑i=1nc2iD(Xi)

，其中Xi,i=1,2,3...n相互独立。
4 D(X)=0的充要条件是P(X=c)=1，且c=E(X)。

n个正态分布

　n个独立的正态随机变量的线性组合仍然服从正态分布。若Xi~N(μi,σ2i),i=1,2,...n且相互独立，则它们的线性组合c0+c1X1+c2X2+...+cnXn~N(co+c1μ1+c2μ2+...+cnμn,c21σ21+c22σ22+...+c2nσ2n)，其中c1,c2...cn是不全为0 的常数。

标准化变量

　设随机变量X具有数学期望E(X)=μ，方差D(X)=σ2，记X∗=X−μσ。称X∗是X的标准化变量。
　

协方差与相关系数

来源

　方差定义中，当X，Y不独立时候的tail就是协方差。用来描述两个变量的相关程度。

定义

　数值E{[X-E(X)][Y-E(Y)]}为随机变量X,Y的协方差，记为Cov(X,Y)，即

Cov(X,Y)=E[X−E(X)][Y−E(Y)]

　

D(X+Y)=D(X)+D(Y)+2Cov(X,Y)

　Cov(X,Y)反映了X,Y的相关性。
　　当Cov(X,Y)>0，X,Y是正相关。
　　当Cov(X,Y)<0，X,Y是负相关。
　　当Cov(X,Y)=0，X,Y不相关。
　

计算公式

　Cov(X,Y)=E(XY)−E(X)E(Y)

协方差的性质

1 Cov(X,Y)=Cov(Y,X)
2 Cov(X,X)=D(X)
3 Cov(aX,bY)=abCov(X,Y)
4 Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

相关系数

来源

　协方差是有量纲的数字特征，为了消除量纲的影响，引入相关系数。

定义

　数值ρXY=Cov(X,Y)D(X)D(Y)−−−−−−−−−√称为随机变量X与Y的相关系数。若记标准化变量X∗=X−E(X)D(X)−−−−−√，Y∗=Y−E(Y)D(Y)−−−−−√，则ρXY=X∗Y∗。
　相关系数是衡量X,Y两个随机变量的线性相关关系的。|ρXY|绝对值越大，则X,Y的线性相关性越好。当|ρXY|=1，表明X,Y以概率1存在线性关系；当|ρXY|=0，表明X,Y之间没有线性关系，称为不相关。

相关系数的性质

1 |ρXY|≤1
2 |ρXY|=1⇔存在常数a，b使得P(Y=aX+bY)=1。特别地，ρXY=1，b>0；ρXY=−1，b<0。

不相关与独立

　不相关是指没有线性关系。独立是指没有任何关系。两个随机变量除了线性关系还可能存在平方关系、平方根关系等其他关系。
　独立=>不相关。反之，则不可以。
　判断两个随机变量是否独立的依据是：f(X,Y)=fX(x)fY(y)。
　判断两个随机变量是否线性相关的依据是：Cov(X,Y)=0 或者E(XY)=E(X)E(Y)。
　如果(X,Y)服从二元正态分布N(μ1,μ2,σ21,σ22,ρ)，则ρXY=ρ。X，Y相互独立的充要条件是ρ=0。所以对于二元正态变量，相互独立等价于不相关。
　

多元正态分布的性质

矩

　设X为一个随机变量，如果E(Xk)，k=1,2...存在，则称之为X的k阶(原点)矩。
　设X为一个随机变量，如果E[(X−E(X))k)]，k=1,2...存在，则称之为X的k阶中心矩。
　期望E(X)就是X的1阶原点矩。D(X)是X的2阶中心矩。
　设X,Y是两个随机变量，如果E{XkYl}，k,l=1,2...存在，则称之为X与Y的k+l阶混合原点矩。
　设X,Y是两个随机变量，如果E[(X−E(X))k(Y−E(Y))l]，k,l=1,2...存在，则称之为X与Y的k+l阶混合中心矩。
　协方差Cov(X,Y)就是1+1阶混合中心矩。

n元随机变量的期望向量和协方差矩阵

　设n元随机变量X=(X1,X2,...Xn)T,n≥1，若其每一分量的数学期望都存在，则称E(X)=(E(X1),E(X2),...E(Xn))T,n≥1为n元随机变量X的数学期望(向量)。
　

n元正态随机变量

四条性质

1 任意子向量(Xi1,Xi2,...Xik)T服从k元正态分布。
2 任意线性组合l0+l1X1+L2X2...+lnXn，其中l1,l2...不全为0，服从一元正态分布。
　如果X=(X1,X2,X3)T为三元正态随机变量，则Z1=3X1−X2，或者Z2=2X1+4X2+5，Z1,Z2都是一元正态 变量。只是在计算Z1,Z2的参数时候与相互独立的三元正态随机变量不同。会利用相关系统计算协方差的值。
　
3 若Y1,Y2,...Yk均为Xi的线性函数， 则(Y1,Y2,...Yk)T也服从k元正态分布。这是正态变量线性变换不变性。
4 若X=(X1,X2,...Xn)T,n≥1，服从n元正态分布，则X1,X2...Xn相互独立。X的协方差矩阵为对角矩阵。