概率密度函数(probability density function)课程笔记

PDFs

一个合法的PDF有2个条件：

1. fX(x)≥0
2. ∫∞−∞fX(x)dx=1

取值在一个连续的集合上，并且它的概率能通过PDF来描述,这样的随机变量才是连续随机变量。

对于连续随机变量X，它在区间[a, b]的概率为：

P(a≤X≤b)=∫bafX(x)dx

根据概率的性质，概率都是≥0的，所以上面的积分都是大于等于0的，所以fX(x)≥0

在连续随机变量中，单个点a的概率都为P(X = a) = 0。所以：

P(a≤X≤b)=p(X=a)+P(X=b)+P(a<X<b)=P(a<X<b)

期望与方差

E[X]=∫∞−∞xfX(x)dx

为了使上面的积分成立，我们需要做如下假设：

∫∞−∞|x|fX(x)dx<∞

我们可以把期望看作是大量独立重复实验的平均值。

在连续随机变量下，期望依然具有与离散随机变量相似的性质：

1. 如果X≥0，那么E[X]≥0
2. 如果a≤X≤b，那么a≤E[X]≤b
3. E[g(X)]=∫∞−∞g(x)fX(x)dx
4. E[aX+b]=aE[X]+b

连续随机变量下的方差及其性质

定义：var(X)=E[(X−μ)2]

通过上面期望性质的第4条，令g(X)=(X−μ)2，所以可得：

var(X)=∫∞−∞(x−μ)2fX(x)dx

标准差为：σX=var(X)−−−−−−√

var(aX+b)=a2var(X)

var(X)=E[X2]−(E[X])2

连续均匀随机变量的期望和方差

指数随机变量

定义：fX(x)={λe−λx,x≥00,x<0

图像如下：

P(X≥a)=∫∞aλe−λxdx=e−λa

E[X]=∫∞0xλe−λxdx=1λ

E[X2]=∫∞0x2λe−λxdx=2λ2

var(X)=E[X2]−(E[X])2=1λ2

cumulative distribution function(累积分布函数)

CDF定义：FX(x)=P(X≤x)

对于连续随机变量而言：

FX(x)=P(X≤x)=∫x−∞fX(t)dt

对上式求导可得：

dFXdx(x)=fX(x)

对于离散随机变量而言：

FX(x)=P(X≤x)=∑k≤xpX(k)

CDF属性:

1. 非递减的
2. 当x趋进于正无穷，FX(x)趋进于1
3. 当x趋进于负无穷，FX(x)趋进于0

Normal random variables（正态随机变量）

标准正态随机变量

N(0,1):fX(x)=12π√e−x2/2

E[X]=∫∞−∞x12π√e−x2/2dx=0

如果你觉得上面的积分太难了，不用怕，下面的积分计算器有详细的步骤来帮助你：

http://www.integral-calculator.com/#expr=x%2A1%2Fsqrt%282%2Api%29%2Ae%5E%28-x%5E2%2F2%29&lbound=minf&ubound=inf&simplify=1

同样的你可以求得E[X2]=1

http://www.integral-calculator.com/#expr=x%5E2%2A1%2Fsqrt%282%2Api%29%2Ae%5E%28-x%5E2%2F2%29&lbound=minf&ubound=inf

var(X)=E[X2]−(E[X])2=1−0=1

如果X∼N(μ,σ2)，让Y=aX+b，则E[Y]=aμ+b， var(Y)=a2σ2

有个很重要的结论是：Y也服从正态分布

Y∼N(aμ+b,a2σ2)

因此当我们线性化正态随机变量时，依然保留有正态的性质。

标准化正态随机变量

如果X有一个期望为μ，方差为σ2，让Y=X−μσ，则：

E[Y]=Xσ−μσ=0

var(Y)=1σ2var(X)=1

从上面可以看出，Y为标准的正态分布。Y∼N(0,1)，我们可以把这个过程看作将一个不是标准的正态分布，还原成一个标准的正态分布。

下面是标准化的一个例子：