大数定律(2)：切比雪夫不等式

Markov不等式有一个很简洁的结果，但是它有一个不近人情的前提条件。它要求随机变量取正值。这通常是没法满足的。为此，我们需要对现有的随机变量进行一些改造，构造一个随机变量的函数。那么什么函数必取正值呢？最常用的是偶次数幂函数，以及指数函数。这就分别得到了切比雪夫不等式和切诺夫界。本文介绍切比雪夫不等式。

定理2. 对任意的期望有界的随机变量，都有

Pr{|X−E[X]|>c}≤var(X)c2

对所有的c>0成立，其中

var(X)=E[X−E[X]]2

是随机变量X的方差。

证明： 我们注意到

Pr{|X−E[X]|>c}=Pr{|X−E[X]|2>c2}.

而|X−E[X]|2只取正值，因此利用定理1便有定理2成立。

由切比雪夫不等式，我们可以得到第1个大数定律。

推论3. 设X1,X2,...,XN是N个i.i.d.的随机变量，它们的概率分布于随机变量X的概率分布相同。那么对任意的c>0有

Pr{|1N∑i=1NXi−E[X]|>c}<var(X)nc2.

证明 如果把Y=1N∑Ni=1Xi看做是一个随机变量，其期望

E[Y]=E[1N∑i=1NXi]=1N∑i=1NE[Xi]=1N∑i=1NE[X]=E[X],

其方差

var(Y)====var[1N∑i=1NXi]1N2∑i=1Nvar[Xi]1N2∑i=1Nvar[X]var[X]N.

结合定理2，便有推论成立。

推论3告诉我们，如果随机变量X的方差有界，并且我们依随机变量X i.i.d.地生成N个样本。那么当N充分大时，有很大的概率，这N个样本的均值落在X的期望附近。这也是依概率收敛的意义。

注意：切比雪夫不等式考虑的是随机变量的二阶中心距，也即方差。事实上我们还可以考虑任意偶次阶中心距。更确切地

Pr{|X−E[X]|>c}≤E[X−E[X]]2kc2k

对任意的正整数k成立。