大数定律（1）：Markov不等式

在概率论中有许多著名的大数定律。它们主要结果如下:

给定一个随机变量X. 它可能是离散的随机变量（样本空间有限或者可数），也可能是连续随机变量（样本空间不可数）。这里说的样本空间，是指随机变量X可能取值的范围。从测度论的角度来看，样本空间总可以认为是实数集，或者其子集。因为如果样本空间不是实数集或者其子集，那么我们总能找到从样本空间到实数集或者其子集的一一映射。假设随机变量X的期望E[X]有限，如果我们依随机变量i.i.d.（独立同分布，Independently and identically distributed）地生成N个样本，记为X1,X2,...,XN, 那么这N个样本的均值趋近于X的期望。也即

1N∑i=1NXi→E[X].

当然，上式仅仅是一个很笼统的形式，并没有精确描述样本均值收敛的形式。与数学分析中定义的收敛不同，概率论意义下的收敛（或者，更确切地说，测度论意义下的收敛）共有以下几种收敛形式：

• 依概率收敛
• 几乎处处收敛

• 几乎处处一致收敛

  上面三种收敛形式逐步增强，也就是说几乎处处收敛必然导致依概率收敛。其中依概率收敛对应的是本文讲的大数定律，而几乎处处收敛有非常著名的中心极限定理。几乎处处收敛和几乎处处一致收敛，需要一些测度论的知识，才能真正理解。因此，我们这里仅引用依概率收敛。

大数定律有很多。比较著名的有切比雪夫不等式和切诺夫界。这两个不等式都可以通过Markov不等式证得。因此，我们先介绍Markov不等式。

定理1. 如果随机变量X是非负的，那么

Pr{X>a}<E[X]a

对所有的a>0成立。

证明： 设X的概率密度函数为p(x)，那么

E[X]=≥≥=∫∞0x⋅p(x)dx∫∞ax⋅p(x)dxa∫∞ap(x)dxa⋅Pr{X>a}.

将上式稍加整理，便完成了定理的证明。