第四章切比雪夫不等式、大数定理、中心极限定理

切比雪夫不等式

　设随机变量X具有数学期望E(X)=μ，方差D(X)=σ2，对于任意ε>0，都有

P{|X−μ|≥ε}≤σ2ε2

　

方差越大，X落在区间外的概率越大，X的波动也就越大，与方差的意义统一了。等价公式

P{|X−μ|<ε}≥1−σ2ε2

适用范围

　　期望、方差都存在的随机变量。

用途

　　对于随机变量落在期望附近区域内（或外）给出一个界的估计。

证明

　　证明的要点是意识到D(X)=E((X−μ)2)

大数定律

　　随机事件A的频率fn(A)当重复试验的次数n增大时，总是呈现出稳定性，稳定在某一个常数附近。频率的稳定性是概率定义的客观基础。
　　随机变量与随机变量序列的区别看这里。感觉上：随机变量序列是多次随机试验结果写成数组形式。

辛钦大数定律

　　设X1,X2...Xn是相互独立且服从同一分布的随机变量序列，且具有数学期望E(Xk)=μ，k=1,2,3…。则对于∀ε>0，有

limn−>+∞P{|1n∑k=1nXk−μ|<ε}=1

　　|1n∑nk=1Xk−μ|<ε是一个随机事件。辛钦大数定律描述的是独立同分布且具有均值μ的随机变量X1,X2...Xn，当n很大的时候，它们的算术平均值1n∑nk=1Xk很可能接近于μ。

依概率收敛

定义

　　设Y1,Y2,...Yn为一个随机变量序列，c为一常数，若对于∀ε，均有limn−>+∞P{|Yn−c|≥ε}=0成立，则称随机变量序列{Yn,n>1}依概率收敛于c，记为Yn−>c(这里记号有问题，表示不出来)，当n−>+∞。
　

性质

　若Xn−>a(依概率)，Yn−>b(依概率)，当n−>+∞时，函数f(x,y)在点(a,b)处连续，那么g(Xn,Yn)−>g(a,b)(依概率)，当n−>+∞时。

辛钦大数定律第二种写法

　设X1,X2...Xn是相互独立且服从同一分布的随机变量序列，且具有数学期望E(Xk)=μ，k=1,2,3…。则序列X¯¯¯=1n∑nk=1Xk依概率收敛于μ。记为X¯¯¯−>μ(依概率)。
　说明：相当于辛钦大数定律使用依概率收敛写了一次。
　辛钦大数定律指出随机变量X的数学期望的近似值的方法：将随机变量独立重复地观察n次，记第k次的观测值为Xk，可将n次观测值的算术平均值作为期望的近似。

切比雪夫大数定律

　X1,X2...Xn是相互独立的随机变量，且具有相同的期望μ，相同的方差σ2，那么1n∑ni=1Xi−>μ(依概率)。
　

伯努利大数定律

　设fn(A)是n次独立重复试验中时间A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数ε>0。有

limn−>+∞P{|fAn−p<|ε}=1

，也可以表示为fn(A)n∼p(依概率)。
　伯努利大数定律指出当试验次数很大的时候可以用频率代替概率。

三个大数定律的比较

定律 分布情况 期望 方差 结论 辛钦大数定律 相互独立且同分布 存在 估算期望 切比雪夫大数定律 相互独立 相同 相同 估算期望 伯努利大数定律 二项分布 相同 相同 频率=概率 相同点：n−>+∞,依概率趋近 条件组件变得严格

中心极限定理

　　有许多随机变量，它们是由大量的相互独立的随机因素的综合影响形成的，其中每一个的因素在总影响中所起的作用都是微小的。这种随机变量往往近似的服从正态分布。
　　中心极限定理（central limit theorem）是概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量累积分布函数逐点收敛到正态分布的积累分布函数的条件。(引用)

独立同分布的中心极限定理(CLT)

　　设随机变量X1,X2...Xn相互独立且同分布，E(Xi)=μ，D(Xi)=σ2，i=1,2,…，则对于充分大的n，有∑ni=1Xi∼(近似)N(nμ,nσ2)。此时P(a<∑ni=1Xi<b)≈ϕ(b−nμn√σ)−ϕ(a−nμn√σ)。1n∑ni=1Xi∼(近似)N(μ,σ2n)

德莫佛-拉普拉斯定理

　　记nA为n重伯努利试验中事件A发生的次数，并记事件A在每次试验中发生的概率为p，则对于充分大的n有nA∼(近似)N(np,np(1−p))