中心极限定理和大数定理

统计学习方法介绍经验风险的概念（相关笔记）时，提及大数定理，下面是个人对大数定理以及跟它有点相近的中心极限定理的理解：

1.大数定理的意思就是说当样本数够大的时候，样本均值近似相应随机变量的期望。举个掷骰子的例子，掷n次骰子，记录每次正面朝上的点数，最终可以算得一个平均值。现假设随机变量X表示投骰子每次朝上的点数，那么当n趋于无穷大，由n个样本数计算得到的均值会趋向EX。这也是我们常见的统计中用样本均值近似期望的做法。

2.中心极限定理的内容说的就是统计学里面经常用到的，样本均值服从期望为u，方差为Var(X)/2的正态分布。还是用上面投骰子的例子。做m次实验，每次实验投若干次骰子，可以得到一个均值Si，那么假设随机变量S表示每次实验的均值，会有ES=EX，即 EX¯=EX

更多具体内容参见知乎网友的回答

中心极限定理： 大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如Sample Size比较大，采样次数区域无穷大的时候，就越接近正态分布）。而这个定理amazing的地方在于，无论是什么分布的随机变量，都满足这个定理。

比如现在有一个奇形怪状的六面骰子，并且六面上的点数分别为1,1,2,3,3,5。
我们现在开始掷这个骰子（可视为一个随机过程），然后记录下每次朝上的点数（每次扔骰子可视为一个随机变量）。先扔6次好了。 第一次：

那么第一次结果的均值:

然后你再掷五次，分别求得每次结果的均值，于是你得到了 现在神奇的地方是，这六个值的分布，有点像是正态分布。
然后你再继续疯狂的掷这个奇形怪状的骰子，掷了n次，并且分别对每次的结果都求了均值，这时候你得到了
当n越大，这n个值的分布就越接近正态分布，而当n趋向正无穷时，这无穷个均值的分布就是正态分布了！并且！这还没有结束！！
并且！这个正态分布的均值和投掷奇形怪状骰子并记录朝上的点数这个随机过程的均值是一！样！的！
这样，因为我们没有办法得到这个奇形怪状骰子的分布函数，就没有办法直接通过求期望的公式得到这个随机过程的期望。而运用中心极限定理，我们就能够得到这个随机过程的期望了。

大数定理简单的可以描述为，如果有一个随机变量X，你不断的观察并且采样这个随机变量，得到了n个采样值，，然后求得这n个采样值得平均值，当n趋向于正无穷的时候，这个平均值就收敛于这个随机变量X的期望。
公式为:

举个例子。
比如你有一个盒子，盒子里面有100个硬币，你每次摇晃盒子然后数一数有多少硬币正面朝上。很容易算出这个随机变量的期望为50。
第一次摇，数出有55个硬币正面朝上，=55 第二次摇，数出有65个硬币正面朝上，=（55+65）/2=60
第三次摇，数出有70个硬币正面朝上，=（55+65+70）/3= …………
当你摇的次数足够多（无数次）时，最终这个平均值就会等于50。

作者：XXCC
链接：https://www.zhihu.com/question/22913867/answer/32711413 来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。