样本方差的与方差

来源：互联网发布：js页面乱码怎么解决编辑：程序博客网时间：2024/04/29 07:54

之前做模型拟合的时候需要计算样本的方差和均值，Matlab的std函数算出来就是不对经，一看才知道matlab的给定的标准差计算公式是：

For a random variable vector A made up of N scalar observations, the standard deviation is defined as

where μ is the mean of A:

The standard deviation is the square root of the variance. Some definitions of standard deviation use a normalization factor of N instead of N-1, which you can specify by setting w to 1.

也就是分母除以N-1二不是N了，乖乖，这明显和教科书上定义不一样嘛，于是百度之，最后在知乎上得到一个比较好的解释。

作者：魏天闻
链接：https://www.zhihu.com/question/20099757/answer/26586088
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

上面有答案解释得很明确，即样本方差计算公式里分母为 $n-1$ 的目的是为了让方差的估计是无偏的。无偏的估计(unbiased estimator)比有偏估计(biased estimator)更好是符合直觉的，尽管有的统计学家认为让mean square error即MSE最小才更有意义，这个问题我们不在这里探讨；不符合直觉的是，为什么分母必须得是 $n-1$ 而不是 $n$ 才能使得该估计无偏。我相信这是题主真正困惑的地方。

要回答这个问题，偷懒的办法是让困惑的题主去看下面这个等式的数学证明：
.
但是这个答案显然不够直观（教材里面统计学家像变魔法似的不知怎么就得到了上面这个等式）。
下面我将提供一个略微更友善一点的解释。
==================================================================
===================== 答案的分割线 ===================================
==================================================================
首先，我们假定随机变量 $X$ 的数学期望 $\mu$ 是已知的，然而方差 $\sigma^2$ 未知。在这个条件下，根据方差的定义我们有

由此可得
.

因此是方差 $\sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是 $n$ ！
这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量 $X$ 的数学期望 $\mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $\bar{X}$ 替换掉上面式子中的 $\mu$ 。这样做有什么后果呢？后果就是，
如果直接使用作为估计，那么你会倾向于低估方差！
这是因为：

换言之，除非正好 $\bar{X}=\mu$ ，否则我们一定有
,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用会导致对方差的低估。