LDA模型中的统计充分量(sufficient statistical)的理解

参考链接：http://www.cnblogs.com/ysjxw/archive/2008/10/29/1322170.html；

http://blog.hit.edu.cn/jiangfeng/post/31.html

统计量是数据的函数。函数就是一种「浓缩」讯息的动作。因此, 统计量中所包含的讯息, 通常比整个样本数据所包含的来得少.例如样本的顺序统计量只包含了有哪些值出现, 而不同值出现的顺序这样的讯息不见了。

 

但统计量比样本原数据少掉的讯息可能是无关紧要的 --- 和我们要了解的群体特性不相干, 如上述数据出现顺序在很多时候和我们关心的群体特性无关。统计量所包含关于群体特性的讯息不比原样本数据少, 就是充分统计量。

在参数化模型, 例如常态分布, 我们可能用很简单的统计量就可囊括样本中所包含的全部参数讯息, 如样本平均数和样本变异数包含了样本所携带的, 关于常态群体参数 (群体平均数和标准差) 的全部讯息。但有些时候,尤其是非参数化模型, 可能要整个样本的顺序统计量才是充分的。

一个随机变量的分布，可以取决于一些参数的值。而充分统计量，则能够完全捕捉这些参数所包含的关于分布的信息。也就是说，如果知道充分统计量的值，那么这个随机变量关于它的条件分布，不再取决于原来参数的值。网上找到的定义如下：

1. In statistics, a statistic is sufficient for the parameter θ, which indexes the distribution family of the data, precisely when the data's conditional probability distribution, given the statistic's value, no longer depends on θ. P(x|t,θ) = P(x|t)
2. Suppose one has samples from a distribution, does not know exactly what that distribution is, but does know that it comes from a certain set of distributions that is determined partly or wholly by a certain parameter, q. A statistic is sufficient for inference about q if and only if the values of any sample from that distribution give no more information about q than does the value of the statistic on that sample. E.g. if we know that a distribution is normal with variance 1 but has an unknown mean, the sample average is a sufficient statistic for the mean.
3. Sufficient statistics have many uses in statistical inference problems. In hypothesis testing, the Likelihood Ratio Test can often be reduced to a sufficient statistic of the data. In parameter estimation, the Minimum Variance Unbiased Estimator of a parameter θ can be characterized by sufficient statistics and the Rao-Blackwell Theorem.  Minimal sufficient statistics are, roughly speaking, sufficient statistics that cannot be compressed any more without losing information about the unknown parameter. Completeness is a technical characterization of sufficient statistics that allows one to prove minimality. These topics are covered in detail in this module. Further examples of sufficient statistics may be found in the module on the Fisher-Neyman Factorization Theorem

统计量是样本的不带任何未知量的函数，一般而言，统计量所包含的信息比样本要少，但可能这些漏掉的信息是无关紧要的。比如正态分布，均值和方差就是充分统计量，它包含的信息比样本要少，但是给定均值和方差的值，总体的条件分布不再依赖于其他参数的值。    

一个现实中的小例子[1]，就是星座与性格的关系。性格肯定是一个随机变量，它的分布取决于太多的因素，比如家庭、生长的地域、受的教育、还有生理等诸多因素。但莫明其妙的是，在很多情况下，这么多因素的信息居然浓缩在“星座”这一个信息里。比如，你想判断一个人的性格，你可以问他或她是什么星座的，给定星座的情况下，你对他/她性格的“分布”会有一个估计。

很多情况下，你还可以加上血型这样一个统计量，估计会更精确点。但匪夷所思的是，有人还再加上“生肖”这样一个中国特有的“统计量”，再对各星座的性格做出统计判断。

莫名奇妙的组合，玄得近乎“巫术”的推断，居然在大多数情况下，都是吻合的！谁能告诉我，这背后的道理是什么？难道真有这么神奇的事情？抑或是上帝的安排。

 

 

参考文献

[1] http://sinokylin.spaces.live.com/Blog/cns!F34E44CB40CC7976!543.entry

[2] L. Scharf. (1991). Statistical Signal Processing. Addison-Wesley.