辛普森悖论

今天发现一个很有意思的东西，记录下来：

下一段来自百度百科

辛普森悖论（Simpson's Paradox）亦有人译为辛普森诡论，为英国统计学家E.H.辛普森（E.H.Simpson）于1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。

当人们尝试探究两种变量是否具有相关性的时候，比如新生录取率与性别，报酬与性别等，会分别对之进行分组研究。辛普森悖论是在这种研究中，在某些前提下有时会产生的一种现象。即在分组比较中都占优势的一方，会在总评中反而是失势的一方。该现象于20世纪初就有人讨论，但一直到1951年E.H.辛普森在他发表的论文中，该现象才算正式被描述解释。后来就以他的名字命名该悖论。

为了避免辛普森悖论的出现，就需要斟酌各分组的权重，并乘以一定的系数去消除以分组数据基数差异而造成的影响。同时必需了解清楚情况，是否存在潜在因素，综合考虑。

实例

(以下内容取材自维基百科与科普写作奖佳作奖作者林守德的向理性与直觉挑战的顽皮精灵-综观诡谲的悖论等文)

“校长，不好了，有很多男生在校门口抗议，他们说今年研究所女生录取率42%是男生21%的两倍，我们学校遴选学生有性别歧视”，校长满脸疑惑的问秘书：“我不是特别交代，今年要尽量提升男生录取率以免落人口实吗？”

秘书赶紧回答说：“确实有交代下去，我刚刚也查过，的确是有注意到，今年法学院录取率是男性75%，女性只有49%；而商学院录取率是男性10%，女性为5%。二个学院都是男生录取率比较高，校长这是我作的调查报告。”

学院

女生

申请

女生

录取

女生

录取率

男生

申请

男生

录取

男生

录取率

合计

申请

合计

录取

合计

录取率

商学院

100

49

49%

20

15

75%

120

64

53.3%

法学院

20

1

5%

100

10

10%

120

11

9.2%

总计

120

50

42%

120

25

21%

240

75

31.3%

“秘书，你知道为什么个别录取率男皆大于女，但是总体录取率男却远小于女吗？”

此例这就是统计上著名的辛普森悖论(Simpson's Paradox)

前提

上面例子说明，简单的将分组资料相加汇总，是不一定能反映真实情况的。就上述例子录取率与性别来说，导致辛普森悖论有两个前提。

(1) 两个分组的录取率相差很大，就是说法学院录取率9.2%很低，而商学院53.3%却很高，另一方面，两种性别的申请者分布比重却相反，女生偏爱申请商学院，故商学院女生申请比率占83.3%，相反男生偏爱申请法学院，因此法学院女生申请比率只占0.833%。结果在数量上来说，录取率低的法学院，因为女生申请为数少，所以不录取的女生相对很少。而录取率很高的商学院虽然录取了很多男生，但是申请者却不多。使得最后汇总的时候，女生在数量上反而占优势。

(2) 性别并非是录取率高低的唯一因素，甚至可能是毫无影响的，至于在法商学院中出现的比率差可能是属于随机事件，又或者是其他因素作用，譬如学生入学成绩却刚好出现这种录取比例，使人牵强地误认为这是由性别差异而造成的。

回避方式

编辑

为了避免辛普森悖论出现，就需要斟酌个别分组的权重，以一定的系数去消除以分组资料基数差异所造成的影响，同时必需了解该情境是否存在其他潜在要因而综合考虑。

管理应用

编辑

辛普森悖论就像是欲比赛100场篮球以总胜率评价好坏，于是有人专找高手挑战20 场而胜1场，另外80场找平手挑战而胜40场，结果胜率41%，另一人则专挑高手挑战80场而胜8场，而剩下20场平手打个全胜，结果胜率为28%，比 41%小很多，但仔细观察挑战对象，后者明显较有实力。

量与质是不等价的，无奈的是量比质来得容易量测，所以人们总是习惯用量来评定好坏，而此数据却不是重要的。除了质与量的迷思之外，辛普森悖论的另外一个启示是：如果我们在人生的抉择上选择了一条比较难走的路，就得要有可能不被赏识的领悟，所以这算是怀才不遇这个成语在统计上的诠释。

另外一篇文章和移动开发与辛普森悖论关系阐述得很明白：

浅谈AB测试里常见的辛普森悖论

以下是我的理解：

在医院，医生主管的错误分流，让成功率都比较低的大病病人大部分都使用A方法，所以在A自身的平均过程中，成功率被大病拉低，但是他仍比B方法高，而B方法更多的接受了成功率高的小病病人，所以他的总成功率是被自己的权重过高的小病病人拉高的，虽然他的小病成功率也比A方法低。

单看Android和iOS的转化率的时候，发现Android的总转化率高，但是分别比较平板和手机端的时候，Android都低于iOS，这个时候，就是因为在各自的相加平均的过程中，iOS的高转化率的手机端数量多，会将转化率从6%往2%的方向拉得多，而安卓的平板段的数量多，会将转化率从6%的方向往2%的方向拉动少，最后虽然6%和2%两个分别的转化率都是iOS高，但是经过完全相反的权后，得到的数值反而是相反的。

总的来说，对比统计要在同样的数量层次下对比，但同样要在同一纬度下对比，否则就会引起辛普森悖论。

在医院，医生主管的错误分流，让成功率都比较低的大病病人大部分都使用A方法，所以在A自身的平均过程中，成功率被大病拉低，但是他仍比B方法高，而B方法更多的接受了成功率高的小病病人，所以他的总成功率是被自己的权重过高的小病病人拉高的，虽然他的小病成功率也比A方法低。