辛普森悖论是怎样产生的
辛普森悖论是指在每一组数据中都出现的趋势,在合并各组后却发生反转。它不是数字游戏,而是一个警告:比较的结果可能取决于第三个因素,而正是这个因素决定了谁会落入哪一组。下面介绍它是如何产生的、在哪些地方被发现,以及应该怎样应对。
会翻转的趋势
1995 年,大卫·贾斯蒂斯(David Justice)的打击率高于德瑞克·基特(Derek Jeter)(.253 对 .250),1996 年也是如此(.321 对 .314)。然而把两年合起来,基特却领先,.310 对 .270。原因是:基特的大部分打数集中在他表现好的 1996 年,而贾斯蒂斯的大部分打数集中在他表现较差的 1995 年。每位球员的总打击率都会被拉向他打数最多的那一年。
背后的算术
总体成功率是各组成功率的加权平均,权重是每个选项在各组中所占的案例比例。如果一个选项的大部分案例在容易的组,另一个选项的大部分案例在困难的组,权重的影响就可能超过组内的差异。以肾结石研究为例:开放手术 0.25 × 93.1% + 0.75 × 73.0% = 78.0%,微创手术 0.77 × 86.7% + 0.23 × 68.8% = 82.6%。
伯克利录取案例
1973 年秋季,加州大学伯克利分校录取了约 44% 的男性研究生申请者和 35% 的女性申请者。彼得·比克尔、尤金·哈梅尔和威廉·奥康奈尔分别考察了各个院系,并于 1975 年在《科学》(Science)杂志上发表了他们的分析。在大多数院系中,女性的录取率相近或更高。女性大多申请了无论男女都录取很少的院系,这拉低了她们的总体录取率。在六个最大的院系中,男性的录取率是 44.5%,女性是 30.4%,但女性在其中四个院系表现更好。
哪个答案是对的?
单靠数据无法判断,关键在于数据是怎样产生的。如果分组因素既影响选择哪个选项,又影响结果,它就是混杂因素:医生更常为较难治疗的大结石选择开放手术,因此公平的比较应在相同大小的结石之间进行。如果分组本身是选项造成的结果,例如治疗后测得的指标,按它分组反而可能掩盖效果,这时合并后的数字更有参考价值。计算机科学家朱迪亚·珀尔展示了如何用因果图来解决这个问题。
简史
卡尔·皮尔逊和他的同事在 1899 年注意到了这种效应,乔治·乌德尼·尤尔在 1903 年对它作了描述;爱德华·H·辛普森在 1951 年撰文讨论了它,统计学家科林·布莱斯在 1972 年将其命名为辛普森悖论。它也被称为尤尔-辛普森效应、合并悖论或反转悖论。无论是医学试验、学校成绩、选举分析还是体育统计,都能见到它的身影。
常见问题
如何发现辛普森悖论?
看看案例在各组中是如何分布的。如果被比较的选项在高成功率组和低成功率组中的案例比例相差很大,总体比较就可能产生误导。按可能同时影响两者的因素拆分数据,然后在每一组内比较成功率。
它只会出现在两组的情况中吗?
不是。它可能出现在任意数量的组中,连续数据也会出现:在每个子组内都为正的相关性,合在一起后可能变成负的。两组只是最容易看清它的方式。
伯克利存在性别歧视吗?
1975 年的分析发现,各院系的录取决定中并没有对女性的偏见;如果说有什么偏向的话,反而是略微有利于女性。总体差距来自女性申请的地方:申请者多而名额少的院系。至于这些院系的名额是否太少,则是另一个问题,录取数据无法回答。
准备好尝试了吗?
在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。
打开辛普森悖论应用