辛普森悖论:数据在说谎

女生录取率比男生低十几个百分点,调查完发现:偏袒的是女生。

1973年,伯克利出事了

加州大学伯克利分校收到一封投诉:研究生招生涉嫌性别歧视。

数据摆在桌上,白纸黑字——

--
男生整体录取率
--
女生整体录取率

差了 -- 个百分点。看起来铁证如山。

但统计学家拿到分系数据后,说了一句话:

「你们搞反了。」

拆开看:6 个系的录取率

下面是申请人数最多的 6 个系(A–F)的真实数据。粉色高亮 = 该系女生录取率更高。

系 男生申请 男生录取率 女生申请 女生录取率 谁更高

6 个系里有 -- 个系女生录取率更高。整体却是男生高 -- 个百分点。

这就是辛普森悖论:分组数据的趋势,和合并数据的趋势完全相反。

秘密在申请分布里

看看男女生分别申请了哪些系。蓝色 = 男生,粉色 = 女生。

发现了吗?男生扎堆申请 A、B 系——这两个系录取率超过 60%。 女生扎堆申请 C、D、E、F 系——这几个系录取率只有 7%~35%。

女生不是被歧视了,而是选了更难进的系。

逐系录取率对比

每个系的男女录取率并排对比,一目了然。

反事实模拟

如果女生的申请分布和男生一样(都去申请好录取的系),整体录取率会变成多少?

--
实际女生录取率
--
模拟:按男生分布申请

如果女生也去申请好录取的系,整体录取率反而会超过男生。

辛普森悖论有多常见?

随机生成招生数据,看看悖论出现的频率。条件:各系男女录取率接近,但申请分布不均匀。

辛普森悖论的本质

一句话总结

当存在一个隐藏变量(混淆因子)同时影响分组方式和结果时, 合并数据的趋势可以和分组数据完全相反。

在伯克利案例中,隐藏变量是「申请哪个系」——它同时影响了性别分布和录取率。

现实中的辛普森悖论

肾结石治疗:A 疗法整体成功率更低,但在大结石和小结石两个分组中都更高。因为医生倾向于给重症患者用 A 疗法。

棒球击球率:球员 A 在左投和右投面前击球率都高于球员 B,但赛季总击球率更低。因为 A 面对更多右投手(更难打)。

新冠疫苗:以色列数据显示接种者死亡率更高——因为接种者中老年人比例远高于未接种者。按年龄分组后,疫苗效果显著。

数据来源:Bickel et al. (1975) Science 187:398–404 · Charig et al. (1986) BMJ 292:879–882 · Sprenger & Weinberger (2021) Nature Medicine