シンプソンのパラドックスの仕組み

シンプソンのパラドックスとは、データのどのグループにも現れる傾向が、グループを合わせると逆転する現象です。数字のトリックではなく、ひとつの警告です。比較の結果は、誰がどのグループに入るかを決める第三の要因に左右されることがあります。ここでは、それがどのように生じるのか、どこで見つかってきたのか、そしてどう対処すればよいのかを説明します。

グループごとでは右上がりなのに、合わせると逆向きになる2組の棒グラフ
グループごとでは右上がりなのに、合わせると逆向きになる2組の棒グラフ

ひっくり返る傾向

1995年、デビッド・ジャスティスの打率はデレク・ジーターより高く(.253対.250)、1996年も同様でした(.321対.314)。ところが2年間を合わせると、ジーターが.310対.270で上回っていました。理由は、ジーターの打数の大半が好調だった1996年に、ジャスティスの打数の大半が不調だった1995年に集中していたからです。各選手の通算打率は、打数が最も多かった年の打率に引き寄せられます。

その背後にある計算

全体の成功率はグループごとの成功率の加重平均で、重みは各選択肢のケースが各グループに占める割合です。一方の選択肢のケースの大半がやさしいグループに、もう一方の大半が難しいグループにあると、この重みがグループ内の差を上回ることがあります。腎臓結石の研究では、開放手術は 0.25 × 93.1% + 0.75 × 73.0% = 78.0%、内視鏡手術は 0.77 × 86.7% + 0.23 × 68.8% = 82.6% です。

バークレー校の入学審査の事例

1973年秋、カリフォルニア大学バークレー校は、大学院の男性志願者の約44%、女性志願者の35%を合格させました。ピーター・ビッケル、ユージン・ハメル、ウィリアム・オコンネルは学部ごとに分けてデータを調べ、1975年に『サイエンス』誌に分析を発表しました。ほとんどの学部で、女性の合格率は同程度か、それより高かったのです。女性は男女を問わず合格者の少ない学部に多く出願しており、それが女性全体の合格率を押し下げていました。最も大きな6つの学部では、男性の合格率は44.5%、女性は30.4%でしたが、6つのうち4つの学部では女性のほうが上回っていました。

どちらの答えが正しいのか

データだけでは決められず、データがどのように生まれたかで決まります。グループ分けの要因が、どの選択肢が選ばれるかと結果の両方に影響しているなら、それは交絡因子です。医師は治療の難しい大きい結石ほど開放手術を選ぶことが多かったので、公平な比較は結石の大きさごとに行うべきです。グループ分けそのものが選択肢の結果である場合、たとえば治療の後に測った値で分けると、効果が隠れてしまうことがあり、合計した数字のほうが良い手がかりになります。計算機科学者のジューディア・パールは、因果ダイアグラムによってこの問題に決着をつける方法を示しました。

簡単な歴史

カール・ピアソンらは1899年にこの効果に気づき、ジョージ・ウドニー・ユールは1903年にそれを記述しました。エドワード・H・シンプソンは1951年にこれについて論文を書き、統計学者のコリン・ブライスが1972年にシンプソンのパラドックスと名付けました。ユール・シンプソン効果、併合のパラドックス、逆転のパラドックスとも呼ばれます。医学の臨床試験、学校の成績、選挙の分析、スポーツの統計など、あらゆる場面に現れます。

よくある質問

シンプソンのパラドックスはどうすれば見抜けますか?

ケースがグループにどう分かれているかを見てください。比べる選択肢の間で、成功率の高いグループと低いグループに属するケースの割合が大きく違う場合、全体での比較は誤解を招くことがあります。両方に影響しうる要因でデータを分け、各グループの中で成功率を比べましょう。

グループが2つのときだけ起こるのですか?

いいえ。グループの数がいくつでも起こりますし、連続データでも起こります。どのサブグループの中でも正の相関が、全体を合わせると負になることがあります。2つのグループは、それを最もわかりやすく示せるというだけです。

バークレー校に性差別はあったのですか?

1975年の分析では、各学部の判断に女性に対する偏りは見つかりませんでした。あったとしても、わずかに女性に有利な偏りでした。全体の差は、女性がどこに出願したかから生じていました。志願者が多く定員の少ない学部です。それらの学部の定員が少なすぎたかどうかは別の問題で、合格者の数字からは答えられません。

試してみますか?

ブラウザで PictorX を開きます。インストール不要、始めるのにクレジットカードも不要です。

シンプソンのパラドックスのアプリを開く