Wie das Simpson-Paradoxon funktioniert
Das Simpson-Paradoxon ist ein Trend, der in jeder Gruppe von Daten auftritt, sich aber umkehrt, wenn man die Gruppen zusammenfasst. Es ist kein Zahlentrick, sondern eine Warnung: Ein Vergleich kann von einem dritten Faktor abhängen, der bestimmt, wer in welcher Gruppe landet. Hier erfahren Sie, wie es entsteht, wo es gefunden wurde und was man dagegen tun kann.
Ein Trend, der kippt
1995 hatte David Justice einen besseren Schlagdurchschnitt als Derek Jeter (.253 gegenüber .250), und 1996 ebenfalls (.321 gegenüber .314). Über beide Jahre zusammen lag dennoch Jeter vorn, mit .310 gegenüber .270. Der Grund: Jeter hatte die meisten seiner Schlagversuche 1996, in seinem guten Jahr, und Justice die meisten seiner Schlagversuche 1995, in seinem schwächeren. Der Gesamtdurchschnitt jedes Spielers wird in Richtung des Jahres gezogen, in dem er am häufigsten am Schlag war.
Die Rechnung dahinter
Eine Gesamtquote ist ein gewichteter Mittelwert der Gruppenquoten, und die Gewichte sind die Anteile der Fälle jeder Option in jeder Gruppe. Hat eine Option die meisten ihrer Fälle in einer leichten Gruppe und die andere in einer schweren, können die Gewichte die Unterschiede innerhalb der Gruppen überwiegen. Für die Nierensteinstudie: offene Operation 0,25 × 93,1 % + 0,75 × 73,0 % = 78,0 %, Schlüsselloch-Operation 0,77 × 86,7 % + 0,23 × 68,8 % = 82,6 %.
Der Fall der Zulassungen in Berkeley
Im Herbst 1973 ließ die University of California, Berkeley etwa 44 % der Männer und 35 % der Frauen zu, die sich für ein Master- oder Promotionsstudium beworben hatten. Peter Bickel, Eugene Hammel und William O'Connell betrachteten die Fachbereiche einzeln und veröffentlichten ihre Analyse 1975 in Science. In den meisten Fachbereichen wurden Frauen mit ähnlicher oder höherer Quote zugelassen. Frauen hatten sich vor allem bei Fachbereichen beworben, die wenige Bewerber beiderlei Geschlechts aufnahmen, und das zog ihre Gesamtquote nach unten. In den sechs größten Fachbereichen wurden 44,5 % der Männer und 30,4 % der Frauen zugelassen, und doch schnitten Frauen in vier der sechs besser ab.
Welche Antwort ist richtig?
Die Daten allein können es nicht entscheiden; entscheidend ist, wie die Daten zustande kamen. Wenn der Gruppierungsfaktor sowohl beeinflusst, welche Option gewählt wird, als auch das Ergebnis, ist er ein Störfaktor (Confounder): Ärzte wählten die offene Operation häufiger bei großen Steinen, die schwerer zu behandeln sind, also ist der faire Vergleich der innerhalb der Steingrößen. Ist die Gruppierung selbst eine Folge der Option, zum Beispiel eine Messung nach einer Behandlung, kann die Aufteilung danach den Effekt verdecken, und die zusammengefasste Zahl ist der bessere Wegweiser. Der Informatiker Judea Pearl zeigte, wie kausale Diagramme diese Frage klären.
Eine kurze Geschichte
Karl Pearson und seine Kollegen bemerkten den Effekt 1899, und George Udny Yule beschrieb ihn 1903; Edward H. Simpson schrieb 1951 darüber, und der Statistiker Colin Blyth gab ihm 1972 den Namen Simpson-Paradoxon. Es wird auch Yule-Simpson-Effekt, Amalgamationsparadoxon oder Umkehrparadoxon genannt. Es taucht in medizinischen Studien, Schulergebnissen, Wahlanalysen und Sportstatistiken gleichermaßen auf.
Häufig gestellte Fragen
Wie erkenne ich das Simpson-Paradoxon?
Sehen Sie sich an, wie sich die Fälle auf die Gruppen verteilen. Wenn die verglichenen Optionen sehr unterschiedliche Anteile ihrer Fälle in Gruppen mit hoher und mit niedriger Erfolgsquote haben, kann der Gesamtvergleich in die Irre führen. Teilen Sie die Daten nach dem Faktor auf, der beides beeinflussen könnte, und vergleichen Sie die Quoten innerhalb jeder Gruppe.
Tritt es nur bei zwei Gruppen auf?
Nein. Es kann bei beliebig vielen Gruppen auftreten, und auch bei stetigen Daten: Eine Korrelation, die in jeder Untergruppe positiv ist, kann über alle zusammen negativ sein. Zwei Gruppen sind einfach der leichteste Weg, es zu sehen.
Wurden Frauen in Berkeley benachteiligt?
Die Analyse von 1975 fand in den Entscheidungen der Fachbereiche keine Benachteiligung von Frauen, allenfalls eine leichte Bevorzugung. Der Gesamtunterschied kam daher, wo sich Frauen bewarben: bei Fachbereichen mit vielen Bewerbern und wenigen Plätzen. Ob diese Fachbereiche zu wenige Plätze hatten, ist eine andere Frage, die die Zulassungszahlen nicht beantworten können.
Bereit, es auszuprobieren?
Öffnen Sie PictorX in Ihrem Browser – keine Installation, zum Starten ist keine Kreditkarte erforderlich.
Die App zum Simpson-Paradoxon öffnen