Hoe Simpsons paradox werkt
Simpsons paradox is een trend die in elke groep gegevens te zien is, maar omkeert wanneer je de groepen samenvoegt. Het is geen truc met cijfers, maar een waarschuwing: een vergelijking kan afhangen van een derde factor die bepaalt wie in welke groep terechtkomt. Hier lees je hoe de paradox ontstaat, waar hij is gevonden en wat je eraan kunt doen.
Een trend die omslaat
In 1995 had David Justice een beter slaggemiddelde dan Derek Jeter (.253 tegen .250), en in 1996 ook (.321 tegen .314). Toch stond Jeter over beide jaren samen voor, met .310 tegen .270. De reden: Jeter had de meeste van zijn slagbeurten in 1996, zijn goede jaar, en Justice de meeste van de zijne in 1995, zijn zwakkere jaar. Het totaalgemiddelde van elke speler wordt naar het jaar getrokken waarin hij het vaakst aan slag was.
De rekensom erachter
Een totaalpercentage is een gewogen gemiddelde van de groepspercentages, en de gewichten zijn het aandeel van de gevallen van elke optie in elke groep. Heeft de ene optie de meeste gevallen in een makkelijke groep en de andere in een moeilijke, dan kunnen de gewichten zwaarder wegen dan de verschillen binnen de groepen. Voor het nierstenenonderzoek: open operatie 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, kijkoperatie 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.
De toelatingen in Berkeley
In het najaar van 1973 liet de University of California, Berkeley ongeveer 44% van de mannen en 35% van de vrouwen toe die zich hadden aangemeld voor een master- of promotieopleiding. Peter Bickel, Eugene Hammel en William O'Connell bekeken de vakgroepen afzonderlijk en publiceerden hun analyse in 1975 in Science. In de meeste vakgroepen werden vrouwen in gelijke of hogere mate toegelaten. Vrouwen hadden zich vooral aangemeld bij vakgroepen die weinig kandidaten van beide geslachten toelieten, en dat drukte hun totaalpercentage. In de zes grootste vakgroepen werd 44,5% van de mannen en 30,4% van de vrouwen toegelaten, en toch deden vrouwen het in vier van de zes beter.
Welk antwoord klopt?
De gegevens alleen kunnen het niet beslissen; de manier waarop ze tot stand kwamen wel. Als de factor waarop je groepeert zowel beïnvloedt welke optie gekozen wordt als wat de uitkomst is, is het een confounder (verstorende variabele): artsen kozen vaker voor de open operatie bij grote stenen, die moeilijker te behandelen zijn, dus de eerlijke vergelijking is die binnen elke steengrootte. Als de indeling zelf een gevolg van de optie is, bijvoorbeeld een meting na een behandeling, kan opsplitsen het effect verbergen, en is het totaalcijfer de betere leidraad. De informaticus Judea Pearl liet zien hoe causale diagrammen de vraag beslechten.
Een korte geschiedenis
Karl Pearson en zijn collega's merkten het effect in 1899 op en George Udny Yule beschreef het in 1903; Edward H. Simpson schreef er in 1951 over, en de statisticus Colin Blyth gaf het in 1972 de naam Simpsons paradox. Het heet ook het Yule-Simpsoneffect, de amalgamatieparadox of de omkeringsparadox. Het duikt evengoed op in medisch onderzoek, schoolresultaten, verkiezingsanalyses en sportstatistieken.
Veelgestelde vragen
Hoe herken ik Simpsons paradox?
Kijk hoe de gevallen over de groepen verdeeld zijn. Als de opties die je vergelijkt heel verschillende aandelen van hun gevallen hebben in groepen met hoge en lage slagingspercentages, kan de totale vergelijking misleiden. Splits de gegevens op naar de factor die beide zou kunnen beïnvloeden, en vergelijk de percentages binnen elke groep.
Gebeurt het alleen bij twee groepen?
Nee. Het kan bij elk aantal groepen gebeuren, en ook bij continue gegevens: een correlatie die binnen elke subgroep positief is, kan over alle groepen samen negatief zijn. Twee groepen zijn gewoon de makkelijkste manier om het te zien.
Werden vrouwen in Berkeley benadeeld?
De analyse van 1975 vond in de beslissingen van de vakgroepen geen benadeling van vrouwen, hooguit een kleine bevoordeling. Het totale verschil kwam door waar vrouwen zich aanmeldden: bij vakgroepen met veel kandidaten en weinig plaatsen. Of die vakgroepen te weinig plaatsen hadden, is een andere vraag, die de toelatingscijfers niet kunnen beantwoorden.
Klaar om het te proberen?
Open PictorX in je browser - geen installatie, geen creditcard nodig om te starten.
Open de app over Simpsons paradox