Så fungerar Simpsons paradox
Simpsons paradox är en tendens som syns i varje grupp av data men kastas om när grupperna slås ihop. Det är inget sifferknep utan en varning: en jämförelse kan bero på en tredje faktor som avgör vem som hamnar i vilken grupp. Här får du veta hur den uppstår, var den har hittats och vad du kan göra åt den.
En tendens som vänder
1995 hade David Justice ett bättre slaggenomsnitt än Derek Jeter (.253 mot .250), och 1996 också (.321 mot .314). Ändå låg Jeter före över båda åren tillsammans, .310 mot .270. Förklaringen: Jeter hade de flesta av sina slagtillfällen 1996, hans bra år, och Justice de flesta av sina 1995, hans svagare år. Varje spelares sammantagna genomsnitt dras mot det år då han slog flest gånger.
Räkningen bakom
En sammantagen andel är ett viktat medelvärde av gruppernas andelar, och vikterna är hur stor del av varje alternativs fall som finns i varje grupp. Om det ena alternativet har de flesta av sina fall i en lätt grupp och det andra i en svår grupp kan vikterna väga tyngre än skillnaderna inom grupperna. För njurstensstudien: öppen operation 0,25 × 93,1 % + 0,75 × 73,0 % = 78,0 %, titthålsoperation 0,77 × 86,7 % + 0,23 × 68,8 % = 82,6 %.
Antagningsfallet vid Berkeley
Hösten 1973 antog University of California, Berkeley omkring 44 % av de män och 35 % av de kvinnor som sökte till dess forskar- och masterutbildningar. Peter Bickel, Eugene Hammel och William O'Connell granskade institutionerna var för sig och publicerade sin analys i Science 1975. Vid de flesta institutioner antogs kvinnor i samma eller högre grad. Kvinnorna hade mest sökt till institutioner som antog få sökande av båda könen, vilket drog ner deras sammantagna andel. Vid de sex största institutionerna antogs 44,5 % av männen och 30,4 % av kvinnorna, men ändå klarade sig kvinnorna bättre vid fyra av de sex.
Vilket svar är rätt?
Data i sig kan inte avgöra det; det gör sättet som data har uppstått på. När grupperingsfaktorn påverkar både vilket alternativ som väljs och utfallet är den en störfaktor (confounder): läkarna valde oftare öppen operation för stora stenar, som är svårare att behandla, så den rättvisande jämförelsen görs inom varje stenstorlek. När grupperingen själv är en följd av alternativet, till exempel en mätning efter en behandling, kan en uppdelning efter den dölja effekten, och den sammantagna siffran är den bättre vägledningen. Datavetaren Judea Pearl visade hur kausala diagram avgör frågan.
En kort historik
Karl Pearson och hans kolleger lade märke till effekten 1899 och George Udny Yule beskrev den 1903; Edward H. Simpson skrev om den 1951, och statistikern Colin Blyth gav den namnet Simpsons paradox 1972. Den kallas också Yule-Simpson-effekten, sammanslagningsparadoxen eller omkastningsparadoxen. Den dyker upp i medicinska studier, skolresultat, valanalyser och idrottsstatistik.
Ofta ställda frågor
Hur upptäcker jag Simpsons paradox?
Titta på hur fallen fördelar sig över grupperna. Om alternativen som jämförs har mycket olika andelar av sina fall i grupper med hög och låg andel lyckade kan den sammantagna jämförelsen vilseleda. Dela upp data efter den faktor som kan påverka båda, och jämför andelarna inom varje grupp.
Händer det bara med två grupper?
Nej. Det kan hända med hur många grupper som helst, och med kontinuerliga data också: en korrelation som är positiv inom varje undergrupp kan vara negativ för alla tillsammans. Två grupper är helt enkelt det lättaste sättet att se det.
Förekom det könsdiskriminering vid Berkeley?
Analysen från 1975 fann ingen snedvridning mot kvinnor i institutionernas beslut; om något en liten till deras fördel. Den sammantagna skillnaden berodde på var kvinnorna sökte: till institutioner med många sökande och få platser. Om de institutionerna hade för få platser är en annan fråga, som antagningssiffrorna inte kan besvara.
Redo att prova det?
Öppna PictorX i din webbläsare - ingen installation, inget kreditkort krävs för att starta.
Öppna appen om Simpsons paradox