Sådan virker Simpsons paradoks

Simpsons paradoks er en tendens, der viser sig i hver gruppe af data, men vender, når grupperne lægges sammen. Det er ikke et talfif, men en advarsel: en sammenligning kan afhænge af en tredje faktor, der bestemmer, hvem der havner i hvilken gruppe. Her kan du læse, hvordan det opstår, hvor det er blevet fundet, og hvad du kan gøre ved det.

To sæt søjler, der stiger i hver gruppe, men peger den anden vej, når de lægges sammen
To sæt søjler, der stiger i hver gruppe, men peger den anden vej, når de lægges sammen

En tendens, der vender

I 1995 havde David Justice et bedre slaggennemsnit end Derek Jeter (.253 mod .250), og det samme i 1996 (.321 mod .314). Alligevel lå Jeter foran over begge år tilsammen, .310 mod .270. Forklaringen: Jeter var oftest ved battet i 1996, hans gode år, og Justice i 1995, hans svagere år. Hver spillers samlede gennemsnit trækkes mod det år, hvor han slog flest gange.

Regnestykket bag

En samlet rate er et vægtet gennemsnit af gruppernes rater, og vægtene er hver muligheds andel af sine tilfælde i hver gruppe. Hvis den ene mulighed har de fleste af sine tilfælde i en let gruppe og den anden i en svær gruppe, kan vægtene veje tungere end forskellene inden for grupperne. For nyrestensundersøgelsen: åben operation 0,25 × 93,1 % + 0,75 × 73,0 % = 78,0 %, kikkertoperation 0,77 × 86,7 % + 0,23 × 68,8 % = 82,6 %.

Optagelsessagen fra Berkeley

I efteråret 1973 optog University of California, Berkeley omkring 44 % af de mandlige ansøgere til sine kandidat- og ph.d.-uddannelser og 35 % af de kvindelige. Peter Bickel, Eugene Hammel og William O'Connell så på institutterne hver for sig og offentliggjorde deres analyse i Science i 1975. I de fleste institutter blev kvinder optaget i samme eller højere grad. Kvinderne havde for det meste søgt ind på institutter, der optog få ansøgere af begge køn, og det trak deres samlede rate ned. I de seks største institutter blev 44,5 % af mændene og 30,4 % af kvinderne optaget, men alligevel klarede kvinderne sig bedre i fire af de seks.

Hvilket svar er rigtigt?

Dataene alene kan ikke afgøre det; det kan måden, dataene er opstået på. Når grupperingsfaktoren påvirker både, hvilken mulighed der vælges, og udfaldet, er den en confounder: lægerne valgte oftere åben operation ved store sten, som er sværere at behandle, så den retvisende sammenligning er inden for hver stenstørrelse. Når grupperingen selv er en følge af muligheden, for eksempel en måling foretaget efter en behandling, kan en opdeling efter den skjule effekten, og det samlede tal er den bedste rettesnor. Datalogen Judea Pearl viste, hvordan kausale diagrammer afgør spørgsmålet.

En kort historie

Karl Pearson og hans kolleger bemærkede effekten i 1899, og George Udny Yule beskrev den i 1903; Edward H. Simpson skrev om den i 1951, og statistikeren Colin Blyth gav den navnet Simpsons paradoks i 1972. Den kaldes også Yule-Simpson-effekten, sammenlægningsparadokset eller omvendingsparadokset. Den dukker op i medicinske forsøg, skoleresultater, valganalyser og sportsstatistik.

Ofte stillede spørgsmål

Hvordan opdager jeg Simpsons paradoks?

Se på, hvordan tilfældene fordeler sig på grupperne. Hvis de muligheder, der sammenlignes, har meget forskellige andele af deres tilfælde i grupper med høj og lav succesrate, kan den samlede sammenligning være misvisende. Del dataene op efter den faktor, der kan påvirke begge dele, og sammenlign raterne inden for hver gruppe.

Sker det kun med to grupper?

Nej. Det kan ske med et hvilket som helst antal grupper og også med kontinuerte data: en korrelation, der er positiv inden for hver undergruppe, kan være negativ for dem alle tilsammen. To grupper er blot den nemmeste måde at se det på.

Var der kønsdiskrimination på Berkeley?

Analysen fra 1975 fandt ingen skævhed mod kvinder i institutternes beslutninger; snarere en lille skævhed til deres fordel. Den samlede forskel kom af, hvor kvinderne søgte ind: på institutter med mange ansøgere og få pladser. Om de institutter havde for få pladser, er et andet spørgsmål, som optagelsestallene ikke kan besvare.

Er du klar til at prøve?

Åbn PictorX i din browser – ingen installation og intet kreditkort for at komme i gang.

Åbn appen om Simpsons paradoks