Come funziona il paradosso di Simpson

Il paradosso di Simpson è una tendenza che compare in ogni gruppo di dati ma si inverte quando i gruppi vengono uniti. Non è un trucco dei numeri ma un avvertimento: un confronto può dipendere da un terzo fattore che decide chi finisce in quale gruppo. Ecco come nasce, dove è stato osservato e cosa fare.

Due serie di barre che salgono in ogni gruppo ma puntano nella direzione opposta quando vengono unite
Due serie di barre che salgono in ogni gruppo ma puntano nella direzione opposta quando vengono unite

Una tendenza che si ribalta

Nel 1995 David Justice aveva una media battuta migliore di Derek Jeter (.253 contro .250), e anche nel 1996 (.321 contro .314). Eppure sui due anni insieme era avanti Jeter, con .310 contro .270. Il motivo: Jeter aveva avuto la maggior parte dei suoi turni alla battuta nel 1996, il suo anno buono, e Justice la maggior parte dei suoi nel 1995, il suo anno più debole. La media complessiva di ogni giocatore viene tirata verso l’anno in cui ha battuto di più.

I conti dietro il paradosso

Un tasso complessivo è una media ponderata dei tassi dei gruppi, e i pesi sono le quote di casi di ogni opzione in ogni gruppo. Se un’opzione ha la maggior parte dei suoi casi in un gruppo facile e l’altra in un gruppo difficile, i pesi possono contare più delle differenze all’interno dei gruppi. Per lo studio sui calcoli renali: chirurgia aperta 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, chirurgia mininvasiva 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.

Il caso delle ammissioni a Berkeley

Nell’autunno del 1973 l’Università della California a Berkeley ammise circa il 44% degli uomini e il 35% delle donne che avevano fatto domanda per i suoi corsi di master e dottorato. Peter Bickel, Eugene Hammel e William O'Connell esaminarono i dipartimenti separatamente e pubblicarono la loro analisi su Science nel 1975. Nella maggior parte dei dipartimenti le donne venivano ammesse con un tasso simile o più alto. Le donne avevano fatto domanda soprattutto a dipartimenti che ammettevano pochi candidati di entrambi i sessi, e questo abbassava il loro tasso complessivo. Nei sei dipartimenti più grandi fu ammesso il 44,5% degli uomini e il 30,4% delle donne, eppure le donne fecero meglio in quattro dei sei.

Quale risposta è giusta?

I dati da soli non possono deciderlo; lo decide il modo in cui sono nati. Quando il fattore di raggruppamento influenza sia l’opzione scelta sia l’esito, è un fattore di confondimento: i medici sceglievano più spesso la chirurgia aperta per i calcoli grandi, più difficili da trattare, quindi il confronto equo è quello a parità di dimensione dei calcoli. Quando il raggruppamento è a sua volta una conseguenza dell’opzione, per esempio una misura presa dopo un trattamento, dividere i dati in base a esso può nascondere l’effetto, e il dato complessivo è la guida migliore. L’informatico Judea Pearl ha mostrato come i diagrammi causali risolvano la questione.

Un po’ di storia

Karl Pearson e i suoi colleghi notarono l’effetto nel 1899 e George Udny Yule lo descrisse nel 1903; Edward H. Simpson ne scrisse nel 1951, e lo statistico Colin Blyth lo chiamò paradosso di Simpson nel 1972. È detto anche effetto Yule-Simpson, paradosso dell’amalgamazione o paradosso dell’inversione. Compare allo stesso modo negli studi medici, nei risultati scolastici, nelle analisi elettorali e nelle statistiche sportive.

Domande frequenti

Come si riconosce il paradosso di Simpson?

Guarda come si distribuiscono i casi tra i gruppi. Se le opzioni a confronto hanno quote molto diverse dei loro casi in gruppi con tassi di successo alti e bassi, il confronto complessivo può trarre in inganno. Dividi i dati in base al fattore che potrebbe influenzare entrambe le cose e confronta i tassi all’interno di ogni gruppo.

Succede solo con due gruppi?

No. Può succedere con qualsiasi numero di gruppi, e anche con dati continui: una correlazione positiva all’interno di ogni sottogruppo può essere negativa considerandoli tutti insieme. Due gruppi sono semplicemente il modo più facile per vederlo.

C’era una discriminazione di genere a Berkeley?

L’analisi del 1975 non trovò alcuna discriminazione contro le donne nelle decisioni dei dipartimenti; semmai, un lieve vantaggio a loro favore. Il divario complessivo dipendeva da dove facevano domanda le donne: in dipartimenti con molti candidati e pochi posti. Se quei dipartimenti avessero troppo pochi posti è un’altra questione, a cui i dati sulle ammissioni non possono rispondere.

Pronto a provarlo?

Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.

Apri l’app del paradosso di Simpson