Come funziona il paradosso di Simpson
Il paradosso di Simpson è una tendenza che compare in ogni gruppo di dati ma si inverte quando i gruppi vengono uniti. Non è un trucco dei numeri ma un avvertimento: un confronto può dipendere da un terzo fattore che decide chi finisce in quale gruppo. Ecco come nasce, dove è stato osservato e cosa fare.
Una tendenza che si ribalta
Nel 1995 David Justice aveva una media battuta migliore di Derek Jeter (.253 contro .250), e anche nel 1996 (.321 contro .314). Eppure sui due anni insieme era avanti Jeter, con .310 contro .270. Il motivo: Jeter aveva avuto la maggior parte dei suoi turni alla battuta nel 1996, il suo anno buono, e Justice la maggior parte dei suoi nel 1995, il suo anno più debole. La media complessiva di ogni giocatore viene tirata verso l’anno in cui ha battuto di più.
I conti dietro il paradosso
Un tasso complessivo è una media ponderata dei tassi dei gruppi, e i pesi sono le quote di casi di ogni opzione in ogni gruppo. Se un’opzione ha la maggior parte dei suoi casi in un gruppo facile e l’altra in un gruppo difficile, i pesi possono contare più delle differenze all’interno dei gruppi. Per lo studio sui calcoli renali: chirurgia aperta 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, chirurgia mininvasiva 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.
Il caso delle ammissioni a Berkeley
Nell’autunno del 1973 l’Università della California a Berkeley ammise circa il 44% degli uomini e il 35% delle donne che avevano fatto domanda per i suoi corsi di master e dottorato. Peter Bickel, Eugene Hammel e William O'Connell esaminarono i dipartimenti separatamente e pubblicarono la loro analisi su Science nel 1975. Nella maggior parte dei dipartimenti le donne venivano ammesse con un tasso simile o più alto. Le donne avevano fatto domanda soprattutto a dipartimenti che ammettevano pochi candidati di entrambi i sessi, e questo abbassava il loro tasso complessivo. Nei sei dipartimenti più grandi fu ammesso il 44,5% degli uomini e il 30,4% delle donne, eppure le donne fecero meglio in quattro dei sei.
Quale risposta è giusta?
I dati da soli non possono deciderlo; lo decide il modo in cui sono nati. Quando il fattore di raggruppamento influenza sia l’opzione scelta sia l’esito, è un fattore di confondimento: i medici sceglievano più spesso la chirurgia aperta per i calcoli grandi, più difficili da trattare, quindi il confronto equo è quello a parità di dimensione dei calcoli. Quando il raggruppamento è a sua volta una conseguenza dell’opzione, per esempio una misura presa dopo un trattamento, dividere i dati in base a esso può nascondere l’effetto, e il dato complessivo è la guida migliore. L’informatico Judea Pearl ha mostrato come i diagrammi causali risolvano la questione.
Un po’ di storia
Karl Pearson e i suoi colleghi notarono l’effetto nel 1899 e George Udny Yule lo descrisse nel 1903; Edward H. Simpson ne scrisse nel 1951, e lo statistico Colin Blyth lo chiamò paradosso di Simpson nel 1972. È detto anche effetto Yule-Simpson, paradosso dell’amalgamazione o paradosso dell’inversione. Compare allo stesso modo negli studi medici, nei risultati scolastici, nelle analisi elettorali e nelle statistiche sportive.
Domande frequenti
Come si riconosce il paradosso di Simpson?
Guarda come si distribuiscono i casi tra i gruppi. Se le opzioni a confronto hanno quote molto diverse dei loro casi in gruppi con tassi di successo alti e bassi, il confronto complessivo può trarre in inganno. Dividi i dati in base al fattore che potrebbe influenzare entrambe le cose e confronta i tassi all’interno di ogni gruppo.
Succede solo con due gruppi?
No. Può succedere con qualsiasi numero di gruppi, e anche con dati continui: una correlazione positiva all’interno di ogni sottogruppo può essere negativa considerandoli tutti insieme. Due gruppi sono semplicemente il modo più facile per vederlo.
C’era una discriminazione di genere a Berkeley?
L’analisi del 1975 non trovò alcuna discriminazione contro le donne nelle decisioni dei dipartimenti; semmai, un lieve vantaggio a loro favore. Il divario complessivo dipendeva da dove facevano domanda le donne: in dipartimenti con molti candidati e pochi posti. Se quei dipartimenti avessero troppo pochi posti è un’altra questione, a cui i dati sulle ammissioni non possono rispondere.
Pronto a provarlo?
Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.
Apri l’app del paradosso di Simpson