Cum funcționează paradoxul lui Simpson
Paradoxul lui Simpson este o tendință care apare în fiecare grup de date, dar se inversează când grupurile sunt combinate. Nu este un truc al cifrelor, ci un avertisment: o comparație poate depinde de un al treilea factor, care decide cine ajunge în ce grup. Iată cum apare, unde a fost observat și ce puteți face în privința lui.
O tendință care se inversează
În 1995, David Justice a avut o medie la bătaie mai bună decât Derek Jeter (.253 față de .250), la fel și în 1996 (.321 față de .314). Totuși, pe ambii ani la un loc, Jeter a fost în față: .310 față de .270. Motivul: Jeter a avut cele mai multe încercări la bătaie în 1996, anul său bun, iar Justice cele mai multe în 1995, anul său mai slab. Media totală a fiecărui jucător este trasă spre anul în care a bătut cel mai des.
Aritmetica din spate
O rată totală este o medie ponderată a ratelor din grupuri, iar ponderile sunt proporțiile cazurilor fiecărei opțiuni în fiecare grup. Dacă o opțiune are majoritatea cazurilor într-un grup ușor, iar cealaltă într-un grup dificil, ponderile pot cântări mai mult decât diferențele din interiorul grupurilor. Pentru studiul despre calculii renali: chirurgia deschisă 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, chirurgia percutanată 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.
Cazul admiterilor de la Berkeley
În toamna lui 1973, Universitatea California din Berkeley a admis aproximativ 44% dintre bărbații care au candidat la studii postuniversitare și 35% dintre femei. Peter Bickel, Eugene Hammel și William O'Connell au analizat departamentele separat și și-au publicat analiza în Science în 1975. În majoritatea departamentelor, femeile au fost admise într-o proporție similară sau mai mare. Femeile candidaseră mai ales la departamente care admiteau puțini candidați de ambele sexe, ceea ce le-a coborât rata totală. În cele mai mari șase departamente, bărbații au fost admiși în proporție de 44,5%, iar femeile de 30,4%, deși femeile au avut rezultate mai bune în patru din cele șase.
Care răspuns este corect?
Datele singure nu pot decide; decide felul în care au apărut datele. Când factorul de grupare influențează atât opțiunea aleasă, cât și rezultatul, el este un factor de confuzie: medicii au ales mai des chirurgia deschisă pentru calculii mari, care sunt mai greu de tratat, așa că o comparație corectă se face în cadrul fiecărei mărimi a calculilor. Când gruparea este ea însăși o consecință a opțiunii, de exemplu o măsurătoare făcută după un tratament, împărțirea după ea poate ascunde efectul, iar cifra combinată este un ghid mai bun. Informaticianul Judea Pearl a arătat cum diagramele cauzale lămuresc întrebarea.
Scurt istoric
Karl Pearson și colegii săi au observat efectul în 1899, iar George Udny Yule l-a descris în 1903; Edward H. Simpson a scris despre el în 1951, iar statisticianul Colin Blyth l-a numit paradoxul lui Simpson în 1972. Mai este numit efectul Yule-Simpson, paradoxul amalgamării sau paradoxul inversării. Apare deopotrivă în studii medicale, rezultate școlare, analize electorale și statistici sportive.
Întrebări frecvente
Cum puteți recunoaște paradoxul lui Simpson?
Uitați-vă la felul în care sunt repartizate cazurile pe grupuri. Dacă opțiunile comparate au ponderi foarte diferite ale cazurilor în grupuri cu rate de succes mari și mici, comparația totală poate induce în eroare. Împărțiți datele după factorul care ar putea influența ambele aspecte și comparați ratele din fiecare grup.
Apare doar cu două grupuri?
Nu. Poate apărea cu orice număr de grupuri și chiar cu date continue: o corelație pozitivă în fiecare subgrup poate fi negativă pentru toate la un loc. Două grupuri sunt pur și simplu cel mai ușor mod de a o vedea.
A existat discriminare de gen la Berkeley?
Analiza din 1975 nu a găsit nicio părtinire împotriva femeilor în deciziile departamentelor; dacă e ceva, una mică în favoarea lor. Diferența totală provenea din locurile unde candidaseră femeile: la departamente cu mulți candidați și puține locuri. Dacă acele departamente aveau prea puține locuri este o altă întrebare, la care cifrele admiterii nu pot răspunde.
Ești gata să încerci?
Deschide PictorX în browser – fără instalare și fără card de credit.
Deschideți aplicația despre paradoxul lui Simpson