Jak działa paradoks Simpsona
Paradoks Simpsona to tendencja, która pojawia się w każdej grupie danych, ale odwraca się po połączeniu grup. To nie sztuczka liczbowa, lecz ostrzeżenie: porównanie może zależeć od trzeciego czynnika, który decyduje o tym, kto trafia do której grupy. Oto jak powstaje, gdzie go zaobserwowano i co z nim zrobić.
Tendencja, która się odwraca
W 1995 roku David Justice miał lepszą średnią odbić niż Derek Jeter (.253 wobec .250), w 1996 roku również (.321 wobec .314). A jednak w obu latach łącznie prowadził Jeter: .310 wobec .270. Powód: Jeter miał najwięcej podejść do odbicia w 1996 roku, swoim dobrym roku, a Justice w 1995 roku, swoim słabszym. Łączna średnia każdego zawodnika przesuwa się w stronę roku, w którym odbijał najczęściej.
Arytmetyka w tle
Odsetek ogółem to średnia ważona odsetków w grupach, a wagami są udziały przypadków każdej opcji w poszczególnych grupach. Jeśli jedna opcja ma większość przypadków w łatwej grupie, a druga w trudnej, wagi mogą przeważyć nad różnicami w obrębie grup. Dla badania kamieni nerkowych: operacja otwarta 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, zabieg przezskórny 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.
Sprawa rekrutacji w Berkeley
Jesienią 1973 roku Uniwersytet Kalifornijski w Berkeley przyjął na studia magisterskie i doktoranckie około 44% kandydatów i 35% kandydatek. Peter Bickel, Eugene Hammel i William O'Connell przyjrzeli się wydziałom osobno i opublikowali swoją analizę w „Science” w 1975 roku. Na większości wydziałów kobiety były przyjmowane w podobnym lub wyższym odsetku. Kobiety zgłaszały się głównie na wydziały, które przyjmowały niewielu kandydatów obu płci, co obniżało ich łączny odsetek. Na sześciu największych wydziałach przyjęto 44,5% mężczyzn i 30,4% kobiet, a mimo to kobiety wypadły lepiej na czterech z sześciu.
Która odpowiedź jest właściwa?
Same dane tego nie rozstrzygną; rozstrzyga sposób, w jaki powstały. Gdy czynnik dzielący na grupy wpływa zarówno na wybór opcji, jak i na wynik, jest zmienną zakłócającą: lekarze częściej wybierali operację otwartą przy dużych kamieniach, które trudniej leczyć, więc uczciwe porównanie odbywa się w obrębie każdej wielkości kamieni. Gdy podział na grupy sam jest skutkiem opcji, na przykład pomiarem wykonanym po leczeniu, rozbicie według niego może ukryć efekt, a lepszą wskazówką jest wynik łączny. Informatyk Judea Pearl pokazał, jak diagramy przyczynowe rozstrzygają tę kwestię.
Krótka historia
Karl Pearson i jego współpracownicy zauważyli ten efekt w 1899 roku, a George Udny Yule opisał go w 1903 roku; Edward H. Simpson pisał o nim w 1951 roku, a statystyk Colin Blyth nazwał go paradoksem Simpsona w 1972 roku. Nazywa się go też efektem Yule'a-Simpsona, paradoksem amalgamacji lub paradoksem odwrócenia. Pojawia się zarówno w badaniach klinicznych, wynikach szkolnych i analizach wyborczych, jak i w statystykach sportowych.
Często zadawane pytania
Jak rozpoznać paradoks Simpsona?
Sprawdź, jak przypadki rozkładają się na grupy. Jeśli porównywane opcje mają bardzo różny udział przypadków w grupach o wysokim i niskim odsetku sukcesów, porównanie ogółem może wprowadzać w błąd. Podziel dane według czynnika, który może wpływać na jedno i drugie, i porównaj odsetki w każdej grupie.
Czy zdarza się to tylko przy dwóch grupach?
Nie. Może wystąpić przy dowolnej liczbie grup, a także przy danych ciągłych: korelacja dodatnia w każdej podgrupie może być ujemna dla wszystkich razem. Dwie grupy to po prostu najłatwiejszy sposób, by to zobaczyć.
Czy w Berkeley dochodziło do dyskryminacji ze względu na płeć?
Analiza z 1975 roku nie wykazała w decyzjach wydziałów stronniczości wobec kobiet; jeśli już, to niewielką na ich korzyść. Łączna różnica wynikała z tego, gdzie kobiety składały podania: na wydziały z wieloma kandydatami i niewielką liczbą miejsc. Czy te wydziały miały za mało miejsc, to inne pytanie, na które dane o przyjęciach nie odpowiadają.
Chcesz wypróbować?
Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.
Otwórz aplikację o paradoksie Simpsona