Cómo funciona la paradoja de Simpson

La paradoja de Simpson es una tendencia que aparece en cada grupo de datos pero se invierte al combinar los grupos. No es un truco de los números, sino una advertencia: una comparación puede depender de un tercer factor que decide quién acaba en cada grupo. Aquí verás cómo surge, dónde se ha encontrado y qué hacer al respecto.

Dos series de barras que suben en cada grupo pero apuntan al revés cuando se combinan
Dos series de barras que suben en cada grupo pero apuntan al revés cuando se combinan

Una tendencia que se invierte

En 1995 David Justice tuvo mejor promedio de bateo que Derek Jeter (.253 frente a .250), y en 1996 también (.321 frente a .314). Sin embargo, en los dos años juntos Jeter iba por delante, con .310 frente a .270. La razón: Jeter tuvo la mayoría de sus turnos al bate en 1996, su año bueno, y Justice la mayoría de los suyos en 1995, su año más flojo. El promedio global de cada jugador se ve arrastrado hacia el año en que más bateó.

La aritmética que hay detrás

Una tasa global es una media ponderada de las tasas de los grupos, y los pesos son la proporción de casos de cada opción en cada grupo. Si una opción tiene la mayoría de sus casos en un grupo fácil y la otra en un grupo difícil, los pesos pueden pesar más que las diferencias dentro de los grupos. En el estudio de los cálculos renales: cirugía abierta 0,25 × 93,1 % + 0,75 × 73,0 % = 78,0 %, cirugía percutánea 0,77 × 86,7 % + 0,23 × 68,8 % = 82,6 %.

El caso de las admisiones de Berkeley

En el otoño de 1973, la Universidad de California en Berkeley admitió a cerca del 44 % de los hombres y al 35 % de las mujeres que solicitaron plaza en sus programas de posgrado. Peter Bickel, Eugene Hammel y William O'Connell estudiaron los departamentos por separado y publicaron su análisis en Science en 1975. En la mayoría de los departamentos, las mujeres eran admitidas en una proporción similar o mayor. Las mujeres habían solicitado plaza sobre todo en departamentos que admitían a pocos aspirantes de ambos sexos, lo que hundía su tasa global. En los seis departamentos más grandes se admitió al 44,5 % de los hombres y al 30,4 % de las mujeres, y aun así a las mujeres les fue mejor en cuatro de los seis.

¿Qué respuesta es la correcta?

Los datos por sí solos no pueden decidirlo; lo decide cómo se generaron. Cuando el factor de agrupación influye tanto en qué opción se elige como en el resultado, es una variable de confusión: los médicos elegían la cirugía abierta más a menudo para los cálculos grandes, más difíciles de tratar, así que la comparación justa es dentro de cada tamaño de cálculo. Cuando la agrupación es en sí misma una consecuencia de la opción, por ejemplo una medida tomada después de un tratamiento, separar por ella puede ocultar el efecto, y la cifra combinada es la mejor guía. El informático Judea Pearl mostró cómo los diagramas causales resuelven la cuestión.

Un poco de historia

Karl Pearson y sus colegas notaron el efecto en 1899 y George Udny Yule lo describió en 1903; Edward H. Simpson escribió sobre él en 1951, y el estadístico Colin Blyth lo llamó paradoja de Simpson en 1972. También se conoce como efecto Yule-Simpson, paradoja de la amalgamación o paradoja de la inversión. Aparece por igual en ensayos médicos, resultados escolares, análisis electorales y estadísticas deportivas.

Preguntas frecuentes

¿Cómo puedo detectar la paradoja de Simpson?

Fíjate en cómo se reparten los casos entre los grupos. Si las opciones que comparas tienen proporciones muy distintas de sus casos en grupos con tasas de éxito altas y bajas, la comparación global puede engañar. Separa los datos según el factor que podría influir en ambas cosas y compara las tasas dentro de cada grupo.

¿Solo ocurre con dos grupos?

No. Puede ocurrir con cualquier número de grupos, y también con datos continuos: una correlación que es positiva dentro de cada subgrupo puede ser negativa al juntarlos todos. Dos grupos son simplemente la forma más fácil de verlo.

¿Hubo sesgo de género en Berkeley?

El análisis de 1975 no encontró sesgo contra las mujeres en las decisiones de los departamentos; en todo caso, uno pequeño a su favor. La diferencia global venía de dónde solicitaban plaza las mujeres: en departamentos con muchos aspirantes y pocas plazas. Si esos departamentos tenían demasiado pocas plazas es otra cuestión, que las cifras de admisión no pueden responder.

¿Listo para probarlo?

Abre PictorX en tu navegador: sin instalación ni tarjeta de crédito para empezar.

Abre la aplicación de la paradoja de Simpson