Como funciona o paradoxo de Simpson

O paradoxo de Simpson é uma tendência que aparece em todos os grupos de dados, mas que se inverte quando os grupos são combinados. Não é um truque dos números, mas um aviso: uma comparação pode depender de um terceiro fator que decide quem fica em que grupo. Veja aqui como surge, onde foi encontrado e o que fazer.

Duas séries de barras que sobem em cada grupo, mas apontam no sentido contrário quando combinadas
Duas séries de barras que sobem em cada grupo, mas apontam no sentido contrário quando combinadas

Uma tendência que se inverte

Em 1995, David Justice teve uma média de rebatidas melhor do que Derek Jeter (.253 contra .250), e em 1996 também (.321 contra .314). No entanto, nos dois anos juntos, Jeter ficou à frente, com .310 contra .270. A razão: Jeter teve a maior parte das suas vezes ao bastão em 1996, o seu ano bom, e Justice a maior parte das suas em 1995, o seu ano mais fraco. A média global de cada jogador é puxada para o ano em que mais vezes foi ao bastão.

A aritmética por detrás

Uma taxa global é uma média ponderada das taxas dos grupos, e os pesos são a proporção de casos de cada opção em cada grupo. Se uma opção tem a maioria dos seus casos num grupo fácil e a outra num grupo difícil, os pesos podem sobrepor-se às diferenças dentro dos grupos. No estudo dos cálculos renais: cirurgia aberta 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, cirurgia percutânea 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.

O caso das admissões em Berkeley

No outono de 1973, a Universidade da Califórnia em Berkeley admitiu cerca de 44% dos homens e 35% das mulheres que se candidataram aos seus cursos de pós-graduação. Peter Bickel, Eugene Hammel e William O'Connell analisaram os departamentos separadamente e publicaram a sua análise na Science em 1975. Na maioria dos departamentos, as mulheres eram admitidas a uma taxa semelhante ou superior. As mulheres tinham-se candidatado sobretudo a departamentos que admitiam poucos candidatos de ambos os sexos, o que fazia baixar a sua taxa global. Nos seis maiores departamentos, foram admitidos 44,5% dos homens e 30,4% das mulheres, e no entanto as mulheres tiveram melhores resultados em quatro dos seis.

Qual é a resposta certa?

Os dados, por si só, não podem decidir; decide a forma como foram gerados. Quando o fator de agrupamento influencia tanto a opção escolhida como o resultado, é uma variável de confusão: os médicos escolhiam a cirurgia aberta com mais frequência para os cálculos grandes, mais difíceis de tratar, por isso a comparação justa faz-se dentro de cada tamanho de cálculo. Quando o agrupamento é ele próprio uma consequência da opção, por exemplo uma medição feita depois de um tratamento, separar os dados por ele pode esconder o efeito, e o valor combinado é o melhor guia. O informático Judea Pearl mostrou como os diagramas causais resolvem a questão.

Uma breve história

Karl Pearson e os seus colegas repararam no efeito em 1899 e George Udny Yule descreveu-o em 1903; Edward H. Simpson escreveu sobre ele em 1951, e o estatístico Colin Blyth deu-lhe o nome de paradoxo de Simpson em 1972. Também é chamado efeito Yule-Simpson, paradoxo da amalgamação ou paradoxo da inversão. Surge tanto em ensaios médicos como em resultados escolares, análises eleitorais e estatísticas desportivas.

Perguntas frequentes

Como posso detetar o paradoxo de Simpson?

Observe como os casos se distribuem pelos grupos. Se as opções comparadas têm proporções muito diferentes dos seus casos em grupos com taxas de sucesso altas e baixas, a comparação global pode enganar. Divida os dados pelo fator que pode influenciar ambas as coisas e compare as taxas dentro de cada grupo.

Só acontece com dois grupos?

Não. Pode acontecer com qualquer número de grupos, e também com dados contínuos: uma correlação positiva dentro de cada subgrupo pode ser negativa quando se juntam todos. Dois grupos são simplesmente a forma mais fácil de o ver.

Houve discriminação de género em Berkeley?

A análise de 1975 não encontrou enviesamento contra as mulheres nas decisões dos departamentos; quando muito, um pequeno enviesamento a seu favor. A diferença global vinha dos departamentos a que as mulheres se candidatavam: com muitos candidatos e poucas vagas. Se esses departamentos tinham vagas a menos é outra questão, a que os números das admissões não conseguem responder.

Pronto para experimentar?

Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.

Abra a aplicação do paradoxo de Simpson