Como funciona o paradoxo de Simpson
O paradoxo de Simpson é uma tendência que aparece em todos os grupos de dados, mas que se inverte quando os grupos são combinados. Não é um truque dos números, mas um aviso: uma comparação pode depender de um terceiro fator que decide quem fica em que grupo. Veja aqui como surge, onde foi encontrado e o que fazer.
Uma tendência que se inverte
Em 1995, David Justice teve uma média de rebatidas melhor do que Derek Jeter (.253 contra .250), e em 1996 também (.321 contra .314). No entanto, nos dois anos juntos, Jeter ficou à frente, com .310 contra .270. A razão: Jeter teve a maior parte das suas vezes ao bastão em 1996, o seu ano bom, e Justice a maior parte das suas em 1995, o seu ano mais fraco. A média global de cada jogador é puxada para o ano em que mais vezes foi ao bastão.
A aritmética por detrás
Uma taxa global é uma média ponderada das taxas dos grupos, e os pesos são a proporção de casos de cada opção em cada grupo. Se uma opção tem a maioria dos seus casos num grupo fácil e a outra num grupo difícil, os pesos podem sobrepor-se às diferenças dentro dos grupos. No estudo dos cálculos renais: cirurgia aberta 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, cirurgia percutânea 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.
O caso das admissões em Berkeley
No outono de 1973, a Universidade da Califórnia em Berkeley admitiu cerca de 44% dos homens e 35% das mulheres que se candidataram aos seus cursos de pós-graduação. Peter Bickel, Eugene Hammel e William O'Connell analisaram os departamentos separadamente e publicaram a sua análise na Science em 1975. Na maioria dos departamentos, as mulheres eram admitidas a uma taxa semelhante ou superior. As mulheres tinham-se candidatado sobretudo a departamentos que admitiam poucos candidatos de ambos os sexos, o que fazia baixar a sua taxa global. Nos seis maiores departamentos, foram admitidos 44,5% dos homens e 30,4% das mulheres, e no entanto as mulheres tiveram melhores resultados em quatro dos seis.
Qual é a resposta certa?
Os dados, por si só, não podem decidir; decide a forma como foram gerados. Quando o fator de agrupamento influencia tanto a opção escolhida como o resultado, é uma variável de confusão: os médicos escolhiam a cirurgia aberta com mais frequência para os cálculos grandes, mais difíceis de tratar, por isso a comparação justa faz-se dentro de cada tamanho de cálculo. Quando o agrupamento é ele próprio uma consequência da opção, por exemplo uma medição feita depois de um tratamento, separar os dados por ele pode esconder o efeito, e o valor combinado é o melhor guia. O informático Judea Pearl mostrou como os diagramas causais resolvem a questão.
Uma breve história
Karl Pearson e os seus colegas repararam no efeito em 1899 e George Udny Yule descreveu-o em 1903; Edward H. Simpson escreveu sobre ele em 1951, e o estatístico Colin Blyth deu-lhe o nome de paradoxo de Simpson em 1972. Também é chamado efeito Yule-Simpson, paradoxo da amalgamação ou paradoxo da inversão. Surge tanto em ensaios médicos como em resultados escolares, análises eleitorais e estatísticas desportivas.
Perguntas frequentes
Como posso detetar o paradoxo de Simpson?
Observe como os casos se distribuem pelos grupos. Se as opções comparadas têm proporções muito diferentes dos seus casos em grupos com taxas de sucesso altas e baixas, a comparação global pode enganar. Divida os dados pelo fator que pode influenciar ambas as coisas e compare as taxas dentro de cada grupo.
Só acontece com dois grupos?
Não. Pode acontecer com qualquer número de grupos, e também com dados contínuos: uma correlação positiva dentro de cada subgrupo pode ser negativa quando se juntam todos. Dois grupos são simplesmente a forma mais fácil de o ver.
Houve discriminação de género em Berkeley?
A análise de 1975 não encontrou enviesamento contra as mulheres nas decisões dos departamentos; quando muito, um pequeno enviesamento a seu favor. A diferença global vinha dos departamentos a que as mulheres se candidatavam: com muitos candidatos e poucas vagas. Se esses departamentos tinham vagas a menos é outra questão, a que os números das admissões não conseguem responder.
Pronto para experimentar?
Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.
Abra a aplicação do paradoxo de Simpson