Nghịch lý Simpson hoạt động như thế nào

Nghịch lý Simpson là một xu hướng xuất hiện trong mọi nhóm dữ liệu nhưng lại đảo ngược khi gộp các nhóm lại. Đó không phải là trò ảo thuật với con số mà là một lời cảnh báo: một phép so sánh có thể phụ thuộc vào một yếu tố thứ ba quyết định ai rơi vào nhóm nào. Dưới đây là cách nó hình thành, những nơi người ta đã gặp nó và cách xử lý.

Hai bộ cột tăng dần trong từng nhóm nhưng lại chỉ theo hướng ngược lại khi gộp chung
Hai bộ cột tăng dần trong từng nhóm nhưng lại chỉ theo hướng ngược lại khi gộp chung

Một xu hướng bị lật ngược

Năm 1995, David Justice có tỷ lệ đánh bóng cao hơn Derek Jeter (.253 so với .250), và năm 1996 cũng vậy (.321 so với .314). Thế nhưng gộp cả hai năm, Jeter lại dẫn trước, .310 so với .270. Lý do: phần lớn lượt đánh của Jeter rơi vào năm 1996, năm anh chơi tốt, còn phần lớn lượt đánh của Justice rơi vào năm 1995, năm anh chơi kém hơn. Tỷ lệ chung của mỗi cầu thủ bị kéo về phía năm mà anh có nhiều lượt đánh nhất.

Phép tính đằng sau

Tỷ lệ tổng thể là trung bình có trọng số của tỷ lệ các nhóm, và trọng số là tỷ phần ca của mỗi phương án trong từng nhóm. Nếu một phương án có phần lớn ca ở nhóm dễ và phương án kia ở nhóm khó, các trọng số có thể lấn át chênh lệch trong từng nhóm. Với nghiên cứu sỏi thận: mổ mở 0,25 × 93,1% + 0,75 × 73,0% = 78,0%, mổ nội soi 0,77 × 86,7% + 0,23 × 68,8% = 82,6%.

Trường hợp tuyển sinh ở Berkeley

Mùa thu năm 1973, Đại học California, Berkeley nhận khoảng 44% nam ứng viên sau đại học và 35% nữ ứng viên. Peter Bickel, Eugene Hammel và William O'Connell xem xét riêng từng khoa và công bố phân tích của họ trên tạp chí Science năm 1975. Ở phần lớn các khoa, nữ được nhận với tỷ lệ tương đương hoặc cao hơn. Nữ chủ yếu nộp đơn vào những khoa nhận rất ít ứng viên, dù là nam hay nữ, điều này kéo tỷ lệ chung của họ xuống. Ở sáu khoa lớn nhất, tỷ lệ nhận của nam là 44,5% và của nữ là 30,4%, nhưng nữ có kết quả tốt hơn ở bốn trong sáu khoa.

Câu trả lời nào đúng?

Riêng dữ liệu không thể quyết định; chính cách dữ liệu hình thành mới quyết định. Khi yếu tố phân nhóm ảnh hưởng đến cả việc phương án nào được chọn lẫn kết quả, nó là một biến gây nhiễu: các bác sĩ chọn mổ mở thường xuyên hơn cho sỏi lớn, loại khó điều trị hơn, nên phép so sánh công bằng là so sánh trong cùng kích thước sỏi. Khi bản thân việc phân nhóm là hệ quả của phương án, chẳng hạn một chỉ số đo sau điều trị, việc tách theo nó có thể che giấu tác dụng, và con số gộp chung mới là chỉ dẫn tốt hơn. Nhà khoa học máy tính Judea Pearl đã chỉ ra cách các sơ đồ nhân quả giải quyết câu hỏi này.

Lược sử

Karl Pearson và các cộng sự nhận ra hiệu ứng này năm 1899, George Udny Yule mô tả nó năm 1903; Edward H. Simpson viết về nó năm 1951, và nhà thống kê Colin Blyth đặt tên nó là nghịch lý Simpson năm 1972. Nó còn được gọi là hiệu ứng Yule-Simpson, nghịch lý hợp nhất hay nghịch lý đảo ngược. Nó xuất hiện trong các thử nghiệm y khoa, kết quả học tập, phân tích bầu cử cũng như thống kê thể thao.

Câu hỏi thường gặp

Làm sao nhận ra nghịch lý Simpson?

Hãy xem các ca phân bố giữa các nhóm như thế nào. Nếu các phương án được so sánh có tỷ phần ca rất khác nhau trong các nhóm có tỷ lệ thành công cao và thấp, phép so sánh tổng thể có thể gây hiểu lầm. Hãy tách dữ liệu theo yếu tố có thể tác động đến cả hai, rồi so sánh tỷ lệ trong từng nhóm.

Nó chỉ xảy ra với hai nhóm thôi sao?

Không. Nó có thể xảy ra với số nhóm bất kỳ, và cả với dữ liệu liên tục: một tương quan dương trong mọi nhóm con có thể trở thành âm khi gộp tất cả lại. Hai nhóm chỉ đơn giản là cách dễ thấy nhất.

Berkeley có thiên vị giới tính không?

Phân tích năm 1975 không tìm thấy thiên vị chống lại nữ giới trong quyết định của các khoa; nếu có thì chỉ là một chút thiên vị có lợi cho họ. Khoảng cách chung đến từ nơi nữ giới nộp đơn: những khoa có nhiều ứng viên và ít chỗ. Còn việc các khoa đó có quá ít chỗ hay không là một câu hỏi khác mà số liệu tuyển sinh không thể trả lời.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Mở ứng dụng nghịch lý Simpson