Một hiệu ứng có ý nghĩa thống kê ở nhóm này nhưng không có ý nghĩa ở nhóm kia không chứng minh rằng hiệu ứng ở hai nhóm khác nhau. Muốn kết luận hai nhóm khác nhau, bạn phải kiểm định trực tiếp hiệu của hai hiệu ứng, thường bằng hiệu ứng tương tác. Nhà thống kê Andrew Gelman và Hal Stern đã đặt tên cho lỗi này bằng tiêu đề một bài báo năm 2006, đại ý: khác biệt giữa "có ý nghĩa" và "không có ý nghĩa" tự nó không phải là một khác biệt có ý nghĩa thống kê.
Lỗi này rất hay xuất hiện ở phần phân tích theo giới tính, khu vực, nhóm tuổi trong luận văn, với những câu như "chương trình có tác dụng ở nữ nhưng không có tác dụng ở nam". Bài này tính tay một ví dụ giả định để thấy vì sao câu đó có thể sai, chỉ cách kiểm định đúng, và bàn một lỗi đọc nhầm họ hàng: dựa vào việc hai khoảng tin cậy chồng nhau để kết luận.
Ví dụ tính tay: hai nhóm, hai giá trị p
Ví dụ giả định: một chương trình rèn kỹ năng được đánh giá bằng mức tăng điểm so với nhóm đối chứng, tách riêng theo giới. Ước lượng hiệu ứng (chênh lệch điểm) và sai số chuẩn (SE) của từng nhóm như bảng dưới. Mẫu đủ lớn để dùng xấp xỉ phân phối chuẩn, z = hiệu ứng / SE.
| Nhóm | Hiệu ứng ước lượng | SE | z | p hai phía (xấp xỉ) | Khoảng tin cậy 95% |
|---|---|---|---|---|---|
| Nam | 5,0 | 2,0 | 2,50 | 0,012 | 1,1 đến 8,9 |
| Nữ | 3,0 | 2,2 | 1,36 | 0,17 | −1,3 đến 7,3 |
Đọc bảng theo kiểu thông thường: ở nam có ý nghĩa, ở nữ không. Rất dễ viết thành "chương trình chỉ có tác dụng với nam". Nhưng câu hỏi "tác dụng ở nam có khác ở nữ không" chưa hề được kiểm định.
Kiểm định trực tiếp: hiệu hai hiệu ứng là 5,0 − 3,0 = 2,0. Vì hai nhóm độc lập, sai số chuẩn của hiệu bằng căn bậc hai của tổng hai bình phương SE: căn (2,0² + 2,2²) = căn (4 + 4,84) = căn 8,84 ≈ 2,97. Thống kê z = 2,0 / 2,97 ≈ 0,67, cho p hai phía khoảng 0,50. Khoảng tin cậy 95% cho hiệu là 2,0 ± 1,96 × 2,97, tức khoảng −3,8 đến 7,8.
Kết luận đúng: dữ liệu không cho thấy bằng chứng rằng hiệu ứng ở nam và nữ khác nhau; khoảng tin cậy của hiệu rất rộng, tương thích với cả việc nữ được lợi hơn lẫn nam được lợi hơn đáng kể. Hai giá trị p nằm ở hai phía ngưỡng 0,05 chủ yếu phản ánh sự ngẫu nhiên và sai số chuẩn, không phải khác biệt thật giữa hai giới.
Vì sao trực giác dẫn sai
Ngưỡng 0,05 chia một thang liên tục thành hai ô "có" và "không". Hai giá trị p rất gần nhau như 0,04 và 0,06 rơi vào hai ô khác nhau, dù bằng chứng mà chúng phản ánh gần như như nhau. Khi so sánh hai nhóm bằng nhãn "có ý nghĩa" và "không có ý nghĩa", bạn đang so hai nhãn thay vì so hai con số, và mất gần hết thông tin.
Thêm vào đó, giá trị p của mỗi nhóm phụ thuộc vào cỡ mẫu của nhóm đó. Nếu nhóm nam có 200 người và nhóm nữ có 60 người, cùng một mức hiệu ứng cũng dễ có ý nghĩa ở nhóm đông hơn. Khi đó, khác biệt về "có ý nghĩa" giữa hai nhóm có thể chỉ phản ánh khác biệt về cỡ mẫu.
Cuối cùng, "không có ý nghĩa" ở một nhóm không có nghĩa là hiệu ứng ở nhóm đó bằng không. Như ví dụ trên, ước lượng ở nữ là 3,0 điểm, tức vẫn theo cùng chiều và không nhỏ, chỉ là chưa đủ chính xác để loại trừ khả năng bằng không. Gọi nó là "không có tác dụng" là nhầm "không bác bỏ H0" thành "chấp nhận H0".
Cách kiểm định đúng khi muốn so hiệu ứng giữa các nhóm
Kiểm định tương tác trong mô hình chung. Đưa cả hai yếu tố (can thiệp và giới tính) cùng số hạng tương tác của chúng vào một mô hình, ví dụ ANOVA hai nhân tố. Giá trị p của số hạng tương tác trả lời đúng câu hỏi "hiệu ứng can thiệp có khác nhau theo giới không". Cách làm ANOVA hai nhân tố có bài riêng trong danh mục ANOVA của trang.
Kiểm định z cho hiệu hai ước lượng độc lập. Như ví dụ tính tay: lấy hiệu hai ước lượng chia cho căn tổng bình phương hai SE. Cách này phù hợp khi bạn chỉ có ước lượng và SE từ hai phân tích tách riêng, và hai nhóm độc lập với nhau.
Báo khoảng tin cậy của hiệu. Thay vì chỉ báo giá trị p, khoảng tin cậy của hiệu hai hiệu ứng cho người đọc thấy dữ liệu tương thích với những mức khác biệt nào, từ đó tự đánh giá được kết luận mạnh hay yếu.
Định trước phân tích nhóm con. Nếu so sánh theo giới là câu hỏi chính, ghi vào kế hoạch phân tích và tính cỡ mẫu cho phép kiểm tương tác. Lưu ý là kiểm định tương tác thường cần cỡ mẫu lớn hơn nhiều so với kiểm định hiệu ứng chính để có cùng lực mẫu.
Gắn nhãn thăm dò cho nhóm con không định trước. Nếu bạn tách nhóm sau khi thấy dữ liệu, kết quả nhóm con là thăm dò, cần báo số nhóm con đã xem xét và không dùng làm kết luận chính.
Dạng hay gặp nhất: thực nghiệm tiến bộ có ý nghĩa, đối chứng thì không
Trong các luận văn ngành giáo dục, y tế, quản trị, lỗi so sánh hai giá trị p xuất hiện nhiều nhất ở thiết kế có nhóm thực nghiệm và nhóm đối chứng, mỗi nhóm đo trước và sau. Cách phân tích sai là chạy t-test mẫu cặp riêng cho từng nhóm: nhóm thực nghiệm tăng có ý nghĩa, nhóm đối chứng tăng không có ý nghĩa, rồi kết luận can thiệp có hiệu quả.
Ví dụ giả định: nhóm thực nghiệm tăng trung bình 1,5 điểm với p = 0,02; nhóm đối chứng tăng 0,9 điểm với p = 0,11. Câu hỏi thật của nghiên cứu là mức tăng ở nhóm thực nghiệm có lớn hơn mức tăng ở nhóm đối chứng hay không, tức hiệu 1,5 − 0,9 = 0,6 điểm có khác 0 hay không. Hai phép kiểm riêng lẻ không trả lời câu hỏi đó. Rất có thể hiệu 0,6 điểm này nằm gọn trong biên dao động ngẫu nhiên.
Cách phân tích đúng phổ biến gồm: so sánh mức tăng giữa hai nhóm bằng t-test hai mẫu độc lập trên điểm chênh lệch; dùng ANCOVA với điểm sau là biến phụ thuộc và điểm trước là biến hiệp; hoặc dùng ANOVA hỗn hợp và đọc số hạng tương tác giữa nhóm và thời điểm. Với nhóm được phân ngẫu nhiên, nhiều tài liệu phương pháp ưu tiên ANCOVA vì thường có lực mẫu cao hơn. Lựa chọn nào cũng cần ghi trong kế hoạch phân tích, và bảng kết quả nên có hiệu giữa hai nhóm kèm khoảng tin cậy, không chỉ hai giá trị p riêng.
Lỗi họ hàng: dựa vào việc khoảng tin cậy chồng nhau
Một cách đọc nhầm khác là: hai khoảng tin cậy 95% chồng lên nhau thì hai nhóm không khác nhau có ý nghĩa. Điều này không đúng. Ví dụ giả định: nhóm A có trung bình 10, SE = 1; nhóm B có trung bình 13, SE = 1; hai nhóm độc lập. Khoảng tin cậy 95% của A là khoảng 8,0 đến 12,0; của B là khoảng 11,0 đến 15,0. Hai khoảng chồng nhau từ 11,0 đến 12,0.
Nhưng kiểm định hiệu: hiệu là 3, SE của hiệu là căn (1 + 1) ≈ 1,41, z ≈ 2,12, p hai phía khoảng 0,034, có ý nghĩa ở mức 0,05. Lý do: sai số chuẩn của hiệu không bằng tổng hai SE mà bằng căn tổng bình phương, nhỏ hơn tổng. Do đó hai khoảng có thể chồng nhau một phần mà hiệu vẫn có ý nghĩa.
Chiều ngược lại thì đúng: với hai nhóm độc lập, nếu hai khoảng tin cậy 95% hoàn toàn không chồng nhau thì hiệu chắc chắn có ý nghĩa ở mức 0,05, và thực ra mức ý nghĩa còn chặt hơn nhiều. Quy tắc gần đúng mà nhà thống kê Geoff Cumming hay nhắc: khi hai SE xấp xỉ nhau, hai khoảng chồng khoảng một nửa độ dài một cánh tương ứng với p xấp xỉ 0,05. Nhưng cách chắc chắn nhất vẫn là tính khoảng tin cậy của hiệu. Với dữ liệu cặp, so chồng khoảng tin cậy của hai lần đo càng vô nghĩa vì bỏ qua tương quan giữa hai lần đo.
Viết lại những câu kết luận hay gặp
Dưới đây là các câu thường thấy trong luận văn và cách viết lại cho đúng, với số liệu giả định từ ví dụ ở trên.
- Câu sai: "Chương trình có tác dụng với nam nhưng không có tác dụng với nữ." Viết lại: "Ước lượng hiệu ứng ở nam là 5,0 điểm (khoảng tin cậy 95%: 1,1 đến 8,9) và ở nữ là 3,0 điểm (−1,3 đến 7,3); kiểm định hiệu giữa hai nhóm không có ý nghĩa thống kê (z ≈ 0,67; p ≈ 0,50)."
- Câu sai: "Giới tính ảnh hưởng đến hiệu quả chương trình vì chỉ nhóm nam có ý nghĩa." Viết lại: "Dữ liệu chưa cho thấy hiệu quả chương trình khác nhau theo giới; cần mẫu lớn hơn để ước lượng chính xác hơn khác biệt này."
- Câu sai: "Hai khoảng tin cậy chồng nhau nên hai nhóm không khác nhau." Viết lại: "Hiệu giữa hai nhóm là 3,0 (khoảng tin cậy 95%: 0,2 đến 5,8), có ý nghĩa thống kê ở mức 0,05."
- Câu sai: "Ở nhóm nông thôn, can thiệp không hiệu quả (p = 0,09)." Viết lại: "Ở nhóm nông thôn, ước lượng hiệu ứng cùng chiều nhưng không đạt ý nghĩa thống kê; khoảng tin cậy rộng cho thấy dữ liệu chưa đủ để kết luận."
Khoảng tin cậy của hiệu 3,0 trong câu thứ ba được tính bằng 3,0 ± 1,96 × 1,41, tức khoảng 0,2 đến 5,8. Thói quen báo ước lượng kèm khoảng tin cậy thay vì chỉ báo nhãn có hay không có ý nghĩa giúp tránh được phần lớn các lỗi so sánh kiểu này.
Câu hỏi thường gặp
Nếu cả hai nhóm đều có ý nghĩa thì có so sánh được không?
Vẫn phải kiểm định hiệu. Hai nhóm cùng có ý nghĩa với hai mức hiệu ứng khác nhau không có nghĩa là hiệu giữa chúng có ý nghĩa. Ngược lại, hai nhóm cùng có ý nghĩa cũng không chứng minh hai hiệu ứng bằng nhau. Câu hỏi về khác biệt giữa nhóm luôn cần một phép kiểm riêng.
Kiểm định tương tác không có ý nghĩa thì có được báo kết quả từng nhóm không?
Được, như một phần mô tả, nhưng không nên rút ra kết luận rằng hiệu ứng khác nhau giữa các nhóm. Nhiều tài liệu khuyên chỉ đi sâu vào từng nhóm khi tương tác có ý nghĩa hoặc khi phân tích nhóm con đã được định trước với lý do lý thuyết rõ ràng.
Có cần hiệu chỉnh khi xem nhiều nhóm con không?
Có, nếu bạn xem nhiều cách chia nhóm như giới, tuổi, khu vực, thu nhập. Càng nhiều nhóm con, càng dễ có một nhóm cho kết quả nổi bật do ngẫu nhiên. Cần báo đủ số nhóm con đã xem xét và cân nhắc hiệu chỉnh cho số phép kiểm.
Hai nhóm không độc lập thì tính SE của hiệu thế nào?
Khi hai ước lượng tương quan, ví dụ cùng một người đo hai biến, công thức căn tổng bình phương SE không còn đúng vì phải trừ đi phần hiệp phương sai. Cách an toàn là đưa cả hai vào một mô hình chung, chẳng hạn mô hình đo lặp, để phần mềm tính đúng sai số chuẩn của hiệu.
Thanh sai số trên biểu đồ cột là SE hay khoảng tin cậy?
Tuỳ người vẽ, và đó là nguồn nhầm lẫn lớn. Thanh SE ngắn hơn khoảng tin cậy 95% gần một nửa. Khi trình bày biểu đồ trong luận văn, ghi rõ ở chú thích thanh sai số là gì, và tránh để người đọc tự suy kết luận từ việc các thanh chồng nhau hay không.