Kiểm định hậu định là bước so sánh từng cặp nhóm sau khi ANOVA cho thấy có khác biệt, được thiết kế để tổng rủi ro báo động giả của cả loạt so sánh không vượt mức alpha đã đặt. Có nhiều thủ tục, mỗi thủ tục cân bằng khác nhau giữa hai đòi hỏi trái chiều: giữ chặt sai lầm loại I và còn đủ lực để phát hiện khác biệt có thật.
Người làm luận văn thường chọn theo thói quen của khoa hoặc theo nút bấm có sẵn trong phần mềm. Bài này giúp bạn chọn có lý do: thủ tục nào hợp với cỡ nhóm bằng hay không bằng nhau, phương sai đồng nhất hay không, so mọi cặp hay chỉ so với nhóm đối chứng. Một ví dụ giả định bốn nhóm cho thấy cùng một dữ liệu, Tukey và Bonferroni có thể cho kết luận khác nhau ở đúng một cặp.
Vì sao cần thủ tục riêng thay vì t-test từng cặp
Khi ANOVA một nhân tố có ý nghĩa, ta mới chỉ biết rằng không phải mọi trung bình tổng thể đều bằng nhau. Câu hỏi tự nhiên tiếp theo là nhóm nào khác nhóm nào. Nếu chạy t-test thường cho từng cặp, mỗi phép thử mang rủi ro 5 phần trăm, và với bốn nhóm tức sáu cặp, rủi ro có ít nhất một báo động giả tăng lên đáng kể. Kiểm định hậu định là các thủ tục điều chỉnh ngưỡng hoặc phân phối tham chiếu để tỷ lệ sai lầm theo họ, tức xác suất có ít nhất một kết luận sai trong cả họ so sánh, vẫn quanh 0,05.
Chữ "hậu định" (post hoc) nghĩa là các so sánh được quyết định sau khi nhìn kết quả ANOVA, thường là so tất cả các cặp. Ngược lại, so sánh có kế hoạch là những so sánh bạn đã xác định từ trước khi thu số liệu, dựa trên giả thuyết; chúng thường ít hơn và được phép dùng ngưỡng nhẹ hơn. Hai loại này có logic khác nhau, đừng trộn trong cùng một phần kết quả mà không nói rõ.
Một chi tiết kỹ thuật cần biết: hầu hết thủ tục hậu định cổ điển dùng MS trong nhóm của ANOVA làm ước lượng phương sai chung. Điều đó có lợi khi phương sai các nhóm xấp xỉ nhau, vì mọi phép so sánh dùng chung một ước lượng ổn định với nhiều bậc tự do. Nhưng khi phương sai chênh lệch lớn, chính điểm mạnh đó thành điểm yếu, và cần thủ tục dùng phương sai riêng của từng cặp như Games-Howell.
Bản đồ chọn thủ tục theo tình huống
Bảng dưới gom các thủ tục hay gặp trong phần mềm thống kê. Không có thủ tục nào "đúng nhất" cho mọi trường hợp; chọn theo cấu trúc dữ liệu và câu hỏi, rồi ghi lý do trong phần phương pháp.
| Thủ tục | Dùng khi | Đặc điểm |
|---|---|---|
| Tukey HSD | So mọi cặp, cỡ nhóm bằng nhau, phương sai đồng nhất | Giữ sai lầm theo họ đúng mức cho mọi cặp; lực tốt; lựa chọn mặc định phổ biến |
| Tukey-Kramer | Như Tukey nhưng cỡ nhóm không bằng nhau | Phần mềm thường tự áp dụng khi cỡ nhóm lệch |
| Bonferroni | Số so sánh ít, hoặc so sánh không phải mọi cặp | Đơn giản: ngưỡng alpha chia số so sánh; bảo thủ khi nhiều cặp |
| Holm | Như Bonferroni nhưng muốn lực tốt hơn | Xét p từ nhỏ đến lớn với ngưỡng nới dần; vẫn giữ sai lầm theo họ |
| Scheffé | Cần kiểm định cả tương phản phức tạp, kể cả nghĩ ra sau khi xem dữ liệu | Bảo thủ nhất khi chỉ so từng cặp |
| Dunnett | Chỉ so từng nhóm với một nhóm đối chứng | Ít phép so sánh nên lực cao hơn Tukey cho câu hỏi đó |
| Games-Howell | Phương sai không đồng nhất, có thể kèm cỡ nhóm lệch | Dùng phương sai riêng từng cặp và bậc tự do kiểu Welch |
Cách đọc bảng: trước hết hỏi câu hỏi nghiên cứu cần những so sánh nào, mọi cặp hay chỉ với đối chứng. Sau đó kiểm giả định đồng nhất phương sai. Nếu phương sai xấp xỉ nhau, chọn trong nhóm Tukey, Bonferroni, Holm, Dunnett; nếu không, chuyển sang Games-Howell. Scheffé chỉ đáng dùng khi bạn thật sự cần kiểm định những tổ hợp phức tạp, ví dụ trung bình hai nhóm này so với trung bình ba nhóm kia.
Ví dụ giả định: bốn ca làm việc, tính Tukey HSD bằng tay
Ví dụ giả định: năng suất (sản phẩm mỗi giờ) của công nhân ở bốn ca, mỗi ca năm người. Trung bình bốn ca là 20, 22, 25 và 26. ANOVA cho MS trong nhóm bằng 2,5 với 16 bậc tự do, F(3, 16) khoảng 15,17, p nhỏ hơn 0,001. Giờ cần biết ca nào khác ca nào.
- Tìm giá trị tới hạn. Tukey dùng phân phối khoảng biến thiên Student hoá, ký hiệu q. Tra bảng với số nhóm 4, bậc tự do trong nhóm 16, alpha 0,05: q xấp xỉ 4,05.
- Tính sai số chuẩn. Với cỡ nhóm bằng nhau n = 5, sai số chuẩn dùng cho Tukey là căn bậc hai của MS trong nhóm chia n: căn của 2,5 chia 5, tức căn của 0,5, khoảng 0,707.
- Tính khoảng chênh tối thiểu. HSD bằng q nhân sai số chuẩn: 4,05 nhân 0,707, khoảng 2,86. Hai ca nào có trung bình chênh nhau lớn hơn 2,86 thì khác nhau có ý nghĩa ở mức tỷ lệ sai lầm theo họ 0,05.
- So từng cặp. Ca 1 và ca 2 chênh 2: không có ý nghĩa. Ca 1 và ca 3 chênh 5, ca 1 và ca 4 chênh 6, ca 2 và ca 4 chênh 4: đều có ý nghĩa. Ca 2 và ca 3 chênh 3, lớn hơn 2,86 một chút: có ý nghĩa. Ca 3 và ca 4 chênh 1: không có ý nghĩa.
Kết quả có thể tóm bằng cách xếp nhóm: ca 1 và ca 2 thuộc một cụm, ca 3 và ca 4 thuộc cụm kia, hai cụm khác nhau rõ. Phần mềm thường trình bày đúng kiểu này trong bảng "tập con đồng nhất". Hãy nhớ rằng "không có ý nghĩa" giữa ca 3 và ca 4 không chứng minh hai ca như nhau, chỉ là chênh 1 điểm chưa đủ vượt ngưỡng với năm người mỗi ca.
Cùng dữ liệu đó, Bonferroni cho kết luận khác ở một cặp
Với Bonferroni, sáu phép so sánh chia nhau alpha 0,05, mỗi phép dùng ngưỡng khoảng 0,0083. Sai số chuẩn của hiệu hai trung bình là căn bậc hai của 2,5 nhân (1/5 + 1/5), tức căn của 1, bằng 1. Thống kê t của mỗi cặp vì thế bằng đúng khoảng chênh. Giá trị t tới hạn hai phía với 16 bậc tự do ở mức 0,0083 vào khoảng 3,01.
Cặp ca 2 và ca 3 chênh 3, cho t bằng 3. Giá trị p chưa hiệu chỉnh khoảng 0,0085, nhân sáu thành khoảng 0,051, nhỉnh hơn 0,05. Theo Bonferroni, cặp này không có ý nghĩa; theo Tukey thì có. Các cặp còn lại cho cùng kết luận ở cả hai thủ tục. Đây không phải lỗi tính toán: Bonferroni bảo thủ hơn Tukey khi so mọi cặp, vì giới hạn mà nó dùng là chặn trên, không khai thác cấu trúc của bài toán so mọi cặp như Tukey.
Bài học từ ví dụ là hai điều. Thứ nhất, chọn thủ tục trước khi xem kết quả và ghi vào đề cương, đừng chạy cả hai rồi chọn cái cho kết quả đẹp hơn. Thứ hai, khi một cặp nằm sát ngưỡng như vậy, hãy báo cáo khoảng chênh và khoảng tin cậy của nó, để người đọc thấy khác biệt khoảng 3 sản phẩm mỗi giờ là có thật nhưng ước lượng còn rộng, thay vì chỉ ghi một dấu sao hay không dấu sao.
Các lỗi hay gặp khi chạy và đọc hậu định
Chạy hậu định khi phương sai rõ ràng không đồng nhất mà vẫn chọn Tukey. Khi nhóm có phương sai lớn lại có cỡ nhỏ, Tukey có thể báo động giả nhiều hơn mức danh nghĩa. Kiểm Levene và nhìn tỷ số phương sai lớn nhất trên nhỏ nhất trước, nếu chênh nhiều thì dùng Games-Howell.
Đánh dấu kết quả theo giá trị p chưa hiệu chỉnh. Một số phần mềm in cả p gốc lẫn p hiệu chỉnh, hoặc in khoảng tin cậy đã hiệu chỉnh kèm p chưa hiệu chỉnh. Đọc kỹ chú thích bảng và tài liệu của phiên bản đang dùng, rồi ghi rõ trong luận văn bạn báo cáo loại nào.
Kết luận bắc cầu sai. A không khác B, B không khác C, nhưng A khác C là chuyện hoàn toàn bình thường. Không suy ra A bằng C vì cả hai "bằng" B; các kết luận không có ý nghĩa không cộng dồn thành bằng nhau.
Chạy nhiều thủ tục rồi chọn cái có nhiều cặp có ý nghĩa nhất. Làm vậy phá hỏng chính sự kiểm soát sai lầm mà thủ tục được thiết kế để bảo đảm. Đó là một biến thể của p-hacking dù không ai cố ý.
Bỏ qua cỡ hiệu ứng của từng cặp. Ngoài p hiệu chỉnh, hãy báo cáo hiệu số trung bình, khoảng tin cậy và nếu được thì Cohen d cho các cặp quan trọng, để người đọc đánh giá ý nghĩa thực tiễn.
Trình bày kết quả hậu định trong luận văn
Một đoạn kết quả gọn thường đi theo trình tự: kết quả ANOVA tổng thể, tên thủ tục hậu định và lý do chọn, rồi các cặp có ý nghĩa kèm hiệu số và giá trị p hiệu chỉnh. Ví dụ với số liệu giả định ở trên: "Năng suất khác nhau có ý nghĩa giữa bốn ca, F(3, 16) = 15,17, p nhỏ hơn 0,001. Kiểm định Tukey cho thấy ca 3 và ca 4 có năng suất cao hơn ca 1 và ca 2; khác biệt giữa ca 1 và ca 2, giữa ca 3 và ca 4 không có ý nghĩa thống kê." Bảng đầy đủ sáu cặp có thể đặt ngay sau hoặc trong phụ lục.
Với nhiều nhóm, cách trình bày bằng chữ cái cạnh trung bình khá tiện: các nhóm có chung một chữ cái thì không khác nhau có ý nghĩa. Ở ví dụ trên, ca 1 và ca 2 mang chữ a, ca 3 và ca 4 mang chữ b. Cách này hay gặp trong nông nghiệp và công nghệ thực phẩm; nếu dùng, nhớ ghi chú thích dưới bảng nói rõ thủ tục và mức alpha.
Nếu hội đồng hỏi vì sao chọn Tukey mà không chọn Bonferroni, câu trả lời hợp lý là: so mọi cặp với cỡ nhóm bằng nhau và phương sai đồng nhất, Tukey được thiết kế đúng cho tình huống đó và ít bảo thủ hơn Bonferroni. Nếu bạn chọn Games-Howell, lý do là Levene cho thấy phương sai không đồng nhất. Câu trả lời ngắn, có căn cứ, cho thấy lựa chọn có chủ đích.
Câu hỏi thường gặp
Có bắt buộc ANOVA có ý nghĩa mới được chạy hậu định không?
Không hẳn. Tukey và một số thủ tục khác tự kiểm soát sai lầm theo họ nên về lý thuyết không phụ thuộc ANOVA. Tuy vậy thực hành phổ biến là chỉ chạy hậu định khi ANOVA có ý nghĩa, và nếu bạn làm khác, hãy giải thích rõ lý do trong phần phương pháp để tránh bị coi là đi tìm kết quả.
Tukey và Bonferroni nên chọn cái nào?
Khi so tất cả các cặp và cỡ nhóm bằng nhau, Tukey thường có lực tốt hơn. Khi chỉ so vài cặp xác định trước, Bonferroni hoặc Holm có thể hợp lý hơn vì số phép chia ít. Điều quan trọng là chọn trước khi xem dữ liệu và ghi lý do, không chạy cả hai rồi chọn kết quả đẹp.
Games-Howell khác Tukey ở chỗ nào?
Tukey dùng một ước lượng phương sai gộp cho mọi cặp, giả định các nhóm có phương sai bằng nhau. Games-Howell dùng phương sai riêng của từng cặp và bậc tự do điều chỉnh kiểu Welch, nên phù hợp khi phương sai chênh lệch hoặc cỡ nhóm lệch. Khi phương sai thật sự bằng nhau, hai thủ tục cho kết quả gần nhau.
Khi nào dùng Dunnett?
Dùng Dunnett khi câu hỏi chỉ là mỗi nhóm thử nghiệm có khác nhóm đối chứng hay không, không quan tâm các nhóm thử nghiệm so với nhau. Vì chỉ có k trừ 1 phép so sánh thay vì mọi cặp, Dunnett có lực cao hơn Tukey cho đúng câu hỏi đó. Cần chọn đúng nhóm đối chứng trong phần mềm.
ANOVA có ý nghĩa nhưng hậu định không cặp nào có ý nghĩa thì hiểu sao?
Chuyện này xảy ra được, nhất là khi kết quả ANOVA sát ngưỡng. ANOVA kiểm định mọi tổ hợp khác biệt, kể cả những tổ hợp phức tạp như một nhóm so với trung bình các nhóm khác, còn hậu định so từng cặp. Hãy báo cáo trung thực cả hai kết quả và các khoảng tin cậy, không cố ép ra một cặp có ý nghĩa.
Scheffé có nên dùng cho luận văn không?
Scheffé hợp khi bạn cần kiểm định cả những tương phản phức tạp, đặc biệt là tương phản nghĩ ra sau khi xem dữ liệu. Nếu chỉ so từng cặp, Scheffé quá bảo thủ và dễ bỏ sót khác biệt thật. Phần lớn luận văn so từng cặp nên Tukey hoặc Games-Howell phù hợp hơn.