GiaThuyet.comGiả Thuyết
Phân tích phương sai ANOVA

Vì sao không chạy nhiều t-test thay cho ANOVA: sai lầm loại I cộng dồn qua từng cặp

Chạy t-test từng cặp cho ba, bốn, năm nhóm làm xác suất kết luận sai tăng nhanh. Cách tính sai lầm theo họ, khi nào ANOVA cần, khi nào không.

Two Vietnamese students in a quiet university study room in Hà Nội comparing notes across a table, laptops closed, hands pointing at blank sheets, viewed from behind

Khi có ba nhóm trở lên, chạy t-test cho từng cặp rồi gom kết luận lại là cách làm phổ biến nhưng sai về nguyên tắc: mỗi lần kiểm định ở mức 0,05 là một lần chấp nhận 5 phần trăm rủi ro báo động giả, và rủi ro đó cộng dồn theo số cặp. Với năm nhóm, mười phép so sánh từng cặp có thể đẩy xác suất mắc ít nhất một sai lầm loại I lên quanh 40 phần trăm.

Bài này giải thích vì sao chuyện đó xảy ra, tính cụ thể với ba, bốn, năm nhóm, rồi nói rõ ANOVA giải quyết được phần nào và không giải quyết được phần nào. Cũng có những tình huống mà so sánh từng cặp có hiệu chỉnh, hoặc so sánh có kế hoạch, là lựa chọn hợp lý hơn chạy ANOVA rồi mới tính tiếp.

Mỗi kiểm định là một lần chấp nhận rủi ro

Đặt mức ý nghĩa alpha bằng 0,05 nghĩa là bạn đồng ý rằng, trong những tình huống mà H0 thật sự đúng, phép kiểm định vẫn có 5 phần trăm khả năng cho kết quả có ý nghĩa. Đó là sai lầm loại I: bác bỏ một giả thuyết không mà lẽ ra không nên bác bỏ. Với một phép kiểm định đơn lẻ, mức rủi ro này được nhiều ngành chấp nhận như một quy ước.

Vấn đề nảy sinh khi câu hỏi nghiên cứu thật ra là một câu hỏi chung, như "ba phương pháp dạy có cho kết quả khác nhau không", nhưng lại được trả lời bằng nhiều phép kiểm định riêng. Người làm luận văn thường kết luận "có khác biệt" ngay khi một trong các cặp có p nhỏ hơn 0,05. Như vậy điều cần quan tâm không còn là rủi ro của từng phép thử, mà là rủi ro để ít nhất một phép trong cả họ phép thử báo động giả. Thống kê gọi đó là tỷ lệ sai lầm theo họ, tiếng Anh là familywise error rate.

Hình dung tung một con xúc xắc hai mươi mặt, ra mặt số 1 thì coi là "có ý nghĩa". Tung một lần, khả năng ra số 1 là 5 phần trăm. Tung mười lần, khả năng có ít nhất một lần ra số 1 cao hơn nhiều. Mỗi t-test với alpha 0,05 giống như một lần tung như vậy khi H0 đúng; càng tung nhiều, càng dễ gặp ít nhất một kết quả "có ý nghĩa" chỉ vì may rủi.

Tính xác suất sai lầm theo họ với ba, bốn, năm nhóm

Số cặp cần so sánh khi có k nhóm là k nhân (k − 1) chia 2. Nếu coi các phép kiểm định là độc lập với nhau, xác suất có ít nhất một sai lầm loại I trong m phép, khi mọi H0 đều đúng, bằng 1 trừ 0,95 mũ m.

Số nhóm kSố cặp mPhép tínhXác suất ít nhất một báo động giả
211 − 0,950,050 (5 phần trăm)
331 − 0,95 mũ 3khoảng 0,143
461 − 0,95 mũ 6khoảng 0,265
5101 − 0,95 mũ 10khoảng 0,401

Con số trong bảng là xấp xỉ. Các phép so sánh từng cặp trên cùng một bộ dữ liệu không độc lập với nhau, vì cùng dùng chung một số nhóm: cặp A với B và cặp A với C đều dùng nhóm A. Tỷ lệ thật vì thế có thể khác bảng một chút, nhưng xu hướng là chắc chắn: càng nhiều cặp, rủi ro theo họ càng lớn. Giới hạn trên an toàn là m nhân alpha, tức với mười cặp không vượt quá 0,5; đó chính là ý tưởng của hiệu chỉnh Bonferroni.

Ví dụ giả định: một luận văn so sánh mức hài lòng của khách hàng ở năm chi nhánh, chạy mười t-test và thấy đúng một cặp có p bằng 0,03. Nếu năm chi nhánh thật ra như nhau, khả năng gặp ít nhất một cặp như vậy đã vào khoảng 40 phần trăm. Kết luận "chi nhánh này khác chi nhánh kia" vì thế rất yếu.

ANOVA giải quyết vấn đề này như thế nào

ANOVA một nhân tố gom câu hỏi chung "các trung bình có bằng nhau hết không" vào một phép kiểm định duy nhất. Bạn chỉ chấp nhận rủi ro 5 phần trăm một lần cho câu hỏi đó. Nếu ANOVA không có ý nghĩa, bạn dừng ở kết luận "chưa đủ bằng chứng cho thấy các nhóm khác nhau" và không đi lục từng cặp tìm kết quả. Nếu ANOVA có ý nghĩa, bạn biết có khác biệt ở đâu đó và chuyển sang bước so sánh hậu định, nơi các thủ tục như Tukey hay Bonferroni được thiết kế để giữ tỷ lệ sai lầm theo họ ở mức đã đặt.

Một lợi ích ít được nhắc: ANOVA dùng toàn bộ dữ liệu để ước lượng phương sai trong nhóm. Khi bạn chạy t-test cho cặp A và B, phép thử chỉ dùng dữ liệu của hai nhóm đó; dữ liệu nhóm C, D, E bị bỏ qua dù chúng cũng cho thông tin về độ dao động trong nhóm. MS trong nhóm của ANOVA gộp tất cả, nên có nhiều bậc tự do hơn và ước lượng ổn định hơn, miễn là giả định phương sai các nhóm xấp xỉ bằng nhau được thoả.

Khi chỉ có hai nhóm, ANOVA và t-test cho mẫu độc lập với phương sai gộp là một. Bình phương của t đúng bằng F, giá trị p trùng nhau. Ví dụ giả định: t bằng 2,5 với 20 bậc tự do thì ANOVA cho F bằng 6,25 với bậc tự do (1, 20), cùng một giá trị p. Vì vậy câu hỏi "dùng t-test hay ANOVA" chỉ thật sự đặt ra khi có từ ba nhóm trở lên.

Những hiểu lầm thường gặp quanh chuyện này

"Cứ chạy t-test từng cặp, cặp nào có ý nghĩa thì báo cáo cặp đó." Đây chính là con đường dẫn tới báo động giả. Báo cáo chọn lọc những cặp có p nhỏ, giấu những cặp không có ý nghĩa, còn làm người đọc tưởng bằng chứng mạnh hơn thực tế. Mọi phép so sánh đã chạy đều cần được nêu ra hoặc được hiệu chỉnh.

"ANOVA có ý nghĩa nghĩa là mọi nhóm đều khác nhau." Không. H1 của ANOVA chỉ nói ít nhất một trung bình khác. Có thể bốn nhóm như nhau và chỉ một nhóm lệch hẳn, ANOVA vẫn có ý nghĩa.

"ANOVA không có ý nghĩa nhưng một cặp t-test có ý nghĩa, vậy cặp đó khác thật." Tình huống này xảy ra được, vì hai phép thử đặt câu hỏi khác nhau. Nhưng nếu cặp đó không được xác định từ trước khi xem dữ liệu, kết quả t-test riêng lẻ dễ là may rủi. Cách trung thực là báo cáo cả hai và gọi phát hiện đó là gợi ý cần kiểm lại bằng nghiên cứu sau.

"Hiệu chỉnh làm mất kết quả, nên bỏ qua cho đẹp." Bỏ hiệu chỉnh để giữ một kết quả có ý nghĩa là một dạng p-hacking. Nếu lo mất lực kiểm định, giải pháp đúng là giảm số phép so sánh xuống những cặp thật sự cần, chọn thủ tục hiệu chỉnh ít bảo thủ hơn như Holm, hoặc tăng cỡ mẫu ngay từ khâu thiết kế.

Khi nào không cần chạy ANOVA tổng thể trước

ANOVA rồi hậu định là lộ trình mặc định, nhưng không phải lộ trình duy nhất đúng. Một số trường hợp có cách tiếp cận trực tiếp hơn và vẫn kiểm soát được sai lầm.

  • Bạn chỉ quan tâm vài so sánh xác định trước. Ví dụ nghiên cứu có một nhóm đối chứng và ba nhóm can thiệp, câu hỏi chỉ là mỗi nhóm can thiệp có khác đối chứng không. Khi đó thủ tục Dunnett so từng nhóm với nhóm đối chứng và giữ tỷ lệ sai lầm theo họ cho đúng ba phép so sánh đó.
  • Bạn có giả thuyết về xu hướng. Nếu các nhóm là mức liều, mức thời lượng tăng dần, kiểm định tương phản tuyến tính trả lời thẳng câu hỏi "tăng mức có làm tăng kết quả không", mạnh hơn ANOVA tổng thể.
  • Một số thủ tục hậu định không bắt buộc ANOVA có ý nghĩa. Tukey tự kiểm soát tỷ lệ sai lầm theo họ cho mọi cặp, nên về lý thuyết có thể chạy độc lập. Thực hành phổ biến vẫn là chạy ANOVA trước, và nhiều người hướng dẫn mong thấy trình tự đó.
  • Dữ liệu vi phạm giả định nặng. Phương sai chênh lệch lớn thì dùng Welch ANOVA và Games-Howell; dữ liệu thứ bậc hoặc lệch nặng thì cân nhắc Kruskal-Wallis. Những lựa chọn này vẫn theo cùng logic một kiểm định tổng thể rồi mới so cặp.

Điểm chung của mọi cách làm đúng là quyết định số phép so sánh và cách hiệu chỉnh trước khi nhìn kết quả, ghi rõ trong phần phương pháp. Nếu không chắc chọn hướng nào, hãy trao đổi với người hướng dẫn hoặc một chuyên gia thống kê từ khâu đề cương thay vì khi số liệu đã chạy xong.

Viết vào luận văn sao cho người đọc thấy bạn đã kiểm soát sai lầm

Trong phần phương pháp, nêu rõ một câu: các khác biệt giữa k nhóm được kiểm định bằng ANOVA một nhân tố; nếu kết quả có ý nghĩa ở mức 0,05, so sánh từng cặp được thực hiện bằng thủ tục nào, với lý do ngắn gọn. Ví dụ: "so sánh từng cặp dùng kiểm định Tukey vì cỡ nhóm bằng nhau và giả định đồng nhất phương sai được thoả". Câu đó cho hội đồng thấy bạn biết chuyện sai lầm cộng dồn và đã chọn cách xử lý từ trước.

Trong phần kết quả, báo cáo ANOVA trước, gồm F, hai bậc tự do, giá trị p và một chỉ số cỡ hiệu ứng. Sau đó mới tới bảng so sánh từng cặp với giá trị p đã hiệu chỉnh, ghi rõ là đã hiệu chỉnh. Nếu vì lý do nào đó bạn vẫn báo cáo t-test không hiệu chỉnh, hãy nói rõ số phép kiểm định đã chạy để người đọc tự cân nhắc.

Khi bị hỏi "sao không chạy t-test cho nhanh", câu trả lời gọn là: vì ba nhóm cần ba phép so sánh, xác suất có ít nhất một báo động giả khi các nhóm thật ra như nhau sẽ lên khoảng 14 phần trăm thay vì 5 phần trăm; ANOVA và thủ tục hậu định giữ rủi ro đó ở mức đã đặt. Một câu trả lời có con số cụ thể thường thuyết phục hơn mọi lời giải thích chung chung.

Câu hỏi thường gặp

Chạy ba t-test cho ba nhóm thì sai đến mức nào?

Nếu ba nhóm thật ra có cùng trung bình và coi ba phép kiểm định là độc lập, xác suất có ít nhất một kết quả có ý nghĩa giả vào khoảng 14 phần trăm, gần gấp ba mức 5 phần trăm bạn nghĩ mình đang chấp nhận. Các phép so sánh dùng chung nhóm nên con số thật chỉ xấp xỉ, nhưng rủi ro tăng là có thật.

Có thể chỉ chạy t-test rồi chia alpha cho số cặp không?

Có, đó là hiệu chỉnh Bonferroni: với ba cặp, mỗi phép so sánh dùng ngưỡng 0,05 chia 3, khoảng 0,0167. Cách này đơn giản và giữ tỷ lệ sai lầm theo họ không vượt 0,05, nhưng khá bảo thủ khi số cặp lớn, nên nhiều người chọn Holm hoặc Tukey để giữ lực kiểm định tốt hơn.

Hai nhóm thì nên dùng t-test hay ANOVA?

Với hai nhóm độc lập, t-test với phương sai gộp và ANOVA một nhân tố cho cùng một giá trị p, vì F bằng bình phương của t. Người ta thường dùng t-test cho hai nhóm vì dễ báo cáo hướng khác biệt và khoảng tin cậy của hiệu số. Nếu phương sai hai nhóm khác nhau, dùng t-test Welch.

Sai lầm theo họ có liên quan gì đến p-hacking?

Có liên quan trực tiếp. Chạy nhiều phép kiểm định rồi chỉ báo cáo những phép có p nhỏ hơn 0,05 làm tỷ lệ báo động giả thật cao hơn nhiều so với mức công bố. Đó là lý do mọi phép so sánh đã chạy cần được kể ra, và số phép so sánh nên được quyết định trước khi xem dữ liệu.

Nếu ANOVA không có ý nghĩa thì có được chạy hậu định không?

Về lý thuyết, một số thủ tục như Tukey tự kiểm soát sai lầm theo họ nên không phụ thuộc vào ANOVA. Nhưng nếu bạn chạy hậu định sau một ANOVA không có ý nghĩa chỉ để tìm cặp có ý nghĩa, đó là đi lục kết quả. Nếu có so sánh cụ thể quan trọng, hãy xác định nó từ đầu như một so sánh có kế hoạch.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138