Khi bạn chạy nhiều kiểm định trên cùng một bộ dữ liệu, mỗi kiểm định ở mức alpha 0,05, thì xác suất có ít nhất một kết quả "có ý nghĩa" do may rủi tăng lên rất nhanh. Với mười kiểm định độc lập mà tất cả giả thuyết không đều đúng, xác suất đó vào khoảng 40%. Hiệu chỉnh kiểm định nhiều lần là cách kéo con số này về mức bạn đã cam kết, bằng cách siết ngưỡng hoặc nâng giá trị p lên cho tương xứng.
Bài này giải thích cơ chế bằng lời thường, rồi tính tay ba cách hiệu chỉnh phổ biến nhất là Bonferroni, Holm và Benjamini-Hochberg trên cùng một bộ năm giá trị p giả định, để bạn thấy mỗi cách khắt khe đến đâu. Phần cuối bàn khi nào cần hiệu chỉnh, khi nào không, và cách ghi vào chương phương pháp để hội đồng không phải hỏi lại.
Vì sao chạy nhiều kiểm định lại làm phình sai lầm loại I
Mức alpha 0,05 nghĩa là: nếu giả thuyết không (H0) đúng, mỗi lần kiểm định có 5% khả năng bạn bác bỏ nhầm. Con số đó đúng cho từng phép kiểm riêng lẻ. Nhưng khi làm nhiều phép kiểm, câu hỏi thật sự là "có ít nhất một lần bác bỏ nhầm hay không", và xác suất của sự kiện này được tính bằng 1 trừ đi xác suất không lần nào nhầm. Với m kiểm định độc lập, công thức là 1 − (1 − 0,05) mũ m.
| Số kiểm định độc lập (m) | Xác suất không lần nào nhầm | Xác suất có ít nhất một lần nhầm |
|---|---|---|
| 1 | 0,950 | 0,050 |
| 3 | 0,857 | 0,143 |
| 5 | 0,774 | 0,226 |
| 10 | 0,599 | 0,401 |
| 20 | 0,358 | 0,642 |
Đại lượng ở cột cuối gọi là tỷ lệ sai lầm theo họ kiểm định, viết tắt tiếng Anh là FWER (family-wise error rate). Khi các kiểm định không độc lập, chẳng hạn cùng dùng một nhóm đối chứng hay các biến tương quan với nhau, con số thực tế thường thấp hơn bảng trên, nhưng vẫn cao hơn 5% khá nhiều.
Hình ảnh dễ nhớ: tung một con xúc xắc hai mươi mặt, xác suất ra mặt số 1 trong một lần là 5%. Tung hai mươi lần thì gần như chắc có lúc ra mặt số 1. Một luận văn so sánh giới tính, độ tuổi, thu nhập, nơi ở, trình độ với năm biến kết quả đã là hai mươi lăm phép kiểm; vài kết quả "có ý nghĩa" lẻ tẻ trong đó chưa nói lên được gì nếu không tính đến số lần đã thử.
Hai thứ cần kiểm soát: FWER và tỷ lệ phát hiện sai (FDR)
Có hai triết lý hiệu chỉnh. Triết lý thứ nhất kiểm soát FWER: giữ cho xác suất có dù chỉ một lần bác bỏ nhầm trong cả họ kiểm định không vượt quá alpha. Đây là yêu cầu khắt khe, phù hợp khi mỗi kết luận sai đều đắt, ví dụ một nghiên cứu xác nhận hiệu quả can thiệp, nơi chỉ một khẳng định sai cũng có thể dẫn người khác làm theo.
Triết lý thứ hai kiểm soát tỷ lệ phát hiện sai, viết tắt FDR (false discovery rate): trong số các kết quả bạn tuyên bố là có ý nghĩa, tỷ lệ kỳ vọng của những cái nhầm không vượt quá một mức q, thường lấy 0,05 hoặc 0,10. Cách này chấp nhận rằng trong danh sách phát hiện có thể lẫn vài cái sai, đổi lại bạn bỏ sót ít hiệu ứng thật hơn. Nó thường dùng trong nghiên cứu thăm dò có rất nhiều phép kiểm, như sàng lọc hàng trăm gen hay hàng chục câu hỏi khảo sát.
Chọn triết lý nào là quyết định thiết kế, phải đưa ra trước khi nhìn kết quả. Luận văn xác nhận vài giả thuyết chính thường dùng FWER; phần phân tích thăm dò mở rộng có thể dùng FDR. Điều không được làm là thử cả hai rồi chọn cách cho ra nhiều kết quả có ý nghĩa hơn, vì làm vậy chính là đưa thêm một lối rẽ tuỳ tiện vào phân tích.
Tính tay Bonferroni và Holm trên năm giá trị p
Ví dụ giả định: một học viên kiểm định năm giả thuyết độc lập về khác biệt điểm hài lòng giữa các nhóm, alpha = 0,05. Năm giá trị p sắp xếp từ nhỏ đến lớn là 0,004; 0,012; 0,020; 0,030; 0,240. Chưa hiệu chỉnh thì bốn kết quả đầu đều "có ý nghĩa". Sau đây là hai cách kiểm soát FWER.
- Bonferroni: chia alpha cho số kiểm định, 0,05 / 5 = 0,01. Chỉ giá trị p nhỏ hơn hoặc bằng 0,01 mới bác bỏ H0. Kết quả: chỉ bác bỏ giả thuyết có p = 0,004. Cách tương đương là nhân mỗi p với 5 rồi so với 0,05: các p hiệu chỉnh là 0,020; 0,060; 0,100; 0,150; 1 (giá trị vượt 1 thì ghi là 1).
- Holm, bước 1: so p nhỏ nhất với alpha / m = 0,05 / 5 = 0,01. Vì 0,004 ≤ 0,01, bác bỏ và đi tiếp.
- Holm, bước 2: so p thứ hai với 0,05 / 4 = 0,0125. Vì 0,012 ≤ 0,0125, bác bỏ và đi tiếp.
- Holm, bước 3: so p thứ ba với 0,05 / 3 ≈ 0,0167. Vì 0,020 lớn hơn, dừng lại: giả thuyết này và mọi giả thuyết có p lớn hơn đều không bị bác bỏ. Holm bác bỏ được hai giả thuyết, nhiều hơn Bonferroni một cái.
- Giá trị p hiệu chỉnh theo Holm: lấy p thứ i nhân với (m − i + 1), rồi đảm bảo dãy không giảm bằng cách lấy giá trị lớn nhất tính đến vị trí đó. Kết quả: 0,020; 0,048; 0,060; 0,060; 0,240. Hai giá trị đầu dưới 0,05, khớp với kết luận ở các bước trên.
Holm luôn kiểm soát FWER chặt như Bonferroni nhưng không bao giờ bác bỏ ít hơn, nên trong phần lớn tình huống không có lý do để chọn Bonferroni thuần thay cho Holm. Bonferroni vẫn hay được dùng vì dễ giải thích trong một câu.
Tính tay Benjamini-Hochberg với cùng bộ số
Phương pháp Benjamini-Hochberg kiểm soát FDR ở mức q. Cách làm: xếp m giá trị p từ nhỏ đến lớn, so p thứ i với ngưỡng (i / m) × q, tìm vị trí i lớn nhất mà p vẫn nhỏ hơn hoặc bằng ngưỡng, rồi bác bỏ tất cả giả thuyết từ vị trí 1 đến vị trí đó. Lấy q = 0,05 và m = 5, năm ngưỡng lần lượt là 0,01; 0,02; 0,03; 0,04; 0,05.
So từng cặp: 0,004 ≤ 0,01 đạt; 0,012 ≤ 0,02 đạt; 0,020 ≤ 0,03 đạt; 0,030 ≤ 0,04 đạt; 0,240 ≤ 0,05 không đạt. Vị trí lớn nhất còn đạt là 4, nên bác bỏ bốn giả thuyết đầu. Giá trị p hiệu chỉnh theo Benjamini-Hochberg tính bằng p × m / i rồi đảm bảo dãy không giảm từ dưới lên, cho ra 0,020; 0,030; 0,033; 0,0375; 0,240.
Đặt ba kết quả cạnh nhau: Bonferroni bác bỏ một, Holm bác bỏ hai, Benjamini-Hochberg bác bỏ bốn. Không cách nào "đúng hơn" theo nghĩa tuyệt đối; chúng trả lời những câu hỏi khác nhau. Bonferroni và Holm nói rằng xác suất có bất kỳ kết luận sai nào trong năm cái là không quá 5%. Benjamini-Hochberg nói rằng trong bốn phát hiện, tỷ lệ nhầm kỳ vọng không quá 5%. Khi viết bàn luận, bạn cần diễn đạt đúng loại bảo đảm mình đang có.
Lưu ý kỹ thuật: Benjamini-Hochberg bản gốc đòi hỏi các kiểm định độc lập hoặc phụ thuộc dương. Khi phụ thuộc phức tạp hơn, có biến thể thận trọng hơn là Benjamini-Yekutieli. Phần lớn phần mềm đều có sẵn các lựa chọn này trong hàm hiệu chỉnh giá trị p; bạn nên kiểm tên tuỳ chọn theo phiên bản đang dùng.
Khi nào cần hiệu chỉnh, khi nào không
Cần hiệu chỉnh khi nhiều phép kiểm cùng phục vụ một kết luận. Ví dụ giả thuyết "chương trình cải thiện kết quả học tập" được kiểm bằng năm môn học, và bạn sẽ coi giả thuyết được ủng hộ nếu bất kỳ môn nào có ý nghĩa. Đó là một họ kiểm định, phải hiệu chỉnh.
Cần hiệu chỉnh khi so sánh cặp sau ANOVA. Ba nhóm cho ba cặp, năm nhóm cho mười cặp. Các thủ tục hậu định như Tukey hay Games-Howell đã tự tính đến số cặp; nếu dùng t-test từng cặp thì phải hiệu chỉnh thủ công.
Có thể không hiệu chỉnh khi mỗi giả thuyết là một câu hỏi độc lập, được đặt trước và báo cáo riêng. Một luận văn có ba câu hỏi nghiên cứu khác bản chất, mỗi câu một kiểm định chính đã nêu từ đề cương, thì nhiều nhà thống kê chấp nhận dùng alpha 0,05 cho từng câu. Quan điểm này còn tranh luận, nên bạn cần lập luận rõ trong chương phương pháp.
Không hiệu chỉnh nhưng phải gắn nhãn khi phân tích là thăm dò. Nếu bạn chạy nhiều phép kiểm để tìm hướng cho nghiên cứu sau, có thể báo cáo p chưa hiệu chỉnh nhưng ghi rõ đây là kết quả thăm dò, số phép kiểm đã chạy, và không dùng chúng làm kết luận chính.
Không hiệu chỉnh kiểm tra giả định như kiểm định chuẩn hay Levene. Đó là bước chẩn đoán phục vụ chọn phương pháp, không phải giả thuyết nghiên cứu. Tuy vậy, dựa hoàn toàn vào các kiểm định giả định này cũng có hạn chế, vấn đề được bàn ở bài về chọn sai kiểm định.
Những hiểu lầm hay gặp về hiệu chỉnh
Hiệu chỉnh nghe đơn giản nhưng có vài chỗ người mới hay vấp, và hội đồng thường hỏi đúng những chỗ này.
- "Chỉ đếm các phép kiểm có trong bảng kết quả." Số m phải là toàn bộ số phép kiểm thuộc họ đó mà bạn đã chạy, kể cả những cái bỏ ra khỏi bài vì không có ý nghĩa. Đếm thiếu làm hiệu chỉnh mất tác dụng.
- "Hiệu chỉnh thì hết lo kết quả ngẫu nhiên." Hiệu chỉnh chỉ kiểm soát sai lầm loại I trong họ đã khai báo. Nó không sửa được thiết kế yếu, dữ liệu sai hay việc chọn phép kiểm sau khi nhìn số liệu.
- "Sau hiệu chỉnh không còn ý nghĩa nghĩa là không có hiệu ứng." Không bác bỏ H0 không đồng nghĩa với chấp nhận H0. Hiệu chỉnh làm giảm lực mẫu, nên kết quả không có ý nghĩa sau hiệu chỉnh cần được bàn cùng cỡ hiệu ứng và khoảng tin cậy.
- "Tự chọn họ kiểm định sao cho m nhỏ." Gom các phép kiểm thành nhiều họ nhỏ chỉ để mỗi họ có m nhỏ là một dạng lách. Cách chia họ phải bám câu hỏi nghiên cứu và được ghi trong kế hoạch phân tích từ đầu.
- "Hiệu chỉnh xong vẫn báo p gốc là được." Bạn nên báo cả p gốc lẫn p hiệu chỉnh, hoặc báo p gốc kèm ngưỡng đã hiệu chỉnh, và nói rõ phương pháp, để người đọc tự kiểm lại.
Ghi phần hiệu chỉnh vào luận văn thế nào
Trong chương phương pháp, một đoạn ngắn là đủ: nêu họ kiểm định gồm những phép kiểm nào, số m, phương pháp hiệu chỉnh và lý do chọn. Ví dụ giả định: "Năm phép so sánh giữa nhóm thực nghiệm và nhóm đối chứng trên năm kết quả học tập được coi là một họ kiểm định; giá trị p được hiệu chỉnh theo phương pháp Holm để giữ tỷ lệ sai lầm loại I của cả họ ở mức 0,05."
Trong chương kết quả, bảng nên có cột p gốc và cột p hiệu chỉnh, kèm cỡ hiệu ứng và khoảng tin cậy. Ở câu văn, nói rõ kết luận dựa trên p nào: "Sau hiệu chỉnh Holm, khác biệt ở môn Toán và môn Ngữ văn vẫn có ý nghĩa thống kê (p hiệu chỉnh lần lượt 0,020 và 0,048); ba môn còn lại không có ý nghĩa sau hiệu chỉnh."
Khi bị hỏi vì sao chọn Holm thay vì Bonferroni, câu trả lời gọn là Holm kiểm soát cùng một loại sai lầm nhưng có lực mẫu cao hơn. Khi bị hỏi vì sao không hiệu chỉnh, bạn cần chỉ ra rằng các giả thuyết là độc lập về nội dung, được đặt trước, và mỗi cái được kết luận riêng. Lập luận này thuyết phục hơn nhiều khi đề cương bảo vệ trước đó đã ghi đúng như vậy.
Câu hỏi thường gặp
Hiệu chỉnh Bonferroni có quá bảo thủ không?
Có, khi số phép kiểm lớn hoặc các phép kiểm tương quan mạnh với nhau thì Bonferroni làm mất khá nhiều lực mẫu. Holm luôn ít bảo thủ hơn mà vẫn kiểm soát cùng loại sai lầm, nên thường là lựa chọn thay thế hợp lý. Khi chấp nhận kiểm soát tỷ lệ phát hiện sai thay vì FWER, Benjamini-Hochberg còn giữ được nhiều lực mẫu hơn nữa.
Kiểm định Tukey sau ANOVA có cần hiệu chỉnh thêm không?
Không cần. Tukey HSD được xây dựng để kiểm soát tỷ lệ sai lầm cho toàn bộ các so sánh cặp giữa các nhóm, nên giá trị p mà phần mềm báo cho Tukey đã là giá trị đã tính đến số cặp. Hiệu chỉnh thêm lần nữa sẽ làm kết quả bảo thủ quá mức cần thiết.
Có được báo cáo cả kết quả trước và sau hiệu chỉnh không?
Được và nên làm. Báo cả hai giúp người đọc thấy kết luận phụ thuộc vào hiệu chỉnh đến đâu. Điều quan trọng là kết luận chính phải dựa trên phương pháp bạn đã khai báo từ trước, không đổi sang cột nào cho kết quả đẹp hơn sau khi đã thấy số.
Họ kiểm định nên chia theo giả thuyết hay theo bảng kết quả?
Nên chia theo câu hỏi nghiên cứu: các phép kiểm cùng phục vụ một kết luận thì thuộc một họ. Chia theo bảng trình bày là cách chia hình thức, dễ dẫn đến việc mỗi họ quá nhỏ và hiệu chỉnh không còn ý nghĩa. Ghi cách chia họ vào kế hoạch phân tích từ trước khi thu số liệu.
Phần mềm nào tính được Holm và Benjamini-Hochberg?
R có hàm hiệu chỉnh giá trị p với các tuỳ chọn Bonferroni, Holm, Benjamini-Hochberg và Benjamini-Yekutieli. JASP và Jamovi có tuỳ chọn hiệu chỉnh trong phần so sánh hậu định. Với Excel, bạn có thể tự lập bảng theo đúng các bước tính tay trong bài. Tên tuỳ chọn có thể đổi theo phiên bản nên cần kiểm lại.
Nghiên cứu chỉ có một giả thuyết chính thì có cần lo chuyện này không?
Nếu thật sự chỉ có một phép kiểm chính được đặt từ đầu thì không cần hiệu chỉnh cho nó. Nhưng hãy rà lại: nhiều luận văn có một giả thuyết chính nhưng kiểm bằng nhiều biến kết quả, nhiều nhóm con hoặc nhiều cách đo. Mỗi lối kiểm thêm như vậy đều tăng số phép kiểm thực tế.