Thu thêm mẫu cho đến khi giá trị p xuống dưới 0,05 rồi dừng là một cách làm sai, dù từng con số thu được đều thật. Lý do nằm ở chỗ quy tắc dừng phụ thuộc vào chính kết quả: mỗi lần nhìn p và quyết định đi tiếp là thêm một cơ hội để may rủi vượt ngưỡng. Nếu cứ nhìn và thu thêm đủ lâu, xác suất bắt gặp một lúc p dưới 0,05 dù H0 đúng sẽ lớn hơn 5% rất nhiều.
Đây là tình huống rất đời thường trong luận văn: phát 80 phiếu, chạy thử thấy p = 0,08, phát thêm 30 phiếu, chạy lại thấy p = 0,06, phát thêm 20 phiếu nữa thì thấy p = 0,04 và dừng. Không ai sửa số nào, nhưng kết luận đã mất chỗ dựa. Bài này giải thích cơ chế, đưa con số minh hoạ từ tài liệu thống kê kinh điển, và chỉ cách làm đúng khi bạn thật sự cần xem dữ liệu giữa chừng.
Vì sao số liệu thật mà kết luận vẫn sai
Giá trị p được tính với một giả định ngầm: cỡ mẫu đã được ấn định trước, không phụ thuộc vào kết quả. Dưới giả định đó, nếu H0 đúng thì p có phân phối đều giữa 0 và 1, nên xác suất p nhỏ hơn 0,05 đúng bằng 5%. Đó là toàn bộ ý nghĩa của mức alpha.
Khi bạn nhìn p sau mỗi đợt thu và chỉ dừng lúc p nhỏ, quy trình thực tế không còn là "một lần kiểm định với cỡ mẫu cố định" nữa, mà là "nhiều lần kiểm định, dừng ở lần đầu tiên vượt ngưỡng". Giá trị p dao động lên xuống khi thêm từng quan sát, kể cả khi không có hiệu ứng nào. Quy tắc dừng kiểu này chọn đúng lúc dao động đi xuống thấp nhất, giống như đo chiều cao sóng biển và chỉ ghi lại con sóng cao nhất trong ngày rồi gọi đó là mực nước.
Điểm dễ gây nhầm: không có bước nào trong quy trình trông giống gian lận. Số phiếu là thật, phép tính là đúng, phần mềm không báo lỗi. Cái sai nằm ở quan hệ giữa quyết định dừng và kết quả. Vì vậy cách nhận ra là xem lại câu hỏi "cỡ mẫu này được quyết định từ khi nào, dựa trên cái gì", chứ không phải soát từng con số.
Nhìn càng nhiều lần, sai lầm loại I càng phình
Tài liệu thống kê về phân tích tuần tự đã tính sẵn mức sai lầm loại I thực tế khi kiểm định lặp lại nhiều lần trên dữ liệu tích luỹ, mỗi lần dùng ngưỡng 0,05 hai phía, các lần nhìn cách đều nhau và H0 đúng. Các con số dưới đây là giá trị xấp xỉ quen thuộc trong tài liệu về thiết kế tuần tự nhóm, cho dữ liệu có phân phối chuẩn.
| Số lần nhìn kết quả | Sai lầm loại I thực tế (xấp xỉ) | So với mức cam kết 0,05 |
|---|---|---|
| 1 (cỡ mẫu cố định) | 0,05 | Đúng như cam kết |
| 2 | 0,08 | Gấp khoảng 1,7 lần |
| 3 | 0,11 | Gấp hơn 2 lần |
| 5 | 0,14 | Gấp gần 3 lần |
| 10 | 0,19 | Gấp gần 4 lần |
| 20 | 0,25 | Gấp 5 lần |
Đọc bảng: nếu bạn định trước sẽ xem kết quả năm lần trong quá trình thu, mỗi lần dừng nếu p dưới 0,05, thì khoảng 14% các nghiên cứu không có hiệu ứng nào vẫn sẽ kết thúc với kết luận "có ý nghĩa". Nếu nhìn sau từng phiếu và không giới hạn cỡ mẫu, về lý thuyết xác suất bắt gặp p dưới 0,05 tiến dần tới chắc chắn.
Bảng này còn là trường hợp nhẹ: các lần nhìn đã được định sẵn số lượng. Trong thực tế luận văn, số lần nhìn thường không định trước, và quyết định thu thêm bao nhiêu cũng tuỳ vào việc p đang "gần" ngưỡng đến đâu, khiến mức sai thật khó ước lượng và thường còn tệ hơn.
Những dạng "dừng theo kết quả" hay gặp mà ít ai để ý
Không phải lúc nào việc này cũng hiện ra dưới dạng "thu thêm cho đến khi có ý nghĩa". Nhiều biến thể nhẹ nhàng hơn nhưng cùng một cơ chế.
- Thu thêm khi p "gần đạt". Thấy p = 0,07 thì phát thêm phiếu, thấy p = 0,30 thì thôi. Quyết định thu thêm phụ thuộc vào kết quả, nên vẫn làm phình sai lầm loại I.
- Dừng sớm khi p đã đẹp. Kế hoạch là 200 người nhưng đến 120 người thấy p = 0,01 thì dừng vì "đủ rồi". Đây là mặt kia của cùng vấn đề.
- Bỏ một đợt thu vì "không đại diện". Đợt khảo sát ở cơ sở thứ ba làm p tăng lên, nên bị loại với lý do nghe hợp lý. Nếu lý do loại không được đặt trước và chỉ xuất hiện sau khi thấy kết quả, đây là chọn dữ liệu theo kết quả.
- Gộp thêm dữ liệu cũ. Thêm số liệu từ một lần thử nghiệm trước đó vào chỉ khi nó giúp kết quả, không thêm khi nó làm xấu đi.
- Chạy lại thí nghiệm cho đến khi một lần thành công. Ba lần thí nghiệm trong phòng không có ý nghĩa, lần thứ tư có, và chỉ lần thứ tư được viết vào báo cáo.
Điểm chung của tất cả là: một quyết định về dữ liệu được đưa ra sau khi biết nó ảnh hưởng thế nào đến giá trị p. Khi nhận ra mình đang ở một trong các tình huống trên, cách xử lý đúng không phải là giấu đi mà là báo cáo đầy đủ quá trình, như phần cuối bài hướng dẫn.
Cỡ mẫu nên được quyết định trước bằng cách nào
Cách chặn tận gốc là ấn định cỡ mẫu trước khi thu, dựa trên những thứ không liên quan đến kết quả: phân tích lực mẫu với cỡ hiệu ứng nhỏ nhất bạn coi là có ý nghĩa thực tiễn, ràng buộc về thời gian và kinh phí, hoặc quy mô tổng thể có sẵn. Cách tính lực mẫu cho từng loại kiểm định có bài riêng trong danh mục cỡ hiệu ứng và lực mẫu của trang; ở đây chỉ nhấn mạnh rằng con số phải có trước khi phiếu đầu tiên được phát.
Khi đã có con số, ghi nó vào đề cương hoặc kế hoạch phân tích, kèm quy tắc xử lý những tình huống dễ đoán: phiếu không hợp lệ bị loại theo tiêu chí nào, nếu thiếu người tham gia thì kéo dài thời gian thu đến bao giờ, nếu vượt số dự kiến thì có dùng hết không. Quy tắc nào cũng được, miễn là nó được viết ra trước và áp dụng như nhau bất kể kết quả ra sao.
Một lưu ý thực tế: tỷ lệ phản hồi của khảo sát thường thấp hơn dự kiến, nên nhiều học viên phát dư phiếu. Việc này không sao, miễn là bạn định trước sẽ dùng toàn bộ phiếu hợp lệ thu được trong khoảng thời gian đã nêu, thay vì dừng nhập liệu ở con số cho kết quả đẹp. Chạy kiểm định chỉ sau khi đã đóng việc thu và làm sạch dữ liệu xong là thói quen tốt nhất.
Muốn xem dữ liệu giữa chừng thì làm cho đúng
Xem để kiểm chất lượng, không xem kết quả kiểm định. Bạn hoàn toàn có thể xem dữ liệu giữa chừng để phát hiện lỗi nhập, câu hỏi bị hiểu sai, tỷ lệ bỏ trống cao. Việc này không làm phình sai lầm loại I miễn là bạn không chạy phép kiểm chính và không quyết định dừng hay đi tiếp dựa trên nó.
Dùng thiết kế tuần tự nhóm nếu thật sự cần phân tích giữa kỳ. Trong thử nghiệm lâm sàng, người ta định trước số lần phân tích giữa kỳ và dùng ngưỡng chặt hơn ở mỗi lần. Ví dụ, với cách của Pocock cho năm lần phân tích, mỗi lần dùng ngưỡng danh nghĩa khoảng 0,016 thay vì 0,05; cách của O'Brien-Fleming dùng ngưỡng rất chặt ở các lần đầu và gần 0,05 ở lần cuối. Tổng sai lầm loại I của cả quy trình được giữ ở 0,05.
Ghi rõ quy tắc dừng trước khi bắt đầu. Thiết kế tuần tự chỉ hợp lệ khi số lần nhìn, thời điểm nhìn và ngưỡng mỗi lần đã cố định từ đầu. Tự đặt ngưỡng sau khi đã nhìn thì quay về đúng vấn đề ban đầu.
Với luận văn thông thường, cỡ mẫu cố định là đủ. Thiết kế tuần tự phức tạp và cần phần mềm chuyên dụng để tính ngưỡng. Phần lớn luận văn khảo sát hay thực nghiệm giáo dục không cần đến nó; cách đơn giản và an toàn là định cỡ mẫu từ đầu và chỉ phân tích một lần.
Nếu cần thêm mẫu vì lý do chính đáng, tách thành nghiên cứu xác nhận. Khi kết quả đợt đầu gợi ý một hiệu ứng, cách làm đúng là coi đó là kết quả thăm dò, rồi thu một mẫu mới độc lập với cỡ mẫu định trước để kiểm định xác nhận, thay vì gộp mẫu mới vào mẫu cũ.
Lỡ thu thêm sau khi xem kết quả: xử lý trung thực
Nhiều học viên chỉ biết đến vấn đề này sau khi đã làm. Đó không phải chuyện xấu hổ đến mức phải che giấu; điều quan trọng là bước tiếp theo minh bạch. Các bước sau giúp bạn giữ được giá trị của dữ liệu đã thu.
- Ghi lại trung thực trình tự đã xảy ra: dự kiến ban đầu bao nhiêu mẫu, chạy kiểm định lúc có bao nhiêu mẫu, kết quả lúc đó thế nào, thu thêm bao nhiêu, vì sao.
- Trao đổi với người hướng dẫn trước khi viết chương kết quả. Người hướng dẫn cần biết để cùng quyết định cách trình bày và để không bị bất ngờ khi hội đồng hỏi.
- Trong chương phương pháp, mô tả đúng quy trình thu mẫu như đã xảy ra, không viết như thể cỡ mẫu cuối cùng là dự kiến từ đầu.
- Trong chương kết quả, báo cả kết quả ở cỡ mẫu ban đầu và cỡ mẫu cuối, kèm cỡ hiệu ứng và khoảng tin cậy cho cả hai.
- Trong phần hạn chế, nói rõ rằng việc thu thêm sau khi xem kết quả làm giá trị p danh nghĩa đánh giá thấp xác suất sai lầm loại I thật, nên kết luận cần được coi là sơ bộ và cần nghiên cứu xác nhận.
Một luận văn trình bày minh bạch kiểu này thường được hội đồng đánh giá cao hơn một luận văn có p đẹp nhưng quy trình mập mờ. Người đọc có đủ thông tin để tự cân nhắc mức tin cậy, và bạn không phải lo bị phát hiện về sau.
Câu hỏi thường gặp
Nếu thu thêm mẫu mà p lại tăng lên thì sao?
Điều đó minh hoạ đúng bản chất dao động của giá trị p: khi thêm quan sát, p có thể tăng hoặc giảm, kể cả khi có hiệu ứng thật. Đây là lý do không nên dựa vào một lần nhìn để quyết định dừng. Kết quả cuối cùng cần báo theo cỡ mẫu đã định, cùng cỡ hiệu ứng và khoảng tin cậy.
Thu thêm mẫu vì tỷ lệ phản hồi thấp có bị coi là sai không?
Không, nếu quyết định thu thêm dựa trên số phiếu hợp lệ chưa đạt cỡ mẫu đã định chứ không dựa trên giá trị p. Bạn nên ghi trong đề cương rằng việc thu sẽ kéo dài cho đến khi đủ số phiếu hợp lệ theo kế hoạch, và không chạy kiểm định chính trước thời điểm đó.
Thống kê Bayes có tránh được vấn đề dừng tuỳ ý không?
Một số nhà thống kê Bayes cho rằng hậu nghiệm không phụ thuộc quy tắc dừng, nhưng điều đó không có nghĩa là dừng tuỳ ý không có hệ quả: tần suất kết luận sai theo một ngưỡng cố định vẫn có thể tăng. Đây là chủ đề còn tranh luận; nếu muốn dùng cách tiếp cận Bayes, bạn nên bàn với người có chuyên môn và định trước tiêu chí dừng.
Chạy thử với 30 phiếu để kiểm tra thang đo có làm hỏng kết quả không?
Không, nếu mục đích là kiểm tra câu chữ, độ tin cậy thang đo, thời gian trả lời, và bạn không dùng kết quả kiểm định giả thuyết của đợt thử để quyết định cỡ mẫu chính thức. An toàn nhất là không gộp các phiếu thử nghiệm vào mẫu chính, nhất là khi bảng hỏi đã được sửa sau đợt thử.
Làm sao chứng minh với hội đồng là cỡ mẫu đã được định trước?
Bằng chứng tốt nhất là đề cương đã bảo vệ hoặc kế hoạch phân tích có ghi ngày, trong đó nêu cỡ mẫu và cách tính. Nếu đề cương chỉ ghi chung chung, bạn có thể giữ email trao đổi với người hướng dẫn hoặc tệp tính lực mẫu có thời điểm tạo. Từ nay, ghi kế hoạch thành văn bản trước khi thu là thói quen nên có.
Nghiên cứu thăm dò có được linh hoạt về cỡ mẫu không?
Nghiên cứu thăm dò có thể linh hoạt hơn, nhưng khi đó giá trị p không còn mang ý nghĩa kiểm định xác nhận. Bạn nên báo cáo kết quả bằng cỡ hiệu ứng và khoảng tin cậy, nói rõ đây là thăm dò, và không trình bày kết quả như thể đã xác nhận một giả thuyết.