Câu hỏi của hội đồng về kiểm định giả thuyết thường xoay quanh sáu chủ đề: vì sao chọn kiểm định đó, giá trị p nói gì và không nói gì, kết quả sát ngưỡng có vững không, có hiệu chỉnh kiểm định nhiều lần không, cỡ mẫu có đủ không, và kết quả có ý nghĩa thực tiễn không; câu trả lời tốt luôn dẫn về một quyết định đã nêu trong phần phương pháp và một con số trong chương kết quả. Trả lời bằng định nghĩa giáo trình mà không gắn vào luận văn của mình là cách dễ bị hỏi tiếp nhất.
Bài này dùng một luận văn giả định so sánh hai lớp học và ba cách ôn tập để minh hoạ. Mỗi chủ đề có câu hỏi điển hình, ý chính cần trả lời và một gợi ý cách nói. Phần cuối là danh sách việc chuẩn bị trong tuần trước buổi bảo vệ.
Vì sao chọn kiểm định này mà không phải kiểm định khác
Đây gần như là câu hỏi chắc chắn xuất hiện, dưới nhiều dạng: vì sao dùng t-test mà không dùng Mann-Whitney, vì sao dùng ANOVA mà không chạy nhiều t-test, vì sao dùng chi bình phương cho biến này. Câu trả lời có ba lớp: loại biến (định lượng, thứ bậc, định danh), thiết kế (độc lập hay lặp lại, mấy nhóm), và giả định đã kiểm.
Gợi ý cách nói cho ví dụ hai lớp: "Biến điểm cuối kỳ là biến định lượng, hai lớp là hai nhóm độc lập nên em dùng kiểm định t hai mẫu độc lập. Em đã kiểm phân phối trong từng lớp bằng biểu đồ Q-Q và Shapiro-Wilk, kết quả ở Phụ lục 3, không thấy lệch đáng kể. Quy tắc chọn Student hay Welch em đã nêu ở mục phương pháp; trong trường hợp này hai cách cho kết luận giống nhau."
Với câu hỏi vì sao không chạy ba t-test thay cho ANOVA, ý chính là sai lầm loại I cộng dồn: mỗi kiểm định ở mức 0,05, chạy ba lần độc lập thì xác suất có ít nhất một kết quả dương tính giả lên đến khoảng 1 − 0,95³, tức gần 0,14. ANOVA kiểm định chung một lần, sau đó kiểm định hậu định như Tukey kiểm soát tỷ lệ sai lầm cho cả họ so sánh.
Nếu hội đồng gợi ý một kiểm định khác hợp lý hơn, đừng bảo vệ bằng mọi giá. Ghi nhận, nói bạn sẽ chạy thêm để đối chiếu, và nếu có thể, nói trước kết quả của bạn có thay đổi không. Nhiều học viên chạy sẵn một hai phân tích đối chiếu trước buổi bảo vệ cho những câu hỏi đoán trước được.
Giá trị p nghĩa là gì, và vì sao không phải xác suất H0 đúng
Câu hỏi "em hiểu p = 0,013 nghĩa là gì" dùng để kiểm tra bạn có hiểu khái niệm hay chỉ thuộc quy tắc so với 0,05. Trả lời chuẩn: nếu H0 đúng và các giả định của kiểm định được thoả, xác suất thu được một chênh lệch ít nhất lớn như chênh lệch quan sát được là khoảng 1,3%. Đó là xác suất của dữ liệu khi giả sử H0 đúng, không phải xác suất H0 đúng khi đã có dữ liệu.
Hai cách hiểu sai hay gặp, và hội đồng thường gài vào: "có 1,3% khả năng kết quả là do ngẫu nhiên" và "có 98,7% khả năng giả thuyết của em đúng". Cả hai đều đảo ngược chiều điều kiện. Nếu được hỏi thêm, bạn trả lời ngắn: để biết xác suất giả thuyết đúng cần thêm thông tin về xác suất ban đầu, và đó là câu hỏi của cách tiếp cận Bayes, không phải của kiểm định truyền thống.
Một câu hỏi nối tiếp thường gặp: p nhỏ có nghĩa là hiệu ứng lớn không? Không. Với mẫu rất lớn, chênh lệch rất nhỏ cũng cho p nhỏ. Đó là lý do luận văn báo cỡ hiệu ứng và khoảng tin cậy đi kèm. Trả lời câu này bằng con số trong luận văn của bạn, chẳng hạn d = 0,65 và khoảng tin cậy 0,18 đến 1,48 điểm, sẽ thuyết phục hơn mọi định nghĩa.
Kết quả sát ngưỡng: p = 0,049 có vững không
Ví dụ giả định: lớp thực nghiệm (n = 32; M = 7,45; SD = 1,20) và lớp đối chứng (n = 30; M = 6,80; SD = 1,35). Kiểm định t Student cho t(60) = 2,01; p = 0,049; chênh lệch 0,65 điểm, khoảng tin cậy 95% từ 0,002 đến 1,30; d = 0,51. Kiểm định Welch trên cùng dữ liệu cho t(58,07) = 2,00; p = 0,050. Hội đồng gần như chắc chắn hỏi: nếu dùng Welch thì kết quả còn có ý nghĩa không?
Câu trả lời trung thực có ba phần. Thứ nhất, quy tắc chọn Student hay Welch đã được nêu từ trước (ví dụ theo kết quả Levene), và bạn làm đúng quy tắc đó. Thứ hai, thừa nhận kết quả nằm sát ngưỡng: hai phiên bản kiểm định cho p chênh nhau rất ít nhưng nằm hai phía của 0,05. Thứ ba, chuyển trọng tâm sang ước lượng: khoảng tin cậy cận dưới gần như bằng 0, nên dữ liệu tương thích với cả một chênh lệch rất nhỏ lẫn chênh lệch khoảng 1,3 điểm; kết luận cần thận trọng và nên được kiểm lại bằng nghiên cứu khác.
Điều không nên làm là bảo vệ ngưỡng 0,05 như một vạch phân chia thật giả. Giữa 0,049 và 0,050 không có khác biệt đáng kể về mức bằng chứng. Nhiều hội đồng đặt câu hỏi này chính để xem bạn có hiểu điều đó không. Khi viết luận văn, nếu biết kết quả sát ngưỡng, nên báo p đến ba chữ số thập phân và ghi khoảng tin cậy với độ chính xác đủ để thấy cận dưới không phải 0 tròn, như 0,002 ở đây.
Kiểm định nhiều lần, thang Likert và cỡ mẫu
Kiểm định nhiều lần. Nếu chương kết quả có nhiều giá trị p, hội đồng sẽ hỏi bạn có hiệu chỉnh không. Ví dụ, với năm kiểm định thuộc cùng một câu hỏi nghiên cứu và hiệu chỉnh Bonferroni, ngưỡng cho mỗi kiểm định là 0,05 chia 5, tức 0,01. Phương pháp Holm ít bảo thủ hơn mà vẫn kiểm soát tỷ lệ sai lầm cho cả họ. Nếu bạn không hiệu chỉnh vì mỗi giả thuyết là một câu hỏi riêng đã đặt từ đầu, hãy nói lý do đó; điều quan trọng là có lý do và đã nêu trong phương pháp.
Thang Likert. Câu hỏi "dữ liệu Likert là thứ bậc, sao em dùng t-test" không có đáp án duy nhất. Có quan điểm cho rằng điểm của từng câu Likert là thứ bậc nên dùng phi tham số; có quan điểm cho rằng điểm trung bình nhiều câu của một thang đo gần với dữ liệu khoảng và t-test, ANOVA khá vững trong điều kiện thông thường. Trả lời tốt là nêu bạn phân tích điểm từng câu hay điểm thang đo, trình bày ngắn hai quan điểm, và nếu có thể, nói kết quả phi tham số đối chiếu cho cùng kết luận.
Cỡ mẫu có đủ không. Câu trả lời tốt nhất dựa trên phép tính lực mẫu trong đề cương: cỡ hiệu ứng mục tiêu, alpha, lực mong muốn và cỡ mẫu tính được. Ví dụ, để phát hiện d = 0,5 với lực 80% bằng kiểm định t hai phía cần khoảng 64 người mỗi nhóm. Nếu mẫu thực tế nhỏ hơn, nói thẳng và nêu cỡ hiệu ứng nhỏ nhất mà mẫu của bạn phát hiện được. Đừng trả lời bằng quy tắc kinh nghiệm kiểu "tối thiểu 30 người là đủ" mà không gắn với câu hỏi nghiên cứu.
Có ý nghĩa thống kê thì có ý nghĩa thực tiễn không
Câu hỏi này thường đến ở cuối, khi hội đồng muốn biết nghiên cứu có ích gì. Câu trả lời cần tách hai thứ. Ý nghĩa thống kê nói chênh lệch khó giải thích bằng ngẫu nhiên lấy mẫu. Ý nghĩa thực tiễn nói chênh lệch đó có đáng để thay đổi cách làm hay không, và chỉ trả lời được bằng hiểu biết chuyên môn của lĩnh vực.
Gợi ý cách nói cho ví dụ hai lớp: "Chênh lệch khoảng 0,8 điểm trên thang 10, tương ứng d khoảng 0,65. Theo quy ước tham khảo của Cohen là mức trung bình. Trong bối cảnh lớp học, 0,8 điểm có thể giúp một phần học sinh vượt qua mốc đạt, nhưng khoảng tin cậy cho thấy chênh lệch thật có thể chỉ khoảng 0,2 điểm. Vì vậy em đề xuất áp dụng thử ở quy mô nhỏ và theo dõi thêm, chứ không khuyến nghị thay đổi đồng loạt."
Câu trả lời như vậy cho thấy ba điều hội đồng muốn thấy: bạn hiểu cỡ hiệu ứng, bạn đọc được khoảng tin cậy, và bạn không phóng đại kết quả của mình. Nó cũng nối thẳng sang phần kiến nghị của luận văn, nên hãy kiểm phần kiến nghị có cùng mức thận trọng với câu trả lời bạn định nói.
Chuẩn bị trong tuần trước buổi bảo vệ
Phần lớn câu hỏi về kiểm định đoán trước được. Một tuần chuẩn bị có trọng tâm thường đủ:
- Lập một trang tóm tắt: mỗi giả thuyết một dòng, ghi kiểm định, giả định đã kiểm, kết quả chính (thống kê, p, cỡ hiệu ứng, khoảng tin cậy) và trang trong luận văn.
- Đọc lại mục phương pháp phân tích số liệu và đối chiếu từng quyết định với chương kết quả. Chỗ nào lệch thì chuẩn bị lời giải thích, hoặc sửa trong bản chỉnh sửa sau bảo vệ.
- Chạy sẵn phân tích đối chiếu cho những điểm dễ bị hỏi: Welch bên cạnh Student, phi tham số bên cạnh tham số, kết quả có và không có giá trị ngoại lai.
- Tự trả lời thành tiếng các câu hỏi trong bài này, mỗi câu không quá một phút, có dẫn con số từ luận văn của mình.
- Nhờ người hướng dẫn hoặc một bạn học cùng ngành hỏi thử, đặc biệt là các câu về giá trị p và kết quả không có ý nghĩa.
- Mang theo bản in kết quả gốc từ phần mềm, để nếu hội đồng hỏi một con số cụ thể, bạn mở ra được ngay.
Nếu có câu hỏi bạn không chắc, nói rõ là bạn sẽ kiểm lại và bổ sung trong bản chỉnh sửa. Một câu trả lời thẳng thắn như vậy được đánh giá cao hơn nhiều so với một câu trả lời tự tin nhưng sai về khái niệm. Phần phân tích là việc của bạn; người hướng dẫn và chuyên gia thống kê có thể góp ý, nhưng hội đồng hỏi để biết chính bạn hiểu đến đâu.
Câu hỏi thường gặp
Hội đồng thường hỏi gì về kiểm định giả thuyết trong luận văn?
Thường hỏi vì sao chọn kiểm định đó, giá trị p nghĩa là gì, kết quả sát ngưỡng có vững không, có hiệu chỉnh kiểm định nhiều lần không, cỡ mẫu có đủ không và kết quả có ý nghĩa thực tiễn không. Câu trả lời nên dẫn về phương pháp và con số trong luận văn.
Trả lời câu hỏi giá trị p là gì thế nào cho đúng?
Giá trị p là xác suất thu được kết quả ít nhất cực đoan như kết quả quan sát nếu H0 đúng và các giả định được thoả. Nó không phải xác suất H0 đúng, cũng không phải xác suất kết quả do ngẫu nhiên. Nên minh hoạ bằng con số trong luận văn của mình.
Kết quả có p bằng 0,049 thì nên bảo vệ thế nào?
Thừa nhận kết quả sát ngưỡng, nêu quy tắc phân tích đã định trước, và chuyển sang khoảng tin cậy và cỡ hiệu ứng để mô tả mức chắc chắn. Không nên coi 0,05 là vạch phân chia thật giả, vì giữa 0,049 và 0,051 không có khác biệt đáng kể về bằng chứng.
Bị hỏi vì sao không hiệu chỉnh Bonferroni thì trả lời sao?
Nếu các kiểm định thuộc cùng một câu hỏi, nên thừa nhận và nói kết quả sau hiệu chỉnh có thay đổi không. Nếu mỗi giả thuyết là một câu hỏi riêng đã đặt từ đầu, có thể lập luận không cần hiệu chỉnh, miễn là lý do đã nêu trong phương pháp.
Có nên chạy sẵn phân tích đối chiếu trước buổi bảo vệ không?
Nên. Chạy Welch bên cạnh Student, phi tham số bên cạnh tham số, hoặc kết quả có và không có giá trị ngoại lai giúp bạn trả lời ngay câu hỏi về độ vững của kết quả. Nếu kết luận không đổi, kết quả chính đáng tin hơn.
Không trả lời được câu hỏi của hội đồng về thống kê thì làm gì?
Nói thẳng là bạn chưa chắc và sẽ kiểm lại, bổ sung trong bản chỉnh sửa. Đừng đoán một câu trả lời nghe có vẻ đúng. Sau buổi bảo vệ, trao đổi với người hướng dẫn hoặc chuyên gia thống kê để sửa cho đúng.