Khi kết quả kiểm định không ủng hộ giả thuyết, luận văn của bạn không thất bại; nó vừa trả lời câu hỏi nghiên cứu theo một hướng khác dự đoán. Việc cần làm là rà lại những lỗi kỹ thuật có thể có với cùng mức kỹ lưỡng như khi kết quả đẹp, rồi đọc kết quả bằng cỡ hiệu ứng, khoảng tin cậy và lực mẫu, và viết phần bàn luận một cách trung thực. Việc không được làm là thay đổi dữ liệu, phép kiểm hay giả thuyết cho đến khi kết quả ra như mong muốn.
Bài này dành cho lúc khó chịu nhất trong quá trình làm luận văn: số liệu đã chạy xong và con số không như kỳ vọng. Bài đưa ra danh sách những gì nên kiểm, ranh giới rõ ràng giữa rà lỗi và chỉnh kết quả, cách diễn giải một kết quả không có ý nghĩa sao cho có giá trị, và cách trao đổi với người hướng dẫn.
Kết quả không có ý nghĩa vẫn là kết quả
Một nghiên cứu được thiết kế tốt, đủ lực mẫu, thực hiện cẩn thận mà không tìm thấy hiệu ứng là thông tin có ích: nó cho biết hiệu ứng, nếu có, nhiều khả năng nhỏ hơn một mức nào đó. Người làm chính sách, giáo viên, nhà quản lý cần biết cả điều gì không hiệu quả, không chỉ điều gì hiệu quả.
Trong khoa học, xu hướng chỉ công bố kết quả có ý nghĩa đã được gọi tên từ lâu. Nhà tâm lý học Robert Rosenthal năm 1979 mô tả "vấn đề ngăn kéo": các nghiên cứu không có ý nghĩa bị cất vào ngăn kéo, khiến tài liệu công bố nghiêng về phía hiệu ứng lớn hơn thực tế. Một luận văn báo cáo trung thực kết quả không như dự đoán góp phần nhỏ vào việc cân bằng lại bức tranh đó.
Với hội đồng chấm luận văn, điều được đánh giá là năng lực nghiên cứu: câu hỏi có rõ không, thiết kế có hợp lý không, phân tích có đúng không, diễn giải có trung thực không. Giả thuyết được ủng hộ hay không nằm ngoài tầm kiểm soát của bạn, và hội đồng có kinh nghiệm biết điều đó. Một luận văn có kết quả không như dự đoán nhưng phân tích chặt chẽ, bàn luận sâu thường được đánh giá tốt hơn một luận văn mọi giả thuyết đều "đạt" nhưng phân tích mập mờ.
Những lỗi kỹ thuật nên rà lại
Rà lỗi là việc nên làm, miễn là bạn rà với cùng mức kỹ lưỡng bất kể kết quả theo hướng nào. Danh sách dưới đây là những chỗ hay có lỗi thật trong luận văn định lượng.
- Mã hoá câu đảo chiều: câu hỏi phát biểu theo chiều ngược trong thang đo phải được đảo điểm trước khi tính tổng. Quên đảo làm điểm tổng sai lệch.
- Mã hoá nhóm: nhóm thực nghiệm và đối chứng có bị gán nhầm mã không, giá trị thiếu có bị mã thành số 0 hoặc 99 rồi tính như dữ liệu thật không.
- Ghép tệp: khi ghép dữ liệu trước và sau, hoặc từ nhiều đợt thu, các dòng có khớp đúng người không. Sắp xếp lại một cột mà không sắp xếp các cột khác là lỗi kinh điển.
- Lọc dữ liệu: phần mềm có đang áp dụng một bộ lọc cũ khiến chỉ một phần mẫu được phân tích không. Đối chiếu cỡ mẫu trong bảng kết quả với số phiếu hợp lệ.
- Chọn đúng biến: có đưa nhầm biến tổng của một thang đo khác, hoặc phiên bản biến chưa làm sạch vào phép kiểm không.
- Chọn đúng phép kiểm: đặc biệt là độc lập hay ghép cặp, một phía hay hai phía, có khớp với kế hoạch không.
Nếu tìm thấy lỗi thật, sửa và ghi lại việc sửa trong nhật ký xử lý số liệu. Lỗi được sửa vì nó là lỗi, không phải vì kết quả sau khi sửa đẹp hơn; nếu sửa xong kết quả vẫn không ủng hộ giả thuyết, kết quả đó là kết quả chính thức.
Ranh giới giữa rà lỗi và chỉnh kết quả
Ranh giới không nằm ở thao tác mà ở động cơ và thời điểm: quyết định có dựa trên một tiêu chí độc lập với kết quả hay không. Bảng dưới đặt các tình huống cạnh nhau.
| Được làm | Không được làm |
|---|---|
| Sửa lỗi nhập liệu đối chiếu được với phiếu gốc | Sửa hoặc thêm số liệu không có căn cứ trong phiếu gốc |
| Loại phiếu theo tiêu chí đã định trong kế hoạch | Loại thêm phiếu vì chúng làm kết quả xấu đi |
| Đổi phép kiểm vì phát hiện vi phạm giả định, báo cả hai kết quả | Thử lần lượt các phép kiểm, chỉ báo cái có ý nghĩa |
| Làm phân tích thăm dò, gắn nhãn rõ ràng | Viết lại giả thuyết cho khớp với kết quả thăm dò |
| Báo cáo kết quả không có ý nghĩa kèm khoảng tin cậy | Bỏ giả thuyết không được ủng hộ khỏi luận văn |
| Thu thêm mẫu nếu chưa đạt cỡ mẫu đã định | Thu thêm mẫu vì p "gần đạt" |
Cột bên phải không chỉ là sai về phương pháp mà còn là vi phạm liêm chính học thuật. Bịa hoặc sửa số liệu là hành vi nghiêm trọng nhất, và quy chế của các cơ sở đào tạo đều có chế tài cho việc này. Nhưng ngay cả các hành vi nhẹ hơn ở cột phải cũng làm kết luận không còn đáng tin.
Một phép thử đơn giản: nếu kết quả đã ra theo hướng mong muốn ngay từ đầu, bạn có làm thao tác này không? Nếu câu trả lời là không, thao tác đó đang được thúc đẩy bởi kết quả.
Đọc kết quả không có ý nghĩa bằng khoảng tin cậy
Giá trị p lớn hơn 0,05 chỉ cho biết dữ liệu không đủ để bác bỏ H0 ở mức đã định. Nó không cho biết hiệu ứng bằng không, cũng không cho biết dữ liệu ủng hộ H0. Để biết dữ liệu nói gì, hãy nhìn ước lượng cỡ hiệu ứng và khoảng tin cậy của nó.
Ví dụ giả định một: cỡ hiệu ứng Cohen d ước lượng là 0,10 với khoảng tin cậy 95% từ −0,25 đến 0,45. Khoảng này rộng, chứa cả hiệu ứng âm nhỏ, không có hiệu ứng, và hiệu ứng dương mức vừa theo quy ước tham khảo. Kết luận đúng là dữ liệu chưa đủ chính xác để nói gì nhiều; cần mẫu lớn hơn.
Ví dụ giả định hai: d ước lượng là 0,02 với khoảng tin cậy từ −0,08 đến 0,12. Khoảng này hẹp và nằm gọn quanh 0. Nếu bạn đã xác định trước rằng hiệu ứng nhỏ hơn 0,2 không có ý nghĩa thực tiễn, dữ liệu này cho thấy hiệu ứng nếu có thì rất nhỏ. Để kết luận chính thức theo hướng này, có các phương pháp kiểm định tương đương như hai kiểm định một phía (TOST), với biên tương đương phải được định trước. Đây là cách đúng để "ủng hộ" việc không có hiệu ứng đáng kể, thay vì dựa vào p lớn.
Hai ví dụ có thể cùng p lớn hơn 0,05 nhưng mang hai thông điệp rất khác nhau. Báo khoảng tin cậy giúp người đọc thấy được sự khác biệt đó.
Viết phần bàn luận khi giả thuyết không được ủng hộ
Nêu kết quả thẳng thắn trước. Câu đầu của đoạn bàn luận cho giả thuyết đó nên nói rõ kết quả: giả thuyết không được ủng hộ, kèm ước lượng và khoảng tin cậy. Không vòng vo, không dùng những từ như "gần có ý nghĩa" để làm mềm.
So sánh với nghiên cứu trước một cách cụ thể. Kết quả của bạn khác các nghiên cứu nào, khác ở điểm gì: bối cảnh, đối tượng, thang đo, thời điểm. Những khác biệt này là chất liệu bàn luận có giá trị nhất.
Đánh giá lực mẫu một cách trung thực. Nếu cỡ mẫu được tính cho hiệu ứng vừa mà hiệu ứng thật có thể nhỏ, nói rõ điều đó. Tránh phân tích lực mẫu hậu kiểm dựa trên chính cỡ hiệu ứng quan sát được, vì nó không thêm thông tin gì so với giá trị p; thay vào đó, nói cỡ mẫu hiện có phát hiện được hiệu ứng nhỏ nhất bao nhiêu.
Xem xét giải thích lý thuyết. Có thể lý thuyết không áp dụng được trong bối cảnh này, có thể có yếu tố điều tiết chưa đưa vào. Viết dưới dạng giả thuyết cho nghiên cứu sau, không phải kết luận.
Rút ra ý nghĩa thực tiễn phù hợp. Nếu khoảng tin cậy hẹp quanh 0, đó là thông tin hữu ích cho người áp dụng. Nếu khoảng rộng, khuyến nghị phù hợp là cần thêm bằng chứng trước khi đầu tư vào can thiệp.
Phân tích thêm sau khi kết quả không như ý: làm sao cho đúng
Sau khi thấy giả thuyết không được ủng hộ, rất tự nhiên bạn muốn tìm hiểu thêm: có thể hiệu ứng chỉ xuất hiện ở một nhóm, có thể biến điều tiết nào đó che mất nó. Tìm hiểu thêm không có gì sai, nhưng mọi phân tích ra đời sau khi đã thấy kết quả đều là thăm dò, và giá trị p của chúng không mang ý nghĩa xác nhận.
Cách làm đúng là gom các phân tích này vào một mục riêng, ghi rõ mỗi phân tích được làm vì sao, tổng cộng đã thử bao nhiêu cách chia nhóm hay bao nhiêu biến, và trình bày kết quả bằng ước lượng kèm khoảng tin cậy. Nếu một phát hiện thăm dò có vẻ đáng chú ý, nó trở thành giả thuyết cho nghiên cứu sau với mẫu mới, chứ không thay thế kết quả chính.
Điều cần tránh là để kết quả thăm dò lấn át kết quả chính trong tóm tắt và kết luận. Người đọc lướt qua tóm tắt rất dễ hiểu nhầm rằng nghiên cứu đã chứng minh được điều chỉ mới được gợi ý.
Trao đổi với người hướng dẫn
Nhiều học viên ngại báo kết quả không như ý với người hướng dẫn, và chính sự ngại đó đôi khi dẫn đến những quyết định không nên. Trao đổi sớm và cụ thể giúp bạn có hướng đi rõ ràng.
- Chuẩn bị bảng kết quả theo kế hoạch phân tích, kèm cỡ hiệu ứng và khoảng tin cậy.
- Liệt kê những gì bạn đã rà lại và kết quả rà soát.
- Nêu những phân tích bổ sung bạn định làm, nói rõ là thăm dò.
- Hỏi người hướng dẫn về cách trình bày và những điểm cần nhấn trong bàn luận.
- Ghi lại các quyết định đã thống nhất để làm căn cứ khi viết và khi trả lời hội đồng.
Người hướng dẫn có kinh nghiệm đã thấy rất nhiều luận văn có kết quả không như dự đoán. Họ có thể giúp bạn thấy giá trị của kết quả mà bạn chưa thấy, và giúp tránh những chỉnh sửa có thể gây rắc rối về sau.
Câu hỏi thường gặp
Có nên dùng cụm "gần có ý nghĩa" cho p = 0,06 không?
Nên tránh. Cụm này ngầm cho rằng kết quả đang "cố gắng" đạt ngưỡng, trong khi giá trị p không vận hành như vậy. Cách tốt hơn là báo chính xác giá trị p, ước lượng và khoảng tin cậy, rồi diễn giải dựa trên toàn bộ thông tin đó thay vì gắn nhãn.
Kết quả ngược chiều với giả thuyết thì có phải sai ở đâu đó không?
Không nhất thiết. Kết quả ngược chiều có thể do ngẫu nhiên, do bối cảnh khác biệt, hoặc do lý thuyết cần điều chỉnh. Nên rà lỗi mã hoá, đặc biệt câu đảo chiều và mã nhóm, nhưng nếu không tìm thấy lỗi thì kết quả ngược chiều là kết quả cần báo và bàn luận.
Có được đổi đề tài khi kết quả không như mong muốn không?
Việc đổi đề tài phụ thuộc quy chế của cơ sở đào tạo và thường cần thủ tục chính thức. Trong phần lớn trường hợp, không cần đổi: một kết quả không như dự đoán vẫn đủ làm luận văn tốt. Trao đổi với người hướng dẫn trước khi cân nhắc phương án này.
Kiểm định tương đương có khó làm không?
Về nguyên lý khá đơn giản: định trước một biên mà hiệu ứng nhỏ hơn biên đó được coi là không đáng kể, rồi kiểm định xem hiệu ứng có nằm trong biên không. Một số phần mềm thống kê có sẵn mô-đun hoặc gói cho TOST. Điều khó nhất là lập luận chọn biên tương đương trước khi xem dữ liệu.
Có nên báo kết quả không có ý nghĩa trong phần tóm tắt không?
Có. Tóm tắt phải phản ánh trung thực kết quả chính. Một câu như "giả thuyết về ảnh hưởng của X lên Y không được ủng hộ" là thông tin quan trọng cho người đọc. Bỏ nó khỏi tóm tắt làm người đọc hiểu sai về những gì luận văn tìm thấy.
Làm sao để lần sau tránh rơi vào tình huống mơ hồ này?
Tính cỡ mẫu dựa trên cỡ hiệu ứng nhỏ nhất có ý nghĩa thực tiễn, viết kế hoạch phân tích trước khi thu số liệu, và quyết định trước cách diễn giải nếu kết quả không có ý nghĩa. Khi đã có những thứ này, mọi kết quả đều diễn giải được rõ ràng.