Kế hoạch phân tích số liệu viết trước là một văn bản ngắn, hoàn thành trước khi thu dữ liệu, ghi rõ bạn sẽ kiểm định giả thuyết nào, bằng phép kiểm nào, với cỡ mẫu bao nhiêu và xử lý các tình huống như thiếu dữ liệu, ngoại lai ra sao. Mục đích là khoá các quyết định phân tích lại trước khi biết kết quả, để không ai, kể cả chính bạn, có thể vô tình chọn đường đi theo hướng có lợi cho giả thuyết.
Trong nghiên cứu y học, đăng ký thử nghiệm lâm sàng trước khi tuyển bệnh nhân đã thành yêu cầu phổ biến của nhiều tạp chí. Ở các ngành tâm lý, giáo dục, kinh tế, việc đăng ký trước trên các nền tảng mở ngày càng được khuyến khích. Với luận văn, bạn không bắt buộc phải đăng ký công khai, nhưng một kế hoạch ghi ngày, gửi người hướng dẫn trước khi thu số liệu, mang lại gần như toàn bộ lợi ích. Bài này đưa ra khung mười mục và cách dùng nó.
Kế hoạch viết trước giải quyết vấn đề gì
Từ một bộ dữ liệu, có rất nhiều cách phân tích hợp lý: loại hay giữ phiếu trả lời quá nhanh, dùng điểm trung bình hay tổng điểm, có đưa biến kiểm soát vào không, dùng t-test hay Mann-Whitney, phân tích toàn mẫu hay tách theo giới. Mỗi lựa chọn đều có thể biện minh được. Nhà thống kê Andrew Gelman và Eric Loken gọi tình trạng này là "khu vườn những lối rẽ": ngay cả khi bạn chỉ chạy một phân tích, nếu các lựa chọn được đưa ra sau khi nhìn dữ liệu thì về bản chất bạn đã chọn một lối trong nhiều lối, và giá trị p không còn giữ được ý nghĩa danh nghĩa.
Một kế hoạch viết trước chặn vấn đề này bằng cách chọn sẵn lối đi khi chưa ai biết lối nào dẫn đến kết quả đẹp. Nó không cấm phân tích khác; nó chỉ phân biệt rõ đâu là phân tích xác nhận đã định, đâu là phân tích thăm dò làm thêm. Nhờ vậy người đọc biết mức tin cậy của từng kết quả.
Lợi ích thực tế không kém: kế hoạch buộc bạn nghĩ kỹ thiết kế trước khi phát phiếu. Rất nhiều học viên chỉ phát hiện ra lúc phân tích rằng biến cần thiết không được hỏi, thang đo không phù hợp với phép kiểm định, hay cỡ mẫu mỗi nhóm quá nhỏ. Viết kế hoạch trước là lúc rẻ nhất để sửa những lỗi đó.
Khung mười mục cho một kế hoạch phân tích
Khung dưới đây đủ cho phần lớn luận văn định lượng. Mỗi mục chỉ cần vài câu; tổng cộng thường hai đến bốn trang. Cột bên phải là ví dụ giả định cho một nghiên cứu so sánh điểm tự học giữa sinh viên năm nhất và năm cuối.
| Mục | Nội dung cần ghi | Ví dụ giả định |
|---|---|---|
| 1. Câu hỏi và giả thuyết | Từng giả thuyết, chiều dự đoán, một hay hai phía | Sinh viên năm cuối có điểm tự học trung bình cao hơn năm nhất; kiểm định hai phía |
| 2. Thiết kế | Cắt ngang, thực nghiệm, trước – sau; nhóm so sánh | Khảo sát cắt ngang, hai nhóm độc lập |
| 3. Biến và cách đo | Biến phụ thuộc, biến độc lập, thang đo, cách tính điểm | Điểm tự học là trung bình mười câu thang 5 mức |
| 4. Cỡ mẫu | Con số và cách tính hoặc lý do | 64 người mỗi nhóm, đủ lực mẫu 80% cho cỡ hiệu ứng d = 0,5 ở alpha 0,05 |
| 5. Quy tắc dừng thu | Khi nào đóng việc thu | Đóng khi đủ 64 phiếu hợp lệ mỗi nhóm hoặc hết tháng thứ hai |
| 6. Tiêu chí loại mẫu | Phiếu không hợp lệ là phiếu nào | Bỏ trống quá 20% câu, hoặc chọn cùng một mức cho mọi câu |
| 7. Phép kiểm chính | Phép kiểm cho từng giả thuyết, mức alpha | t-test Welch hai mẫu độc lập, alpha 0,05 |
| 8. Kiểm tra giả định và phương án thay thế | Kiểm gì, nếu vi phạm thì làm gì | Xem biểu đồ phân phối; lệch nặng thì báo thêm Mann-Whitney |
| 9. Dữ liệu thiếu và ngoại lai | Quy tắc xử lý cụ thể | Phân tích trên phiếu đủ dữ liệu; ngoại lai được giữ, báo phân tích độ nhạy |
| 10. Hiệu chỉnh và phân tích phụ | Có hiệu chỉnh không; phân tích thăm dò dự kiến | Một giả thuyết chính nên không hiệu chỉnh; so theo giới là thăm dò |
Con số 64 người mỗi nhóm trong ví dụ là kết quả phân tích lực mẫu quen thuộc cho t-test hai mẫu với d = 0,5, lực mẫu 80%, alpha 0,05 hai phía. Bạn nên tự tính lại bằng phần mềm cho đúng thiết kế và cỡ hiệu ứng của mình.
Những chỗ kế hoạch hay viết quá chung
"Sẽ dùng các kiểm định phù hợp." Câu này không khoá được gì. Kế hoạch tốt nêu đích danh phép kiểm cho từng giả thuyết, và nêu luôn phương án thay thế nếu giả định bị vi phạm, kèm tiêu chí để quyết định.
"Làm sạch dữ liệu trước khi phân tích." Làm sạch là nơi có nhiều lối rẽ nhất. Cần ghi cụ thể: phiếu thế nào thì loại, giá trị nào coi là lỗi nhập, ngoại lai xác định theo quy tắc gì và xử lý ra sao.
"Cỡ mẫu khoảng 200 người." Cần nói con số đến từ đâu và quy tắc dừng thu là gì. Nếu con số dựa trên ràng buộc thực tế chứ không phải phân tích lực mẫu, ghi thẳng như vậy và tính xem với cỡ mẫu đó bạn phát hiện được cỡ hiệu ứng nhỏ nhất bao nhiêu.
Không nêu chiều dự đoán. Giả thuyết "có khác biệt" khác với "nhóm A cao hơn nhóm B". Nếu định dùng kiểm định một phía, chiều phải được ghi trước, nếu không thì mặc định hai phía.
Không nhắc đến biến kiểm soát. Đưa hay không đưa biến kiểm soát có thể làm thay đổi kết quả. Kế hoạch nên liệt kê biến kiểm soát nào sẽ dùng và lý do lý thuyết, để không phải chọn sau khi xem cái nào giúp kết quả có ý nghĩa.
Dùng kế hoạch trong thực tế: từ lúc viết đến lúc nộp
Kế hoạch chỉ có tác dụng khi nó tồn tại trước dữ liệu và được dùng làm khung khi viết kết quả. Trình tự gợi ý như sau.
- Viết kế hoạch sau khi đề cương được duyệt và bảng hỏi đã hoàn thiện, trước khi phát phiếu chính thức.
- Gửi kế hoạch cho người hướng dẫn qua email để có dấu thời gian; nếu muốn, đăng ký trên một nền tảng đăng ký trước nghiên cứu, có thể để chế độ riêng tư đến khi bảo vệ xong.
- Trong quá trình thu, chỉ xem dữ liệu để kiểm chất lượng, không chạy phép kiểm chính.
- Khi đã đóng việc thu, làm sạch đúng theo tiêu chí đã ghi, rồi chạy các phép kiểm chính theo đúng thứ tự trong kế hoạch.
- Ghi lại mọi chỗ phải làm khác kế hoạch, kèm lý do và thời điểm phát hiện.
- Chạy các phân tích thăm dò sau cùng, trình bày ở mục riêng.
- Khi viết chương phương pháp, nói rõ có kế hoạch phân tích từ trước và tóm tắt các điểm chính; đính kèm toàn văn ở phụ lục nếu quy định của trường cho phép.
Thói quen chạy phép kiểm chính chỉ một lần, sau khi dữ liệu đã đóng, là điều giúp kế hoạch có giá trị. Nếu bạn đã lỡ chạy thử trên dữ liệu chưa đủ, cần ghi lại điều đó trong phần làm khác kế hoạch.
Khi buộc phải làm khác kế hoạch
Làm khác kế hoạch là chuyện rất thường gặp và không phải thất bại. Một câu hỏi bị nhiều người hiểu sai phải loại khỏi thang đo, tỷ lệ phản hồi thấp khiến cỡ mẫu không đạt, phân phối lệch nặng hơn dự kiến khiến phương án thay thế phải dùng. Điều quan trọng là thay đổi được ghi lại và báo cáo, không phải là kế hoạch được giữ nguyên bằng mọi giá.
Cách báo cáo gọn nhất là một bảng nhỏ trong chương phương pháp hoặc phụ lục: nội dung theo kế hoạch, điều đã làm thực tế, lý do, và quyết định này được đưa ra trước hay sau khi xem kết quả kiểm định chính. Cột cuối là cột quan trọng nhất, vì nó cho người đọc biết thay đổi có thể bị ảnh hưởng bởi kết quả hay không.
Nếu thay đổi có thể làm thay đổi kết luận, nên báo cả hai: kết quả theo kế hoạch ban đầu và kết quả theo cách đã làm. Ví dụ giả định: kế hoạch dùng t-test Welch nhưng phân phối lệch nặng nên chuyển sang Mann-Whitney; báo cả hai kết quả và nói rõ hai phép kiểm cho kết luận giống hay khác nhau. Sự minh bạch này thường được hội đồng nhìn nhận là dấu hiệu của người làm nghiên cứu nghiêm túc.
Kế hoạch viết trước không làm được gì
Để tránh kỳ vọng sai, cần biết rõ giới hạn của công cụ này. Kế hoạch là điều kiện cần cho một phân tích xác nhận đáng tin, không phải điều kiện đủ.
- Không cứu được một thiết kế yếu. Kế hoạch tốt cho một mẫu thuận tiện không đại diện vẫn cho kết quả khó khái quát.
- Không bảo đảm đo lường tốt. Nếu thang đo không đo đúng khái niệm, khoá phép kiểm trước cũng không làm kết quả có nghĩa hơn.
- Không thay thế được sự trung thực khi thực hiện. Một kế hoạch được viết rồi bị lờ đi, hoặc được viết lại sau khi có dữ liệu, còn tệ hơn không có vì tạo ra cảm giác tin cậy giả.
- Không cấm khám phá. Phân tích thăm dò vẫn có giá trị, chỉ cần được gọi đúng tên và không dùng làm kết luận xác nhận.
- Không cần dài. Một kế hoạch ba trang đủ cụ thể có ích hơn một văn bản hai mươi trang chung chung.
Với luận văn đầu tiên, nhiều học viên thấy việc viết kế hoạch là gánh thêm. Thực tế, phần lớn nội dung của nó sẽ được dùng lại gần như nguyên văn cho chương phương pháp, nên công sức không mất đi.
Câu hỏi thường gặp
Kế hoạch phân tích khác đề cương luận văn như thế nào?
Đề cương trình bày lý do nghiên cứu, tổng quan, mục tiêu và phương pháp chung. Kế hoạch phân tích đi sâu vào phần xử lý số liệu ở mức cụ thể đến từng phép kiểm, tiêu chí loại mẫu và quy tắc xử lý tình huống. Nhiều trường hợp có thể đưa kế hoạch vào làm một mục chi tiết trong đề cương.
Có bắt buộc đăng ký công khai kế hoạch không?
Với luận văn thì thường không bắt buộc, trừ khi là thử nghiệm can thiệp trên người cần đăng ký theo quy định của cơ quan hoặc hội đồng đạo đức. Gửi kế hoạch có ngày tháng cho người hướng dẫn đã đủ tạo bằng chứng. Nếu định công bố bài báo sau này, đăng ký trên nền tảng mở sẽ có lợi hơn.
Đã thu xong số liệu rồi thì viết kế hoạch còn ý nghĩa không?
Vẫn có, nếu bạn chưa chạy phân tích. Viết kế hoạch trước khi mở dữ liệu ra phân tích vẫn khoá được các lựa chọn. Bạn cần ghi rõ thời điểm viết và cam kết chưa xem kết quả. Nếu đã chạy rồi, kế hoạch viết sau không còn giá trị xác nhận, nên chỉ dùng như hướng dẫn trình bày.
Nếu kết quả theo kế hoạch không có ý nghĩa thì có được phân tích thêm không?
Được, nhưng phân tích thêm là thăm dò và phải được trình bày như vậy. Kết quả chính của luận văn vẫn là kết quả theo kế hoạch, kể cả khi không có ý nghĩa. Bàn luận nên dựa trên cỡ hiệu ứng, khoảng tin cậy và lực mẫu, không chỉ dựa trên giá trị p.
Nghiên cứu định tính có cần kế hoạch phân tích viết trước không?
Không theo cùng nghĩa, vì nghiên cứu định tính không kiểm định giả thuyết thống kê. Tuy vậy, ghi trước cách chọn người tham gia, khung mã hoá ban đầu và tiêu chí bão hoà vẫn giúp tăng độ minh bạch. Phần định lượng trong nghiên cứu hỗn hợp thì nên có kế hoạch đầy đủ.
Kế hoạch có cần ghi phần mềm và phiên bản không?
Nên ghi, vì các phần mềm có thể dùng thuật toán hoặc mặc định khác nhau cho cùng một phép kiểm, chẳng hạn cách tính tứ phân vị hay hiệu chỉnh liên tục. Ghi tên phần mềm, phiên bản và các tuỳ chọn chính giúp người khác chạy lại và thu được cùng kết quả.