Luận văn ngành giáo dục thường kết thúc bằng một chương thực nghiệm sư phạm: dạy lớp thực nghiệm theo cách mới, lớp đối chứng theo cách cũ, rồi so điểm bài kiểm tra. Phần so điểm hay được làm vội: chạy một t-test, thấy p nhỏ là kết luận phương pháp mới hiệu quả. Hội đồng có kinh nghiệm thường hỏi lại ba chuyện: hai lớp có tương đương từ đầu không, đơn vị phân tích là học sinh hay là lớp, và chênh lệch lớn cỡ nào.
Bài này đi qua một ví dụ giả định với số liệu cụ thể, kết quả lại rơi đúng vào tình huống khó nói nhất: chênh lệch có vẻ đáng kể nhưng giá trị p lớn hơn 0,05. Qua đó bạn sẽ thấy cách viết kết luận trung thực, và cách thiết kế để lần sau không bị hỏi khó.
Thiết kế thực nghiệm sư phạm điển hình và chỗ yếu của nó
Thiết kế quen thuộc nhất trong luận văn sư phạm là chọn hai lớp có sẵn ở cùng một trường, cùng khối, cùng số tiết. Một lớp học theo phương pháp mới, ví dụ dạy học theo dự án hay dùng phiếu học tập có phân hoá, lớp còn lại học như thường lệ. Trước thực nghiệm làm một bài kiểm tra đầu vào, sau thực nghiệm làm một bài kiểm tra đầu ra có cùng ma trận đề cho cả hai lớp.
Trong ngôn ngữ phương pháp nghiên cứu, đây là thiết kế bán thực nghiệm có nhóm đối chứng không tương đương. Chữ “không tương đương” là chìa khoá: học sinh không được phân ngẫu nhiên vào hai lớp, mà lớp đã hình thành từ trước theo khu vực, theo nguyện vọng, có khi theo kết quả tuyển sinh. Vì vậy mọi chênh lệch sau thực nghiệm có thể đến từ phương pháp, nhưng cũng có thể đến từ sẵn có khác biệt giữa hai lớp, từ giáo viên dạy, hay từ giờ học buổi sáng và buổi chiều.
Điều đó không làm thiết kế vô giá trị. Trường học hiếm khi cho phép xáo trộn lớp, và bán thực nghiệm là lựa chọn thực tế. Nhưng nó quyết định cách bạn viết kết luận: thận trọng, nêu rõ giới hạn, và dùng thêm thông tin như điểm đầu vào để thuyết phục người đọc rằng hai lớp đủ gần nhau. Phần dưới dùng ví dụ giả định: lớp thực nghiệm 40 học sinh, lớp đối chứng 38 học sinh, môn Toán lớp 10, thang điểm 10.
Bước 1: kiểm tra hai lớp tương đương ở đầu vào
Trước hết so điểm bài kiểm tra đầu vào. Số liệu dưới đây là giả định, tính theo trung bình và độ lệch chuẩn của từng lớp.
| Lớp | Số học sinh | Điểm đầu vào trung bình | Độ lệch chuẩn |
|---|---|---|---|
| Thực nghiệm | 40 | 6,1 | 1,5 |
| Đối chứng | 38 | 6,0 | 1,6 |
Kiểm định t hai mẫu độc lập trên điểm đầu vào cho t ≈ 0,28 với 76 bậc tự do, p ≈ 0,78. Nhiều luận văn dừng ở đây và viết “hai lớp tương đương”. Cách viết đó không chính xác: không bác bỏ H0 không có nghĩa là chấp nhận H0. Giá trị p lớn chỉ nói rằng số liệu không cho bằng chứng hai lớp khác nhau, chứ không chứng minh chúng giống nhau.
Cách thuyết phục hơn là nhìn vào độ lớn: chênh lệch đầu vào 0,1 điểm, chưa bằng một phần mười độ lệch chuẩn, nhỏ so với bất kỳ chênh lệch nào có ý nghĩa sư phạm. Nếu muốn chứng minh tương đương một cách chặt chẽ, có kiểm định tương đương (hai kiểm định một phía) với một biên tương đương đặt trước, nhưng ở mức luận văn thạc sĩ, báo cáo chênh lệch kèm khoảng tin cậy và độ lệch chuẩn hoá thường đã đủ.
Bước 2: kiểm định t trên điểm sau thực nghiệm, tính tay
Điểm đầu ra giả định: lớp thực nghiệm trung bình 7,2, độ lệch chuẩn 1,4; lớp đối chứng trung bình 6,6, độ lệch chuẩn 1,5. Các bước tính kiểm định t hai mẫu độc lập với phương sai gộp:
- Đặt giả thuyết: H0 là trung bình điểm đầu ra của tổng thể hai cách dạy bằng nhau; H1 là khác nhau (hai phía). Mức ý nghĩa 0,05, ghi trong đề cương từ trước.
- Tính độ lệch chuẩn gộp: căn của {[(40 − 1) × 1,4² + (38 − 1) × 1,5²] / (40 + 38 − 2)} = căn của [(76,44 + 83,25) / 76] ≈ 1,45.
- Tính sai số chuẩn của hiệu hai trung bình: 1,45 × căn của (1/40 + 1/38) ≈ 0,328.
- Tính thống kê t: (7,2 − 6,6) / 0,328 ≈ 1,83, với 76 bậc tự do.
- Tra giá trị p hai phía: p ≈ 0,072. Lớn hơn 0,05, nên không bác bỏ H0 ở mức ý nghĩa đã đặt.
- Dựng khoảng tin cậy 95% cho chênh lệch: 0,6 ± 1,99 × 0,328, tức từ khoảng −0,05 đến 1,25 điểm. Khoảng chứa số 0, khớp với kết luận ở bước trên.
Nếu chạy phiên bản Welch, không giả định phương sai bằng nhau, kết quả gần như y hệt: t ≈ 1,82, bậc tự do khoảng 74,9, p ≈ 0,072. Hai độ lệch chuẩn ở đây gần nhau nên hai cách không khác biệt; khi hai lớp có độ phân tán chênh lệch nhiều, Welch là lựa chọn an toàn hơn.
Bước 3: cỡ hiệu ứng và cách đọc một kết quả “sát ngưỡng”
Cỡ hiệu ứng Cohen d bằng chênh lệch trung bình chia độ lệch chuẩn gộp: 0,6 / 1,45 ≈ 0,41. Theo các mốc quy ước Cohen đề xuất, chỉ để tham khảo, 0,2 là nhỏ, 0,5 là vừa và 0,8 là lớn; 0,41 nằm giữa nhỏ và vừa. Trong giáo dục, nhiều nhà nghiên cứu cho rằng các mốc chung này không nên áp máy móc, vì một chênh lệch nhỏ trên diện rộng có thể vẫn đáng kể, còn chênh lệch lớn trong một lớp có thể không lặp lại.
Vậy kết luận thế nào khi d ≈ 0,41 mà p ≈ 0,072? Câu sai thường gặp thứ nhất là “phương pháp mới không có tác dụng”. Không bác bỏ H0 không chứng minh hiệu quả bằng không; khoảng tin cậy cho thấy số liệu phù hợp với chênh lệch từ gần như bằng không đến hơn một điểm. Câu sai thứ hai, ngược lại, là “kết quả gần có ý nghĩa, xu hướng cho thấy phương pháp hiệu quả”. Gọi p = 0,072 là “gần có ý nghĩa” là cách lách ngưỡng mà chính mình đã đặt.
Cách viết trung thực: điểm đầu ra của lớp thực nghiệm cao hơn lớp đối chứng 0,6 điểm, khoảng tin cậy 95% từ −0,05 đến 1,25 điểm, t(76) = 1,83, p = 0,072, d = 0,41; chênh lệch chưa đạt ý nghĩa thống kê ở mức 0,05, và với cỡ mẫu hai lớp, nghiên cứu chưa đủ chính xác để kết luận về độ lớn hiệu quả. Đó là kết quả có ích cho người đọc, không phải thất bại cần che đi.
Một điều đáng lưu ý khi làm đề cương: với d thật cỡ 0,4, mỗi nhóm cần khoảng một trăm học sinh để đạt lực mẫu 80% ở mức ý nghĩa 0,05 hai phía. Hai lớp khoảng bốn mươi em mỗi lớp vốn đã thiếu lực mẫu cho hiệu ứng cỡ này. Tính trước điều đó giúp bạn chọn thêm lớp hoặc chuẩn bị sẵn cách viết kết luận phù hợp.
Đơn vị phân tích: học sinh hay lớp học?
Học sinh trong cùng một lớp không độc lập. Các em học cùng giáo viên, cùng giờ, ảnh hưởng lẫn nhau. Kiểm định t coi bốn mươi em là bốn mươi quan sát độc lập, nên đánh giá thấp sai số chuẩn và cho giá trị p nhỏ hơn thực tế. Khi chỉ có một lớp thực nghiệm và một lớp đối chứng, hiệu quả phương pháp lẫn hoàn toàn với hiệu quả “lớp” và “giáo viên”.
Thừa nhận giới hạn trong phần bàn luận. Với hai lớp, không có kỹ thuật thống kê nào tách được hiệu quả phương pháp khỏi đặc điểm riêng của lớp. Cách đúng mực là nêu rõ giới hạn này, mô tả kỹ hai lớp, và nói rằng kết quả cần được kiểm chứng ở nhiều lớp hơn.
Thiết kế nhiều lớp nếu có điều kiện. Khi có từ bốn đến sáu lớp trở lên ở mỗi nhóm, có thể dùng mô hình đa tầng hoặc ít nhất phân tích trên trung bình lớp. Phân bổ lớp vào nhóm thực nghiệm bằng bốc thăm cũng giúp giảm nghi ngờ chọn lớp thuận lợi.
Giữ giáo viên ổn định. Nếu người làm đề tài tự dạy lớp thực nghiệm còn giáo viên khác dạy lớp đối chứng, nhiệt tình của người làm đề tài là một yếu tố gây nhiễu rõ ràng. Một người dạy cả hai lớp, hoặc hai giáo viên đổi vai ở hai cặp lớp, giảm được phần nào vấn đề này.
Dùng điểm đầu vào thông minh hơn: so chênh lệch tiến bộ hay ANCOVA
Có điểm đầu vào trong tay mà chỉ dùng nó để “chứng minh tương đương” là bỏ phí thông tin. Có ba cách thường gặp để đưa điểm đầu vào vào phân tích, mỗi cách một ưu nhược.
- So điểm đầu ra trực tiếp: đơn giản, dễ báo cáo, nhưng không tận dụng điểm đầu vào; hợp lý khi hai lớp gần như giống hệt ở đầu vào.
- So điểm tiến bộ (đầu ra trừ đầu vào) bằng t-test độc lập: dễ hiểu với giáo viên, nhưng điểm tiến bộ thường có sai số đo lớn, và chỉ hợp lý khi hai bài kiểm tra cùng thang đo, cùng độ khó.
- ANCOVA: so điểm đầu ra sau khi hiệu chỉnh theo điểm đầu vào. Thường cho ước lượng chính xác hơn khi đầu vào tương quan mạnh với đầu ra, nhưng cần kiểm giả định độ dốc hồi quy như nhau giữa hai nhóm; ở mức giới thiệu, nên nhờ người hướng dẫn kiểm cùng.
- Không chọn cách sau khi xem kết quả: chạy cả ba cách rồi báo cáo cách cho p nhỏ nhất là một dạng p-hacking. Ghi cách phân tích chính vào đề cương, các cách khác nếu có thì báo cáo là phân tích bổ sung.
Với ví dụ giả định ở trên, chênh lệch đầu vào chỉ 0,1 điểm nên ba cách sẽ không cho kết luận khác nhau nhiều. Ở những lớp chênh lệch đầu vào rõ hơn, lựa chọn này có thể đổi hẳn kết luận, nên quyết định trước là điều bắt buộc chứ không phải hình thức.
Câu hỏi thường gặp
Hai lớp có điểm đầu vào p lớn hơn 0,05 thì có được viết là tương đương không?
Không nên. Giá trị p lớn chỉ cho thấy không có bằng chứng hai lớp khác nhau, không chứng minh chúng giống nhau. Hãy báo cáo chênh lệch đầu vào kèm khoảng tin cậy và so với độ lệch chuẩn; muốn chặt chẽ hơn thì dùng kiểm định tương đương với biên đặt trước.
Kết quả p = 0,07 có được viết là gần có ý nghĩa hoặc có xu hướng không?
Không nên. Mức ý nghĩa đã đặt là 0,05 thì 0,07 là không bác bỏ H0. Hãy báo cáo đầy đủ chênh lệch, khoảng tin cậy, giá trị p chính xác và cỡ hiệu ứng, rồi bàn về lực mẫu. Người đọc tự đánh giá được, không cần những cụm từ làm mềm.
Nên dùng t-test thường hay Welch cho thực nghiệm sư phạm?
Khi hai lớp có độ lệch chuẩn gần nhau và sĩ số gần nhau, hai cách cho kết quả gần như nhau. Khi độ phân tán chênh lệch rõ hoặc sĩ số lệch nhiều, Welch an toàn hơn vì không giả định phương sai bằng nhau. Nhiều tác giả khuyên dùng Welch làm mặc định.
Chỉ có một lớp thực nghiệm và một lớp đối chứng thì có sao không?
Vẫn làm được ở mức luận văn, nhưng hiệu quả phương pháp lẫn với đặc điểm riêng của lớp và giáo viên, và học sinh trong cùng lớp không độc lập nên p có thể nhỏ hơn thực tế. Cần nêu rõ giới hạn này và đề xuất kiểm chứng ở nhiều lớp hơn.
Cỡ hiệu ứng Cohen d bằng 0,4 là nhiều hay ít trong giáo dục?
Theo mốc quy ước tham khảo của Cohen, 0,4 nằm giữa nhỏ và vừa. Nhưng mức đó có đáng kể không còn phụ thuộc bối cảnh: môn học, độ dài thực nghiệm, chi phí áp dụng, và kết quả có lặp lại ở lớp khác không. Mốc chung không thay được lập luận chuyên môn.
Có nên làm thêm phiếu hỏi ý kiến học sinh bên cạnh điểm kiểm tra không?
Nên, nếu được thiết kế cẩn thận, vì nó cho thêm góc nhìn về hứng thú và mức độ tham gia. Nhưng kết quả phiếu hỏi là dữ liệu khác loại, cần phân tích riêng và không dùng để thay cho kết luận về điểm số khi điểm số không có ý nghĩa thống kê.