GiaThuyet.comGiả Thuyết
Kiểm định t

Kiểm định tương đương TOST: khi muốn chứng minh hai nhóm gần như nhau

Không bác bỏ H0 chưa chứng minh hai nhóm như nhau. Kiểm định tương đương TOST dùng hai kiểm định t một phía với biên đặt trước; ví dụ tính tay và cách báo cáo.

Two university lecture halls in Hanoi side by side, one with students attending in person, the other with a teacher recording a lesson for online learners, empty screens, wide symmetrical shot

Muốn chứng minh hai nhóm "như nhau", bạn không thể dựa vào một kiểm định t không có ý nghĩa; bạn cần kiểm định tương đương, phổ biến nhất là TOST (hai kiểm định một phía). Trước khi thu dữ liệu, bạn đặt một biên tương đương, ví dụ chênh lệch nằm trong khoảng ±0,5 điểm là không đáng kể. TOST kết luận tương đương khi chênh lệch thật vừa có ý nghĩa lớn hơn biên dưới vừa có ý nghĩa nhỏ hơn biên trên, tương ứng với khoảng tin cậy 90% của chênh lệch nằm trọn trong biên.

Bài này giải thích vì sao cần đảo ngược giả thuyết, cách chọn biên, tính tay một ví dụ giả định so sánh học trực tiếp và học trực tuyến, bốn kết quả có thể xảy ra khi đặt kiểm định thông thường cạnh TOST, và cách chạy, báo cáo trên phần mềm.

Vì sao "không có ý nghĩa" không phải là "như nhau"

Kiểm định t thông thường đặt H0 là chênh lệch bằng 0. Khi p lớn, bạn không bác bỏ H0, nhưng điều đó chỉ có nghĩa là dữ liệu chưa đủ để nói hai nhóm khác nhau. Nguyên nhân có thể là hai nhóm thật sự gần như nhau, cũng có thể là mẫu quá nhỏ, đo quá nhiễu, lực kiểm định quá thấp. Kiểm định thông thường không phân biệt được hai tình huống đó.

Hệ quả là một nghiên cứu càng làm cẩu thả, mẫu càng nhỏ, càng dễ "chứng minh" hai nhóm như nhau theo cách đọc sai này. Đó là lý do người ta cần một khuôn khổ khác, trong đó gánh nặng chứng minh nằm ở phía tương đương: muốn nói như nhau thì dữ liệu phải đủ mạnh để loại trừ những chênh lệch đáng kể.

Nhu cầu này rất thật: chứng minh phương pháp dạy trực tuyến không kém trực tiếp, một quy trình rút gọn cho kết quả tương đương quy trình đầy đủ, hai phiên bản bảng hỏi (giấy và điện tử) cho điểm tương đương, một thiết bị đo rẻ tiền đo gần giống thiết bị chuẩn. Ngành dược dùng khuôn khổ này từ lâu trong đánh giá tương đương sinh học của thuốc generic; thủ tục TOST thường được gắn với tên Donald Schuirmann (1987), và được phổ biến rộng trong khoa học xã hội những năm gần đây, trong đó có các bài hướng dẫn của Daniël Lakens.

Chọn biên tương đương: phần khó nhất và phải làm trước

Biên là chênh lệch nhỏ nhất có ý nghĩa thực tiễn. Câu hỏi đặt ra: chênh lệch bao nhiêu thì người trong nghề coi là không đáng bận tâm? Với điểm thi thang 10, có thể là 0,5 điểm vì dưới mức đó hiếm khi làm đổi xếp loại. Với thời gian xử lý hồ sơ, có thể là 1 ngày. Đây là phán đoán chuyên môn, không phải phép tính thống kê.

Đặt biên trước khi nhìn dữ liệu. Biên chọn sau khi thấy kết quả có thể bị nới rộng vừa đủ để khoảng tin cậy lọt vào. Ghi biên vào đề cương, kế hoạch phân tích hoặc đăng ký trước nếu có thể, kèm lý do.

Dựa vào căn cứ có thể trích dẫn. Có thể dựa vào quy định ngành, mức sai số chấp nhận của dụng cụ đo, ý kiến chuyên gia, hoặc mức chênh lệch được coi là có ý nghĩa lâm sàng, sư phạm trong tài liệu. Trong đánh giá tương đương sinh học, cơ quan quản lý dược thường dùng khoảng 80% đến 125% cho tỷ số trung bình nhân, với khoảng tin cậy 90%; các lĩnh vực khác cần tự xác lập.

Tránh biên theo quy ước cỡ hiệu ứng một cách máy móc. Một số nghiên cứu dùng biên kiểu ±0,3 hay ±0,5 độ lệch chuẩn khi thiếu căn cứ khác. Cách này chấp nhận được như phương án cuối nhưng cần giải thích, vì cùng một cỡ hiệu ứng có thể rất quan trọng ở lĩnh vực này và không đáng kể ở lĩnh vực khác.

Biên có thể không đối xứng. Nếu chỉ lo một chiều, ví dụ phương pháp mới không được kém hơn quá 0,5 điểm còn tốt hơn bao nhiêu cũng được, thì đó là kiểm định không kém hơn, chỉ dùng một trong hai kiểm định một phía.

Logic của TOST: hai kiểm định một phía

Gọi Δ là chênh lệch thật giữa hai nhóm, biên tương đương là từ −B đến +B. TOST tách câu hỏi "Δ có nằm trong biên không" thành hai giả thuyết không, mỗi cái nói Δ nằm ở ngoài một phía.

Kiểm địnhGiả thuyết khôngGiả thuyết đốiThống kê t
Thứ nhấtΔ nhỏ hơn hoặc bằng −BΔ lớn hơn −B(chênh lệch quan sát + B) / SE
Thứ haiΔ lớn hơn hoặc bằng +BΔ nhỏ hơn +B(chênh lệch quan sát − B) / SE
Kết luận tương đươngBác bỏ cả hai giả thuyết không ở mức αΔ nằm trong khoảng từ −B đến +BGiá trị p của TOST là giá trị lớn hơn trong hai p một phía

Vì mỗi kiểm định là một phía ở mức α = 0,05, kết luận của TOST tương ứng với việc khoảng tin cậy 1 − 2α, tức 90%, của chênh lệch nằm trọn trong biên. Đây là lý do khoảng tin cậy 90% chứ không phải 95% xuất hiện trong các báo cáo tương đương; cách làm này vẫn giữ tỷ lệ sai lầm kết luận tương đương sai ở mức tối đa 5%.

Sai số chuẩn SE và bậc tự do lấy y như kiểm định t thông thường tương ứng (Student, Welch hay mẫu cặp). Bạn có thể làm TOST bằng tay chỉ với các con số trong bảng kết quả của kiểm định t.

Ví dụ giả định: học trực tiếp và học trực tuyến

Ví dụ giả định: một khoa muốn chứng minh lớp học phần trực tuyến cho kết quả tương đương lớp trực tiếp. Biên đặt trước là ±0,5 điểm trên thang 10. Mỗi hình thức có 40 sinh viên; điểm trung bình lớp trực tiếp 7,10, lớp trực tuyến 7,00, độ lệch chuẩn cả hai lớp đều 0,80.

  1. Chênh lệch quan sát: 7,10 − 7,00 = 0,10 điểm.
  2. Sai số chuẩn (Student, hai nhóm cùng cỡ, cùng độ lệch chuẩn): căn bậc hai của [0,64 × (1/40 + 1/40)] = căn bậc hai của 0,032 ≈ 0,179. Bậc tự do 78.
  3. Kiểm định thứ nhất (Δ lớn hơn −0,5): t = (0,10 + 0,5) / 0,179 ≈ 3,354; p một phía xấp xỉ 0,0006.
  4. Kiểm định thứ hai (Δ nhỏ hơn +0,5): t = (0,10 − 0,5) / 0,179 ≈ −2,236; p một phía xấp xỉ 0,014.
  5. Giá trị p của TOST là giá trị lớn hơn, khoảng 0,014, nhỏ hơn 0,05: kết luận hai hình thức tương đương trong biên ±0,5 điểm.
  6. Kiểm bằng khoảng tin cậy 90%: 0,10 ± 1,665 × 0,179, tức khoảng từ −0,20 đến 0,40 điểm, nằm trọn trong từ −0,5 đến 0,5. Khớp với kết luận trên.
  7. Kiểm định t thông thường trên cùng dữ liệu: t = 0,10 / 0,179 ≈ 0,559, p ≈ 0,58; khoảng tin cậy 95% từ khoảng −0,26 đến 0,46.

Câu kết luận: chênh lệch điểm trung bình giữa hai hình thức là 0,10 điểm, khoảng tin cậy 90% từ −0,20 đến 0,40; kiểm định tương đương với biên ±0,5 điểm cho p ≈ 0,014, cho thấy hai hình thức tương đương trong phạm vi biên đã định. Kiểm định t thông thường không phát hiện khác biệt (p ≈ 0,58).

Lưu ý kết luận chỉ đúng trong phạm vi biên ±0,5 điểm và trong điều kiện của mẫu giả định. Với biên ±0,3 điểm, khoảng tin cậy 90% (cận trên 0,40) vượt biên nên không kết luận được tương đương. Đó là lý do biên phải được chọn bằng chuyên môn và công bố rõ.

Bốn kết quả có thể khi đặt kiểm định thông thường cạnh TOST

Chạy cả hai kiểm định giúp phân biệt những tình huống mà một kiểm định đơn lẻ không phân biệt được. Bảng dưới mô tả bốn khả năng, dùng ngôn ngữ khoảng tin cậy để dễ hình dung.

Kiểm định thông thườngTOSTHình ảnh khoảng tin cậyDiễn giải
Có ý nghĩaKhông tương đươngKhông chứa 0, vượt ra ngoài biênCó khác biệt và khác biệt có thể đáng kể
Có ý nghĩaTương đươngKhông chứa 0 nhưng nằm trong biênCó khác biệt nhưng nhỏ, không đáng kể về thực tiễn; hay gặp khi mẫu rất lớn
Không có ý nghĩaTương đươngChứa 0 và nằm trong biênKhông có bằng chứng khác biệt, và đủ bằng chứng loại trừ khác biệt đáng kể
Không có ý nghĩaKhông tương đươngChứa 0 và vượt ra ngoài biênDữ liệu chưa đủ để nói gì: thiếu lực, cần thêm dữ liệu

Dòng thứ tư là tình huống hay bị viết sai thành "hai nhóm như nhau". TOST làm lộ ra rằng thực chất nghiên cứu chưa đủ thông tin. Dòng thứ hai cũng đáng chú ý: với mẫu lớn, một chênh lệch rất nhỏ có thể có ý nghĩa thống kê nhưng vẫn tương đương về thực tiễn, minh hoạ rõ khác biệt giữa ý nghĩa thống kê và ý nghĩa thực tiễn.

Thứ tự đúng là: đặt câu hỏi chính (muốn chứng minh khác biệt hay tương đương) từ đầu, chọn kiểm định tương ứng, và báo cáo kiểm định kia như thông tin bổ sung nếu hữu ích.

Cỡ mẫu cho kiểm định tương đương thường lớn hơn bạn nghĩ

Để kết luận tương đương, khoảng tin cậy 90% phải hẹp đủ để lọt vào biên. Nghĩa là sai số chuẩn phải nhỏ so với biên, và với biên chặt thì cần nhiều dữ liệu. Ví dụ mô phỏng giả định với biên ±0,5 điểm, độ lệch chuẩn 0,8, chênh lệch thật bằng 0 và α = 0,05: xác suất TOST kết luận được tương đương khoảng 23% khi mỗi nhóm 20 người, khoảng 74% khi mỗi nhóm 40 người, khoảng 92% khi mỗi nhóm 60 người. Nếu chênh lệch thật không bằng 0 mà nằm gần biên, cần nhiều hơn nữa.

Vì vậy, một nghiên cứu nhỏ định "chứng minh không khác biệt" thường không đủ lực cho mục tiêu đó. Tính cỡ mẫu cho TOST cần ba thông tin: biên tương đương, độ lệch chuẩn dự kiến và chênh lệch thật dự kiến (thường là 0 hoặc một giá trị nhỏ). Các phần mềm tính lực mẫu và một số gói chuyên dụng có chức năng này.

Nếu không đủ nguồn lực cho cỡ mẫu cần thiết, cách trung thực là đặt mục tiêu khiêm tốn hơn: ước lượng chênh lệch với khoảng tin cậy và để người đọc tự đánh giá, thay vì tuyên bố tương đương khi dữ liệu chưa cho phép.

Chạy TOST trên phần mềm và báo cáo

Các phần mềm phổ thông không phải lúc nào cũng có nút TOST riêng, nhưng bạn luôn tự làm được từ khoảng tin cậy. Tên mô-đun, gói có thể thay đổi theo phiên bản, hãy kiểm tài liệu của bản bạn dùng.

  • Cách thủ công dùng được ở mọi phần mềm: chạy kiểm định t thông thường với mức khoảng tin cậy đặt là 90%, rồi xem khoảng đó có nằm trọn trong biên không. SPSS cho phép đổi mức khoảng tin cậy trong tuỳ chọn của kiểm định t.
  • Tính hai giá trị p một phía bằng tay: lấy chênh lệch cộng và trừ biên, chia cho sai số chuẩn trong bảng kết quả, rồi dùng hàm phân phối t với cùng bậc tự do.
  • R: có các gói chuyên cho kiểm định tương đương, trong đó gói TOSTER khá phổ biến; cũng có thể gọi t.test hai lần với đối số mu bằng −B và +B cùng đối số alternative thích hợp.
  • JASP có mô-đun kiểm định t tương đương; Jamovi có mô-đun cài thêm cho TOST. Kiểm phiên bản và cách bật mô-đun trong bản bạn dùng.
  • Khi báo cáo: nêu biên tương đương và căn cứ chọn biên, loại kiểm định t nền (Student, Welch hay mẫu cặp), chênh lệch quan sát, khoảng tin cậy 90%, hai giá trị t và p một phía hoặc giá trị p của TOST, và kết luận trong phạm vi biên.
  • Không đổi biên sau khi thấy kết quả. Nếu cần bàn về biên khác, trình bày như phân tích độ nhạy, nói rõ đó là phân tích sau.

Kiểm định tương đương không thay thế việc suy nghĩ về thiết kế: hai nhóm không được phân ngẫu nhiên vẫn có thể khác nhau ở nhiều đặc điểm khác, và "tương đương về điểm trung bình" không có nghĩa tương đương về mọi mặt, như mức độ hài lòng, tỷ lệ bỏ học hay độ phân tán kết quả.

Câu hỏi thường gặp

Kiểm định tương đương khác kiểm định không kém hơn ở điểm nào?

Kiểm định tương đương kiểm tra cả hai phía: chênh lệch phải nằm trong khoảng từ biên dưới tới biên trên. Kiểm định không kém hơn chỉ kiểm tra một phía, ví dụ phương pháp mới không được kém hơn quá một mức cho trước, còn tốt hơn bao nhiêu cũng được. Về tính toán, kiểm định không kém hơn chính là một trong hai kiểm định một phía của TOST.

Vì sao TOST dùng khoảng tin cậy 90% chứ không phải 95%?

Vì TOST gồm hai kiểm định một phía, mỗi cái ở mức 5%. Việc khoảng tin cậy 90% nằm trọn trong biên tương đương đúng với việc bác bỏ cả hai giả thuyết không ở mức 5% một phía. Tỷ lệ kết luận sai rằng hai nhóm tương đương vẫn được giữ ở mức tối đa 5%.

Có thể dùng TOST sau khi kiểm định t thông thường không có ý nghĩa không?

Về kỹ thuật thì làm được, nhưng biên tương đương phải là biên đã định từ trước, không được chọn sau khi thấy dữ liệu. Nếu nghiên cứu ban đầu không đặt mục tiêu chứng minh tương đương, kết quả TOST nên được trình bày như phân tích bổ sung, kèm lưu ý về tính thăm dò.

Biên tương đương nên lớn hay nhỏ?

Biên càng nhỏ thì kết luận tương đương càng có giá trị nhưng càng cần nhiều dữ liệu; biên càng lớn thì dễ đạt nhưng kết luận càng yếu. Biên nên phản ánh chênh lệch nhỏ nhất có ý nghĩa thực tiễn trong lĩnh vực, được giải thích bằng căn cứ chuyên môn, không chọn theo khả năng đạt được.

TOST có áp dụng cho dữ liệu trước – sau không?

Có. Khi đó dùng sai số chuẩn và bậc tự do của kiểm định t mẫu cặp trên cột hiệu số, rồi làm hai kiểm định một phía với biên đặt trước. Ví dụ để chứng minh một quy trình rút gọn cho kết quả đo tương đương quy trình đầy đủ trên cùng mẫu vật.

Kết quả không tương đương có nghĩa là hai nhóm khác nhau không?

Không. TOST không đạt chỉ có nghĩa là dữ liệu chưa đủ để loại trừ chênh lệch vượt biên. Hai nhóm có thể khác nhau thật, cũng có thể chỉ là mẫu chưa đủ lớn. Muốn kết luận khác nhau, bạn dựa vào kiểm định thông thường và khoảng tin cậy.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138