GiaThuyet.comGiả Thuyết
Cỡ hiệu ứng, lực mẫu và khoảng tin cậy

Ý nghĩa thống kê và ý nghĩa thực tiễn: khi nào một khác biệt đáng để quan tâm

Có ý nghĩa thống kê chưa chắc đáng quan tâm. Cách đặt ngưỡng khác biệt nhỏ nhất có ý nghĩa, đọc khoảng tin cậy cạnh ngưỡng đó và kiểm định tương đương.

Two researchers seen from behind at a long table in a Da Nang meeting room, comparing two stacks of blank survey forms of different heights, low angle, amber evening light

Ý nghĩa thống kê trả lời câu hỏi "kết quả này có dễ xuất hiện do ngẫu nhiên nếu thật ra không có khác biệt hay không", còn ý nghĩa thực tiễn trả lời "khác biệt này có đủ lớn để thay đổi một quyết định hay không". Hai câu hỏi độc lập nhau: mẫu rất lớn có thể làm một khác biệt vụn vặt đạt p < 0,05, và mẫu nhỏ có thể khiến một khác biệt đáng kể không đạt.

Bài này đưa ra hai ví dụ giả định đặt cạnh nhau để thấy rõ hai chiều lệch, rồi chỉ cách đặt trước một ngưỡng khác biệt nhỏ nhất còn có ý nghĩa, đọc khoảng tin cậy so với ngưỡng đó, và dùng kiểm định tương đương khi mục tiêu là chứng minh hai cách làm "không khác nhau đáng kể".

Một chữ "ý nghĩa", hai câu hỏi khác nhau

Chữ "significant" trong tiếng Anh thống kê được dịch là "có ý nghĩa", và cái tên này gây hiểu lầm bền bỉ nhất của môn học. Khi phần mềm báo Sig. = 0,003, nó chỉ nói rằng nếu giả thuyết không đúng thì dữ liệu chênh lệch cỡ này hoặc hơn rất hiếm gặp. Nó không nói khác biệt lớn, không nói khác biệt quan trọng, và cũng không nói xác suất giả thuyết không đúng là 0,3%.

Ý nghĩa thực tiễn (còn gọi là ý nghĩa lâm sàng trong y khoa, ý nghĩa kinh tế trong kinh tế học, ý nghĩa sư phạm trong giáo dục) là phán đoán dựa trên chuyên môn: khác biệt 0,3 điểm trên thang 10 có khiến nhà trường đổi giáo trình không, giảm 2 phút chờ có khiến khách quay lại không. Phán đoán này cần ba thứ mà kiểm định không cung cấp: độ lớn ước lượng (cỡ hiệu ứng), mức chắc chắn về độ lớn đó (khoảng tin cậy), và một chuẩn so sánh do người trong nghề đặt ra.

Hiệp hội Thống kê Hoa Kỳ (ASA) trong tuyên bố năm 2016 về giá trị p đã nêu rõ rằng giá trị p không đo độ lớn của hiệu ứng hay tầm quan trọng của kết quả. Điều này không làm kiểm định trở nên vô dụng; nó chỉ nhắc rằng kiểm định là một mảnh của bức tranh, không phải cả bức tranh.

Hai chiều lệch: ví dụ giả định đặt cạnh nhau

Hai nghiên cứu cùng so sánh điểm hài lòng giữa hai nhóm trên thang có độ lệch chuẩn bằng 1 (ví dụ giả định):

Nghiên cứu A: khảo sát toàn trườngNghiên cứu B: thử nghiệm ở một lớp
Cỡ mẫu2.000 người mỗi nhóm12 người mỗi nhóm
Chênh lệch trung bình0,1 điểm0,8 điểm
Cohen’s d0,10,8
Thống kê tkhoảng 3,16khoảng 1,96 (22 bậc tự do)
Giá trị p hai phíakhoảng 0,002khoảng 0,06
Kết luận thống kê ở mức 0,05Bác bỏ giả thuyết khôngKhông bác bỏ giả thuyết không
Câu hỏi thực tiễn còn bỏ ngỏKhác biệt 0,1 điểm có đáng để thay đổi gì không?Hiệu ứng có thể lớn, nhưng mẫu quá nhỏ để chắc chắn

Nếu chỉ nhìn cột p, người ta sẽ kết luận A "có kết quả" còn B "thất bại". Nhìn cỡ hiệu ứng thì ngược lại: A tìm thấy một khác biệt gần như không đáng kể nhưng ước lượng rất chính xác; B tìm thấy một khác biệt có thể lớn nhưng ước lượng rất thô. Báo cáo đúng cho A là "khác biệt có ý nghĩa thống kê nhưng rất nhỏ"; cho B là "chưa đủ bằng chứng, cần mẫu lớn hơn", không phải "không có hiệu quả".

Đặt ngưỡng khác biệt nhỏ nhất có ý nghĩa trước khi thu số liệu

Cách làm chặt chẽ nhất là xác định trước một ngưỡng, thường gọi là cỡ hiệu ứng nhỏ nhất đáng quan tâm (trong y khoa có khái niệm tương tự là khác biệt tối thiểu có ý nghĩa lâm sàng). Các bước gợi ý:

  1. Viết ra quyết định mà kết quả sẽ phục vụ. Ví dụ: nhà trường có chuyển cả khoa sang giáo trình mới hay không.
  2. Hỏi người ra quyết định và chuyên gia: khác biệt tối thiểu bao nhiêu thì họ thấy đáng đổi, tính bằng đơn vị gốc (điểm, phút, phần trăm), không phải bằng d.
  3. Đối chiếu với chi phí và rủi ro. Cách làm mới càng tốn kém, ngưỡng càng phải cao; cách làm gần như miễn phí thì ngưỡng có thể thấp.
  4. Tham khảo tài liệu: các nghiên cứu cùng thang đo có thể đã đề xuất ngưỡng, hoặc ít nhất cho biết hiệu ứng điển hình trong lĩnh vực.
  5. Đổi ngưỡng sang cỡ hiệu ứng chuẩn hoá để tính cỡ mẫu: ngưỡng 0,3 điểm trên thang có độ lệch chuẩn 1,2 tương ứng d = 0,25.
  6. Ghi ngưỡng vào đề cương hoặc kế hoạch phân tích trước khi thu số liệu, để không ai nghi ngờ bạn chọn ngưỡng sau khi thấy kết quả.

Nếu không có căn cứ nào, mốc quy ước của Cohen có thể dùng làm điểm khởi đầu, nhưng bạn nên nói rõ đó là quy ước tham khảo chứ không phải tiêu chuẩn của chuyên ngành.

Đọc khoảng tin cậy cạnh ngưỡng thực tiễn

Khi đã có ngưỡng, khoảng tin cậy của chênh lệch cho phép phân loại kết quả rõ ràng hơn hẳn việc chỉ nhìn p. Giả sử ngưỡng thực tiễn là 0,3 điểm (ví dụ giả định):

Khoảng tin cậy 95% của chênh lệchÝ nghĩa thống kêDiễn giải thực tiễn
(0,45; 0,90)CóKhác biệt vừa có ý nghĩa thống kê vừa vượt ngưỡng thực tiễn: bằng chứng khá mạnh
(0,05; 0,20)CóCó khác biệt thật nhưng nhỏ hơn ngưỡng: có ý nghĩa thống kê, không đáng kể về thực tiễn
(−0,10; 0,80)KhôngKhông kết luận được: số liệu tương thích với cả không có gì lẫn hiệu ứng đáng kể
(−0,12; 0,15)KhôngKhoảng hẹp và nằm trọn trong ±0,3: bằng chứng tốt rằng nếu có khác biệt thì cũng không đáng kể
(0,10; 0,60)CóCó khác biệt, nhưng chưa chắc đã vượt ngưỡng: cần thêm dữ liệu để biết

Dòng thứ ba và dòng thứ tư cùng "không có ý nghĩa thống kê" nhưng nói những điều hoàn toàn khác nhau. Gộp cả hai thành câu "không có khác biệt" là lỗi diễn giải phổ biến nhất ở phần kết quả của luận văn.

Mốc nhỏ, vừa, lớn không thay được phán đoán chuyên ngành

Mốc của Cohen sinh ra để dùng khi thiếu thông tin. Cohen đề xuất d bằng 0,2, 0,5, 0,8 trong bối cảnh khoa học hành vi những năm 1960 – 1980 và tự ông dặn chỉ dùng khi không có căn cứ tốt hơn. Biến các mốc này thành ngưỡng đạt hay trượt là dùng sai mục đích ban đầu của chúng.

Hiệu ứng nhỏ có thể rất đáng giá. Một thay đổi nhỏ trong cách nhắc lịch nộp bài, áp dụng cho hàng chục nghìn sinh viên với chi phí gần như bằng không, có thể giúp hàng trăm người không bị trễ hạn dù d chỉ khoảng 0,1. Quy mô áp dụng và chi phí làm thay đổi giá trị của cùng một con số.

Hiệu ứng lớn có thể vô nghĩa. Nếu thang đo chỉ đo một thứ rất hẹp, chẳng hạn khả năng nhớ đúng danh sách từ vừa học ngay sau buổi học, thì d = 0,9 chưa chắc chuyển thành kết quả học tập thật sau một học kỳ. Câu hỏi luôn là: thước đo này có gắn với điều người ta thực sự quan tâm không.

Đơn vị gốc thường dễ hiểu hơn đơn vị chuẩn hoá. Hội đồng và người ra quyết định hiểu "tăng trung bình 0,6 điểm trên thang 10" hay "giảm 10 điểm phần trăm tỷ lệ bỏ học" nhanh hơn nhiều so với "d = 0,46". Báo cáo cả hai: đơn vị gốc để hiểu, đơn vị chuẩn hoá để so sánh.

Mức an toàn và khả năng đảo ngược cũng là một phần của ý nghĩa. Một thay đổi dễ bỏ nếu không hiệu quả có thể chấp nhận với bằng chứng khiêm tốn; một thay đổi tốn kém, khó đảo ngược cần bằng chứng mạnh và hiệu ứng đủ lớn. Đây là phần phán đoán mà không công thức nào làm thay.

Kiểm định tương đương khi muốn chứng minh "không khác đáng kể"

Có những nghiên cứu mà mục tiêu thật là chứng minh hai cách làm tương đương: dạy trực tuyến có kém trực tiếp không, bảng hỏi rút gọn có cho điểm giống bản đầy đủ không. Kiểm định thông thường không làm được việc này, vì không bác bỏ giả thuyết không chỉ có nghĩa là thiếu bằng chứng về khác biệt, không phải bằng chứng về sự giống nhau.

Kiểm định tương đương phổ biến nhất là thủ tục hai kiểm định một phía (TOST). Bạn đặt hai giới hạn tương đương, ví dụ −0,3 và +0,3 điểm, rồi kiểm định hai giả thuyết một phía: chênh lệch thật không nhỏ hơn −0,3, và chênh lệch thật không lớn hơn +0,3. Nếu bác bỏ được cả hai ở mức 0,05, bạn kết luận hai cách làm tương đương trong giới hạn đã đặt.

Cách đọc trực quan tương đương với TOST ở mức 0,05 là xem khoảng tin cậy 90% (không phải 95%) của chênh lệch có nằm trọn trong giới hạn không. Ví dụ giả định: chênh lệch 0,05 với khoảng tin cậy 90% là (−0,10; 0,20), nằm trọn trong (−0,3; 0,3), nên kết luận tương đương. Daniël Lakens có bài hướng dẫn được trích dẫn rộng rãi (2017) giúp phổ biến cách làm này trong khoa học xã hội; JASP, Jamovi và một số gói R có sẵn công cụ. Giới hạn tương đương phải đặt trước và có lý do chuyên môn, nếu không thì phép kiểm mất giá trị.

Viết phần kết quả và bàn luận cho cân bằng

Một vài mẫu câu với số liệu giả định, có thể điều chỉnh theo kiểm định của bạn:

  • "Điểm trung bình của nhóm thực nghiệm cao hơn nhóm đối chứng 0,1 điểm (KTC 95%: 0,04 – 0,16; d = 0,10). Dù có ý nghĩa thống kê nhờ cỡ mẫu lớn, khác biệt này nhỏ hơn ngưỡng 0,3 điểm đã đặt trong kế hoạch phân tích."
  • "Chênh lệch giữa hai nhóm là 0,8 điểm (KTC 95%: −0,05 – 1,65; d = 0,8), không đạt mức ý nghĩa 0,05. Khoảng tin cậy rộng cho thấy nghiên cứu chưa đủ lực mẫu để kết luận; cần nghiên cứu với cỡ mẫu lớn hơn."
  • "Khoảng tin cậy 90% của chênh lệch (−0,10; 0,20) nằm trọn trong giới hạn tương đương ±0,3 điểm; kết quả ủng hộ việc hai hình thức tương đương trong phạm vi này."
  • Tránh các cụm như "rất có ý nghĩa", "gần có ý nghĩa", "có xu hướng có ý nghĩa". Giá trị p không đo mức độ quan trọng; muốn nói về độ lớn thì dùng cỡ hiệu ứng và khoảng tin cậy.
  • Khi bị hội đồng hỏi "khác biệt này có quan trọng không", câu trả lời mạnh nhất là chỉ vào ngưỡng đã đặt trước và lý do chọn ngưỡng, không phải nhắc lại giá trị p.

Câu hỏi thường gặp

Kết quả có ý nghĩa thống kê nhưng cỡ hiệu ứng rất nhỏ thì có nên đưa vào luận văn không?

Nên đưa, và trình bày trung thực cả hai mặt. Một khác biệt nhỏ được ước lượng chính xác cũng là thông tin có giá trị, chẳng hạn cho thấy một can thiệp tốn kém không đem lại nhiều lợi ích. Điều cần tránh là gọi nó là "hiệu quả rõ rệt" chỉ vì p nhỏ.

Không có ngưỡng thực tiễn nào trong tài liệu thì làm sao?

Bạn có thể hỏi ý kiến người hướng dẫn và người trong nghề, lập luận từ chi phí và lợi ích, hoặc tạm dùng mốc quy ước của Cohen kèm câu thừa nhận rằng đây là quy ước tham khảo. Quan trọng là ghi ngưỡng ra trước khi xem kết quả và giải thích lý do.

Ý nghĩa thực tiễn có áp dụng cho kiểm định chi bình phương không?

Có. Với bảng 2x2, bạn nhìn chênh lệch tỷ lệ giữa hai nhóm, nguy cơ tương đối hoặc tỷ số chênh; với bảng lớn hơn, Cramér V cho biết độ mạnh liên hệ. Mẫu khảo sát vài nghìn người rất dễ cho chi bình phương có ý nghĩa dù chênh lệch tỷ lệ chỉ một hai điểm phần trăm.

Kiểm định tương đương có cần cỡ mẫu lớn hơn kiểm định thường không?

Thường là có. Để khoảng tin cậy hẹp đủ nằm gọn trong giới hạn tương đương, bạn cần ước lượng chính xác, và điều đó đòi hỏi mẫu lớn, nhất là khi giới hạn đặt chặt. Phần mềm tính lực mẫu có tuỳ chọn riêng cho kiểm định tương đương; bạn tính trước khi thu số liệu.

Thay vì p, chỉ báo cáo cỡ hiệu ứng có được không?

Một số tạp chí khuyến khích chú trọng cỡ hiệu ứng và khoảng tin cậy hơn giá trị p, nhưng phần lớn hội đồng luận văn ở Việt Nam vẫn mong thấy kết quả kiểm định. Cách an toàn là báo cáo đủ cả ba: thống kê kiểm định với p, cỡ hiệu ứng, và khoảng tin cậy.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138