GiaThuyet.comGiả Thuyết
Cỡ hiệu ứng, lực mẫu và khoảng tin cậy

Lực mẫu quan sát (observed power): vì sao không cứu được kết quả không có ý nghĩa

Lực mẫu quan sát tính sau nghiên cứu chỉ là giá trị p viết lại, không giải thích được kết quả không có ý nghĩa. Nên dùng phân tích độ nhạy và khoảng tin cậy.

Silhouette of a thesis student sitting alone by a large window in a Hai Phong university corridor at dusk, closed laptop on knees, looking out at harbor cranes

Lực mẫu quan sát là lực mẫu tính sau khi có kết quả, dùng chính cỡ hiệu ứng vừa đo được trong mẫu làm giả định; nó là một hàm một – một của giá trị p, nên không cung cấp thêm thông tin nào. Với kiểm định hai phía ở mức 0,05, kết quả có p đúng bằng 0,05 luôn có lực mẫu quan sát khoảng 50%; p càng lớn, lực mẫu quan sát càng thấp. Vì vậy câu "kết quả không có ý nghĩa vì lực mẫu quan sát thấp" là lập luận vòng.

Hoenig và Heisey (2001) trình bày vấn đề này trong một bài được trích dẫn rộng rãi về việc lạm dụng phân tích lực mẫu sau nghiên cứu. Bài này giải thích vì sao lực mẫu quan sát vô ích, và những gì nên làm thay: phân tích độ nhạy, khoảng tin cậy, kiểm định tương đương, cùng cách trả lời khi hội đồng hay người phản biện yêu cầu "tính lực mẫu hậu kiểm".

Lực mẫu quan sát là gì và vì sao nó hay được yêu cầu

Khi một luận văn ra kết quả không có ý nghĩa, câu hỏi tự nhiên là: không có hiệu ứng, hay nghiên cứu không đủ sức phát hiện? Lực mẫu quan sát xuất hiện như một câu trả lời tiện lợi. Một số thủ tục trong phần mềm thống kê có ô chọn in "observed power" bên cạnh bảng ANOVA (vị trí và tên tuỳ phiên bản), và con số đó được chép vào luận văn kèm câu "lực mẫu chỉ đạt 23%, cho thấy cỡ mẫu chưa đủ".

Cách tính rất đơn giản: lấy cỡ hiệu ứng quan sát được trong mẫu (ví dụ d = 0,25 hay η² = 0,03), cỡ mẫu thực có và alpha, rồi tính xác suất bác bỏ H0 nếu hiệu ứng thật đúng bằng con số vừa đo. Vấn đề nằm ở chính chữ "vừa đo": cỡ hiệu ứng quan sát được và giá trị p được tính từ cùng một số liệu, cùng một thống kê kiểm định. Biết cái này là biết cái kia.

Nhu cầu đằng sau câu hỏi là hoàn toàn chính đáng: người đọc muốn biết nghiên cứu có đủ sức phát hiện một hiệu ứng đáng quan tâm hay không. Chỉ là lực mẫu quan sát không trả lời được câu đó, còn các công cụ ở phần sau thì trả lời được.

Lực mẫu quan sát chỉ là giá trị p viết lại

Với kiểm định hai phía ở mức 0,05 dựa trên phân phối chuẩn, mỗi giá trị p ứng với đúng một mức lực mẫu quan sát (tính xấp xỉ, kiểm định t cho kết quả rất gần khi cỡ mẫu không quá nhỏ):

Giá trị p quan sátThống kê z tương ứngLực mẫu quan sát xấp xỉ
0,012,58khoảng 0,73
0,051,96khoảng 0,50
0,201,28khoảng 0,25
0,500,67khoảng 0,10

Cơ chế rất dễ thấy: nếu lấy hiệu ứng quan sát làm hiệu ứng thật, thì thống kê kiểm định của những lần lặp lại sẽ dao động quanh đúng giá trị z vừa quan sát. Khi z quan sát bằng 1,96, đúng một nửa số lần lặp lại vượt ngưỡng 1,96, nên lực mẫu bằng 50%. Khi z nhỏ hơn 1,96, ít hơn một nửa vượt ngưỡng, nên mọi kết quả không có ý nghĩa đều có lực mẫu quan sát dưới khoảng 50%.

Hệ quả: báo cáo "p = 0,20, lực mẫu quan sát 25%" là báo cáo cùng một thông tin hai lần. Câu "kết quả không có ý nghĩa do lực mẫu thấp" không giải thích được gì, vì kết quả không có ý nghĩa tự động kéo theo lực mẫu quan sát thấp, bất kể cỡ mẫu lớn hay nhỏ.

Nghịch lý khi dùng lực mẫu quan sát để bảo vệ giả thuyết không

Một số tác giả lập luận ngược lại: nếu kết quả không có ý nghĩa và lực mẫu quan sát cao, thì đó là bằng chứng mạnh rằng không có hiệu ứng. Hoenig và Heisey chỉ ra rằng lập luận này dẫn tới nghịch lý. Giả sử hai nghiên cứu đều không có ý nghĩa, một cái có p = 0,30 và một cái có p = 0,80. Theo trực giác, nghiên cứu thứ hai (p lớn hơn, số liệu gần giả thuyết không hơn) cung cấp bằng chứng mạnh hơn cho việc không có hiệu ứng. Nhưng lực mẫu quan sát của nó lại thấp hơn, nên theo lập luận "lực cao mới đáng tin" thì nó lại kém đáng tin hơn.

Nghịch lý này cho thấy lực mẫu quan sát không chỉ thừa mà còn có thể dẫn tới kết luận ngược. Muốn đánh giá bằng chứng cho việc hiệu ứng nhỏ hoặc không có, bạn cần một công cụ được thiết kế cho câu hỏi đó, như kiểm định tương đương hay khoảng tin cậy.

Cũng cần phân biệt rõ: tính lực mẫu sau nghiên cứu cho một cỡ hiệu ứng được chọn độc lập với số liệu (chẳng hạn ngưỡng thực tiễn đã đặt trong đề cương, hoặc cỡ hiệu ứng từ phân tích gộp) là một việc hợp lệ, vì nó trả lời câu hỏi "thiết kế này đủ mạnh để phát hiện hiệu ứng cỡ X không". Thứ bị phê phán là dùng chính cỡ hiệu ứng vừa quan sát được.

Vì sao thói quen này vẫn còn phổ biến

Lý do đầu tiên là phần mềm. Khi một con số được in sẵn bên cạnh bảng ANOVA chỉ bằng một cú đánh dấu, người dùng dễ cho rằng nó có giá trị diễn giải ngang với các cột khác. Phần mềm tính đúng theo định nghĩa, nhưng không có nghĩa định nghĩa đó trả lời câu hỏi người dùng đang hỏi.

Lý do thứ hai là cách hiểu lực mẫu như một thuộc tính cố định của nghiên cứu, kiểu "nghiên cứu này có lực 23%". Như bài giới thiệu về lực mẫu trong danh mục này đã nhấn mạnh, lực mẫu luôn gắn với một cỡ hiệu ứng giả định; đổi cỡ hiệu ứng, lực mẫu đổi theo. Khi cỡ hiệu ứng được lấy từ chính số liệu, con số không còn mô tả thiết kế nữa mà mô tả kết quả.

Lý do thứ ba là áp lực phải giải thích kết quả không như mong đợi. Một con số lực mẫu thấp cho cảm giác có lời giải thích khách quan, dễ chấp nhận hơn câu "số liệu chưa đủ để kết luận". Thực ra câu sau trung thực hơn, và khi đi kèm phân tích độ nhạy cùng khoảng tin cậy, nó cũng thuyết phục hơn trước hội đồng.

Làm thay: phân tích độ nhạy

Phân tích độ nhạy đảo bài toán: cố định cỡ mẫu đã có, alpha và lực mẫu mục tiêu, tìm cỡ hiệu ứng nhỏ nhất mà nghiên cứu có thể phát hiện. Ví dụ giả định: một luận văn so sánh hai nhóm, mỗi nhóm 40 người, ra d = 0,25 với p khoảng 0,27.

  1. Cố định các đầu vào: 40 người mỗi nhóm, alpha 0,05 hai phía, lực mẫu 80%.
  2. Ước lượng nhanh bằng công thức xấp xỉ: d nhỏ nhất ≈ (1,96 + 0,8416) × căn (2 / 40) ≈ 2,80 × 0,224 ≈ 0,63.
  3. Kiểm lại bằng phần mềm (chọn loại phân tích độ nhạy, thường có tên gần với "sensitivity"): kết quả theo phân phối t khoảng 0,64.
  4. Đổi sang đơn vị gốc: nếu độ lệch chuẩn khoảng 1,5 điểm, nghiên cứu chỉ đủ lực phát hiện khác biệt từ khoảng 0,95 điểm trở lên.
  5. Đặt cạnh ngưỡng thực tiễn: nếu khác biệt đáng quan tâm trong lĩnh vực là khoảng 0,5 điểm, thì nghiên cứu được thiết kế để bỏ lỡ những hiệu ứng có thể quan trọng, và kết quả không có ý nghĩa không cho phép kết luận gì về chúng.

Câu viết trong phần hạn chế: "Với 40 người mỗi nhóm, nghiên cứu có lực mẫu 80% để phát hiện cỡ hiệu ứng từ khoảng d = 0,64 trở lên; các hiệu ứng nhỏ hơn, kể cả những hiệu ứng có thể có ý nghĩa thực tiễn, nằm ngoài khả năng phát hiện của thiết kế." Câu này trung thực, có thông tin, và không lặp lại giá trị p.

Làm thay: khoảng tin cậy và kiểm định tương đương

Khoảng tin cậy trả lời trực tiếp câu hỏi mà người ta hy vọng lực mẫu quan sát trả lời được: số liệu loại trừ được những cỡ hiệu ứng nào. Với ví dụ trên, d = 0,25 với 40 người mỗi nhóm có khoảng tin cậy 95% gần đúng từ khoảng −0,19 đến 0,69. Khoảng này chứa 0, nhưng cũng chứa những hiệu ứng vừa phải. Kết luận đúng là "số liệu không đủ để phân biệt giữa không có hiệu ứng và một hiệu ứng vừa", chứ không phải "không có hiệu ứng" hay "lực mẫu thấp".

Nếu mục tiêu của bạn thật sự là chứng minh hiệu ứng không đáng kể, thì kiểm định tương đương với giới hạn đặt trước theo chuyên môn là công cụ phù hợp. Kết quả "khoảng tin cậy 90% nằm trọn trong giới hạn ±0,3" là bằng chứng tích cực cho sự tương đương, thứ mà không giá trị lực mẫu nào cung cấp được.

Một hướng nâng cao hơn là phân tích thiết kế (design analysis) theo Gelman và Carlin (2014): chọn một cỡ hiệu ứng hợp lý từ nguồn bên ngoài số liệu, rồi tính lực mẫu cùng mức phóng đại kỳ vọng nếu kết quả có ý nghĩa. Cách này đặc biệt hữu ích khi một nghiên cứu nhỏ ra kết quả có ý nghĩa với cỡ hiệu ứng lớn bất thường.

Khi hội đồng hoặc người phản biện yêu cầu lực mẫu hậu kiểm

Yêu cầu này vẫn khá phổ biến. Bạn không cần tranh luận gay gắt; chỉ cần đưa thông tin có ích hơn, kèm lý do ngắn gọn:

  • Cảm ơn góp ý và xác nhận mối quan tâm chính đáng: nghiên cứu có đủ sức phát hiện hiệu ứng đáng quan tâm không.
  • Giải thích trong một hai câu rằng lực mẫu tính từ cỡ hiệu ứng quan sát là hàm của giá trị p nên không bổ sung thông tin, có thể dẫn Hoenig và Heisey (2001).
  • Đưa phân tích độ nhạy: cỡ hiệu ứng nhỏ nhất phát hiện được với cỡ mẫu thực có ở lực 80%, đổi sang đơn vị gốc.
  • Nếu đề cương có tính cỡ mẫu tiên nghiệm, nhắc lại con số đó, và nói rõ cỡ mẫu thực có đạt hay thiếu so với kế hoạch.
  • Đưa khoảng tin cậy của cỡ hiệu ứng chính, và diễn giải nó so với ngưỡng thực tiễn.
  • Nếu người hướng dẫn hoặc hội đồng vẫn yêu cầu con số lực mẫu quan sát, có thể đưa vào phụ lục kèm chú thích về giới hạn của nó, thay vì dùng nó làm luận cứ trong phần bàn luận.

Cách trả lời này thường được đón nhận tốt vì nó giải quyết đúng điều hội đồng lo lắng, đồng thời cho thấy bạn hiểu phương pháp. Nếu không chắc, bạn trao đổi với người hướng dẫn hoặc một chuyên gia thống kê trước buổi bảo vệ.

Câu hỏi thường gặp

Lực mẫu quan sát và lực mẫu tiên nghiệm khác nhau ở đâu?

Lực mẫu tiên nghiệm được tính trước khi thu số liệu, dựa trên cỡ hiệu ứng giả định từ nguồn bên ngoài, để quyết định cỡ mẫu. Lực mẫu quan sát được tính sau, dựa trên cỡ hiệu ứng đo được trong chính mẫu. Cái thứ nhất là công cụ thiết kế có giá trị; cái thứ hai chỉ lặp lại giá trị p.

Kết quả có ý nghĩa thì có cần báo cáo lực mẫu quan sát không?

Không cần. Với kết quả có ý nghĩa, lực mẫu quan sát luôn trên khoảng 50% và cũng không thêm thông tin. Điều đáng báo cáo hơn là cỡ hiệu ứng kèm khoảng tin cậy, và nếu mẫu nhỏ, lưu ý rằng cỡ hiệu ứng có thể bị phóng đại.

Phần mềm in sẵn lực mẫu quan sát thì có nên xoá khỏi bảng không?

Bạn không bắt buộc phải chép mọi cột phần mềm in ra. Bảng kết quả trong luận văn nên chứa thống kê kiểm định, bậc tự do, giá trị p, cỡ hiệu ứng và khoảng tin cậy. Nếu muốn giữ lực mẫu quan sát, đặt ở phụ lục kèm chú thích về giới hạn của nó.

Có thể dùng lực mẫu quan sát để quyết định thu thêm số liệu không?

Không nên. Thu thêm số liệu sau khi xem kết quả, rồi kiểm định lại, làm tăng xác suất sai lầm loại I vượt mức alpha đã chọn. Nếu muốn có kế hoạch thu số liệu theo nhiều giai đoạn, cần thiết kế tuần tự với quy tắc dừng và mức alpha điều chỉnh được định sẵn từ đầu.

Nghiên cứu sau muốn dựa vào kết quả của mình để tính cỡ mẫu thì nên dùng gì?

Nên cung cấp cỡ hiệu ứng kèm khoảng tin cậy, độ lệch chuẩn của từng nhóm và tương quan giữa các lần đo nếu có. Người làm nghiên cứu sau sẽ tự chọn giả định phù hợp, và có thể thận trọng dùng cận dưới của khoảng tin cậy thay cho điểm ước lượng.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138