GiaThuyet.comGiả Thuyết
Kiểm định phi tham số

Kiểm định Shapiro-Wilk và Kolmogorov-Smirnov: kiểm tra phân phối chuẩn sao cho đúng

Shapiro-Wilk và Kolmogorov-Smirnov kiểm tra phân phối chuẩn thế nào, hiệu chỉnh Lilliefors là gì, vì sao p > 0,05 không chứng minh dữ liệu chuẩn và nên kiểm cái gì.

Over-the-shoulder view of a Vietnamese master student in Ho Chi Minh City comparing two blank printed sheets under a desk lamp late at night, laptop closed beside

Shapiro-Wilk và Kolmogorov-Smirnov là hai kiểm định hay gặp nhất để xem một bộ số liệu có phù hợp với phân phối chuẩn hay không; cả hai lấy H0 là "dữ liệu đến từ phân phối chuẩn", nên p nhỏ là bằng chứng chống lại tính chuẩn. Trong hai kiểm định, Shapiro-Wilk thường được khuyên dùng hơn vì có lực cao hơn với nhiều dạng lệch chuẩn.

Điều quan trọng hơn cả chọn kiểm định nào là hiểu kiểm định chuẩn trả lời được gì và không trả lời được gì. Giá trị p lớn hơn 0,05 không chứng minh dữ liệu chuẩn; với mẫu lớn, kiểm định lại bắt lỗi những lệch rất nhỏ không đáng kể. Bài này giải thích cơ chế hai kiểm định, hiệu chỉnh Lilliefors, nên kiểm tra tính chuẩn của cái gì, và cách kết hợp với biểu đồ để ra quyết định có lý.

Hai kiểm định đo điều gì

Shapiro-Wilk, do Shapiro và Wilk đề xuất năm 1965, so sánh các giá trị đã xếp thứ tự trong mẫu với các giá trị mà một mẫu chuẩn cùng cỡ "nên có" ở từng vị trí. Thống kê W nằm giữa 0 và 1; W càng gần 1 thì dữ liệu càng giống một mẫu từ phân phối chuẩn. Phép tính dùng bảng hệ số riêng cho từng cỡ mẫu nên không làm tay trong thực tế; phần mềm tính W và giá trị p cho bạn. Phiên bản gốc dành cho mẫu nhỏ, sau này được mở rộng (thuật toán của Royston) cho mẫu lớn hơn, và mỗi phần mềm có giới hạn cỡ mẫu riêng, nên tra tài liệu của phiên bản bạn dùng.

Kolmogorov-Smirnov làm việc với hàm phân phối tích luỹ: với mỗi giá trị x, tỷ lệ quan sát nhỏ hơn hoặc bằng x trong mẫu được so với xác suất tương ứng của phân phối chuẩn. Thống kê D là khoảng cách lớn nhất theo chiều dọc giữa hai đường đó. D nhỏ nghĩa là hai đường bám sát nhau. Kiểm định này tổng quát hơn Shapiro-Wilk vì dùng được để so mẫu với bất kỳ phân phối liên tục nào, và có cả phiên bản hai mẫu để so hai phân phối thực nghiệm với nhau.

Ngoài hai kiểm định này còn có Anderson-Darling (cũng dựa trên hàm tích luỹ nhưng chú ý nhiều hơn tới phần đuôi) và D'Agostino-Pearson (dựa trên độ lệch và độ nhọn). Các nghiên cứu mô phỏng so sánh lực, chẳng hạn của Razali và Wah năm 2011, nhìn chung xếp Shapiro-Wilk ở nhóm mạnh nhất, Kolmogorov-Smirnov ở nhóm yếu hơn, dù thứ tự còn phụ thuộc dạng lệch chuẩn và cỡ mẫu.

Hiệu chỉnh Lilliefors: chi tiết khiến nhiều bảng kết quả bị đọc sai

Kolmogorov-Smirnov gốc giả định biết trước tham số. Phiên bản gốc so mẫu với một phân phối chuẩn có trung bình và độ lệch chuẩn biết trước, ví dụ kiểm tra điểm có theo chuẩn với trung bình 50, độ lệch chuẩn 10 hay không. Trong luận văn, bạn hầu như không biết trước hai con số này mà ước lượng chúng từ chính mẫu.

Ước lượng từ mẫu làm kiểm định quá dễ dãi. Khi trung bình và độ lệch chuẩn lấy từ chính dữ liệu, phân phối chuẩn được "kéo" về gần mẫu, nên D nhỏ hơn bình thường. Dùng bảng giá trị tới hạn gốc khi đó sẽ cho p quá lớn, nghĩa là rất khó bác bỏ tính chuẩn ngay cả khi dữ liệu lệch rõ.

Lilliefors sửa lại phân phối tham chiếu. Lilliefors (1967) xây dựng giá trị tới hạn phù hợp cho trường hợp tham số được ước lượng từ mẫu. Một số phần mềm, như bảng kiểm định tính chuẩn trong SPSS, in kết quả Kolmogorov-Smirnov kèm chú thích hiệu chỉnh Lilliefors; một số hàm khác chạy bản gốc nếu bạn không chọn đúng. Khi hai phần mềm cho p khác nhau rất xa trên cùng bộ số, đây là nghi phạm đầu tiên.

Cách ghi trong luận văn. Nếu dùng Kolmogorov-Smirnov, ghi rõ có hiệu chỉnh Lilliefors hay không. Tốt hơn, dùng Shapiro-Wilk làm kiểm định chính và kèm biểu đồ.

Nghịch lý cỡ mẫu: p của kiểm định chuẩn thay đổi theo n

Kiểm định chuẩn cũng như mọi kiểm định khác: lực của nó tăng theo cỡ mẫu. Điều này tạo ra một nghịch lý khi bạn dùng nó như cổng quyết định có được dùng t-test hay không.

Cỡ mẫuKiểm định chuẩn có xu hướngHệ quả nếu chỉ nhìn pThực tế với t-test, ANOVA
Nhỏ (khoảng dưới 30 mỗi nhóm)Lực thấp, khó bác bỏ ngay cả khi lệch rõTưởng dữ liệu chuẩn, yên tâm dùng t-testĐây lại là lúc giả định chuẩn quan trọng nhất
VừaBắt được lệch vừa và lớnKết quả tương đối hữu ích nếu đọc cùng biểu đồLệch vừa thường chưa đáng lo
Lớn (vài trăm trở lên)Bác bỏ cả những lệch rất nhỏTưởng dữ liệu "không chuẩn", chuyển sang phi tham số không cần thiếtNhờ định lý giới hạn trung tâm, t-test và ANOVA khá bền

Nói ngắn gọn: kiểm định chuẩn trả lời câu "dữ liệu có lệch khỏi chuẩn được phát hiện hay không", trong khi câu bạn cần là "lệch đó có đủ lớn để làm hỏng kiểm định chính hay không". Hai câu này khác nhau, và cỡ mẫu khiến chúng đi ngược chiều nhau.

Thêm vào đó, quy trình "kiểm định chuẩn trước, rồi mới chọn t-test hay Mann-Whitney" tự nó cũng có vấn đề: một số nghiên cứu mô phỏng, chẳng hạn của Rochon, Gondan và Kieser năm 2012, cho thấy cách chọn hai bước như vậy có thể làm tỷ lệ sai lầm loại I của cả quy trình lệch khỏi mức danh nghĩa. Vì thế nhiều nhà thống kê khuyên chọn kiểm định dựa trên hiểu biết về biến và thiết kế từ trước, dùng kiểm định chuẩn như một thông tin phụ.

Đọc bảng kết quả kiểm định tính chuẩn

Nhiều phần mềm in hai kiểm định cạnh nhau trong một bảng. Bảng dưới là đầu ra minh hoạ với số giả định cho hai nhóm, trình bày theo kiểu bảng kiểm định tính chuẩn thường gặp, để bạn tập đọc từng cột.

NhómKolmogorov-Smirnov (hiệu chỉnh Lilliefors): thống kêdfpShapiro-Wilk: thống kêdfp
A0,142180,200*0,951180,44
B0,214220,0120,871220,008

Cột df ở đây là cỡ mẫu của từng nhóm, không phải bậc tự do theo nghĩa của t-test. Dấu sao cạnh 0,200 ở nhóm A là một chi tiết nhiều người bỏ qua: trong một số phần mềm, nó kèm chú thích rằng đây là cận dưới của mức ý nghĩa thật, tức p thực tế lớn hơn hoặc bằng 0,200, do bảng tra Lilliefors chỉ được lập đến mức đó. Không nên chép thành "p = 0,200" như một con số chính xác; viết "p ≥ 0,20" hoặc chỉ báo Shapiro-Wilk.

Đọc nhóm A: cả hai kiểm định đều không bác bỏ tính chuẩn, nhưng với 18 quan sát, điều đó không có nghĩa nhóm A chắc chắn chuẩn; vẫn phải xem biểu đồ. Đọc nhóm B: cả hai kiểm định đều cho p nhỏ, W = 0,871 khá xa 1, và với 22 quan sát đây là tín hiệu lệch đáng kể cần xem hình dạng cụ thể (lệch phải, đuôi nặng hay có một ngoại lai) trước khi chọn hướng xử lý. Một ngoại lai do nhập sai có thể đủ làm W tụt mạnh, nên kiểm tra dữ liệu gốc là bước đầu tiên.

Kiểm tra tính chuẩn của cái gì

Lỗi rất phổ biến trong luận văn là chạy kiểm định chuẩn cho toàn bộ biến gộp chung, trong khi giả định của kiểm định chính đặt lên thứ khác. Đối chiếu nhanh:

  • t-test hai mẫu độc lập: tính chuẩn trong từng nhóm, không phải của cả hai nhóm gộp lại. Hai nhóm chuẩn nhưng trung bình khác xa nhau thì dữ liệu gộp có thể có hai đỉnh và bị "bác bỏ chuẩn" oan.
  • t-test mẫu cặp: tính chuẩn của độ chênh giữa hai lần đo, không phải của điểm trước và điểm sau riêng lẻ.
  • ANOVA một nhân tố: tính chuẩn trong từng nhóm, hoặc tương đương là của phần dư (mỗi giá trị trừ trung bình nhóm của nó).
  • t-test một mẫu: tính chuẩn của chính biến đó.
  • Kiểm định phi tham số như Mann-Whitney hay Kruskal-Wallis: không cần kiểm tra tính chuẩn, nhưng vẫn nên xem hình dạng phân phối các nhóm có tương tự không nếu muốn diễn giải theo trung vị.

Biến liên quan tới mô hình nhiều biến có cách kiểm tra phần dư riêng, nằm ngoài phạm vi danh mục này. Điểm chung là: luôn hỏi "giả định của kiểm định chính đặt lên đại lượng nào" trước khi bấm chạy kiểm định chuẩn. Làm đúng bước này thường giúp bạn tránh được cả một vòng chỉnh sửa sau buổi bảo vệ đề cương.

Quy trình đề xuất khi làm luận văn

Thay vì để một giá trị p quyết định thay mình, quy trình dưới đây kết hợp nhiều nguồn thông tin và cho bạn một lập luận viết được vào phần phương pháp.

  1. Xác định đại lượng cần chuẩn theo kiểm định chính (nhóm, độ chênh hay phần dư) như danh sách ở trên.
  2. Vẽ biểu đồ: histogram, biểu đồ hộp và biểu đồ Q-Q cho từng nhóm. Biểu đồ cho biết hình dạng và mức độ lệch, thứ mà p không nói được.
  3. Xem độ lệch (skewness) và độ nhọn (kurtosis) như mô tả bổ sung.
  4. Chạy Shapiro-Wilk như một thông tin phụ, đọc kết hợp với cỡ mẫu: mẫu nhỏ mà p lớn chưa chắc yên tâm; mẫu lớn mà p nhỏ chưa chắc đáng lo.
  5. Ra quyết định dựa trên tổng thể: mức lệch, cỡ mẫu, có ngoại lai thật hay không, câu hỏi nghiên cứu cần trung bình hay trung vị.
  6. Ghi lại trong luận văn bằng một hai câu, ví dụ: "Phân phối trong từng nhóm được đánh giá bằng biểu đồ Q-Q và kiểm định Shapiro-Wilk; do nhóm B lệch phải rõ với cỡ mẫu nhỏ, nghiên cứu sử dụng kiểm định Mann-Whitney U."

Câu cuối là ví dụ giả định để minh hoạ cách lập luận. Điều hội đồng muốn thấy không phải là một con số p đẹp mà là bạn hiểu vì sao chọn kiểm định đó.

Câu hỏi thường gặp

Shapiro-Wilk cho p = 0,06 thì có được coi là dữ liệu chuẩn không?

Không nên nói vậy. p = 0,06 chỉ cho biết dữ liệu chưa đủ bằng chứng để bác bỏ tính chuẩn ở mức 0,05; nó không chứng minh tính chuẩn. Bạn nên xem biểu đồ Q-Q và histogram để đánh giá mức lệch thật, nhất là khi mẫu nhỏ.

Shapiro-Wilk và Kolmogorov-Smirnov cho kết quả trái nhau thì tin cái nào?

Thường Shapiro-Wilk có lực cao hơn nên dễ bác bỏ hơn. Kết quả trái nhau là dấu hiệu lệch chuẩn ở mức ranh giới; khi đó biểu đồ và hiểu biết về biến quan trọng hơn việc chọn bên. Kiểm tra lại xem Kolmogorov-Smirnov có hiệu chỉnh Lilliefors hay không.

Mẫu 500 người, Shapiro-Wilk p rất nhỏ, có phải bỏ t-test không?

Không nhất thiết. Với 500 quan sát, kiểm định bắt được cả lệch rất nhỏ. Hãy xem biểu đồ và độ lệch; nếu chỉ lệch nhẹ, t-test hoặc ANOVA vẫn bền nhờ định lý giới hạn trung tâm. Nếu lệch rất mạnh hoặc có đuôi nặng, cân nhắc phương pháp bền hoặc phi tham số.

Có cần báo cáo kết quả kiểm định chuẩn trong luận văn không?

Nhiều trường và hội đồng muốn thấy phần này, nên báo cáo ngắn gọn: kiểm định dùng, giá trị thống kê, p, và kết luận bạn rút ra kết hợp với biểu đồ. Không cần bảng dài cho từng biến nếu không ảnh hưởng tới lựa chọn phân tích.

Dữ liệu Likert có cần kiểm định Shapiro-Wilk không?

Một câu Likert năm mức chỉ có năm giá trị nên gần như luôn bị bác bỏ tính chuẩn khi mẫu vừa phải; kết quả đó ít thông tin. Với điểm tổng nhiều câu, kiểm tra hình dạng có ý nghĩa hơn. Các quan điểm về phân tích Likert có ở bài riêng của danh mục.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138