Giá trị ngoại lai chỉ được loại khi có lý do độc lập với kết quả kiểm định: lỗi nhập liệu, lỗi đo, hoặc quan sát không thuộc tổng thể nghiên cứu. Một giá trị chỉ "lạ" về mặt con số, nhưng là quan sát thật của đúng đối tượng nghiên cứu, thì về nguyên tắc phải giữ, và bạn xử lý ảnh hưởng của nó bằng phương pháp phân tích phù hợp chứ không phải bằng phím xoá.
Ngoại lai là chỗ dễ trượt nhất trong làm sạch dữ liệu, vì việc loại một vài điểm thường đủ làm giá trị p đổi phía ngưỡng 0,05, và lý do loại luôn nghe có vẻ hợp lý. Bài này hướng dẫn cách phát hiện bằng quy tắc tứ phân vị qua một ví dụ tính tay, khung quyết định loại hay giữ, và cách báo cáo để người đọc tin được quyết định của bạn.
Phát hiện ngoại lai bằng quy tắc IQR: một ví dụ tính tay
Quy tắc khoảng tứ phân vị do John Tukey đề xuất là cách phổ biến nhất vì không phụ thuộc giả định phân phối chuẩn. Ví dụ giả định: điểm một bài kiểm tra kỹ năng (thang 100) của 12 học viên, đã xếp tăng dần: 52, 55, 57, 58, 60, 61, 62, 63, 65, 66, 68, 95.
- Chia dãy thành hai nửa, mỗi nửa 6 giá trị. Nửa dưới: 52, 55, 57, 58, 60, 61. Nửa trên: 62, 63, 65, 66, 68, 95.
- Tứ phân vị thứ nhất Q1 là trung vị nửa dưới: (57 + 58) / 2 = 57,5. Tứ phân vị thứ ba Q3 là trung vị nửa trên: (65 + 66) / 2 = 65,5.
- Khoảng tứ phân vị IQR = Q3 − Q1 = 65,5 − 57,5 = 8.
- Rào dưới = Q1 − 1,5 × IQR = 57,5 − 12 = 45,5. Rào trên = Q3 + 1,5 × IQR = 65,5 + 12 = 77,5.
- Giá trị nằm ngoài khoảng từ 45,5 đến 77,5 được đánh dấu là ngoại lai. Ở đây chỉ có 95. Một số tài liệu gọi giá trị vượt quá 3 × IQR (tức trên 89,5 ở ví dụ này) là ngoại lai "xa"; 95 thuộc loại đó.
Lưu ý: các phần mềm dùng những cách tính tứ phân vị hơi khác nhau, nên Q1, Q3 có thể lệch một chút so với tính tay, đặc biệt với mẫu nhỏ. Khi viết luận văn, ghi rõ quy tắc và phần mềm đã dùng.
Cách khác là quy tắc điểm z: giá trị cách trung bình quá 3 độ lệch chuẩn. Cách này có điểm yếu là chính ngoại lai kéo trung bình và độ lệch chuẩn lên, nên với mẫu nhỏ nó có thể không phát hiện được ngoại lai thật. Đánh dấu bằng quy tắc nào cũng chỉ là bước phát hiện, chưa phải quyết định loại.
Một ngoại lai thay đổi kết quả đến đâu
Tiếp tục ví dụ trên, xem các thống kê mô tả thay đổi thế nào khi có và không có giá trị 95. Đây là phép tính đơn giản nhưng cho thấy vì sao quyết định về một điểm duy nhất có thể đáng kể.
| Thống kê | Đủ 12 giá trị | Bỏ giá trị 95 (11 giá trị) |
|---|---|---|
| Tổng | 762 | 667 |
| Trung bình | 63,5 | khoảng 60,6 |
| Trung vị | 61,5 | 61 |
| Giá trị lớn nhất | 95 | 68 |
Trung bình giảm gần 3 điểm khi bỏ một quan sát, trong khi trung vị gần như không đổi. Đó là lý do trung vị được gọi là thống kê bền vững với ngoại lai, còn trung bình thì không. Kiểm định t so sánh trung bình nên chịu ảnh hưởng của ngoại lai mạnh hơn nhiều so với các kiểm định dựa trên thứ hạng.
Phép tính này cũng cho thấy cám dỗ: nếu giả thuyết của bạn là nhóm này có điểm thấp hơn một nhóm khác, bỏ điểm 95 sẽ giúp kết quả "đẹp" hơn. Chính vì thế quyết định loại phải dựa trên lý do về bản chất quan sát, không dựa trên chiều nó đẩy kết quả.
Khung quyết định: ba câu hỏi trước khi loại
Câu hỏi 1: Đây có phải lỗi nhập liệu hoặc lỗi đo không? Đối chiếu với phiếu gốc, nhật ký đo, tệp xuất từ thiết bị. Điểm 95 có thể là 59 bị gõ đảo; chiều cao 1,65 bị nhập thành 165. Nếu chứng minh được là lỗi, sửa về giá trị đúng khi có bản gốc; nếu không khôi phục được, coi là dữ liệu thiếu. Đây là trường hợp loại rõ ràng nhất.
Câu hỏi 2: Quan sát này có thuộc tổng thể nghiên cứu không? Một người trả lời khảo sát về sinh viên nhưng thực ra là giảng viên; một mẫu đất lấy nhầm ngoài ô thí nghiệm. Nếu tiêu chí chọn mẫu đã ghi từ trước và quan sát vi phạm tiêu chí đó, loại là hợp lệ. Lý do phải kiểm chứng được, không phải phỏng đoán từ chính giá trị bất thường.
Câu hỏi 3: Nếu là quan sát thật của đúng đối tượng thì sao? Một học viên thật sự giỏi hơn hẳn các bạn vẫn là một phần của tổng thể. Loại đi là làm sai lệch bức tranh. Trường hợp này nên giữ và chọn phương pháp ít nhạy với ngoại lai, hoặc báo phân tích độ nhạy với cả hai phiên bản.
Tiêu chí phải được đặt trước. Ba câu hỏi trên nên được viết thành quy tắc trong kế hoạch phân tích trước khi thu dữ liệu. Quy tắc đặt sau khi đã thấy ngoại lai ảnh hưởng thế nào đến p thì không còn khách quan, dù nghe hợp lý đến đâu.
Áp dụng như nhau cho mọi nhóm và mọi chiều. Nếu loại điểm cực cao ở nhóm đối chứng thì cũng phải áp dụng cùng quy tắc cho điểm cực cao ở nhóm thực nghiệm. Loại chọn lọc theo nhóm là một trong những dạng thao túng kết quả khó phát hiện nhất.
Giữ ngoại lai nhưng giảm ảnh hưởng: các lựa chọn phân tích
Khi quyết định giữ quan sát, bạn vẫn có cách để một điểm không chi phối toàn bộ kết luận. Lựa chọn nào phù hợp tuỳ vào câu hỏi nghiên cứu và nên được ghi trước.
- Kiểm định dựa trên thứ hạng: Mann-Whitney U thay cho t-test hai mẫu độc lập, Wilcoxon dấu hạng thay cho t-test mẫu cặp. Giá trị lớn nhất luôn chỉ nhận thứ hạng cao nhất, dù nó là 95 hay 950, nên ảnh hưởng bị giới hạn. Lưu ý các kiểm định này trả lời câu hỏi hơi khác về phân phối, không đúng hẳn là so sánh trung bình.
- Trung bình cắt tỉa: bỏ một tỷ lệ cố định ở hai đầu, ví dụ 20% mỗi đầu, rồi tính trung bình. Kiểm định Yuen so sánh trung bình cắt tỉa giữa hai nhóm. Tỷ lệ cắt phải định trước và áp dụng đối xứng.
- Winsor hoá: thay giá trị cực bằng giá trị ở một phân vị nhất định thay vì xoá. Cách này giữ cỡ mẫu nhưng làm thay đổi dữ liệu, nên phải báo rõ.
- Biến đổi dữ liệu: lấy logarit với dữ liệu lệch phải như thu nhập, thời gian phản hồi. Diễn giải kết quả sau biến đổi cần cẩn thận vì đơn vị đã khác.
- Phương pháp bootstrap: lấy mẫu lặp lại từ dữ liệu để ước lượng khoảng tin cậy mà không dựa vào giả định chuẩn.
Không có lựa chọn nào "tự động đúng". Điều quan trọng là chọn trước theo bản chất dữ liệu, không thử lần lượt từng cách để xem cách nào cho p nhỏ nhất. Thử lần lượt như vậy là một dạng p-hacking.
Phân tích độ nhạy: báo cả hai phiên bản
Phân tích độ nhạy là chạy phép kiểm chính hai lần, có và không có ngoại lai, rồi báo cả hai. Nếu kết luận giống nhau, bạn có thể yên tâm rằng kết quả không phụ thuộc vào vài điểm đặc biệt. Nếu kết luận khác nhau, đó là thông tin quan trọng mà người đọc cần biết: kết quả mong manh và phụ thuộc vào một quyết định xử lý dữ liệu.
Cách trình bày gợi ý: trong chương kết quả, báo phân tích chính theo quy tắc đã định trong kế hoạch. Ngay sau đó, một đoạn ngắn hoặc một bảng phụ báo kết quả phiên bản còn lại, kèm cỡ hiệu ứng và khoảng tin cậy. Ở chương bàn luận, nếu hai phiên bản lệch nhau, nói thẳng rằng kết luận cần được hiểu thận trọng.
Một học viên có kết quả "có ý nghĩa khi bỏ ngoại lai, không có ý nghĩa khi giữ" và báo cả hai một cách minh bạch đang làm đúng. Ngược lại, chỉ báo phiên bản có ý nghĩa và im lặng về phiên bản kia là che giấu thông tin then chốt. Hội đồng có kinh nghiệm thường hỏi đúng câu "bỏ bao nhiêu quan sát, theo tiêu chí gì, kết quả có đổi không".
Ghi việc xử lý ngoại lai vào luận văn
Chương phương pháp cần một đoạn riêng về làm sạch dữ liệu, trong đó có ngoại lai: quy tắc phát hiện (IQR với hệ số 1,5, hay điểm z, hay tiêu chí khác), quy tắc quyết định loại hay giữ, phương pháp phân tích dùng khi giữ, và có làm phân tích độ nhạy không. Ví dụ giả định: "Giá trị nằm ngoài khoảng Q1 − 1,5 IQR đến Q3 + 1,5 IQR được đối chiếu với phiếu gốc; lỗi nhập được sửa theo phiếu gốc; các giá trị thật được giữ lại, và phép kiểm chính được chạy lại khi loại các giá trị này như một phân tích độ nhạy."
Chương kết quả nên báo con số cụ thể: có bao nhiêu giá trị bị đánh dấu, bao nhiêu được xác định là lỗi và đã sửa, bao nhiêu được giữ. Một luồng mẫu từ số phiếu thu được, qua từng bước loại, đến số phiếu đưa vào phân tích, giúp người đọc theo dõi được toàn bộ quá trình.
Cuối cùng, giữ nguyên tệp dữ liệu gốc chưa làm sạch và một bản ghi các thao tác đã thực hiện. Nếu có ai cần kiểm lại, bạn có thể chỉ ra chính xác điểm nào đã bị xử lý và vì sao. Đây cũng là bảo vệ tốt nhất cho chính bạn khi có thắc mắc về sau.
Câu hỏi thường gặp
Có thể dùng kiểm định Grubbs để quyết định loại ngoại lai không?
Kiểm định Grubbs giúp đánh giá liệu giá trị cực nhất có bất thường so với giả định phân phối chuẩn hay không, nhưng nó chỉ trả lời câu hỏi thống kê. Quyết định loại vẫn phải dựa trên lý do thực chất như lỗi đo hay không thuộc tổng thể. Ngoài ra, áp dụng Grubbs lặp lại nhiều lần trên cùng dữ liệu có thể loại quá tay.
Ngoại lai trong khảo sát thang Likert có cần xử lý không?
Với thang Likert, giá trị luôn nằm trong khoảng cho phép nên ít có ngoại lai theo nghĩa con số. Điều cần soát là phiếu trả lời bất cẩn: chọn cùng một mức cho mọi câu, trả lời quá nhanh, mâu thuẫn ở câu đảo chiều. Tiêu chí loại các phiếu này nên được định trước.
Loại ngoại lai làm cỡ mẫu giảm thì có ảnh hưởng gì?
Cỡ mẫu giảm làm lực mẫu giảm, nhưng thường không đáng kể nếu chỉ loại vài quan sát. Vấn đề lớn hơn là thiên lệch: nếu quan sát bị loại có đặc điểm chung, mẫu còn lại có thể không đại diện nữa. Vì vậy cần báo đặc điểm của các quan sát bị loại.
Nếu ngoại lai nằm đều ở cả hai nhóm thì có nên loại hết không?
Áp dụng cùng một quy tắc cho cả hai nhóm là đúng, nhưng quyết định loại vẫn phải qua ba câu hỏi về lỗi, tổng thể và bản chất quan sát. Nhiều ngoại lai ở cả hai nhóm có thể cho thấy phân phối vốn lệch, khi đó dùng phương pháp bền vững thường hợp lý hơn là loại.
Có được thay giá trị ngoại lai bằng giá trị trung bình không?
Không nên. Thay bằng trung bình làm giảm phương sai giả tạo, khiến khoảng tin cậy hẹp hơn thực tế và giá trị p nhỏ hơn mức đáng có. Nếu giá trị là lỗi không khôi phục được, coi là dữ liệu thiếu và xử lý theo phương pháp dữ liệu thiếu đã định.