Thử nghiệm A/B là một kiểm định giả thuyết đội lốt công cụ marketing. Chia ngẫu nhiên khách truy cập vào hai phiên bản trang, đếm bao nhiêu người đăng ký ở mỗi bên, rồi hỏi chênh lệch đó có vượt quá mức may rủi không. Về toán học, đó chính là kiểm định hai tỷ lệ mà sinh viên học trong môn xác suất thống kê. Khác biệt duy nhất là trong marketing, người ta thường xem kết quả mỗi ngày và nóng lòng tuyên bố phiên bản thắng.
Bài này dùng một ví dụ giả định để tính tay toàn bộ: kiểm định z, khoảng tin cậy, cỡ mẫu cần thiết. Sau đó bàn những bẫy làm hỏng thử nghiệm A/B trong thực tế, trong đó bẫy phổ biến nhất là dừng thử nghiệm ngay khi giá trị p vừa xuống dưới 0,05. Bài phù hợp với sinh viên ngành marketing làm khoá luận và người làm tăng trưởng cần hiểu con số mà công cụ báo cáo.
Thử nghiệm A/B là kiểm định gì
Giả sử một trung tâm đào tạo trực tuyến muốn đổi trang đăng ký học thử: phiên bản A giữ nút đăng ký ở cuối trang, phiên bản B đưa nút lên ngay dưới phần giới thiệu và rút ngắn biểu mẫu từ sáu ô xuống ba ô. Hệ thống chia ngẫu nhiên mỗi người truy cập vào một phiên bản và giữ nguyên phiên bản đó nếu họ quay lại. Chỉ số chính là tỷ lệ chuyển đổi: số người hoàn tất đăng ký chia cho số người truy cập. Đây là ví dụ giả định.
Ngôn ngữ kiểm định giả thuyết áp vào rất thẳng. H0: tỷ lệ chuyển đổi trong tổng thể của hai phiên bản bằng nhau. H1: hai tỷ lệ khác nhau. Mức ý nghĩa thường đặt là 0,05; sai lầm loại I là tuyên bố B tốt hơn trong khi thật ra không phải, sai lầm loại II là bỏ qua một phiên bản thật sự tốt hơn. Trong kinh doanh, cả hai đều tốn tiền: loại I khiến đội ngũ triển khai một thay đổi vô ích và tin vào một bài học sai, loại II khiến họ bỏ lỡ cải tiến.
Vì việc phân nhóm là ngẫu nhiên, thử nghiệm A/B mạnh hơn hẳn việc so sánh số liệu tháng này với tháng trước. Mùa vụ, chiến dịch quảng cáo, ngày lễ ảnh hưởng đều lên cả hai nhóm, nên chênh lệch còn lại có thể quy cho phiên bản trang. Đây là ưu thế giống thử nghiệm ngẫu nhiên có đối chứng trong y học, và cũng là lý do mọi thao tác làm hỏng tính ngẫu nhiên đều làm hỏng luôn kết luận.
Số liệu giả định sau hai tuần chạy
Sau hai tuần, mỗi phiên bản nhận đúng 10.000 lượt người truy cập. Bảng dưới là số liệu giả định.
| Phiên bản | Người truy cập | Đăng ký thành công | Tỷ lệ chuyển đổi |
|---|---|---|---|
| A (nút cuối trang) | 10.000 | 320 | 3,20% |
| B (nút trên, biểu mẫu ngắn) | 10.000 | 368 | 3,68% |
| Chung | 20.000 | 688 | 3,44% |
Báo cáo của nhiều công cụ sẽ viết phiên bản B “tăng 15%”. Con số này đúng nhưng là mức tăng tương đối: (3,68 − 3,20) / 3,20 = 0,15. Mức tăng tuyệt đối chỉ là 0,48 điểm phần trăm, tức cứ 1.000 người truy cập thì B có thêm khoảng 5 người đăng ký. Cả hai cách nói đều hợp lệ, nhưng người làm báo cáo hay chọn con số tương đối vì nó nghe lớn hơn. Khi viết khoá luận, nên báo cáo cả hai.
Trước khi tính bất cứ thứ gì, hãy làm sạch dữ liệu theo quy tắc đã định từ trước: loại lượt truy cập của nhân viên nội bộ, tài khoản thử nghiệm, các lượt do công cụ tự động tạo ra. Quy tắc loại trừ phải áp như nhau cho cả hai nhánh và không được đổi sau khi đã nhìn thấy kết quả, vì mỗi lần sửa quy tắc là một lần chọn lại dữ liệu theo ý mình. Ghi lại số lượt bị loại ở mỗi nhánh để người đọc kiểm được.
Tính tay kiểm định z và khoảng tin cậy
Các bước dưới đây dùng số liệu giả định ở bảng trên. Phép tính không khác bài tập giáo trình, chỉ có số lớn hơn.
- Tỷ lệ mẫu: pA = 320/10.000 = 0,0320; pB = 368/10.000 = 0,0368. Hiệu quan sát: 0,0048.
- Tỷ lệ gộp dưới H0: (320 + 368) / 20.000 = 0,0344.
- Sai số chuẩn dưới H0: căn của [0,0344 × 0,9656 × (1/10.000 + 1/10.000)] ≈ 0,00258.
- Thống kê z: 0,0048 / 0,00258 ≈ 1,86.
- Giá trị p hai phía: 2 × P(Z ≥ 1,86) ≈ 0,063. Lớn hơn 0,05, nên không bác bỏ H0.
- Khoảng tin cậy 95% của hiệu (dùng sai số chuẩn tính riêng từng nhóm, khoảng 0,00259): 0,0048 ± 1,96 × 0,00259, tức từ khoảng −0,03 đến 0,99 điểm phần trăm.
Kết luận đúng: với hai tuần dữ liệu, chưa đủ bằng chứng ở mức ý nghĩa 0,05 để nói hai phiên bản có tỷ lệ chuyển đổi khác nhau. Khoảng tin cậy cho thấy số liệu phù hợp với cả khả năng B gần như không hơn A, lẫn khả năng B hơn A gần một điểm phần trăm, tức tăng tương đối khoảng 30%. Nói “B không tốt hơn” là sai; nói “B thắng” cũng sai.
Cần bao nhiêu người truy cập: tính cỡ mẫu trước khi chạy
Kết quả không có ý nghĩa ở trên chủ yếu do thiếu dữ liệu. Công thức cỡ mẫu cho hai tỷ lệ, với mức ý nghĩa 0,05 hai phía và lực mẫu 80%, là: n mỗi nhánh = [1,96 × căn(2 × p̄ × (1 − p̄)) + 0,84 × căn(p1(1 − p1) + p2(1 − p2))]² chia cho (p2 − p1)², trong đó p̄ là trung bình hai tỷ lệ. Áp vào vài tình huống giả định với tỷ lệ gốc 3,2%:
| Muốn phát hiện | Tỷ lệ phiên bản mới | Cỡ mẫu xấp xỉ mỗi nhánh |
|---|---|---|
| Tăng tương đối 15% | 3,68% | khoảng 22.600 người |
| Tăng tương đối 10% | 3,52% | khoảng 49.800 người |
| Tăng tương đối 30% | 4,16% | khoảng 6.000 người |
Bảng cho thấy quy luật quan trọng: cỡ mẫu tỷ lệ nghịch với bình phương chênh lệch. Muốn phát hiện mức tăng nhỏ bằng một nửa thì cần cỡ mẫu gần gấp bốn. Với tỷ lệ chuyển đổi thấp vài phần trăm, những cải tiến nhỏ đòi hỏi hàng chục nghìn người mỗi nhánh. Trang web chỉ có vài trăm người truy cập mỗi ngày nên chỉ thử những thay đổi đủ lớn, hoặc chọn chỉ số xảy ra thường xuyên hơn như tỷ lệ bấm vào nút.
Lực mẫu 80% nghĩa là nếu hiệu quả thật đúng bằng mức đã giả định, thử nghiệm vẫn có khoảng 20% khả năng bỏ lỡ nó. Con số lấy làm mức cần phát hiện nên là mức nhỏ nhất mà doanh nghiệp thấy đáng triển khai, không phải mức mình hy vọng.
Bẫy xem sớm: vì sao không được dừng khi p vừa xuống dưới 0,05
Mỗi lần xem là một lần kiểm định. Mức ý nghĩa 0,05 chỉ đúng khi bạn kiểm định một lần, ở cỡ mẫu đã định trước. Nếu ngày nào cũng mở bảng điều khiển và dừng ngay khi thấy p nhỏ hơn 0,05, bạn đang cho mình nhiều cơ hội gặp một dao động ngẫu nhiên vượt ngưỡng. Tỷ lệ báo động giả thật sự lúc đó cao hơn 5% nhiều, và càng xem nhiều lần càng cao.
Giá trị p dao động trong lúc dữ liệu chảy vào. Ở giai đoạn đầu, mỗi nhánh mới có vài chục người chuyển đổi, nên chỉ cần vài người đăng ký dồn vào một bên là giá trị p nhảy xuống. Thử nghiệm A/A, hai nhánh y hệt nhau, chạy cho đội ngũ xem là cách tốt để mọi người tận mắt thấy p có thể xuống dưới 0,05 vài lần dù không có khác biệt nào.
Cách đúng: định trước cỡ mẫu và thời gian. Tính cỡ mẫu như ở phần trên, quy ra số ngày, làm tròn lên cho đủ trọn tuần để tránh chênh lệch giữa ngày thường và cuối tuần, ghi lại rồi chỉ phân tích khi đủ. Được xem số liệu để phát hiện lỗi kỹ thuật, không được xem để quyết định thắng thua.
Nếu buộc phải xem giữa chừng. Có các phương pháp kiểm định tuần tự được thiết kế cho việc xem nhiều lần, với ngưỡng khắt khe hơn ở các lần xem sớm. Một số công cụ thử nghiệm đã tích hợp sẵn. Khi dùng, cần hiểu công cụ đang áp phương pháp nào và ghi rõ trong báo cáo, vì giá trị p của chúng không đọc như p thông thường.
Những lỗi khác làm sai kết quả A/B
Ngoài bẫy xem sớm, các lỗi dưới đây gặp thường xuyên trong khoá luận và trong báo cáo nội bộ. Mỗi lỗi đều vi phạm một giả định của kiểm định hai tỷ lệ.
- Đếm lượt truy cập thay vì đếm người: một người vào trang năm lần không phải năm quan sát độc lập. Nếu ngẫu nhiên hoá theo người dùng thì phân tích cũng theo người dùng.
- Chia nhánh lệch so với thiết kế: định chia 50/50 mà kết quả là 10.400 so với 9.600 người thì nên nghi lỗi kỹ thuật. Kiểm định chi bình phương phù hợp trên số người mỗi nhánh giúp phát hiện sớm; lệch rõ là dấu hiệu phải sửa hệ thống trước khi đọc kết quả.
- Theo dõi quá nhiều chỉ số và nhiều phiên bản: so mười chỉ số, chỉ số nào p nhỏ thì báo cáo, là kiểm định nhiều lần không hiệu chỉnh. Chọn một chỉ số chính từ trước, các chỉ số còn lại chỉ để tham khảo; chạy nhiều phiên bản cùng lúc thì cần hiệu chỉnh mức ý nghĩa.
- Hiệu ứng mới lạ: khách quen bấm thử thứ mới chỉ vì nó lạ, vài tuần sau trở lại như cũ. Thử nghiệm quá ngắn dễ đo nhầm sự tò mò thành cải tiến.
- Đổi phiên bản giữa chừng: sửa chữ trên phiên bản B ở ngày thứ năm là đã có hai thử nghiệm trộn vào nhau. Muốn sửa thì dừng và bắt đầu lại.
Phần lớn lỗi này không cần thống kê cao siêu để tránh, chỉ cần viết kế hoạch thử nghiệm một trang trước khi bật: giả thuyết, chỉ số chính, đơn vị ngẫu nhiên hoá, cỡ mẫu, ngày bắt đầu và kết thúc, quy tắc ra quyết định. Kế hoạch đó cũng chính là phần phương pháp của khoá luận.
Viết kết quả thử nghiệm A/B vào khoá luận
Phần phương pháp cần đủ để người khác lặp lại được: đơn vị ngẫu nhiên hoá là người dùng hay phiên truy cập, tỷ lệ chia nhánh, chỉ số chính và cách đo, thời gian chạy, cỡ mẫu đã tính trước cùng các giả định dùng để tính, quy tắc loại trừ dữ liệu, phép kiểm định và mức ý nghĩa. Nếu có xem số liệu giữa chừng, nói rõ đã xem để làm gì.
Phần kết quả với ví dụ giả định có thể viết: tỷ lệ chuyển đổi của phiên bản A là 3,20% (320/10.000), phiên bản B là 3,68% (368/10.000); chênh lệch tuyệt đối 0,48 điểm phần trăm, khoảng tin cậy 95% từ −0,03 đến 0,99 điểm phần trăm, z = 1,86, p = 0,063. Câu tiếp theo nêu thẳng rằng chênh lệch chưa đạt ý nghĩa thống kê ở mức 0,05 với cỡ mẫu đã thu, và cỡ mẫu này thấp hơn mức khoảng 22.600 người mỗi nhánh cần cho một mức tăng tương đối 15%.
Phần bàn luận là nơi đề xuất bước tiếp: chạy tiếp đến đủ cỡ mẫu, hoặc thử một thay đổi lớn hơn. Tránh viết rằng phiên bản B có xu hướng tốt hơn, vì câu đó lặng lẽ biến một kết quả không có ý nghĩa thành một khuyến nghị.
Câu hỏi thường gặp
Thử nghiệm A/B có phải là kiểm định chi bình phương không?
Với chỉ số dạng tỷ lệ như chuyển đổi, kiểm định z hai tỷ lệ và chi bình phương bảng 2x2 là cùng một phép kiểm định, chi bình phương bằng bình phương của z. Với chỉ số liên tục như doanh thu mỗi người, phép so sánh thường dựa trên kiểm định t hoặc phương pháp khác phù hợp với dữ liệu lệch.
Báo cáo tăng 15% có sai không khi tỷ lệ chỉ tăng từ 3,2% lên 3,68%?
Không sai, đó là mức tăng tương đối. Nhưng chỉ báo cáo con số tương đối dễ làm người đọc tưởng hiệu quả lớn. Nên báo cáo cả mức tăng tuyệt đối, ở đây 0,48 điểm phần trăm, kèm khoảng tin cậy để người đọc thấy độ chắc chắn của ước lượng.
Chạy A/B bao lâu thì đủ?
Đủ khi đạt cỡ mẫu đã tính trước, và nên làm tròn lên cho trọn tuần để cân bằng ngày thường với cuối tuần. Thời gian quá ngắn dễ đo nhầm hiệu ứng mới lạ; quá dài thì dễ bị lẫn những thay đổi khác của trang hoặc thị trường.
Kết quả không có ý nghĩa thì có nghĩa là hai phiên bản như nhau không?
Không. Không bác bỏ H0 chỉ nói dữ liệu chưa đủ bằng chứng về khác biệt. Khoảng tin cậy cho biết những mức chênh lệch nào vẫn phù hợp với số liệu. Nếu khoảng đó còn chứa những mức tăng đáng kể với doanh nghiệp, kết luận đúng là cần thêm dữ liệu.
Có nên dùng kiểm định một phía cho A/B vì chỉ quan tâm B tốt hơn A?
Có thể, nếu quyết định từ trước và có lý do, nhưng phải chấp nhận rằng nếu B tệ hơn thì kiểm định một phía không phát hiện được. Đổi sang một phía sau khi thấy p hai phía hơi lớn hơn 0,05 là một dạng lách ngưỡng, không được chấp nhận.
Trang có ít người truy cập thì có nên làm A/B không?
Vẫn có thể, nhưng chỉ nên thử những thay đổi lớn, hoặc dùng chỉ số xảy ra thường xuyên hơn như tỷ lệ bấm nút. Với vài trăm người mỗi ngày, phát hiện một mức tăng nhỏ có thể cần hàng tháng, lúc đó nghiên cứu định tính như phỏng vấn người dùng thường hiệu quả hơn.