Nên chạy A/B test quảng cáo bao lâu (và vì sao dừng sớm đánh lừa bạn)
A/B test quảng cáo phải chạy đến khi đạt cỡ mẫu bạn chọn trước khi bắt đầu, không phải đến khi số liệu trông đẹp. Cách tính, kèm ví dụ cụ thể, khuyến nghị của Meta và Google Ads, cùng một công cụ tính miễn phí.
“Test nên chạy bao lâu?” là câu hỏi có câu trả lời thật, và câu trả lời đó không phải là một số ngày. Một test đủ dài khi nó đã thấy đủ người để phân biệt hai phiên bản. Số ngày chỉ xuất hiện khi bạn chia số người đó cho lượng traffic của mình. Làm đúng thứ tự thì test sẽ cho bạn biết điều gì đó. Làm sai thì bạn sẽ tung ra quảng cáo nào tình cờ dẫn trước vào một ngày thứ Ba may mắn.
Công cụ tính A/B test miễn phí làm các phép tính trong bài này ngay trên trình duyệt của bạn. Dưới đây là cách chúng hoạt động, để bạn biết cần nhập gì.
Bắt đầu từ mức cải thiện nhỏ nhất đáng để tìm
Trước khi test, hãy quyết định mức cải thiện nhỏ nhất mà bạn sẽ hành động theo. Nếu một hook mới tăng chuyển đổi 3%, bạn có xây lại quảng cáo quanh nó không? Có lẽ là không. Còn 20%? Có lẽ là có. Mức cải thiện nhỏ nhất đáng tìm này quyết định mọi thứ còn lại, vì khác biệt nhỏ cần nhiều dữ liệu hơn hẳn để thấy được so với khác biệt lớn.
Bạn cũng cần thêm ba con số:
- Tỷ lệ chuyển đổi hiện tại. Lấy từ quảng cáo, tệp đối tượng hoặc landing page bạn sắp test, trong một giai đoạn gần đây bình thường.
- Mức độ tin cậy. 95% là lựa chọn thông thường. Nó quyết định tần suất một test không có khác biệt thật vẫn tuyên bố có người thắng: khoảng 5% số lần.
- Power. Xác suất bắt được mức cải thiện nếu nó thực sự tồn tại. Meta thường gợi ý 80% trở lên cho các test của họ, và 80% là mức mặc định phổ biến.
Chuyển thành số lượt truy cập cho mỗi phiên bản
Với bốn con số đó, công thức chuẩn để so sánh hai tỷ lệ chuyển đổi cho ra số lượt truy cập mỗi phiên bản cần. Công cụ tính hiển thị đầy đủ công thức. Đây là kết quả cho một cửa hàng chuyển đổi 2% lượt truy cập, ở mức tin cậy 95% và power 80%:
| Mức cải thiện nhỏ nhất đáng tìm | Tỷ lệ của B | Lượt truy cập mỗi phiên bản | Tổng |
|---|---|---|---|
| 30% | 2.6% | 9,798 | 19,596 |
| 20% | 2.4% | 21,109 | 42,218 |
| 10% | 2.2% | 80,682 | 161,364 |
Giảm một nửa mức cải thiện bạn muốn thấy thì lượng traffic cần có tăng khoảng gấp bốn. Chỉ riêng điều này đã giải thích phần lớn các test quảng cáo thất bại: ai đó cố phát hiện một khác biệt nhỏ với ngân sách được tính cho một khác biệt lớn.
Tăng power cũng có cái giá của nó. Cùng mức cải thiện 20% ở power 90% cần 28,258 lượt mỗi phiên bản thay vì 21,109.
Sau đó, và chỉ sau đó, mới đổi ra số ngày
Chia tổng cho số lượt truy cập mỗi ngày mà cả hai phiên bản cùng nhận được. Với 3,000 lượt mỗi ngày, test 20% cần 42,218 ÷ 3,000 = 14.07, tức 15 ngày. Với 1,000 lượt mỗi ngày thì cần 43 ngày. Với 10,000 lượt mỗi ngày thì cần 5 ngày.
Giờ hãy đối chiếu kết quả với các nền tảng:
- Quá ngắn. Các phương pháp hay nhất về A/B test của Meta khuyến nghị tối thiểu 7 ngày và cho biết test ngắn hơn có thể cho kết quả không kết luận được. Nếu phép tính của bạn ra 5 ngày, vẫn cứ chạy 7 ngày. Cũng trang đó nói nên chạy lâu hơn nếu khách hàng của bạn thường mất hơn 7 ngày để chuyển đổi sau khi thấy quảng cáo.
- Quá dài. Meta giới hạn A/B test ở 30 ngày. Nếu phép tính của bạn ra 43 ngày, test theo thiết kế hiện tại không thể hoàn thành. Hãy tìm mức cải thiện lớn hơn (test một thay đổi táo bạo hơn), thêm traffic (ngân sách lớn hơn hoặc tệp đối tượng rộng hơn), hoặc chấp nhận mức tin cậy thấp hơn và nói rõ điều đó khi báo cáo kết quả.
- Google Ads. Trang trợ giúp về thử nghiệm của họ khuyến nghị để thử nghiệm chạy 2 đến 3 tuần, và tăng ngân sách hoặc chạy lâu hơn nếu kết quả vẫn chưa ngã ngũ.
Vì sao dừng sớm đánh lừa bạn
Cái bẫy là thế này. Bạn chạy test và kiểm tra mỗi sáng. Đến ngày thứ tư, B đang dẫn và công cụ báo có ý nghĩa thống kê. Bạn dừng, tung B ra và chuyển sang việc khác.
Mức tin cậy 95% chỉ mô tả một test được đọc một lần, ở cỡ mẫu đã định. Nếu A và B thực sự chuyển đổi như nhau, lần đọc duy nhất đó sẽ tuyên bố sai người thắng khoảng 5% số lần. Kiểm tra mỗi ngày là một quy trình khác. Hai tỷ lệ dao động khi lượt truy cập đổ về, và mỗi lần nhìn là thêm một cơ hội để một khoảng chênh ngẫu nhiên vượt qua vạch. Dừng ở lần vượt đầu tiên là bạn đã cố ý chọn khoảnh khắc may mắn nhất. Tỷ lệ dương tính giả thực tế cuối cùng sẽ cao hơn 5%, và càng nhìn nhiều thì nó càng tăng.
Giá trị p trên màn hình không thể cảnh báo bạn, vì nó không biết bạn đã kiểm tra bao nhiêu lần. Nó hiển thị y như thể bạn chỉ nhìn một lần.
Ba quy tắc giúp test trung thực:
- Ghi cỡ mẫu ra trước khi chạy. Đặt nó vào tên test nếu cần.
- Cứ xem, nhưng đừng dừng. Kiểm tra để chắc cả hai phiên bản đều đang phân phối và không có gì hỏng là được. Kết thúc test vì con số trông đẹp thì không.
- Đọc kết quả một lần, ở cỡ mẫu đã định. Nếu không có ý nghĩa thống kê, đó cũng là một câu trả lời: khác biệt, nếu có, nhỏ hơn mức cải thiện mà bạn đã nói là đáng tìm.
Đọc kết quả
Khi test đạt cỡ mẫu, chuyển công cụ tính sang Kết quả của tôi có ý nghĩa không? và nhập lượt truy cập cùng chuyển đổi của cả hai phiên bản. Giả sử A chuyển đổi 200 trên 10,000 lượt (2.00%) và B chuyển đổi 245 trên 10,000 (2.45%). Công cụ cho ra z = 2.157 và giá trị p hai phía là 0.031, dưới 0.05, nên B thắng ở mức tin cậy 95%.
Rồi hãy đọc khoảng, đừng chỉ đọc phán quyết. Khoảng tin cậy 95% của mức chênh chạy từ +0.04 đến +0.86 điểm phần trăm, tức là mức cải thiện so với A vào khoảng +2% đến +43%. B tốt hơn, nhưng tốt hơn bao nhiêu thì vẫn còn rất mở. Nếu B tốn kém hơn để sản xuất, chính khoảng đó cho bạn biết nó có đáng hay không.
Các nền tảng không phải lúc nào cũng khớp với công cụ tính, và điều đó là bình thường. Kết quả A/B của Meta hiển thị phần trăm tin cậy và coi từ 65% trở lên là kết quả thắng, một thước đo khác với giá trị p. Google Ads tính khoảng tin cậy bằng phương pháp jackknife trên 20 nhóm cho mỗi nhánh và mặc định hiển thị khoảng 80%. Hãy dùng phán quyết của nền tảng cho test của nền tảng, và dùng công cụ tính để lên kế hoạch cỡ mẫu và kiểm tra lại phép tính.
Thiết lập test để câu trả lời có ý nghĩa
- Chỉ thay đổi một thứ. Các phương pháp hay nhất của Meta cho biết kết quả sẽ rõ ràng hơn khi các phiên bản giống hệt nhau, trừ biến đang được test.
- Chia đúng cách. Meta khuyên không nên test bằng cách bật tắt nhóm quảng cáo, vì tệp đối tượng có thể chồng lấn, và khuyến nghị dùng cùng ngân sách cho cả hai phiên bản. Hãy dùng chính công cụ A/B test hoặc thử nghiệm của nền tảng.
- Kiểm tra tiền, không chỉ tỷ lệ. Một phiên bản thắng về tỷ lệ chuyển đổi vẫn có thể lỗ nếu chi phí mỗi lượt nhấp cao hơn. Đưa phiên bản thắng qua công cụ tính ROAS và so với ROAS hòa vốn của bạn trước khi scale.
Tóm lại
Chọn mức cải thiện nhỏ nhất đáng tìm, tính số lượt truy cập mỗi phiên bản, chia cho traffic hằng ngày, giữ kết quả trong khoảng 7 đến 30 ngày theo Meta, và đừng dừng sớm. Công cụ tính A/B test làm được cả hai nửa. Còn nếu bạn muốn được gợi ý test sẵn, Hermoso là một agent marketing AI tự động vận hành marketing cho bạn: nó có thể đọc mọi nền tảng quảng cáo bạn đã kết nối và cho bạn biết nên scale gì, tạm dừng gì và test gì tiếp theo, kèm giả thuyết của từng test, chỉ số quyết định, ngân sách và thời lượng.
Câu hỏi thường gặp
Nên chạy A/B test quảng cáo Facebook bao lâu?
Đủ lâu để đạt cỡ mẫu bạn đã tính trước khi bắt đầu, và tối thiểu 7 ngày, là mức tối thiểu Meta khuyến nghị. Meta giới hạn A/B test ở 30 ngày. Với 3,000 lượt truy cập mỗi ngày, một test trên tỷ lệ chuyển đổi 2% tìm mức cải thiện 20% cần khoảng 15 ngày.
Cần bao nhiêu chuyển đổi cho một A/B test?
Tùy vào tỷ lệ chuyển đổi của bạn và mức cải thiện bạn muốn phát hiện. Ở tỷ lệ 2%, để tìm mức cải thiện 20% với độ tin cậy 95% và power 80% cần 21,109 lượt truy cập mỗi phiên bản, tức khoảng 422 chuyển đổi ở phiên bản gốc.
Tôi có thể dừng A/B test sớm nếu nó đã có ý nghĩa thống kê không?
Không, nếu bạn muốn mức tin cậy còn giữ được. Kiểm tra thường xuyên và dừng ở lần đọc có ý nghĩa đầu tiên sẽ cho sự ngẫu nhiên thêm nhiều cơ hội vượt qua vạch, nên tỷ lệ dương tính giả thực tế cuối cùng cao hơn mức bạn đã chọn.
Nếu test của tôi cần hơn 30 ngày thì sao?
A/B test của Meta không thể chạy quá 30 ngày, nên hãy đổi thiết kế: test một thay đổi táo bạo hơn để mức cải thiện bạn tìm lớn hơn, thêm ngân sách hoặc mở rộng tệp đối tượng để có thêm traffic, hoặc chấp nhận mức tin cậy thấp hơn và nói rõ khi báo cáo kết quả.