Berapa lama A/B test iklan harus jalan (dan kenapa berhenti lebih awal menipumu)
A/B test iklan harus jalan sampai mencapai ukuran sampel yang kamu tentukan sebelum mulai, bukan sampai angkanya terlihat bagus. Cara menghitungnya, lengkap dengan contoh, apa yang direkomendasikan Meta dan Google Ads, dan kalkulator gratis.
“Test-nya harus jalan berapa lama?” punya jawaban yang jelas, dan jawabannya bukan jumlah hari. Sebuah test sudah cukup lama kalau sudah dilihat cukup banyak orang untuk membedakan dua versinya. Hari baru masuk hitungan saat kamu membagi jumlah orang itu dengan trafikmu. Kalau urutannya benar, test-nya memberitahumu sesuatu. Kalau salah, kamu akhirnya merilis iklan mana pun yang kebetulan unggul di hari Selasa yang beruntung.
Kalkulator A/B test gratis menghitung semua angka di artikel ini langsung di browser-mu. Begini cara kerjanya, supaya kamu tahu apa yang harus dimasukkan.
Mulai dari kenaikan terkecil yang layak dicari
Sebelum test, tentukan peningkatan terkecil yang akan membuatmu bertindak. Kalau hook baru menaikkan konversi 3%, apakah kamu akan membangun ulang iklanmu di sekitarnya? Mungkin tidak. Kalau 20%? Mungkin ya. Kenaikan terkecil yang layak dicari ini menentukan semua hal lainnya, karena perbedaan kecil butuh data jauh lebih banyak untuk terlihat dibanding perbedaan besar.
Kamu juga butuh tiga angka lagi:
- Conversion rate saat ini. Ambil dari iklan, audiens, atau landing page yang akan kamu uji, dalam periode normal yang baru-baru ini.
- Tingkat kepercayaan. 95% adalah pilihan yang umum. Angka ini menentukan seberapa sering test yang sebenarnya tidak punya perbedaan tetap menunjuk pemenang: sekitar 5% dari waktu.
- Power. Peluang menangkap kenaikan itu kalau memang benar-benar ada. Meta biasanya menyarankan 80% atau lebih untuk test-nya sendiri, dan 80% adalah default yang umum.
Ubah jadi jumlah pengunjung per versi
Dengan empat angka itu, rumus standar untuk membandingkan dua conversion rate memberi jumlah pengunjung yang dibutuhkan tiap versi. Kalkulatornya menampilkan rumus lengkapnya. Ini hasilnya untuk toko yang mengonversi 2% pengunjung, dengan tingkat kepercayaan 95% dan power 80%:
| Kenaikan terkecil yang layak dicari | Rate B | Pengunjung per versi | Total |
|---|---|---|---|
| 30% | 2.6% | 9,798 | 19,596 |
| 20% | 2.4% | 21,109 | 42,218 |
| 10% | 2.2% | 80,682 | 161,364 |
Memotong setengah kenaikan yang ingin kamu lihat kira-kira melipatempatkan trafik yang kamu butuhkan. Satu fakta ini menjelaskan sebagian besar test iklan yang gagal: seseorang mencoba mendeteksi perbedaan kecil dengan anggaran yang diukur untuk perbedaan besar.
Menaikkan power juga ada harganya. Kenaikan 20% yang sama dengan power 90% butuh 28,258 per versi, bukan 21,109.
Baru setelah itu, ubah jadi hari
Bagi totalnya dengan jumlah pengunjung per hari yang didapat kedua versi bersama-sama. Dengan 3,000 pengunjung sehari, test 20% butuh 42,218 ÷ 3,000 = 14.07, jadi 15 hari. Dengan 1,000 sehari butuh 43 hari. Dengan 10,000 sehari butuh 5.
Sekarang cek jawabannya terhadap aturan platform:
- Terlalu pendek. Praktik terbaik A/B testing Meta merekomendasikan minimal 7 hari dan bilang test yang lebih pendek bisa menghasilkan hasil yang tidak meyakinkan. Kalau hitunganmu bilang 5 hari, tetap jalankan 7. Halaman yang sama bilang untuk menjalankan lebih lama kalau pelangganmu biasanya butuh lebih dari 7 hari untuk konversi setelah melihat iklan.
- Terlalu panjang. Meta membatasi A/B test maksimal 30 hari. Kalau hitunganmu bilang 43, test dengan desain itu tidak akan bisa selesai. Cari kenaikan yang lebih besar (uji perubahan yang lebih berani), trafik lebih banyak (anggaran lebih besar atau audiens lebih luas), atau terima tingkat kepercayaan yang lebih rendah dan sebutkan itu saat melaporkan hasilnya.
- Google Ads. Halaman bantuan eksperimennya merekomendasikan menjalankan eksperimen 2 sampai 3 minggu, dan menaikkan anggaran atau menjalankan lebih lama kalau hasilnya masih belum jelas.
Kenapa berhenti lebih awal menipumu
Ini jebakannya. Kamu meluncurkan test dan mengeceknya tiap pagi. Di hari keempat, B unggul dan tool-nya bilang signifikan. Kamu berhenti, merilis B, lalu lanjut ke hal lain.
Tingkat kepercayaan 95% hanya berlaku untuk test yang dibaca sekali, di ukuran sampel yang direncanakan. Kalau A dan B sebenarnya mengonversi sama, pembacaan tunggal itu menunjuk pemenang palsu sekitar 5% dari waktu. Mengecek tiap hari adalah prosedur yang berbeda. Kedua rate naik turun seiring pengunjung datang, dan setiap kali kamu melihat, ada satu kesempatan lagi bagi selisih kebetulan untuk melewati garis. Berhenti di persilangan pertama berarti kamu sengaja memilih momen paling beruntung. Tingkat false positive yang sebenarnya jadi di atas 5%, dan makin naik makin sering kamu melihat.
P-value di layar tidak bisa memperingatkanmu, karena ia tidak tahu berapa kali kamu sudah mengecek. Tampilannya persis seperti kalau kamu hanya melihat sekali.
Tiga aturan menjaga test tetap jujur:
- Tulis ukuran sampelnya sebelum peluncuran. Masukkan ke nama test kalau perlu.
- Lihat boleh, berhenti jangan. Mengecek bahwa kedua versi tayang dan tidak ada yang rusak itu wajar. Mengakhiri test karena angkanya terlihat bagus, tidak.
- Baca hasilnya sekali, di ukuran yang direncanakan. Kalau tidak signifikan, itu juga jawaban: perbedaannya, kalau ada, lebih kecil dari kenaikan yang kamu bilang layak dicari.
Membaca hasilnya
Saat test mencapai ukurannya, ubah kalkulator ke Apakah hasilku signifikan? lalu masukkan pengunjung dan konversi untuk kedua versi. Misalnya A mengonversi 200 dari 10,000 pengunjung (2.00%) dan B mengonversi 245 dari 10,000 (2.45%). Kalkulator memberi z = 2.157 dan p-value dua sisi 0.031, di bawah 0.05, jadi B menang dengan tingkat kepercayaan 95%.
Lalu baca rentangnya, bukan cuma putusannya. Interval 95% untuk selisihnya berkisar dari +0.04 sampai +0.86 poin persentase, yang sebagai kenaikan terhadap A kira-kira +2% sampai +43%. B lebih baik, tapi seberapa jauh lebih baik masih sangat terbuka. Kalau B lebih mahal untuk diproduksi, rentang inilah yang memberitahumu apakah itu sepadan.
Platform tidak selalu setuju dengan kalkulator, dan itu wajar. Hasil A/B Meta menampilkan persentase kepercayaan dan menganggap 65% atau lebih sebagai hasil yang menang, ukuran yang berbeda dari p-value. Google Ads menghitung intervalnya dengan jackknife resampling atas 20 bucket per grup dan menampilkan interval 80% secara default. Pakai putusan platform untuk test di platform itu, dan kalkulator untuk merencanakan ukuran dan mengecek hitungannya.
Siapkan test supaya jawabannya berarti
- Ubah satu hal saja. Praktik terbaik Meta bilang hasilnya lebih meyakinkan kalau versi-versinya identik kecuali variabel yang diuji.
- Bagi dengan benar. Meta tidak menyarankan menguji dengan menyalakan dan mematikan ad set, karena audiensnya bisa tumpang tindih, dan merekomendasikan anggaran yang sama untuk kedua versi. Pakai tool A/B test atau eksperimen bawaan platform.
- Cek uangnya, bukan cuma rate-nya. Versi yang menang di conversion rate tetap bisa rugi kalau biaya per kliknya lebih mahal. Masukkan pemenangnya ke kalkulator ROAS dan bandingkan dengan ROAS impas kamu sebelum menaikkan skalanya.
Versi singkatnya
Pilih kenaikan terkecil yang layak dicari, hitung pengunjung per versi, bagi dengan trafik harianmu, jaga hasilnya di antara 7 dan 30 hari versi Meta, dan jangan berhenti lebih awal. Kalkulator A/B test mengerjakan kedua bagiannya. Dan kalau kamu lebih suka test-nya disarankan untukmu, Hermoso adalah AI marketing agent yang menjalankan pemasaranmu secara otomatis: ia bisa membaca setiap platform iklan yang sudah kamu hubungkan dan memberitahumu apa yang perlu di-scale, dijeda, dan diuji berikutnya, lengkap dengan hipotesis tiap test, metrik penentunya, anggaran, dan durasinya.
Pertanyaan yang sering diajukan
Berapa lama A/B test iklan Facebook harus dijalankan?
Cukup lama untuk mencapai ukuran sampel yang kamu hitung sebelum mulai, dan minimal 7 hari, batas minimum yang direkomendasikan Meta. Meta membatasi A/B test maksimal 30 hari. Dengan 3,000 pengunjung sehari, test pada conversion rate 2% yang mencari kenaikan 20% butuh sekitar 15 hari.
Berapa banyak konversi yang dibutuhkan untuk A/B test?
Tergantung conversion rate-mu dan kenaikan yang ingin kamu deteksi. Pada rate 2%, mencari kenaikan 20% dengan tingkat kepercayaan 95% dan power 80% butuh 21,109 pengunjung per versi, atau sekitar 422 konversi di versi aslinya.
Bolehkah aku menghentikan A/B test lebih awal kalau sudah signifikan?
Tidak, kalau kamu ingin tingkat kepercayaannya tetap berlaku. Sering mengecek lalu berhenti di pembacaan signifikan pertama memberi kebetulan lebih banyak kesempatan untuk melewati garis, jadi tingkat false positive yang sebenarnya jadi lebih tinggi dari yang kamu pilih.
Bagaimana kalau test-ku butuh lebih dari 30 hari?
A/B test Meta tidak bisa jalan lebih dari 30 hari, jadi ubah desainnya: uji perubahan yang lebih berani supaya kenaikan yang kamu cari lebih besar, tambah anggaran atau perluas audiens untuk trafik lebih banyak, atau terima tingkat kepercayaan yang lebih rendah dan sebutkan itu saat melaporkan hasilnya.