Kalkulator A/B test untuk iklan: signifikansi dan ukuran sampel

Dua pertanyaan, satu kalkulator

Setiap pengujian iklan menanyakan dua hal, dengan urutan ini. Sebelum dimulai: berapa banyak pengunjung yang dibutuhkan untuk menemukan selisih yang saya pedulikan? Setelah selesai: apakah selisih antara A dan B itu nyata, atau bisa jadi kebetulan? Gunakan dua tab di atas sesuai urutan itu. Menghitung ukuran sampel terlebih dahulu adalah yang membuat jawaban atas pertanyaan kedua menjadi bermakna.

“Pengunjung” bisa berarti pengunjung halaman arahan, klik tautan, atau siapa pun lainnya yang mendapat kesempatan yang adil untuk berkonversi, selama kedua versi dihitung dengan cara yang sama. “Konversi” adalah orang-orang yang melakukan hal yang Anda uji.

Cara kerja uji signifikansi

Kalkulator menjalankan uji z dua proporsi, uji sampel besar untuk membandingkan dua tingkat yang dijelaskan dalam NIST/SEMATECH e-Handbook of Statistical Methods:

• Tingkat gabungan p = (konversi A + konversi B) ÷ (pengunjung A + pengunjung B).
• z = (tingkat B − tingkat A) ÷ √(p × (1 − p) × (1/pengunjung A + 1/pengunjung B)).
• Nilai p dua sisi = 2 × (1 − Φ(|z|)), dengan Φ adalah distribusi normal baku.
• Interval untuk selisihnya adalah (tingkat B − tingkat A) ± z × √(tingkat A × (1 − tingkat A) ÷ pengunjung A + tingkat B × (1 − tingkat B) ÷ pengunjung B). Rentang kenaikan membagi hasil itu dengan tingkat A, yang menganggap tingkat A diketahui, jadi hasilnya merupakan perkiraan.

Contoh perhitungan. Versi A memperoleh 200 konversi dari 10.000 pengunjung (2,00%). Versi B memperoleh 245 dari 10.000 (2,45%), kenaikan relatif 22,5%. Tingkat gabungannya adalah 445 ÷ 20.000 = 2,225%, galat bakunya 0,209 poin persentase, dan z = 0,45 ÷ 0,209 = 2,157. Nilai p dua sisinya 0,031, di bawah 0,05, jadi dengan keyakinan 95% B menang. Interval 95% untuk selisihnya berkisar dari +0,04 hingga +0,86 poin persentase: B lebih baik, tetapi kenaikan sebenarnya bisa di mana saja antara sekitar 2% hingga 43%.

Uji ini adalah perkiraan yang membutuhkan cukup data. Buku panduan NIST memberikan satu kriteria: setidaknya 5 keberhasilan dan 5 kegagalan. Kalkulator menahan putusannya dan menampilkan belum cukup data hingga setiap versi memiliki 5 konversi dan 5 non-konversi. Dengan jumlah yang lebih sedikit dari itu, NIST mengarahkan ke uji eksak untuk sampel kecil, tetapi untuk pengujian iklan jawaban praktisnya adalah teruskan menjalankannya.

Cara menghitung ukuran sampel

Untuk uji dua sisi, pengunjung per versi:

n = (z_1−α/2 × √(2 × p̄ × (1 − p̄)) + z_1−β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²

Di sini p₁ adalah tingkat Anda saat ini, p₂ adalah tingkat tersebut dengan peningkatan yang diterapkan, dan p̄ adalah rata-rata keduanya. Ini merupakan pendekatan normal, tanpa koreksi kontinuitas, dan memiliki bentuk yang sama dengan rumus ukuran sampel proporsi tunggal di buku panduan NIST, dengan satu kelompok kedua ditambahkan. Pada tingkat keyakinan 95% z_1−α/2 adalah 1,959964, dan pada daya 80% z_1−β adalah 0,841621.

Contoh perhitungan. Tingkat konversi 2%, dan Anda ingin menangkap peningkatan 20%, jadi 2,0% dibanding 2,4%. Tingkat rata-ratanya 2,2%. Baris atas adalah 1,959964 × 0,2074 + 0,841621 × 0,2074 = 0,5811, dikuadratkan menjadi 0,3377, dan dibagi dengan 0,004² menghasilkan 21.109 pengunjung per versi, 42.218 secara keseluruhan. Dengan 3.000 pengunjung per hari itu berarti 15 hari.

Peningkatan yang Anda targetkan paling berpengaruh. Pada tingkat 2% yang sama, peningkatan 30% membutuhkan 9.798 per versi dan peningkatan 10% membutuhkan 80.682. Mengurangi peningkatan setengahnya kira-kira melipatempatkan lalu lintas, karena selisihnya dikuadratkan di bagian bawah rumus.

Mengapa berhenti terlalu dini menggelembungkan positif palsu

Tingkat keyakinan 95% berarti bahwa ketika A dan B benar-benar berkonversi sama, satu pengujian pada ukuran sampel tetap tetap akan menyatakan pemenang sekitar 5% waktu. 5% itu hanya benar jika Anda melihat sekali, di akhir.

Memeriksa hasil setiap hari dan berhenti pertama kali hasilnya menunjukkan signifikan adalah prosedur yang berbeda. Tingkat konversi berfluktuasi seiring data masuk, dan setiap pemeriksaan adalah peluang lain bagi selisih kebetulan untuk melewati ambang. Berhenti pada perlintasan pertama berarti Anda telah memilih momen paling beruntung, sehingga tingkat positif palsu sesungguhnya berakhir di atas 5%, dan tingkat itu bertambah semakin sering Anda melihat. Nilai p di layar tidak tahu bahwa Anda mengintip, jadi ia tetap terbaca seolah Anda melihat sekali.

Solusinya membosankan dan ia berhasil: tentukan ukuran sampel sebelum pengujian dimulai, biarkan mencapai ukuran itu, dan baca hasilnya sekali. Melihat di tengah untuk memastikan tidak ada yang rusak boleh saja. Berhenti karena angkanya terlihat bagus tidak boleh.

Apa kata Meta dan Google Ads tentang durasi pengujian

• Praktik terbaik pengujian A/B dari Meta merekomendasikan pengujian minimal 7 hari, menyatakan pengujian yang lebih singkat dari itu dapat menghasilkan hasil yang tidak konklusif, dan membatasi pengujian A/B maksimal 30 hari. Halaman yang sama menyarankan menjalankan lebih lama jika pelanggan biasanya butuh lebih dari 7 hari untuk berkonversi.
• Meta biasanya menyarankan estimasi daya 80% atau lebih tinggi, daya default di sini. Hasil A/B-nya menampilkan persentase keyakinan, dan memperlakukan 65% atau lebih tinggi sebagai hasil pemenang untuk pengujian A/B. Angka itu berasal dari metode Meta sendiri dan bukan hal yang sama dengan tingkat keyakinan di halaman ini, jadi keduanya tidak akan cocok.
• Meta juga menyarankan untuk tidak menguji secara informal dengan menyalakan dan mematikan set iklan, karena audiens bisa tumpang tindih, dan merekomendasikan anggaran yang sama untuk kedua versi.
• Google Ads merekomendasikan menjalankan eksperimen selama 2 hingga 3 minggu, menampilkan interval keyakinan 80% secara default dengan tingkat lain atas permintaan, dan menandai hasil signifikan dengan tanda bintang biru. Metode statistiknya menggunakan pengambilan sampel ulang jackknife atas 20 bucket per lengan, jadi intervalnya juga tidak akan cocok persis dengan uji z.

Apa yang tidak dilakukan kalkulator ini

• Ia membandingkan dua versi. Dengan tiga atau lebih, setiap perbandingan tambahan adalah peluang lain untuk pemenang palsu, dan pengujian sederhana di sini tidak menyesuaikan untuk itu.
• Ia menguji tingkat konversi, bukan pendapatan per pengunjung atau nilai pesanan, yang membutuhkan pengujian berbeda.
• Ia bukan pengujian berurutan. Ia mengasumsikan Anda membaca hasilnya sekali, pada ukuran sampel yang Anda rencanakan.
• Ia tidak bisa memberi tahu apakah pembagian Anda adil. Jika satu versi mendapat audiens, anggaran, atau waktu dalam sehari yang berbeda, tidak ada rumus yang memperbaikinya.

Jika Anda lebih memilih tidak menghitung angka secara manual

Hermoso adalah pemasaran dengan autopilot. Tanyakan padanya apa yang harus diskalakan, dijeda, dan diuji berikutnya dan ia membaca setiap platform iklan yang telah Anda hubungkan, menempatkan kampanye dengan data terlalu sedikit ke dalam kelompok tersendiri alih-alih menilainya, dan memberi setiap pengujian yang disarankan sebuah hipotesis, satu hal yang harus diubah, metrik yang menentukannya, anggaran, dan durasi. Ia juga membuat varian gambar dan video yang sesuai merek untuk diuji, dan membangun kampanye di akun iklan Anda sendiri, dibuat dalam keadaan dijeda. Ia bekerja di aplikasi web, atau di dalam Claude, ChatGPT, dan Cursor melalui server MCP-nya. Setelah sebuah pengujian memiliki pemenang, kalkulator ROAS gratis memberi tahu Anda apakah pengujian itu juga menguntungkan.

Alat gratis: · Kalkulator ROAS · Pemeriksa panjang teks iklan

Pertanyaan yang sering diajukan

Bagaimana saya tahu apakah A/B test iklan saya signifikan secara statistik?

Masukkan pengunjung dan konversi untuk kedua versi. Kalkulator menjalankan uji z dua proporsi dan memberikan p-value dua sisi. Pada kepercayaan 95%, p-value di bawah 0,05 berarti selisihnya kecil kemungkinan karena kebetulan. Untuk 200 dari 10.000 melawan 245 dari 10.000, p adalah 0,031, jadi B menang.

Berapa banyak pengunjung yang dibutuhkan sebuah A/B test?

Itu tergantung pada tingkat konversi Anda dan peningkatan terkecil yang ingin Anda deteksi. Pada tingkat konversi 2%, menemukan peningkatan 20% dengan kepercayaan 95% dan daya 80% membutuhkan 21.109 pengunjung per versi. Peningkatan 10% membutuhkan 80.682.

Mengapa kalkulator berkata data belum cukup?

Uji z adalah aproksimasi sampel besar. Kalkulator menunggu hingga setiap versi memiliki setidaknya 5 konversi dan 5 non-konversi, salah satu kriteria yang diberikan dalam NIST e-Handbook, sebelum memberikan putusan.

Bisakah saya menghentikan test begitu terlihat signifikan?

Tidak, jika Anda ingin tingkat kepercayaan berarti sesuai yang disebutkan. Memeriksa berulang kali dan berhenti pada pembacaan signifikan pertama memberi lebih banyak peluang pada kebetulan untuk melewati ambang, sehingga tingkat positif palsu yang sebenarnya jadi lebih tinggi daripada yang Anda pilih. Tetapkan ukuran sampel terlebih dahulu dan baca hasilnya sekali saja.

Berapa lama sebuah A/B test Meta sebaiknya dijalankan?

Meta menyarankan setidaknya 7 hari, menyebut test yang lebih singkat mungkin tidak meyakinkan, dan mengizinkan hingga 30 hari. Google Ads menyarankan 2 hingga 3 minggu untuk eksperimen. Gunakan tab ukuran sampel dengan lalu lintas harian Anda untuk melihat berapa lama test Anda sendiri dibutuhkan.

Apakah yang saya ketik dikirim ke mana pun?

Tidak. Perhitungan berjalan di peramban Anda. Tidak ada permintaan jaringan yang membawa apa yang Anda ketik dan tidak ada yang disimpan.