Berapa lama ujian A/B iklan patut berjalan (dan kenapa berhenti awal menipu anda)
Ujian A/B iklan patut berjalan sehingga mencapai saiz sampel yang anda pilih sebelum ia bermula, bukan sehingga angkanya nampak cantik. Cara mengiranya, dengan contoh pengiraan, apa yang disyorkan oleh Meta dan Google Ads, serta kalkulator percuma.
"Berapa lama ujian ini patut berjalan?" ada jawapan yang sebenar, dan jawapannya bukan bilangan hari. Ujian sudah cukup panjang apabila ia telah melihat cukup ramai orang untuk membezakan dua versi itu. Hari hanya masuk ke dalam kiraan apabila anda membahagikan bilangan orang itu dengan trafik anda. Buat mengikut urutan yang betul, dan ujian itu memberitahu anda sesuatu. Buat terbalik, dan anda akhirnya melancarkan iklan yang kebetulan mendahului pada hari Selasa yang bertuah.
Kalkulator ujian A/B percuma membuat semua kiraan dalam artikel ini terus dalam pelayar anda. Inilah cara kiraan itu berfungsi, supaya anda tahu apa yang perlu dimasukkan.
Mulakan dengan peningkatan terkecil yang berbaloi dicari
Sebelum ujian, tentukan peningkatan terkecil yang anda akan bertindak ke atasnya. Kalau hook baharu menaikkan penukaran sebanyak 3%, adakah anda akan membina semula iklan anda di sekelilingnya? Mungkin tidak. Sebanyak 20%? Mungkin ya. Peningkatan terkecil yang berbaloi dicari itulah yang menentukan segala-galanya, kerana perbezaan kecil memerlukan jauh lebih banyak data untuk dilihat berbanding perbezaan besar.
Anda juga perlukan tiga lagi nombor:
- Kadar penukaran semasa anda. Ambil daripada iklan, khalayak atau halaman pendaratan yang anda mahu uji, dalam tempoh biasa yang terkini.
- Tahap keyakinan. 95% ialah pilihan biasa. Ia menentukan berapa kerap ujian yang sebenarnya tiada perbezaan masih akan mengisytiharkan pemenang: lebih kurang 5% daripada masa.
- Kuasa (power). Peluang untuk menangkap peningkatan itu jika ia memang wujud. Meta biasanya mencadangkan 80% atau lebih untuk ujiannya sendiri, dan 80% ialah tetapan lalai yang biasa.
Tukar kepada pelawat bagi setiap versi
Dengan empat nombor itu, formula standard untuk membandingkan dua kadar penukaran memberi bilangan pelawat yang diperlukan oleh setiap versi. Kalkulator itu memaparkan formulanya secara penuh. Inilah hasilnya untuk kedai yang menukar 2% pelawat, pada keyakinan 95% dan kuasa 80%:
| Peningkatan terkecil yang berbaloi dicari | Kadar B | Pelawat setiap versi | Jumlah |
|---|---|---|---|
| 30% | 2.6% | 9,798 | 19,596 |
| 20% | 2.4% | 21,109 | 42,218 |
| 10% | 2.2% | 80,682 | 161,364 |
Separuhkan peningkatan yang anda mahu lihat, dan trafik yang diperlukan naik lebih kurang empat kali ganda. Fakta yang satu itu menerangkan kebanyakan ujian iklan yang gagal: seseorang cuba mengesan perbezaan kecil dengan bajet yang dirancang untuk perbezaan besar.
Menaikkan kuasa juga ada harganya. Peningkatan 20% yang sama pada kuasa 90% memerlukan 28,258 setiap versi, bukan 21,109.
Kemudian, dan hanya kemudian, tukar kepada hari
Bahagikan jumlah itu dengan bilangan pelawat sehari yang kedua-dua versi akan terima bersama. Pada 3,000 pelawat sehari, ujian 20% itu memerlukan 42,218 ÷ 3,000 = 14.07, jadi 15 hari. Pada 1,000 sehari ia memerlukan 43 hari. Pada 10,000 sehari ia memerlukan 5.
Sekarang semak jawapan itu dengan platform:
- Terlalu pendek. Amalan terbaik ujian A/B Meta mengesyorkan sekurang-kurangnya 7 hari dan menyatakan ujian yang lebih pendek mungkin memberi keputusan yang tidak muktamad. Kalau kiraan anda kata 5 hari, jalankan 7 juga. Halaman yang sama menyuruh anda menjalankannya lebih lama jika pelanggan anda biasanya mengambil lebih daripada 7 hari untuk membuat penukaran selepas melihat iklan.
- Terlalu panjang. Meta mengehadkan ujian A/B kepada 30 hari. Kalau kiraan anda kata 43, ujian seperti yang dirancang tidak boleh selesai. Cari peningkatan yang lebih besar (uji perubahan yang lebih berani), lebih banyak trafik (bajet lebih besar atau khalayak lebih luas), atau terima tahap keyakinan yang lebih rendah dan nyatakannya apabila anda melaporkan keputusan.
- Google Ads. Halaman bantuan eksperimennya mengesyorkan membiarkan eksperimen berjalan selama 2 hingga 3 minggu, dan menaikkan bajet atau menjalankannya lebih lama jika keputusan masih belum jelas.
Kenapa berhenti awal menipu anda
Inilah perangkapnya. Anda melancarkan ujian dan menyemaknya setiap pagi. Pada hari keempat, B mendahului dan alat itu kata signifikan. Anda berhenti, melancarkan B, dan teruskan kerja lain.
Tahap keyakinan 95% hanya menggambarkan ujian yang dibaca sekali, pada saiz sampel yang dirancang. Jika A dan B sebenarnya menukar sama rata, bacaan sekali itu akan mengisytiharkan pemenang palsu lebih kurang 5% daripada masa. Menyemak setiap hari ialah prosedur yang lain. Kedua-dua kadar itu bergerak naik turun apabila pelawat masuk, dan setiap kali anda menjenguk ialah satu lagi peluang untuk jurang kebetulan melintasi garisan. Berhenti pada lintasan pertama, dan anda sengaja memilih detik yang paling bertuah. Kadar positif palsu yang sebenar akhirnya melebihi 5%, dan ia terus naik lagi kerap anda menjenguk.
Nilai p pada skrin tidak dapat memberi amaran kepada anda, kerana ia tidak tahu berapa kali anda telah menyemak. Ia dibaca tepat seolah-olah anda hanya menjenguk sekali.
Tiga peraturan memastikan ujian kekal jujur:
- Tulis saiz sampel sebelum pelancaran. Letakkan dalam nama ujian jika perlu.
- Jenguk, tetapi jangan berhenti. Menyemak bahawa kedua-dua versi sedang ditayangkan dan tiada apa yang rosak, itu tidak mengapa. Menamatkan ujian kerana angkanya nampak cantik, itu tidak boleh.
- Baca keputusan sekali, pada saiz yang dirancang. Jika ia tidak signifikan, itu juga satu jawapan: perbezaannya, kalau ada, lebih kecil daripada peningkatan yang anda kata berbaloi dicari.
Baca keputusannya
Apabila ujian mencapai saiznya, tukar kalkulator kepada Adakah keputusan saya signifikan? dan masukkan pelawat serta penukaran bagi kedua-dua versi. Katakan A menukar 200 daripada 10,000 pelawat (2.00%) dan B menukar 245 daripada 10,000 (2.45%). Kalkulator memberi z = 2.157 dan nilai p dua hujung 0.031, di bawah 0.05, jadi B menang pada keyakinan 95%.
Kemudian baca julatnya, bukan sekadar keputusannya. Selang 95% bagi perbezaan itu adalah dari +0.04 hingga +0.86 mata peratusan, yang sebagai peningkatan ke atas A ialah lebih kurang +2% hingga +43%. B lebih baik, tetapi sebanyak mana masih terbuka luas. Jika B lebih mahal untuk dihasilkan, julat itulah yang memberitahu anda sama ada ia berbaloi.
Platform tidak akan sentiasa bersetuju dengan kalkulator, dan itu memang dijangka. Keputusan A/B Meta menunjukkan peratusan keyakinan dan menganggap 65% atau lebih sebagai keputusan yang menang, ukuran yang berbeza daripada nilai p. Google Ads mengira selangnya dengan pensampelan semula jackknife ke atas 20 baldi bagi setiap cabang dan memaparkan selang 80% secara lalai. Gunakan keputusan platform untuk ujian platform, dan kalkulator untuk merancang saiz dan menyemak semula kiraannya.
Sediakan ujian supaya jawapannya bermakna
- Ubah satu perkara. Amalan terbaik Meta menyatakan keputusan lebih muktamad apabila versi-versi itu sama kecuali pemboleh ubah yang diuji.
- Bahagikan dengan betul. Meta menasihatkan supaya tidak menguji dengan menghidupkan dan mematikan ad set, kerana khalayak boleh bertindih, dan mengesyorkan bajet yang sama untuk kedua-dua versi. Gunakan alat ujian A/B atau eksperimen platform itu sendiri.
- Semak wangnya, bukan sekadar kadarnya. Versi yang menang pada kadar penukaran masih boleh rugi jika kos setiap klik lebih tinggi. Masukkan pemenang ke dalam kalkulator ROAS dan bandingkan dengan ROAS pulang modal anda sebelum anda besarkannya.
Versi ringkasnya
Pilih peningkatan terkecil yang berbaloi dicari, kira pelawat setiap versi, bahagikan dengan trafik harian anda, pastikan hasilnya antara 7 dan 30 hari Meta, dan jangan berhenti awal. Kalkulator ujian A/B membuat kedua-dua bahagian. Dan jika anda lebih suka ujian dicadangkan untuk anda, Hermoso ialah ejen pemasaran AI yang menjalankan pemasaran anda secara autopilot: ia boleh membaca setiap platform iklan yang telah anda sambungkan dan memberitahu anda apa yang perlu dibesarkan, dijeda dan diuji seterusnya, dengan hipotesis setiap ujian, metrik yang memutuskannya, bajet dan tempoh.
Soalan lazim
Berapa lama saya patut menjalankan ujian A/B iklan Facebook?
Cukup lama untuk mencapai saiz sampel yang anda kira sebelum bermula, dan sekurang-kurangnya 7 hari, iaitu minimum yang disyorkan Meta. Meta mengehadkan ujian A/B kepada 30 hari. Pada 3,000 pelawat sehari, ujian pada kadar penukaran 2% yang mencari peningkatan 20% memerlukan lebih kurang 15 hari.
Berapa banyak penukaran yang saya perlukan untuk ujian A/B?
Ia bergantung pada kadar penukaran anda dan peningkatan yang anda mahu kesan. Pada kadar 2%, mencari peningkatan 20% pada keyakinan 95% dan kuasa 80% memerlukan 21,109 pelawat setiap versi, iaitu lebih kurang 422 penukaran dalam versi asal.
Bolehkah saya hentikan ujian A/B awal jika ia sudah signifikan?
Tidak, jika anda mahu tahap keyakinan itu kekal sah. Menyemak dengan kerap dan berhenti pada bacaan signifikan yang pertama memberi kebetulan lebih banyak peluang untuk melintasi garisan, jadi kadar positif palsu yang sebenar akhirnya lebih tinggi daripada yang anda pilih.
Bagaimana jika ujian saya memerlukan lebih daripada 30 hari?
Ujian A/B Meta tidak boleh berjalan melebihi 30 hari, jadi ubah reka bentuknya: uji perubahan yang lebih berani supaya peningkatan yang anda cari lebih besar, tambah bajet atau luaskan khalayak untuk lebih banyak trafik, atau terima tahap keyakinan yang lebih rendah dan nyatakannya apabila anda melaporkan keputusan.