Reklam A/B testi ne kadar sürmeli? (Erken durdurmak neden yanıltır)
Bir reklam A/B testi, sayılar iyi görünene kadar değil, başlamadan önce seçtiğiniz örneklem büyüklüğüne ulaşana kadar sürmelidir. Bunu nasıl hesaplayacağınız, çözümlü örnekler, Meta ve Google Ads’in önerileri ve ücretsiz bir hesaplayıcı.
“Test ne kadar sürmeli?” sorusunun gerçek bir cevabı var ve bu cevap gün sayısı değil. Bir test, iki versiyonu birbirinden ayırt edecek kadar kişi gördüğünde yeterince uzun sürmüştür. Günler ancak bu kişi sayısını trafiğinize böldüğünüzde devreye girer. Sırayı doğru kurarsanız test size bir şey söyler. Yanlış kurarsanız, şanslı bir salı günü önde olan reklamı yayına alırsınız.
Ücretsiz A/B testi hesaplayıcısı bu yazıdaki hesapları tarayıcınızda yapar. Ona ne gireceğinizi bilmeniz için hesapların nasıl işlediğini aşağıda anlatıyoruz.
Bulmaya değer en küçük artışla başlayın
Testten önce, harekete geçeceğiniz en küçük iyileşmeyi belirleyin. Yeni bir hook dönüşümleri %3 artırsaydı, reklamlarınızı onun etrafında yeniden kurar mıydınız? Muhtemelen hayır. %20 artırsaydı? Muhtemelen evet. Bulmaya değer bu en küçük artış her şeyi belirler, çünkü küçük farkları görmek büyük farklara göre çok daha fazla veri ister.
Ayrıca üç sayıya daha ihtiyacınız var:
- Mevcut dönüşüm oranınız. Test etmek üzere olduğunuz reklamdan, kitleden veya açılış sayfasından, yakın tarihli normal bir dönemden alın.
- Bir güven düzeyi. Genelde %95 seçilir. Gerçek bir fark olmayan bir testin yine de kazanan ilan etme sıklığını belirler: zamanın yaklaşık %5’i.
- Güç. Artış gerçekten varsa onu yakalama olasılığı. Meta kendi testleri için genellikle %80 veya üzerini öneriyor ve %80 yaygın bir varsayılandır.
Bunu versiyon başına ziyaretçiye çevirin
Bu dört sayıyla, iki dönüşüm oranını karşılaştırmanın standart formülü her versiyonun ihtiyaç duyduğu ziyaretçi sayısını verir. Hesaplayıcı formülü eksiksiz gösterir. Ziyaretçilerinin %2’sini dönüştüren bir mağaza için, %95 güven ve %80 güçte ortaya çıkan sonuç şöyle:
| Bulmaya değer en küçük artış | B’nin oranı | Versiyon başına ziyaretçi | Toplam |
|---|---|---|---|
| %30 | %2,6 | 9.798 | 19.596 |
| %20 | %2,4 | 21.109 | 42.218 |
| %10 | %2,2 | 80.682 | 161.364 |
Görmek istediğiniz artışı yarıya indirmek, ihtiyacınız olan trafiği kabaca dört katına çıkarır. Başarısız reklam testlerinin çoğunu bu tek gerçek açıklar: biri, büyük bir fark için ayarlanmış bir bütçeyle küçük bir farkı yakalamaya çalışmıştır.
Gücü artırmanın da bir bedeli var. Aynı %20 artış %90 güçte versiyon başına 21.109 yerine 28.258 ziyaretçi ister.
Ancak bundan sonra güne çevirin
Toplamı, iki versiyonun birlikte bir günde alacağı ziyaretçi sayısına bölün. Günde 3.000 ziyaretçiyle %20’lik test 42.218 ÷ 3.000 = 14,07 eder, yani 15 gün. Günde 1.000 ziyaretçiyle 43 gün sürer. Günde 10.000 ile 5 gün.
Şimdi cevabı platformlarla karşılaştırıp mantık kontrolü yapın:
- Çok kısa. Meta’nın A/B testi en iyi uygulamaları en az 7 gün öneriyor ve daha kısa testlerin sonuçsuz kalabileceğini söylüyor. Hesabınız 5 gün diyorsa yine de 7 gün çalıştırın. Aynı sayfa, müşterileriniz bir reklamı gördükten sonra genellikle 7 günden uzun sürede dönüşüyorsa testi daha uzun tutmanızı söylüyor.
- Çok uzun. Meta, A/B testlerini 30 günle sınırlıyor. Hesabınız 43 gün diyorsa, bu tasarımdaki test bitemez. Daha büyük bir artış arayın (daha cesur bir değişikliği test edin), daha fazla trafik bulun (daha büyük bir bütçe veya daha geniş bir kitle) ya da daha düşük bir güven düzeyini kabul edin ve sonucu raporlarken bunu belirtin.
- Google Ads. Deneyler yardım sayfası bir deneyin 2 ila 3 hafta çalışmasını, sonuçlar hâlâ belirsizse bütçeyi artırmayı veya süreyi uzatmayı öneriyor.
Erken durdurmak neden yanıltır
Tuzak şu. Testi başlatıyorsunuz ve her sabah kontrol ediyorsunuz. Dördüncü gün B önde ve araç anlamlı diyor. Durduruyorsunuz, B’yi yayına alıyorsunuz ve yolunuza devam ediyorsunuz.
%95 güven düzeyi yalnızca planlanan örneklem büyüklüğünde bir kez okunan bir testi tanımlar. A ile B gerçekten aynı oranda dönüştürüyorsa, bu tek okuma zamanın yaklaşık %5’inde sahte bir kazanan ilan eder. Her gün kontrol etmek farklı bir prosedürdür. Ziyaretçiler geldikçe iki oran dalgalanır ve her bakış, tesadüfi bir farkın çizgiyi geçmesi için yeni bir fırsattır. İlk geçişte durursanız, en şanslı anı bilerek seçmiş olursunuz. Gerçek yanlış pozitif oranı %5’in üzerine çıkar ve ne kadar sık bakarsanız o kadar yükselir.
Ekrandaki p-değeri sizi uyaramaz, çünkü kaç kez kontrol ettiğinizi bilmez. Tam olarak bir kez bakmışsınız gibi okunur.
Üç kural testi dürüst tutar:
- Örneklem büyüklüğünü başlatmadan önce yazın. Gerekirse test adına ekleyin.
- Bakın ama durdurmayın. İki versiyonun da yayınlandığını ve hiçbir şeyin bozulmadığını kontrol etmek sorun değil. Sayı iyi göründüğü için testi bitirmek ise sorun.
- Sonucu bir kez, planlanan büyüklükte okuyun. Anlamlı değilse, bu da bir cevaptır: fark varsa bile, bulmaya değer dediğiniz artıştan küçüktür.
Sonucu okuyun
Test hedef büyüklüğüne ulaştığında hesaplayıcıyı Sonucum anlamlı mı? moduna alın ve iki versiyonun ziyaretçi ve dönüşüm sayılarını girin. Diyelim ki A 10.000 ziyaretçiden 200’ünü (%2,00), B ise 10.000’den 245’ini (%2,45) dönüştürdü. Hesaplayıcı z = 2,157 ve 0,031 çift yönlü p-değeri verir; bu 0,05’in altındadır, yani B %95 güvenle kazanır.
Sonra yalnızca hükmü değil, aralığı da okuyun. Fark için %95 aralığı +0,04 ile +0,86 yüzde puan arasındadır; bu, A üzerindeki artış olarak kabaca +%2 ile +%43 arasına denk gelir. B daha iyi, ama ne kadar daha iyi olduğu hâlâ belirsiz. B’yi üretmek daha pahalıysa, buna değip değmeyeceğini size bu aralık söyler.
Platformlar her zaman hesaplayıcıyla aynı fikirde olmaz ve bu beklenen bir durum. Meta’nın A/B sonuçları bir güven yüzdesi gösterir ve %65 veya üzerini kazanan sonuç sayar; bu, p-değerinden farklı bir ölçüdür. Google Ads aralıklarını kol başına 20 grup üzerinden jackknife yeniden örneklemesiyle hesaplar ve varsayılan olarak %80 aralık gösterir. Platformun testi için platformun hükmünü kullanın; büyüklüğü planlamak ve hesabı kontrol etmek için de hesaplayıcıyı.
Testi, cevabı bir anlam taşıyacak şekilde kurun
- Tek bir şeyi değiştirin. Meta’nın en iyi uygulamalarına göre, versiyonlar test edilen değişken dışında aynı olduğunda sonuçlar daha kesin olur.
- Doğru bölün. Meta, kitleler çakışabileceği için reklam setlerini açıp kapatarak test yapmamayı tavsiye ediyor ve iki versiyon için aynı bütçeyi öneriyor. Platformun kendi A/B testi veya deney aracını kullanın.
- Sadece oranı değil, parayı da kontrol edin. Dönüşüm oranında kazanan bir versiyon, tıklama başına daha pahalıysa yine para kaybettirebilir. Ölçeklendirmeden önce kazananı ROAS hesaplayıcısından geçirin ve başa baş ROAS değerinizle karşılaştırın.
Kısacası
Bulmaya değer en küçük artışı seçin, versiyon başına ziyaretçiyi hesaplayın, günlük trafiğinize bölün, sonucu Meta’nın 7 ile 30 gün aralığında tutun ve erken durdurmayın. A/B testi hesaplayıcısı iki yarıyı da yapar. Testlerin size önerilmesini tercih ederseniz, Hermoso pazarlamanızı otomatik pilotta yürüten bir yapay zeka pazarlama ajanıdır: bağladığınız her reklam platformunu okuyabilir ve size neyi ölçeklendireceğinizi, neyi duraklatacağınızı ve sırada neyi test edeceğinizi söyleyebilir; her testin hipotezi, onu belirleyecek metrik, bir bütçe ve bir süreyle birlikte.
Sıkça sorulanlar
Bir Facebook reklamı A/B testini ne kadar süre çalıştırmalıyım?
Başlamadan önce hesapladığınız örneklem büyüklüğüne ulaşacak kadar ve en az 7 gün; bu, Meta’nın önerdiği alt sınırdır. Meta, A/B testlerini 30 günle sınırlıyor. Günde 3.000 ziyaretçiyle, %2 dönüşüm oranında %20 artış arayan bir test yaklaşık 15 gün ister.
Bir A/B testi için kaç dönüşüme ihtiyacım var?
Dönüşüm oranınıza ve yakalamak istediğiniz artışa bağlı. %2 oranda, %95 güven ve %80 güçle %20’lik bir artışı bulmak versiyon başına 21.109 ziyaretçi ister; bu da orijinal versiyonda yaklaşık 422 dönüşüm demektir.
Zaten anlamlıysa bir A/B testini erken durdurabilir miyim?
Güven düzeyinin geçerli kalmasını istiyorsanız hayır. Sık kontrol edip ilk anlamlı okumada durmak, tesadüfe çizgiyi geçmek için daha fazla fırsat verir; böylece gerçek yanlış pozitif oranı seçtiğinizden yüksek olur.
Testim 30 günden fazla sürecekse ne yapmalıyım?
Meta A/B testleri 30 günü geçemez, bu yüzden tasarımı değiştirin: aradığınız artış daha büyük olsun diye daha cesur bir değişikliği test edin, daha fazla trafik için bütçe ekleyin veya kitleyi genişletin ya da daha düşük bir güven düzeyini kabul edin ve sonucu raporlarken bunu belirtin.