Jak długo prowadzić test A/B reklam (i dlaczego wcześniejsze zatrzymanie cię oszukuje)

“Jak długo powinien trwać test?” To pytanie ma prawdziwą odpowiedź i nie jest nią liczba dni. Test jest wystarczająco długi, gdy zobaczył wystarczająco wielu ludzi, żeby odróżnić od siebie dwie wersje. Dni pojawiają się dopiero wtedy, gdy podzielisz tę liczbę ludzi przez swój ruch. Zachowaj tę kolejność, a test coś ci powie. Pomyl ją, a wdrożysz tę reklamę, która akurat prowadziła w jakiś szczęśliwy wtorek.

Darmowy kalkulator testów A/B robi wszystkie obliczenia z tego wpisu w twojej przeglądarce. Oto jak działają, żebyś wiedział, co do niego wpisać.

Zacznij od najmniejszego wzrostu, który warto wykryć

Przed testem zdecyduj, jaka najmniejsza poprawa skłoniłaby cię do działania. Gdyby nowy hook podniósł konwersje o 3%, przebudowałbyś wokół niego swoje reklamy? Raczej nie. O 20%? Raczej tak. Ten najmniejszy wzrost wart wykrycia steruje wszystkim innym, bo małe różnice wymagają znacznie więcej danych niż duże.

Potrzebujesz jeszcze trzech liczb:

• Twój obecny współczynnik konwersji. Weź go z reklamy, grupy odbiorców albo landing page’a, który zamierzasz testować, z normalnego, niedawnego okresu.
• Poziom ufności. Zwykle wybiera się 95%. Określa, jak często test bez prawdziwej różnicy i tak wskaże zwycięzcę: mniej więcej w 5% przypadków.
• Moc. Szansa wychwycenia wzrostu, jeśli naprawdę istnieje. Meta zwykle sugeruje 80% lub więcej dla swoich testów, a 80% to popularna wartość domyślna.

Zamień to na odwiedzających na wersję

Mając te cztery liczby, standardowy wzór na porównanie dwóch współczynników konwersji podaje, ilu odwiedzających potrzebuje każda wersja. Kalkulator pokazuje cały wzór. Oto wynik dla sklepu, który konwertuje 2% odwiedzających, przy ufności 95% i mocy 80%:

Najmniejszy wzrost wart wykrycia	Konwersja B	Odwiedzający na wersję	Łącznie
30%	2,6%	9 798	19 596
20%	2,4%	21 109	42 218
10%	2,2%	80 682	161 364

Zmniejsz o połowę wzrost, który chcesz zobaczyć, a potrzebny ruch wzrośnie mniej więcej czterokrotnie. Ten jeden fakt tłumaczy większość nieudanych testów reklam: ktoś próbował wykryć małą różnicę z budżetem skrojonym na dużą.

Podniesienie mocy też kosztuje. Ten sam wzrost 20% przy mocy 90% wymaga 28 258 odwiedzających na wersję zamiast 21 109.

Dopiero potem zamień to na dni

Podziel sumę przez liczbę odwiedzających dziennie, których obie wersje dostaną razem. Przy 3 000 odwiedzających dziennie test na 20% potrzebuje 42 218 ÷ 3 000 = 14,07, czyli 15 dni. Przy 1 000 dziennie potrzebuje 43 dni. Przy 10 000 dziennie wystarczy 5.

Teraz porównaj wynik z wymaganiami platform:

• Za krótko. Dobre praktyki testów A/B Meta zalecają co najmniej 7 dni i mówią, że krótsze testy mogą dać niejednoznaczne wyniki. Jeśli z obliczeń wychodzi 5 dni, i tak prowadź 7. Ta sama strona radzi wydłużyć test, jeśli twoi klienci zwykle konwertują później niż 7 dni po zobaczeniu reklamy.
• Za długo. Meta ogranicza testy A/B do 30 dni. Jeśli z obliczeń wychodzi 43, test w tej formie się nie skończy. Szukaj większego wzrostu (testuj odważniejszą zmianę), większego ruchu (wyższy budżet albo szersza grupa odbiorców) albo zaakceptuj niższy poziom ufności i powiedz o tym, gdy będziesz raportować wynik.
• Google Ads. Jego strona pomocy o eksperymentach zaleca prowadzenie eksperymentu przez 2 do 3 tygodni, a jeśli wyniki wciąż są nierozstrzygnięte, zwiększenie budżetu lub wydłużenie czasu.

Dlaczego wcześniejsze zatrzymanie cię oszukuje

Oto pułapka. Uruchamiasz test i sprawdzasz go każdego ranka. Czwartego dnia B prowadzi, a narzędzie pisze „istotne”. Zatrzymujesz test, wdrażasz B i idziesz dalej.

Poziom ufności 95% opisuje tylko test odczytany raz, przy zaplanowanej wielkości próby. Jeśli A i B naprawdę konwertują tak samo, taki pojedynczy odczyt wskaże fałszywego zwycięzcę mniej więcej w 5% przypadków. Codzienne sprawdzanie to inna procedura. Oba współczynniki błądzą w miarę napływu odwiedzających, a każde spojrzenie daje przypadkowej różnicy kolejną szansę na przekroczenie granicy. Zatrzymaj się przy pierwszym przekroczeniu, a celowo wybierzesz najszczęśliwszy moment. Prawdziwy odsetek fałszywych alarmów będzie wyższy niż 5% i rośnie, im częściej patrzysz.

P-value na ekranie nie może cię ostrzec, bo nie wie, ile razy sprawdzałeś. Wygląda dokładnie tak, jakbyś spojrzał raz.

Trzy zasady utrzymują test uczciwym:

1. Zapisz wielkość próby przed startem. Jeśli trzeba, w nazwie testu.
2. Patrz, ale nie zatrzymuj. Sprawdzanie, czy obie wersje się wyświetlają i nic się nie zepsuło, jest w porządku. Kończenie testu, bo liczba wygląda dobrze, już nie.
3. Odczytaj wynik raz, przy zaplanowanej wielkości. Jeśli nie jest istotny, to też odpowiedź: różnica, jeśli w ogóle jest, jest mniejsza niż wzrost, który uznałeś za wart wykrycia.

Odczytaj wynik

Gdy test osiągnie swoją wielkość, przełącz kalkulator na Czy mój wynik jest istotny? i wpisz odwiedzających i konwersje dla obu wersji. Powiedzmy, że A skonwertowała 200 z 10 000 odwiedzających (2,00%), a B 245 z 10 000 (2,45%). Kalkulator podaje z = 2,157 i dwustronne p-value 0,031, poniżej 0,05, więc B wygrywa przy ufności 95%.

Potem patrz na przedział, nie tylko na werdykt. 95-procentowy przedział dla różnicy wynosi od +0,04 do +0,86 punktu procentowego, co jako wzrost względem A daje mniej więcej od +2% do +43%. B jest lepsza, ale o ile, wciąż nie wiadomo. Jeśli B jest droższa w produkcji, właśnie ten przedział powie ci, czy jest tego warta.

Platformy nie zawsze zgodzą się z kalkulatorem i to normalne. Wyniki testów A/B w Meta pokazują procent pewności i traktują 65% lub więcej jako wynik zwycięski, a to inna miara niż p-value. Google Ads liczy swoje przedziały metodą jackknife na 20 koszykach na każdą gałąź i domyślnie pokazuje przedział 80%. Do testu platformy używaj werdyktu platformy, a kalkulatora do zaplanowania wielkości i sprawdzenia matematyki.

Ustaw test tak, żeby odpowiedź coś znaczyła

• Zmieniaj jedną rzecz. Dobre praktyki Meta mówią, że wyniki są bardziej rozstrzygające, gdy wersje są identyczne poza testowaną zmienną.
• Dziel ruch porządnie. Meta odradza testowanie przez włączanie i wyłączanie zestawów reklam, bo grupy odbiorców mogą się nakładać, i zaleca ten sam budżet dla obu wersji. Używaj wbudowanego narzędzia platformy do testów A/B lub eksperymentów.
• Sprawdzaj pieniądze, nie tylko współczynnik. Wersja, która wygrywa współczynnikiem konwersji, wciąż może tracić pieniądze, jeśli ma droższe kliknięcie. Przepuść zwycięzcę przez kalkulator ROAS i porównaj ze swoim progiem rentowności ROAS, zanim zaczniesz skalować.

W skrócie

Wybierz najmniejszy wzrost wart wykrycia, policz odwiedzających na wersję, podziel przez dzienny ruch, zmieść wynik między 7 a 30 dniami Meta i nie zatrzymuj testu za wcześnie. Kalkulator testów A/B robi obie połowy. A jeśli wolisz, żeby ktoś proponował ci testy, Hermoso to agent AI do marketingu, który prowadzi twój marketing na autopilocie: potrafi czytać każdą podłączoną platformę reklamową i mówić ci, co skalować, co wstrzymać i co testować dalej, z hipotezą każdego testu, metryką, która go rozstrzyga, budżetem i czasem trwania.

Często zadawane pytania

Jak długo prowadzić test A/B reklamy w Facebook Ads?

Dopóki nie osiągnie wielkości próby wyliczonej przed startem, i co najmniej 7 dni, bo to minimum zalecane przez Meta. Meta ogranicza testy A/B do 30 dni. Przy 3 000 odwiedzających dziennie test przy konwersji 2%, szukający wzrostu o 20%, potrzebuje około 15 dni.

Ile konwersji potrzeba do testu A/B?

To zależy od twojego współczynnika konwersji i wzrostu, który chcesz wykryć. Przy 2% wykrycie wzrostu o 20% przy ufności 95% i mocy 80% wymaga 21 109 odwiedzających na wersję, czyli około 422 konwersji w wersji oryginalnej.

Czy mogę zatrzymać test A/B wcześniej, jeśli już jest istotny?

Nie, jeśli chcesz, żeby poziom ufności się utrzymał. Częste sprawdzanie i zatrzymanie przy pierwszym istotnym odczycie daje przypadkowi więcej okazji do przekroczenia granicy, więc prawdziwy odsetek fałszywych alarmów jest wyższy niż ten, który wybrałeś.

Co, jeśli mój test potrzebowałby więcej niż 30 dni?

Testy A/B w Meta nie mogą trwać dłużej niż 30 dni, więc zmień założenia: testuj odważniejszą zmianę, żeby szukany wzrost był większy, dodaj budżet albo poszerz grupę odbiorców dla większego ruchu, albo zaakceptuj niższy poziom ufności i powiedz o tym, gdy będziesz raportować wynik.