Cât să ții un test A/B la reclame (și de ce oprirea devreme te păcălește)
Un test A/B la reclame trebuie să ruleze până atinge un eșantion pe care l-ai ales înainte de start, nu până când cifrele arată bine. Cum îl calculezi, cu exemple lucrate, ce recomandă Meta și Google Ads și un calculator gratuit.
“Cât timp să ruleze testul?” are un răspuns real, și nu e un număr de zile. Un test e destul de lung când a văzut destui oameni ca să poată deosebi cele două versiuni. Zilele apar abia când împarți acel număr de oameni la traficul tău. Pune lucrurile în ordinea corectă și testul îți spune ceva. Greșește ordinea și ajungi să lansezi reclama care s-a nimerit să fie în față într-o marți norocoasă.
Calculatorul gratuit pentru teste A/B face în browserul tău toate calculele din acest articol. Iată cum funcționează, ca să știi ce să-i dai.
Pornește de la cea mai mică creștere care merită găsită
Înainte de test, decide cea mai mică îmbunătățire pe baza căreia ai acționa. Dacă un hook nou ar crește conversiile cu 3%, ți-ai reconstrui reclamele în jurul lui? Probabil că nu. Cu 20%? Probabil că da. Cea mai mică creștere care merită găsită dictează tot restul, pentru că diferențele mici cer mult mai multe date ca să fie văzute decât cele mari.
Ai nevoie și de alte trei numere:
- Rata ta de conversie actuală. Ia-o de la reclama, audiența sau pagina de destinație pe care urmează să le testezi, pe o perioadă recentă normală.
- Un nivel de încredere. 95% e alegerea obișnuită. El stabilește cât de des un test fără nicio diferență reală va declara totuși un câștigător: cam 5% din cazuri.
- Puterea statistică. Șansa de a prinde creșterea dacă ea chiar există. Meta sugerează de obicei 80% sau mai mult pentru propriile teste, iar 80% e o valoare implicită des folosită.
Transformă asta în vizitatori per versiune
Cu aceste patru numere, formula standard pentru compararea a două rate de conversie îți dă câți vizitatori are nevoie fiecare versiune. Calculatorul arată formula completă. Iată ce rezultă pentru un magazin care convertește 2% dintre vizitatori, la 95% încredere și 80% putere:
| Cea mai mică creștere care merită găsită | Rata lui B | Vizitatori per versiune | Total |
|---|---|---|---|
| 30% | 2,6% | 9.798 | 19.596 |
| 20% | 2,4% | 21.109 | 42.218 |
| 10% | 2,2% | 80.682 | 161.364 |
Dacă înjumătățești creșterea pe care vrei s-o vezi, traficul necesar crește cam de patru ori. Doar acest fapt explică majoritatea testelor de reclame eșuate: cineva a încercat să detecteze o diferență mică cu un buget gândit pentru una mare.
Și creșterea puterii are un cost. Aceeași creștere de 20% la 90% putere cere 28.258 de vizitatori per versiune în loc de 21.109.
Abia apoi transformă totul în zile
Împarte totalul la numărul de vizitatori pe zi pe care îl primesc ambele versiuni împreună. La 3.000 de vizitatori pe zi, testul de 20% are nevoie de 42.218 ÷ 3.000 = 14,07, deci 15 zile. La 1.000 pe zi îi trebuie 43 de zile. La 10.000 pe zi îi trebuie 5.
Acum verifică răspunsul cu regulile platformelor:
- Prea scurt. Bunele practici Meta pentru testele A/B recomandă cel puțin 7 zile și spun că testele mai scurte pot da rezultate neconcludente. Dacă îți iese 5 zile, rulează oricum 7. Aceeași pagină spune să rulezi mai mult dacă clienții tăi au nevoie de obicei de peste 7 zile ca să convertească după ce văd o reclamă.
- Prea lung. Meta limitează testele A/B la 30 de zile. Dacă îți iese 43, testul așa cum e gândit nu se poate încheia. Caută o creștere mai mare (testează o schimbare mai îndrăzneață), mai mult trafic (un buget mai mare sau o audiență mai largă) sau acceptă un nivel de încredere mai mic și spune asta când raportezi rezultatul.
- Google Ads. Pagina de ajutor despre experimente recomandă să lași un experiment să ruleze 2 până la 3 săptămâni și să crești bugetul sau să rulezi mai mult dacă rezultatele sunt încă nedecise.
De ce oprirea devreme te păcălește
Capcana arată așa. Lansezi testul și îl verifici în fiecare dimineață. În ziua a patra, B e în față și instrumentul spune că rezultatul e semnificativ. Oprești, lansezi B și treci mai departe.
Nivelul de încredere de 95% descrie doar un test citit o singură dată, la eșantionul planificat. Dacă A și B convertesc de fapt la fel, acea singură citire declară un câștigător fals cam în 5% din cazuri. Să verifici în fiecare zi e o altă procedură. Cele două rate fluctuează pe măsură ce vin vizitatorii, iar fiecare privire e încă o șansă ca o diferență întâmplătoare să treacă pragul. Dacă te oprești la prima trecere, ai ales intenționat momentul cel mai norocos. Rata reală de rezultate fals pozitive ajunge peste 5% și crește cu cât te uiți mai des.
Valoarea p de pe ecran nu te poate avertiza, pentru că nu știe de câte ori ai verificat. Arată exact ca și cum te-ai fi uitat o singură dată.
Trei reguli țin un test cinstit:
- Notează eșantionul înainte de lansare. Pune-l în numele testului, dacă e nevoie.
- Uită-te, dar nu opri. E în regulă să verifici că ambele versiuni se livrează și că nu s-a stricat nimic. Să închei testul pentru că cifra arată bine nu e.
- Citește rezultatul o singură dată, la eșantionul planificat. Dacă nu e semnificativ, și asta e un răspuns: diferența, dacă există, e mai mică decât creșterea pe care ai spus că merită s-o găsești.
Citește rezultatul
Când testul atinge eșantionul, comută calculatorul pe Este rezultatul meu semnificativ? și introdu vizitatorii și conversiile pentru ambele versiuni. Să zicem că A a convertit 200 din 10.000 de vizitatori (2,00%) și B a convertit 245 din 10.000 (2,45%). Calculatorul dă z = 2,157 și o valoare p bilaterală de 0,031, sub 0,05, deci B câștigă la 95% încredere.
Apoi citește intervalul, nu doar verdictul. Intervalul de 95% pentru diferență merge de la +0,04 la +0,86 puncte procentuale, adică, exprimat ca o creștere față de A, cam de la +2% la +43%. B e mai bun, dar cu cât anume e încă foarte deschis. Dacă B costă mai mult de produs, intervalul acesta îți spune dacă merită.
Platformele nu vor fi mereu de acord cu calculatorul, și e normal. Rezultatele A/B din Meta arată un procent de încredere și consideră 65% sau mai mult un rezultat câștigător, o altă măsură decât valoarea p. Google Ads își calculează intervalele prin reeșantionare jackknife pe 20 de grupe per variantă și arată implicit un interval de 80%. Folosește verdictul platformei pentru testul platformei, iar calculatorul ca să planifici eșantionul și să verifici calculele.
Configurează testul astfel încât răspunsul să însemne ceva
- Schimbă un singur lucru. Bunele practici Meta spun că rezultatele sunt mai concludente când versiunile sunt identice, cu excepția variabilei testate.
- Împarte corect. Meta nu recomandă testarea prin pornirea și oprirea seturilor de reclame, pentru că audiențele se pot suprapune, și recomandă același buget pentru ambele versiuni. Folosește instrumentul de test A/B sau de experimente al platformei.
- Verifică banii, nu doar rata. O versiune care câștigă la rata de conversie poate pierde totuși bani dacă un clic costă mai mult. Trece câștigătorul prin calculatorul de ROAS și compară-l cu ROAS-ul tău de prag de rentabilitate înainte să-l scalezi.
Pe scurt
Alege cea mai mică creștere care merită găsită, calculează vizitatorii per versiune, împarte la traficul zilnic, ține rezultatul între cele 7 și 30 de zile ale Meta și nu te opri devreme. Calculatorul pentru teste A/B face ambele jumătăți. Iar dacă ai prefera să ți se sugereze testele, Hermoso este un agent de marketing AI care îți face marketingul pe pilot automat: poate citi fiecare platformă de reclame pe care ai conectat-o și îți spune ce să scalezi, ce să pui pe pauză și ce să testezi în continuare, cu ipoteza fiecărui test, metrica ce îl decide, un buget și o durată.
Întrebări frecvente
Cât timp să rulez un test A/B la o reclamă pe Facebook?
Suficient cât să atingi eșantionul calculat înainte de start și cel puțin 7 zile, minimul recomandat de Meta. Meta limitează testele A/B la 30 de zile. La 3.000 de vizitatori pe zi, un test pe o rată de conversie de 2% care caută o creștere de 20% are nevoie de aproximativ 15 zile.
De câte conversii am nevoie pentru un test A/B?
Depinde de rata ta de conversie și de creșterea pe care vrei s-o detectezi. La o rată de 2%, ca să găsești o creștere de 20% la 95% încredere și 80% putere ai nevoie de 21.109 vizitatori per versiune, adică aproximativ 422 de conversii în versiunea originală.
Pot opri un test A/B mai devreme dacă e deja semnificativ?
Nu, dacă vrei ca nivelul de încredere să rămână valabil. Dacă verifici des și te oprești la prima citire semnificativă, îi dai hazardului mai multe ocazii să treacă pragul, așa că rata reală de rezultate fals pozitive ajunge mai mare decât cea pe care ai ales-o.
Ce fac dacă testul meu ar avea nevoie de mai mult de 30 de zile?
Testele A/B din Meta nu pot depăși 30 de zile, așa că schimbă designul: testează o schimbare mai îndrăzneață ca să fie mai mare creșterea căutată, adaugă buget sau lărgește audiența pentru mai mult trafic, ori acceptă un nivel de încredere mai mic și spune asta când raportezi rezultatul.