Meddig fusson egy hirdetési A/B teszt? (És miért csal a korai leállítás)
Egy hirdetési A/B tesztnek addig kell futnia, amíg el nem éri a még az indulás előtt kijelölt mintaméretet, és nem addig, amíg a számok jól nem néznek ki. Megmutatjuk, hogyan számold ki, kidolgozott példákkal, azzal, amit a Meta és a Google Ads ajánl, és egy ingyenes kalkulátorral.
A „Meddig fusson a teszt?” kérdésre van valódi válasz, csak éppen nem napokban mérik. Egy teszt akkor elég hosszú, ha annyi embert látott, hogy meg tudja különböztetni a két változatot. A napok csak akkor jönnek képbe, amikor ezt a létszámot elosztod a forgalmaddal. Ha jó sorrendben haladsz, a teszt mond valamit. Ha rosszban, akkor azt a hirdetést viszed tovább, amelyik épp egy szerencsés kedden vezetett.
Az ingyenes A/B teszt kalkulátor a böngésződben elvégzi a bejegyzésben szereplő számításokat. Lássuk, hogyan működnek, hogy tudd, mit adj meg neki.
Indulj a legkisebb javulásból, amit érdemes megtalálni
A teszt előtt döntsd el, mekkora az a legkisebb javulás, amire már lépnél. Ha egy új hook 3%-kal növelné a konverziókat, átépítenéd köré a hirdetéseidet? Valószínűleg nem. És 20%-nál? Valószínűleg igen. Ez a legkisebb, megtalálásra érdemes javulás határoz meg minden mást, mert a kis különbségek kimutatásához sokkal több adat kell, mint a nagyokéhoz.
Kell még három szám:
- A jelenlegi konverziós arányod. Annak a hirdetésnek, közönségnek vagy landing oldalnak a számát vedd, amelyiket tesztelni készülsz, egy átlagos, friss időszakból.
- Egy konfidenciaszint. A szokásos választás a 95%. Ez határozza meg, milyen gyakran hirdet győztest egy olyan teszt is, ahol valójában nincs különbség: nagyjából az esetek 5%-ában.
- Statisztikai erő. Annak az esélye, hogy elkapod a javulást, ha tényleg létezik. A Meta a saját tesztjeihez jellemzően 80%-ot vagy többet javasol, és a 80% gyakori alapérték.
Váltsd át változatonkénti látogatószámra
Ezzel a négy számmal a két konverziós arány összehasonlítására szolgáló standard képlet megadja, hány látogató kell az egyes változatoknak. A kalkulátor a teljes képletet megmutatja. Íme, mit ad egy olyan webshopnál, ahol a látogatók 2%-a konvertál, 95%-os konfidenciával és 80%-os erővel:
| Legkisebb, megtalálásra érdemes javulás | B aránya | Látogató változatonként | Összesen |
|---|---|---|---|
| 30% | 2,6% | 9 798 | 19 596 |
| 20% | 2,4% | 21 109 | 42 218 |
| 10% | 2,2% | 80 682 | 161 364 |
Ha megfelezed a kimutatni kívánt javulást, nagyjából megnégyszerezed a szükséges forgalmat. Ez az egy tény magyarázza a legtöbb elbukott hirdetési tesztet: valaki egy nagy különbségre méretezett büdzsével próbált kimutatni egy kicsit.
Az erő növelésének is ára van. Ugyanaz a 20%-os javulás 90%-os erővel 21 109 helyett 28 258 látogatót igényel változatonként.
És csak ezután váltsd át napokra
Oszd el az összeget azzal a napi látogatószámmal, amit a két változat együtt kap. Napi 3000 látogatónál a 20%-os teszthez 42 218 ÷ 3000 = 14,07, vagyis 15 nap kell. Napi 1000-nél 43 nap. Napi 10 000-nél 5.
Most vesd össze az eredményt a platformok ajánlásaival:
- Túl rövid. A Meta A/B tesztelési bevált gyakorlatai legalább 7 napot javasolnak, és azt írják, hogy a rövidebb tesztek nem hozhatnak egyértelmű eredményt. Ha a számításod 5 napot ad, akkor is futtasd 7-ig. Ugyanez az oldal azt is írja, hogy futtasd tovább, ha a vásárlóid jellemzően több mint 7 nappal a hirdetés megtekintése után konvertálnak.
- Túl hosszú. A Meta az A/B teszteket 30 napban maximálja. Ha a számításod 43 napot ad, a teszt ebben a formában nem tud lefutni. Keress nagyobb javulást (tesztelj merészebb változtatást), több forgalmat (nagyobb büdzsé vagy szélesebb közönség), vagy fogadj el alacsonyabb konfidenciaszintet, és ezt mondd is ki, amikor beszámolsz az eredményről.
- Google Ads. A kísérletekről szóló súgóoldala 2–3 hét futást javasol, és azt, hogy emeld a büdzsét vagy futtasd tovább, ha az eredmény még mindig eldöntetlen.
Miért csal a korai leállítás
Itt a csapda. Elindítod a tesztet, és minden reggel ránézel. A negyedik napon B vezet, az eszköz pedig azt írja, szignifikáns. Leállítod, viszed tovább B-t, és lépsz a következőre.
A 95%-os konfidenciaszint csak egy olyan tesztre igaz, amelyet egyszer olvasol le, a tervezett mintaméretnél. Ha A és B valójában ugyanúgy konvertál, ez az egyetlen leolvasás az esetek nagyjából 5%-ában hirdet téves győztest. A napi ellenőrzés viszont egy egészen más eljárás. A két arány ingadozik, ahogy jönnek a látogatók, és minden ránézés újabb esély arra, hogy egy véletlen különbség átlépje a határt. Ha az első átlépésnél megállsz, szándékosan a legszerencsésebb pillanatot választottad. A valódi álpozitív arány így 5% fölé kerül, és annál magasabbra nő, minél gyakrabban nézel rá.
A képernyőn látható p-érték erre nem tud figyelmeztetni, mert nem tudja, hányszor néztél rá. Pontosan úgy jelenik meg, mintha csak egyszer nézted volna meg.
Három szabály tartja tisztességesen a tesztet:
- Írd le a mintaméretet még az indulás előtt. Ha kell, írd bele a teszt nevébe.
- Nézz rá, de ne állítsd le. Azt ellenőrizni, hogy mindkét változat fut és semmi sem romlott el, rendben van. A tesztet azért leállítani, mert jól néz ki a szám, nincs rendben.
- Az eredményt egyszer olvasd le, a tervezett méretnél. Ha nem szignifikáns, az is válasz: a különbség, ha van egyáltalán, kisebb annál a javulásnál, amelyről azt mondtad, hogy érdemes megtalálni.
Olvasd le az eredményt
Amikor a teszt eléri a méretét, állítsd át a kalkulátort a Szignifikáns az eredményem? módra, és add meg mindkét változat látogatóit és konverzióit. Tegyük fel, hogy A 10 000 látogatóból 200-at konvertált (2,00%), B pedig 10 000-ből 245-öt (2,45%). A kalkulátor z = 2,157 értéket és 0,031-es kétoldali p-értéket ad, ami 0,05 alatt van, tehát 95%-os konfidenciával B nyer.
Aztán ne csak az ítéletet nézd, hanem a tartományt is. A különbség 95%-os intervalluma +0,04 és +0,86 százalékpont között van, ami A-hoz viszonyított javulásként nagyjából +2% és +43% közé esik. B jobb, de hogy mennyivel, az még nagyon nyitott. Ha B előállítása többe kerül, ez a tartomány mondja meg, megéri-e.
A platformok nem mindig értenek egyet a kalkulátorral, és ez így van rendjén. A Meta A/B eredményei egy konfidencia-százalékot mutatnak, és a 65%-ot vagy annál magasabbat győztes eredménynek tekintik, ami más mérőszám, mint a p-érték. A Google Ads az intervallumait karonként 20 csoporton végzett jackknife újramintavételezéssel számolja, és alapértelmezetten 80%-os intervallumot mutat. A platform tesztjéhez használd a platform ítéletét, a kalkulátort pedig a méret megtervezéséhez és a számítás ellenőrzéséhez.
Úgy állítsd be a tesztet, hogy a válasznak legyen értelme
- Egy dolgot változtass. A Meta bevált gyakorlatai szerint az eredmények egyértelműbbek, ha a változatok a tesztelt változón kívül mindenben megegyeznek.
- Oszd szét rendesen. A Meta nem javasolja, hogy hirdetéskészletek ki-be kapcsolgatásával tesztelj, mert a közönségek átfedhetnek, és mindkét változatnak ugyanazt a büdzsét ajánlja. Használd a platform saját A/B teszt- vagy kísérleteszközét.
- Ne csak az arányt nézd, hanem a pénzt is. Egy változat, amely konverziós arányban nyer, még veszíthet pénzt, ha kattintásonként többe kerül. Mielőtt skálázod, futtasd át a győztest a ROAS kalkulátoron, és vesd össze a fedezeti ROAS-oddal.
Röviden
Válaszd ki a legkisebb, megtalálásra érdemes javulást, számold ki a változatonkénti látogatószámot, oszd el a napi forgalmaddal, tartsd az eredményt a Meta 7 és 30 napja között, és ne állítsd le korán. Az A/B teszt kalkulátor mindkét felét elvégzi. Ha pedig inkább azt szeretnéd, hogy a teszteket javasolják neked, a Hermoso egy AI marketingügynök, amely robotpilótán viszi a marketingedet: elolvassa az összes összekapcsolt hirdetési platformodat, és megmondja, mit skálázz, mit szüneteltess és mit tesztelj legközelebb, minden teszthez hipotézissel, a döntő mérőszámmal, büdzsével és időtartammal.
Gyakori kérdések
Meddig fusson egy Facebook-hirdetés A/B tesztje?
Addig, amíg el nem éri az indulás előtt kiszámolt mintaméretet, és legalább 7 napig, ami a Meta által javasolt minimum. A Meta az A/B teszteket 30 napban maximálja. Napi 3000 látogatónál egy 2%-os konverziós arányú teszt, amely 20%-os javulást keres, nagyjából 15 napot igényel.
Hány konverzió kell egy A/B teszthez?
A konverziós arányodtól és a kimutatni kívánt javulástól függ. 2%-os aránynál egy 20%-os javulás megtalálása 95%-os konfidenciával és 80%-os erővel változatonként 21 109 látogatót igényel, ami az eredeti változatban nagyjából 422 konverzió.
Leállíthatom korán az A/B tesztet, ha már szignifikáns?
Nem, ha azt szeretnéd, hogy a konfidenciaszint érvényes maradjon. Ha gyakran ránézel és az első szignifikáns leolvasásnál megállsz, a véletlen több lehetőséget kap a határ átlépésére, így a valódi álpozitív arány magasabb lesz annál, amit választottál.
Mi van, ha a tesztemnek 30 napnál több kellene?
A Meta A/B tesztjei nem futhatnak 30 napnál tovább, ezért változtass a felépítésen: tesztelj merészebb változtatást, hogy nagyobb legyen a keresett javulás, adj hozzá büdzsét vagy szélesítsd a közönséget a több forgalomért, vagy fogadj el alacsonyabb konfidenciaszintet, és ezt mondd is ki, amikor beszámolsz az eredményről.