Kuinka pitkään mainoksen A/B-testiä ajetaan (ja miksi kesken lopettaminen hämää)
Mainoksen A/B-testiä ajetaan, kunnes se saavuttaa ennen aloitusta valitsemasi otoskoon, ei siihen asti, että luvut näyttävät hyviltä. Näin lasket sen esimerkkien avulla, mitä Meta ja Google Ads suosittelevat, ja ilmainen laskuri.
”Kuinka pitkään testiä pitäisi ajaa?” Kysymykseen on oikea vastaus, eikä se ole päivien määrä. Testi on tarpeeksi pitkä, kun se on nähnyt tarpeeksi ihmisiä erottaakseen kaksi versiota toisistaan. Päivät tulevat mukaan vasta, kun jaat ihmisten määrän liikenteelläsi. Kun järjestys on oikein, testi kertoo sinulle jotain. Kun se on väärin, julkaiset sen mainoksen, joka sattui olemaan edellä onnekkaana tiistaina.
Ilmainen A/B-testilaskuri tekee tämän kirjoituksen laskut selaimessasi. Tässä kerrotaan, miten ne toimivat, jotta tiedät, mitä siihen syötät.
Aloita pienimmästä parannuksesta, joka kannattaa havaita
Päätä ennen testiä pienin parannus, jonka perusteella toimisit. Jos uusi koukku nostaisi konversioita 3 %, rakentaisitko mainoksesi sen ympärille uudelleen? Tuskin. Entä 20 %? Todennäköisesti. Tuo pienin havaitsemisen arvoinen parannus ratkaisee kaiken muun, koska pienet erot vaativat paljon enemmän dataa näkyäkseen kuin suuret.
Tarvitset lisäksi kolme muuta lukua:
- Nykyinen konversioasteesi. Ota se testattavasta mainoksesta, yleisöstä tai laskeutumissivusta tavalliselta viimeaikaiselta jaksolta.
- Luottamustaso. Tavallinen valinta on 95 %. Se määrää, kuinka usein testi, jossa ei ole todellista eroa, julistaa silti voittajan: noin 5 % kerroista.
- Testin voima. Todennäköisyys havaita parannus, jos se on oikeasti olemassa. Meta ehdottaa tyypillisesti vähintään 80 % omiin testeihinsä, ja 80 % on yleinen oletusarvo.
Muunna se kävijöiksi versiota kohden
Näillä neljällä luvulla kahden konversioasteen vertailun vakiokaava antaa kävijämäärän, jonka kukin versio tarvitsee. Laskuri näyttää kaavan kokonaan. Tässä tulos kaupalle, jonka kävijöistä 2 % konvertoi, 95 %:n luottamustasolla ja 80 %:n voimalla:
| Pienin havaitsemisen arvoinen parannus | B:n konversioaste | Kävijöitä per versio | Yhteensä |
|---|---|---|---|
| 30 % | 2,6 % | 9 798 | 19 596 |
| 20 % | 2,4 % | 21 109 | 42 218 |
| 10 % | 2,2 % | 80 682 | 161 364 |
Kun puolitat parannuksen, jonka haluat nähdä, tarvitsemasi liikenne suunnilleen nelinkertaistuu. Tämä yksi tosiasia selittää useimmat epäonnistuneet mainostestit: joku yritti havaita pienen eron budjetilla, joka oli mitoitettu suurelle.
Myös voiman nostamisella on hintansa. Sama 20 %:n parannus 90 %:n voimalla vaatii 28 258 kävijää versiota kohden 21 109:n sijaan.
Sitten, ja vasta sitten, muunna se päiviksi
Jaa kokonaismäärä kävijöillä, jotka molemmat versiot saavat yhteensä päivässä. 3 000 päivittäisellä kävijällä 20 %:n testi tarvitsee 42 218 ÷ 3 000 = 14,07, eli 15 päivää. 1 000 kävijällä päivässä se tarvitsee 43 päivää. 10 000 kävijällä päivässä 5.
Tarkista vastaus vielä alustojen ohjeita vasten:
- Liian lyhyt. Metan A/B-testauksen parhaat käytännöt suosittelevat vähintään 7 päivää ja toteavat, että lyhyemmät testit voivat tuottaa epäselviä tuloksia. Jos laskusi sanovat 5 päivää, aja silti 7. Sama sivu neuvoo ajamaan pidempään, jos asiakkaasi konvertoivat yleensä yli 7 päivän kuluttua mainoksen näkemisestä.
- Liian pitkä. Meta rajaa A/B-testit 30 päivään. Jos laskusi sanovat 43, testiä ei voi suunnitellussa muodossa viedä loppuun. Etsi suurempaa parannusta (testaa rohkeampaa muutosta), lisää liikennettä (isompi budjetti tai laajempi yleisö) tai hyväksy matalampi luottamustaso ja kerro se, kun raportoit tuloksen.
- Google Ads. Sen kokeiluja käsittelevä ohjesivu suosittelee antamaan kokeilun pyöriä 2–3 viikkoa ja nostamaan budjettia tai jatkamaan pidempään, jos tulokset ovat yhä ratkaisemattomia.
Miksi kesken lopettaminen hämää
Tässä on ansa. Käynnistät testin ja tarkistat sen joka aamu. Neljäntenä päivänä B on edellä ja työkalu sanoo tuloksen olevan merkitsevä. Lopetat, julkaiset B:n ja siirryt eteenpäin.
95 %:n luottamustaso kuvaa vain testiä, joka luetaan kerran, suunnitellulla otoskoolla. Jos A ja B konvertoivat todellisuudessa yhtä hyvin, tuo yksi lukeminen julistaa väärän voittajan noin 5 % kerroista. Päivittäinen tarkistaminen on eri menettely. Konversioasteet heiluvat kävijöiden saapuessa, ja jokainen vilkaisu on uusi tilaisuus sattumanvaraiselle erolle ylittää raja. Jos lopetat ensimmäiseen ylitykseen, valitset tarkoituksella onnekkaimman hetken. Todellinen väärien positiivisten osuus päätyy yli 5 %:n, ja se kasvaa, mitä useammin katsot.
Ruudulla näkyvä p-arvo ei voi varoittaa sinua, koska se ei tiedä, montako kertaa tarkistit. Se näyttää täsmälleen samalta kuin jos olisit katsonut kerran.
Kolme sääntöä pitää testin rehellisenä:
- Kirjaa otoskoko ylös ennen käynnistystä. Laita se vaikka testin nimeen.
- Katso, mutta älä lopeta. On hyvä tarkistaa, että molemmat versiot näkyvät eikä mikään ole rikki. Testin lopettaminen siksi, että luku näyttää hyvältä, ei ole.
- Lue tulos kerran, suunnitellulla koolla. Jos se ei ole merkitsevä, sekin on vastaus: ero, jos sellaista on, on pienempi kuin parannus, jonka sanoit olevan havaitsemisen arvoinen.
Lue tulos
Kun testi saavuttaa koonsa, vaihda laskuri tilaan Onko tulokseni merkitsevä? ja syötä molempien versioiden kävijät ja konversiot. Oletetaan, että A konvertoi 200 kävijää 10 000:sta (2,00 %) ja B 245 kävijää 10 000:sta (2,45 %). Laskuri antaa z = 2,157 ja kaksisuuntaisen p-arvon 0,031, joka on alle 0,05, joten B voittaa 95 %:n luottamustasolla.
Lue sitten väli, älä pelkkää tuomiota. Eron 95 %:n luottamusväli ulottuu +0,04:stä +0,86 prosenttiyksikköön, mikä A:han suhteutettuna parannuksena on karkeasti +2 %:sta +43 %:iin. B on parempi, mutta kuinka paljon parempi, on vielä täysin auki. Jos B:n tuottaminen maksaa enemmän, juuri tuo väli kertoo, kannattaako se.
Alustat eivät aina ole samaa mieltä laskurin kanssa, ja se on odotettavaa. Metan A/B-tulokset näyttävät luottamusprosentin ja pitävät 65 %:a tai enemmän voittavana tuloksena, mikä on eri mittari kuin p-arvo. Google Ads laskee välinsä jackknife-uudelleenotannalla, 20 lohkoa kummassakin haarassa, ja näyttää oletuksena 80 %:n välin. Käytä alustan tuomiota alustan testiin ja laskuria koon suunnitteluun ja laskujen tarkistamiseen.
Rakenna testi niin, että vastaus merkitsee jotain
- Muuta yhtä asiaa. Metan parhaiden käytäntöjen mukaan tulokset ovat selvempiä, kun versiot ovat identtiset testattavaa muuttujaa lukuun ottamatta.
- Jaa kunnolla. Meta neuvoo olemaan testaamatta kytkemällä mainosjoukkoja päälle ja pois, koska yleisöt voivat mennä päällekkäin, ja suosittelee samaa budjettia molemmille versioille. Käytä alustan omaa A/B-testi- tai kokeilutyökalua.
- Katso rahaa, älä pelkkää konversioastetta. Versio, joka voittaa konversioasteessa, voi silti hävitä rahaa, jos sen klikkaus maksaa enemmän. Aja voittaja ROAS-laskurin läpi ja vertaa sitä kannattavuusrajan ROASiin ennen kuin skaalaat sitä.
Lyhyesti
Valitse pienin havaitsemisen arvoinen parannus, laske kävijät versiota kohden, jaa päivittäisellä liikenteelläsi, pidä tulos Metan 7 ja 30 päivän välillä äläkä lopeta kesken. A/B-testilaskuri hoitaa molemmat puoliskot. Ja jos haluat mieluummin, että testit ehdotetaan sinulle, Hermoso on tekoälypohjainen markkinointiagentti, joka hoitaa markkinointisi autopilotilla: se voi lukea jokaisen yhdistämäsi mainosalustan ja kertoa, mitä skaalata, mitä tauottaa ja mitä testata seuraavaksi, kunkin testin hypoteesin, ratkaisevan mittarin, budjetin ja keston kera.
Usein kysyttyä
Kuinka pitkään Facebook-mainoksen A/B-testiä pitäisi ajaa?
Niin kauan, että saavutat ennen aloitusta laskemasi otoskoon, ja vähintään 7 päivää, mikä on Metan suosittelema minimi. Meta rajaa A/B-testit 30 päivään. 3 000 päivittäisellä kävijällä testi, joka etsii 20 %:n parannusta 2 %:n konversioasteeseen, vaatii noin 15 päivää.
Montako konversiota A/B-testi vaatii?
Se riippuu konversioasteestasi ja parannuksesta, jonka haluat havaita. 2 %:n konversioasteella 20 %:n parannuksen löytäminen 95 %:n luottamustasolla ja 80 %:n voimalla vaatii 21 109 kävijää versiota kohden, mikä tarkoittaa noin 422 konversiota alkuperäisessä versiossa.
Voinko lopettaa A/B-testin aikaisin, jos se on jo merkitsevä?
Et, jos haluat luottamustason pitävän. Tiheä tarkistaminen ja lopettaminen ensimmäiseen merkitsevään lukemaan antaa sattumalle enemmän tilaisuuksia ylittää raja, joten todellinen väärien positiivisten osuus päätyy korkeammaksi kuin valitsemasi.
Entä jos testini vaatisi yli 30 päivää?
Metan A/B-testit eivät voi kestää yli 30 päivää, joten muuta asetelmaa: testaa rohkeampaa muutosta, jotta etsimäsi parannus on suurempi, lisää budjettia tai laajenna yleisöä saadaksesi enemmän liikennettä, tai hyväksy matalampi luottamustaso ja kerro se, kun raportoit tuloksen.