Hur länge ett A/B-test av annonser ska köras (och varför du luras om du stoppar för tidigt)

”Hur länge ska testet köras?” har ett riktigt svar, och det är inte ett antal dagar. Ett test är tillräckligt långt när det har sett tillräckligt många människor för att skilja de två versionerna åt. Dagarna kommer in först när du delar det antalet människor med din trafik. Gör det i rätt ordning så lär testet dig något. Gör det i fel ordning så lanserar du den annons som råkade ligga före en tursam tisdag.

Den kostnadsfria A/B-testkalkylatorn gör uträkningarna i det här inlägget direkt i din webbläsare. Så här fungerar de, så att du vet vad du ska mata in.

Börja med den minsta förbättring som är värd att hitta

Bestäm innan testet vilken som är den minsta förbättring du skulle agera på. Om en ny hook höjde konverteringarna med 3%, skulle du bygga om dina annonser kring den? Troligen inte. Med 20%? Troligen ja. Den minsta förbättring som är värd att hitta styr allt annat, eftersom små skillnader kräver mycket mer data för att synas än stora.

Du behöver också tre siffror till:

• Din nuvarande konverteringsgrad. Ta den från annonsen, målgruppen eller landningssidan du ska testa, under en normal period nyligen.
• En konfidensnivå. 95% är det vanliga valet. Den avgör hur ofta ett test utan någon verklig skillnad ändå utser en vinnare: ungefär 5% av gångerna.
• Styrka. Chansen att fånga förbättringen om den verkligen finns. Meta föreslår normalt 80% eller mer för sina egna tester, och 80% är ett vanligt standardval.

Gör om det till besökare per version

Med de fyra siffrorna ger standardformeln för att jämföra två konverteringsgrader hur många besökare varje version behöver. Kalkylatorn visar hela formeln. Så här blir det för en butik som konverterar 2% av besökarna, med 95% konfidens och 80% styrka:

Minsta förbättring värd att hitta	B:s konverteringsgrad	Besökare per version	Totalt
30%	2,6%	9 798	19 596
20%	2,4%	21 109	42 218
10%	2,2%	80 682	161 364

Halverar du förbättringen du vill se, ungefär fyrdubblas trafiken du behöver. Det enda faktumet förklarar de flesta misslyckade annonstester: någon försökte upptäcka en liten skillnad med en budget dimensionerad för en stor.

Att höja styrkan kostar också. Samma förbättring på 20% med 90% styrka kräver 28 258 besökare per version i stället för 21 109.

Sedan, och först då, gör om det till dagar

Dela totalen med antalet besökare per dag som båda versionerna får tillsammans. Med 3 000 besökare om dagen kräver 20%-testet 42 218 ÷ 3 000 = 14,07, alltså 15 dagar. Med 1 000 om dagen krävs 43 dagar. Med 10 000 om dagen räcker 5.

Stäm nu av svaret mot plattformarna:

• För kort. Metas bästa praxis för A/B-tester rekommenderar minst 7 dagar och säger att kortare tester kan ge ofullständiga resultat. Om din uträkning säger 5 dagar, kör 7 ändå. Samma sida säger att du ska köra längre om dina kunder brukar ta mer än 7 dagar på sig att konvertera efter att ha sett en annons.
• För långt. Meta begränsar A/B-tester till 30 dagar. Om din uträkning säger 43 kan testet inte bli klart som det är upplagt. Leta efter en större förbättring (testa en djärvare ändring), mer trafik (större budget eller bredare målgrupp), eller acceptera en lägre konfidensnivå och säg det när du redovisar resultatet.
• Google Ads. Dess hjälpsida om experiment rekommenderar att låta ett experiment köras i 2 till 3 veckor, och att öka budgeten eller köra längre om resultaten fortfarande är oavgjorda.

Varför du luras om du stoppar för tidigt

Här är fällan. Du startar testet och kollar det varje morgon. Dag fyra ligger B före och verktyget säger signifikant. Du stoppar, lanserar B och går vidare.

Konfidensnivån på 95% beskriver bara ett test som läses av en gång, vid den planerade urvalsstorleken. Om A och B egentligen konverterar lika utser den enda avläsningen en falsk vinnare ungefär 5% av gångerna. Att kolla varje dag är en annan procedur. De två konverteringsgraderna vandrar när besökarna kommer in, och varje titt är ännu en chans för en slumpmässig skillnad att passera gränsen. Stoppar du vid första passagen har du medvetet valt det mest tursamma ögonblicket. Den verkliga andelen falska positiva hamnar över 5%, och den stiger ju oftare du tittar.

P-värdet på skärmen kan inte varna dig, eftersom det inte vet hur många gånger du har kollat. Det ser exakt ut som om du hade tittat en gång.

Tre regler håller ett test ärligt:

1. Skriv ner urvalsstorleken före start. Lägg den i testets namn om det behövs.
2. Titta, men stoppa inte. Att kontrollera att båda versionerna levereras och att inget är trasigt är helt okej. Att avsluta testet för att siffran ser bra ut är det inte.
3. Läs av resultatet en gång, vid den planerade storleken. Är det inte signifikant är det också ett svar: skillnaden, om det finns någon, är mindre än den förbättring du sa var värd att hitta.

Läs av resultatet

När testet har nått sin storlek, växla kalkylatorn till Är mitt resultat signifikant? och fyll i besökare och konverteringar för båda versionerna. Säg att A konverterade 200 av 10 000 besökare (2,00%) och B 245 av 10 000 (2,45%). Kalkylatorn ger z = 2,157 och ett tvåsidigt p-värde på 0,031, under 0,05, så B vinner med 95% konfidens.

Läs sedan intervallet, inte bara utslaget. 95%-intervallet för skillnaden går från +0,04 till +0,86 procentenheter, vilket som förbättring jämfört med A är ungefär +2% till +43%. B är bättre, men hur mycket bättre är fortfarande väldigt öppet. Om B kostar mer att producera är det intervallet som säger om det är värt det.

Plattformarna kommer inte alltid att hålla med kalkylatorn, och det är väntat. Metas A/B-resultat visar en konfidensprocent och räknar 65% eller mer som ett vinnande resultat, ett annat mått än ett p-värde. Google Ads beräknar sina intervall med jackknife-omsampling över 20 grupper per arm och visar som standard ett 80%-intervall. Använd plattformens utslag för plattformens test, och kalkylatorn för att dimensionera testet och dubbelkolla matten.

Lägg upp testet så att svaret betyder något

• Ändra en sak. Enligt Metas bästa praxis blir resultaten mer entydiga när versionerna är identiska förutom variabeln som testas.
• Dela upp ordentligt. Meta avråder från att testa genom att slå på och av annonsuppsättningar, eftersom målgrupperna kan överlappa, och rekommenderar samma budget för båda versionerna. Använd plattformens eget verktyg för A/B-tester eller experiment.
• Kolla pengarna, inte bara konverteringsgraden. En version som vinner på konverteringsgrad kan ändå förlora pengar om den kostar mer per klick. Kör vinnaren genom ROAS-kalkylatorn och jämför med din break-even-ROAS innan du skalar upp den.

Kortversionen

Välj den minsta förbättring som är värd att hitta, räkna ut besökare per version, dela med din dagliga trafik, håll resultatet mellan Metas 7 och 30 dagar, och stoppa inte för tidigt. A/B-testkalkylatorn gör båda halvorna. Och om du hellre vill få testerna föreslagna åt dig är Hermoso en AI-marknadsföringsagent som sköter din marknadsföring på autopilot: den kan läsa varje annonsplattform du har kopplat och tala om för dig vad du ska skala upp, pausa och testa härnäst, med varje tests hypotes, måttet som avgör det, en budget och en tidslängd.

Vanliga frågor

Hur länge ska jag köra ett A/B-test av en Facebook-annons?

Tillräckligt länge för att nå den urvalsstorlek du räknade fram innan start, och minst 7 dagar, vilket är minimum som Meta rekommenderar. Meta begränsar A/B-tester till 30 dagar. Med 3 000 besökare om dagen kräver ett test på en konverteringsgrad på 2% som letar efter en förbättring på 20% ungefär 15 dagar.

Hur många konverteringar behöver jag för ett A/B-test?

Det beror på din konverteringsgrad och vilken förbättring du vill upptäcka. Vid 2% krävs 21 109 besökare per version för att hitta en förbättring på 20% med 95% konfidens och 80% styrka, vilket är ungefär 422 konverteringar i originalversionen.

Kan jag stoppa ett A/B-test tidigt om det redan är signifikant?

Inte om du vill att konfidensnivån ska hålla. Att kolla ofta och stoppa vid första signifikanta avläsning ger slumpen fler chanser att passera gränsen, så den verkliga andelen falska positiva blir högre än den du valde.

Vad gör jag om mitt test skulle behöva mer än 30 dagar?

Metas A/B-tester kan inte köras längre än 30 dagar, så ändra upplägget: testa en djärvare ändring så att förbättringen du letar efter blir större, lägg till budget eller bredda målgruppen för mer trafik, eller acceptera en lägre konfidensnivå och säg det när du redovisar resultatet.