Hvor længe en A/B-test af annoncer skal køre (og hvorfor du bliver snydt, hvis du stopper tidligt)
En A/B-test af annoncer skal køre, til den når en stikprøvestørrelse, du valgte, før den startede, ikke til tallene ser gode ud. Sådan regner du den ud, med gennemregnede eksempler, hvad Meta og Google Ads anbefaler, og en gratis beregner.
„Hvor længe skal testen køre?“ har et rigtigt svar, og det er ikke et antal dage. En test er lang nok, når den har set nok mennesker til at kunne skelne de to versioner fra hinanden. Dage kommer først ind i billedet, når du dividerer det antal mennesker med din trafik. Tag det i den rigtige rækkefølge, og testen fortæller dig noget. Tag det forkert, og du ender med at lancere den annonce, der tilfældigvis lå forrest en heldig tirsdag.
Den gratis A/B-testberegner laver udregningerne fra dette indlæg direkte i din browser. Her er, hvordan de fungerer, så du ved, hvad du skal give den.
Start med det mindste løft, der er værd at finde
Beslut før testen, hvad den mindste forbedring er, du ville handle på. Hvis et nyt hook løftede konverteringerne med 3 %, ville du så bygge dine annoncer om omkring det? Nok ikke. Med 20 %? Ja, sandsynligvis. Det mindste løft, der er værd at finde, styrer alt andet, for små forskelle kræver langt flere data at se end store.
Du skal også bruge tre tal mere:
- Din nuværende konverteringsrate. Tag den fra den annonce, målgruppe eller landingsside, du skal til at teste, over en normal, nylig periode.
- Et konfidensniveau. 95 % er det sædvanlige valg. Det bestemmer, hvor tit en test uden nogen reel forskel alligevel udråber en vinder: cirka 5 % af gangene.
- Styrke (power). Chancen for at fange løftet, hvis det faktisk er der. Meta foreslår typisk 80 % eller mere til sine egne tests, og 80 % er en almindelig standard.
Gør det til besøgende per version
Med de fire tal giver standardformlen for at sammenligne to konverteringsrater det antal besøgende, hver version har brug for. Beregneren viser formlen i sin helhed. Her er, hvad den giver for en butik, der konverterer 2 % af de besøgende, ved 95 % konfidens og 80 % styrke:
| Mindste løft værd at finde | B’s rate | Besøgende per version | I alt |
|---|---|---|---|
| 30 % | 2,6 % | 9.798 | 19.596 |
| 20 % | 2,4 % | 21.109 | 42.218 |
| 10 % | 2,2 % | 80.682 | 161.364 |
Halverer du det løft, du vil kunne se, skal du bruge cirka fire gange så meget trafik. Det ene faktum forklarer de fleste mislykkede annoncetests: Nogen prøvede at opdage en lille forskel med et budget, der var dimensioneret til en stor.
Højere styrke koster også. Det samme løft på 20 % ved 90 % styrke kræver 28.258 per version i stedet for 21.109.
Så, og først da, gør du det til dage
Dividér totalen med det antal besøgende, begge versioner får sammen om dagen. Ved 3.000 besøgende om dagen skal testen på 20 % bruge 42.218 ÷ 3.000 = 14,07, altså 15 dage. Ved 1.000 om dagen tager den 43 dage. Ved 10.000 om dagen tager den 5.
Tjek nu svaret op mod platformene:
- For kort. Metas best practices for A/B-tests anbefaler mindst 7 dage og siger, at kortere tests kan give uklare resultater. Siger din udregning 5 dage, så kør 7 alligevel. Samme side siger, at du skal køre længere, hvis dine kunder normalt bruger mere end 7 dage på at konvertere efter at have set en annonce.
- For lang. Meta begrænser A/B-tests til 30 dage. Siger din udregning 43, kan testen, som den er designet, aldrig blive færdig. Find et større løft (test en dristigere ændring), mere trafik (et større budget eller en bredere målgruppe), eller accepter et lavere konfidensniveau og sig det, når du rapporterer resultatet.
- Google Ads. Dens hjælpeside om eksperimenter anbefaler at lade et eksperiment køre i 2 til 3 uger og at hæve budgettet eller køre længere, hvis resultaterne stadig er uafklarede.
Hvorfor du bliver snydt, hvis du stopper tidligt
Her er fælden. Du starter testen og kigger på den hver morgen. På dag fire ligger B forrest, og værktøjet siger signifikant. Du stopper, lancerer B og går videre.
Konfidensniveauet på 95 % beskriver kun en test, der aflæses én gang, ved den planlagte stikprøvestørrelse. Hvis A og B i virkeligheden konverterer lige godt, udråber den ene aflæsning en falsk vinder cirka 5 % af gangene. At kigge hver dag er en anden procedure. De to rater svinger, mens de besøgende kommer ind, og hvert kig er endnu en chance for, at en tilfældig forskel krydser stregen. Stopper du ved første krydsning, har du med vilje valgt det heldigste øjeblik. Den reelle andel af falske positiver ender over 5 %, og den stiger, jo oftere du kigger.
P-værdien på skærmen kan ikke advare dig, for den ved ikke, hvor mange gange du har kigget. Den ser præcis ud, som om du kun havde kigget én gang.
Tre regler holder en test ærlig:
- Skriv stikprøvestørrelsen ned før lanceringen. Sæt den i testens navn, hvis det er det, der skal til.
- Kig gerne, men stop ikke. Det er fint at tjekke, at begge versioner bliver vist, og at intet er i stykker. At afslutte testen, fordi tallet ser godt ud, er ikke.
- Aflæs resultatet én gang, ved den planlagte størrelse. Er det ikke signifikant, er det også et svar: Forskellen, hvis der er en, er mindre end det løft, du sagde var værd at finde.
Aflæs resultatet
Når testen når sin størrelse, så skift beregneren til Er mit resultat signifikant? og indtast besøgende og konverteringer for begge versioner. Lad os sige, at A konverterede 200 ud af 10.000 besøgende (2,00 %) og B 245 ud af 10.000 (2,45 %). Beregneren giver z = 2,157 og en tosidet p-værdi på 0,031, under 0,05, så B vinder ved 95 % konfidens.
Læs så intervallet, ikke kun dommen. 95 %-intervallet for forskellen går fra +0,04 til +0,86 procentpoint, hvilket som løft på A er cirka +2 % til +43 %. B er bedre, men hvor meget bedre er stadig helt åbent. Hvis B koster mere at producere, er det intervallet, der fortæller dig, om det er det værd.
Platformene vil ikke altid være enige med beregneren, og det er forventeligt. Metas A/B-resultater viser en konfidensprocent og regner 65 % eller mere som et vindende resultat, et andet mål end en p-værdi. Google Ads beregner sine intervaller med jackknife-resampling over 20 buckets per testarm og viser som standard et 80 %-interval. Brug platformens dom til platformens test, og beregneren til at planlægge størrelsen og dobbelttjekke matematikken.
Sæt testen op, så svaret betyder noget
- Ændr én ting. Ifølge Metas best practices er resultaterne mere entydige, når versionerne er identiske bortset fra den variabel, der testes.
- Del ordentligt op. Meta fraråder at teste ved at slå annoncesæt til og fra, fordi målgrupper kan overlappe, og anbefaler samme budget til begge versioner. Brug platformens eget værktøj til A/B-tests eller eksperimenter.
- Tjek pengene, ikke kun raten. En version, der vinder på konverteringsrate, kan stadig tabe penge, hvis den koster mere per klik. Kør vinderen gennem ROAS-beregneren og sammenlign den med din break-even-ROAS, før du skalerer den.
Den korte version
Vælg det mindste løft, der er værd at finde, regn de besøgende per version ud, dividér med din daglige trafik, hold resultatet mellem Metas 7 og 30 dage, og stop ikke tidligt. A/B-testberegneren klarer begge halvdele. Og hvis du hellere vil have testene foreslået, er Hermoso en AI-marketingagent, der kører din markedsføring på autopilot: Den kan læse alle de annonceplatforme, du har forbundet, og fortælle dig, hvad du skal skalere, sætte på pause og teste næste gang, med hver tests hypotese, det tal der afgør den, et budget og en varighed.
Ofte stillede spørgsmål
Hvor længe skal en A/B-test af Facebook-annoncer køre?
Længe nok til at nå den stikprøvestørrelse, du regnede ud før start, og mindst 7 dage, som er det minimum, Meta anbefaler. Meta begrænser A/B-tests til 30 dage. Ved 3.000 besøgende om dagen tager en test på en konverteringsrate på 2 %, der leder efter et løft på 20 %, cirka 15 dage.
Hvor mange konverteringer skal jeg bruge til en A/B-test?
Det afhænger af din konverteringsrate og det løft, du vil kunne opdage. Ved en rate på 2 % kræver et løft på 20 % ved 95 % konfidens og 80 % styrke 21.109 besøgende per version, hvilket er cirka 422 konverteringer i den oprindelige version.
Kan jeg stoppe en A/B-test tidligt, hvis den allerede er signifikant?
Ikke hvis konfidensniveauet skal holde. Kigger du tit og stopper ved den første signifikante aflæsning, giver du tilfældet flere chancer for at krydse stregen, så den reelle andel af falske positiver ender højere end den, du valgte.
Hvad hvis min test skulle bruge mere end 30 dage?
A/B-tests hos Meta kan ikke køre ud over 30 dage, så ændr designet: Test en dristigere ændring, så det løft, du leder efter, er større, tilføj budget eller udvid målgruppen for mere trafik, eller accepter et lavere konfidensniveau og sig det, når du rapporterer resultatet.