Hvor lenge en A/B-test av annonser bør kjøre (og hvorfor det lurer deg å stoppe tidlig)

«Hvor lenge skal testen kjøre?» har et ekte svar, og det er ikke et antall dager. En test er lang nok når den har sett nok folk til å skille de to versjonene fra hverandre. Dagene kommer først inn når du deler det antallet folk på trafikken din. Får du rekkefølgen riktig, forteller testen deg noe. Får du den feil, ender du opp med å lansere den annonsen som tilfeldigvis lå foran en heldig tirsdag.

Den gratis A/B-testkalkulatoren gjør regnestykkene i dette innlegget i nettleseren din. Her ser du hvordan de fungerer, så du vet hva du skal mate den med.

Start med den minste økningen som er verdt å finne

Bestem før testen hvilken forbedring som er den minste du ville handlet på. Hvis en ny hook økte konverteringene med 3 %, ville du bygd om annonsene dine rundt den? Neppe. Med 20 %? Sannsynligvis ja. Den minste økningen som er verdt å finne styrer alt annet, fordi små forskjeller krever langt mer data for å bli synlige enn store.

Du trenger også tre tall til:

• Konverteringsraten din i dag. Hent den fra annonsen, målgruppen eller landingssiden du skal teste, over en vanlig periode nylig.
• Et konfidensnivå. 95 % er det vanlige valget. Det avgjør hvor ofte en test uten noen reell forskjell likevel kårer en vinner: omtrent 5 % av gangene.
• Styrke (power). Sjansen for å fange opp økningen hvis den faktisk finnes. Meta foreslår vanligvis 80 % eller mer for sine egne tester, og 80 % er en vanlig standard.

Gjør det om til besøkende per versjon

Med de fire tallene gir standardformelen for å sammenligne to konverteringsrater hvor mange besøkende hver versjon trenger. Kalkulatoren viser hele formelen. Dette er hva den gir for en nettbutikk som konverterer 2 % av de besøkende, med 95 % konfidens og 80 % styrke:

Minste økning verdt å finne	Raten til B	Besøkende per versjon	Totalt
30 %	2,6 %	9 798	19 596
20 %	2,4 %	21 109	42 218
10 %	2,2 %	80 682	161 364

Halverer du økningen du vil se, trenger du omtrent fire ganger så mye trafikk. Det ene faktumet forklarer de fleste mislykkede annonsetester: noen prøvde å finne en liten forskjell med et budsjett som var dimensjonert for en stor.

Høyere styrke koster også. Den samme økningen på 20 % med 90 % styrke krever 28 258 per versjon i stedet for 21 109.

Først da, og bare da, gjør du det om til dager

Del totalen på antall besøkende per dag som begge versjonene får til sammen. Med 3 000 besøkende om dagen trenger 20 %-testen 42 218 ÷ 3 000 = 14,07, altså 15 dager. Med 1 000 om dagen trenger den 43 dager. Med 10 000 om dagen trenger den 5.

Sjekk så svaret mot det plattformene sier:

• For kort. Metas beste praksis for A/B-testing anbefaler minst 7 dager og sier at kortere tester kan gi uavklarte resultater. Sier regnestykket ditt 5 dager, kjør 7 likevel. Den samme siden sier at du bør kjøre lenger hvis kundene dine vanligvis bruker mer enn 7 dager på å konvertere etter at de har sett en annonse.
• For lang. Meta setter et tak på 30 dager for A/B-tester. Sier regnestykket ditt 43, kan testen slik den er satt opp ikke bli ferdig. Se etter en større økning (test en dristigere endring), mer trafikk (et større budsjett eller en bredere målgruppe), eller godta et lavere konfidensnivå og si det når du rapporterer resultatet.
• Google Ads. Den hjelpesiden om eksperimenter anbefaler å la et eksperiment kjøre i 2 til 3 uker, og å øke budsjettet eller kjøre lenger hvis resultatene fortsatt er uavklarte.

Hvorfor det lurer deg å stoppe tidlig

Her er fellen. Du starter testen og sjekker den hver morgen. På dag fire ligger B foran, og verktøyet sier signifikant. Du stopper, velger B og går videre.

Konfidensnivået på 95 % beskriver bare en test som leses av én gang, ved den planlagte utvalgsstørrelsen. Hvis A og B egentlig konverterer likt, kårer den ene avlesningen en falsk vinner omtrent 5 % av gangene. Å sjekke hver dag er en annen prosedyre. De to ratene svinger mens besøkende kommer inn, og hver titt er en ny sjanse for at en tilfeldig forskjell krysser streken. Stopper du første gang det skjer, har du med vilje valgt det heldigste øyeblikket. Den reelle andelen falske positive havner over 5 %, og den stiger jo oftere du ser.

P-verdien på skjermen kan ikke advare deg, for den vet ikke hvor mange ganger du har sjekket. Den ser nøyaktig ut som om du hadde sett én gang.

Tre regler holder en test ærlig:

1. Skriv ned utvalgsstørrelsen før lansering. Sett den i navnet på testen hvis du må.
2. Se gjerne, men ikke stopp. Å sjekke at begge versjonene leveres og at ingenting er ødelagt, er greit. Å avslutte testen fordi tallet ser bra ut, er det ikke.
3. Les av resultatet én gang, ved planlagt størrelse. Er det ikke signifikant, er det også et svar: forskjellen, om den finnes, er mindre enn økningen du sa var verdt å finne.

Les av resultatet

Når testen har nådd størrelsen sin, bytter du kalkulatoren til Er resultatet mitt signifikant? og legger inn besøkende og konverteringer for begge versjonene. La oss si at A konverterte 200 av 10 000 besøkende (2,00 %) og B 245 av 10 000 (2,45 %). Kalkulatoren gir z = 2,157 og en tosidig p-verdi på 0,031, under 0,05, så B vinner med 95 % konfidens.

Se så på spennet, ikke bare på konklusjonen. 95 %-intervallet for forskjellen går fra +0,04 til +0,86 prosentpoeng, som i økning på A er omtrent +2 % til +43 %. B er bedre, men hvor mye bedre er fortsatt helt åpent. Hvis B koster mer å lage, er det spennet som forteller deg om det er verdt det.

Plattformene vil ikke alltid være enige med kalkulatoren, og det er som forventet. Metas A/B-resultater viser en konfidensprosent og regner 65 % eller mer som et vinnende resultat, et annet mål enn en p-verdi. Google Ads regner ut intervallene sine med jackknife-resampling over 20 bøtter per variant og viser et 80 %-intervall som standard. Bruk plattformens konklusjon for plattformens test, og kalkulatoren til å planlegge størrelsen og dobbeltsjekke regnestykket.

Sett opp testen slik at svaret betyr noe

• Endre én ting. Metas beste praksis sier at resultatene blir mer entydige når versjonene er identiske bortsett fra variabelen som testes.
• Del riktig. Meta fraråder å teste ved å skru annonsesett av og på, fordi målgrupper kan overlappe, og anbefaler samme budsjett for begge versjonene. Bruk plattformens eget verktøy for A/B-tester eller eksperimenter.
• Sjekk pengene, ikke bare raten. En versjon som vinner på konverteringsrate kan fortsatt tape penger hvis den koster mer per klikk. Kjør vinneren gjennom ROAS-kalkulatoren og sammenlign med din break-even-ROAS før du skalerer den.

Kortversjonen

Velg den minste økningen som er verdt å finne, regn ut besøkende per versjon, del på den daglige trafikken, hold resultatet mellom Metas 7 og 30 dager, og ikke stopp tidlig. A/B-testkalkulatoren gjør begge halvdelene. Og vil du heller få testene foreslått for deg? Hermoso er en AI-markedsføringsagent som kjører markedsføringen din på autopilot: den kan lese alle annonseplattformene du har koblet til og fortelle deg hva du bør skalere, pause og teste neste gang, med hypotesen for hver test, målet som avgjør den, et budsjett og en varighet.

Ofte stilte spørsmål

Hvor lenge bør jeg kjøre en A/B-test av Facebook-annonser?

Lenge nok til å nå utvalgsstørrelsen du regnet ut før start, og minst 7 dager, som er minimumet Meta anbefaler. Meta setter et tak på 30 dager for A/B-tester. Med 3 000 besøkende om dagen trenger en test på en konverteringsrate på 2 % som leter etter en økning på 20 %, omtrent 15 dager.

Hvor mange konverteringer trenger jeg for en A/B-test?

Det avhenger av konverteringsraten din og økningen du vil oppdage. Med en rate på 2 % krever det å finne en økning på 20 % med 95 % konfidens og 80 % styrke 21 109 besøkende per versjon, som er omtrent 422 konverteringer i originalversjonen.

Kan jeg stoppe en A/B-test tidlig hvis den allerede er signifikant?

Ikke hvis du vil at konfidensnivået skal holde. Å sjekke ofte og stoppe ved første signifikante avlesning gir tilfeldighetene flere sjanser til å krysse streken, så den reelle andelen falske positive havner høyere enn den du valgte.

Hva om testen min trenger mer enn 30 dager?

A/B-tester i Meta kan ikke kjøre lenger enn 30 dager, så endre oppsettet: test en dristigere endring slik at økningen du leter etter blir større, øk budsjettet eller utvid målgruppen for mer trafikk, eller godta et lavere konfidensnivå og si det når du rapporterer resultatet.