Hoe lang laat je een A/B-test voor advertenties lopen?

“Hoe lang moet de test lopen?” heeft een echt antwoord, en dat is geen aantal dagen. Een test is lang genoeg als hij genoeg mensen heeft gezien om de twee versies uit elkaar te houden. Dagen komen pas in beeld als je dat aantal mensen deelt door je verkeer. Doe het in de goede volgorde en de test vertelt je iets. Doe het verkeerd en je lanceert gewoon de advertentie die toevallig voorlag op een gelukkige dinsdag.

De gratis A/B-testcalculator doet de sommen uit dit artikel in je browser. Hieronder lees je hoe ze werken, zodat je weet wat je erin moet stoppen.

Begin bij de kleinste stijging die het vinden waard is

Bepaal vóór de test de kleinste verbetering waar je iets mee zou doen. Als een nieuwe hook de conversies met 3% verhoogt, zou je je advertenties dan daaromheen opnieuw bouwen? Waarschijnlijk niet. Bij 20%? Waarschijnlijk wel. Die kleinste stijging die het vinden waard is, bepaalt al het andere, want kleine verschillen vragen veel meer data om zichtbaar te worden dan grote.

Je hebt daarnaast nog drie getallen nodig:

Je huidige conversieratio. Haal die uit de advertentie, doelgroep of landingspagina die je gaat testen, over een normale recente periode.
Een betrouwbaarheidsniveau. 95% is de gebruikelijke keuze. Het bepaalt hoe vaak een test zonder echt verschil toch een winnaar aanwijst: ongeveer 5% van de keren.
Power. De kans dat je de stijging oppikt als die er echt is. Meta raadt doorgaans 80% of meer aan voor zijn eigen tests, en 80% is een veelgebruikte standaard.

Reken dat om naar bezoekers per versie

Met die vier getallen geeft de standaardformule voor het vergelijken van twee conversieratio’s het aantal bezoekers dat elke versie nodig heeft. De calculator toont de volledige formule. Dit is wat eruit komt voor een webshop die 2% van de bezoekers converteert, bij 95% betrouwbaarheid en 80% power:

Kleinste stijging die het vinden waard is	Ratio van B	Bezoekers per versie	Totaal
30%	2,6%	9.798	19.596
20%	2,4%	21.109	42.218
10%	2,2%	80.682	161.364

Halveer je de stijging die je wilt zien, dan heb je ruwweg vier keer zoveel verkeer nodig. Dat ene feit verklaart de meeste mislukte advertentietests: iemand probeerde een klein verschil te meten met een budget dat bedoeld was voor een groot verschil.

Een hogere power heeft ook een prijs. Dezelfde stijging van 20% bij 90% power vraagt 28.258 bezoekers per versie in plaats van 21.109.

Pas dan, en alleen dan, reken je het om naar dagen

Deel het totaal door het aantal bezoekers dat beide versies samen per dag krijgen. Bij 3.000 bezoekers per dag heeft de test van 20% 42.218 ÷ 3.000 = 14,07 nodig, dus 15 dagen. Bij 1.000 per dag zijn het 43 dagen. Bij 10.000 per dag zijn het er 5.

Leg het antwoord daarna naast wat de platforms zeggen:

Te kort. Meta’s best practices voor A/B-tests raden minimaal 7 dagen aan en zeggen dat kortere tests onbesliste resultaten kunnen opleveren. Komt jouw berekening uit op 5 dagen, laat de test dan toch 7 dagen lopen. Op dezelfde pagina staat dat je langer moet testen als je klanten meestal meer dan 7 dagen nodig hebben om te converteren nadat ze een advertentie hebben gezien.
Te lang. Meta begrenst A/B-tests op 30 dagen. Komt jouw berekening uit op 43, dan kan de test zoals hij is opgezet niet afronden. Zoek naar een grotere stijging (test een gedurfdere wijziging), meer verkeer (een groter budget of een bredere doelgroep), of accepteer een lager betrouwbaarheidsniveau en zeg dat erbij als je het resultaat rapporteert.
Google Ads. De helppagina over experimenten raadt aan een experiment 2 tot 3 weken te laten lopen, en het budget te verhogen of langer door te gaan als de resultaten nog niet beslist zijn.

Waarom te vroeg stoppen je misleidt

Dit is de valkuil. Je start de test en kijkt er elke ochtend naar. Op dag vier ligt B voor en de tool zegt significant. Je stopt, kiest B en gaat verder.

Het betrouwbaarheidsniveau van 95% beschrijft alleen een test die één keer wordt afgelezen, bij de geplande steekproefgrootte. Als A en B echt even goed converteren, wijst die ene aflezing in ongeveer 5% van de gevallen een valse winnaar aan. Elke dag kijken is een andere procedure. De twee ratio’s schommelen terwijl er bezoekers binnenkomen, en elke blik is een nieuwe kans dat een toevallig verschil over de streep gaat. Stop je bij de eerste keer dat dat gebeurt, dan heb je bewust het gelukkigste moment gekozen. Het echte percentage valse positieven komt dan boven de 5% uit, en het stijgt naarmate je vaker kijkt.

De p-waarde op je scherm kan je niet waarschuwen, want die weet niet hoe vaak je hebt gekeken. Hij ziet er precies zo uit als wanneer je één keer had gekeken.

Drie regels houden een test eerlijk:

Schrijf de steekproefgrootte op vóór de lancering. Zet hem desnoods in de naam van de test.
Kijk gerust, maar stop niet. Controleren of beide versies worden uitgeleverd en of er niets kapot is, is prima. De test beëindigen omdat het getal er goed uitziet, is dat niet.
Lees het resultaat één keer af, bij de geplande grootte. Is het niet significant, dan is dat ook een antwoord: het verschil, als het er al is, is kleiner dan de stijging die je het vinden waard vond.

Het resultaat aflezen

Als de test zijn grootte heeft bereikt, zet je de calculator op Is mijn resultaat significant? en vul je bezoekers en conversies voor beide versies in. Stel dat A 200 van de 10.000 bezoekers converteerde (2,00%) en B 245 van de 10.000 (2,45%). De calculator geeft z = 2,157 en een tweezijdige p-waarde van 0,031, onder de 0,05, dus B wint bij 95% betrouwbaarheid.

Kijk daarna naar de bandbreedte, niet alleen naar het oordeel. Het 95%-interval voor het verschil loopt van +0,04 tot +0,86 procentpunt, wat als stijging ten opzichte van A grofweg +2% tot +43% is. B is beter, maar hoeveel beter staat nog wijd open. Kost B meer om te maken, dan vertelt die bandbreedte je of het de moeite waard is.

De platforms zijn het niet altijd eens met de calculator, en dat is te verwachten. Meta’s A/B-resultaten tonen een betrouwbaarheidspercentage en behandelen 65% of hoger als een winnend resultaat, een andere maatstaf dan een p-waarde. Google Ads berekent zijn intervallen met jackknife-resampling over 20 buckets per variant en toont standaard een 80%-interval. Gebruik het oordeel van het platform voor de test van het platform, en de calculator om de grootte te plannen en de berekening te controleren.

Zet de test zo op dat het antwoord iets betekent

Verander één ding. Volgens Meta’s best practices zijn resultaten overtuigender als de versies identiek zijn op de geteste variabele na.
Verdeel goed. Meta raadt af om te testen door advertentiesets aan en uit te zetten, omdat doelgroepen kunnen overlappen, en adviseert hetzelfde budget voor beide versies. Gebruik de eigen A/B-test- of experimenttool van het platform.
Kijk naar het geld, niet alleen naar de ratio. Een versie die wint op conversieratio kan nog steeds geld verliezen als ze meer per klik kost. Haal de winnaar door de ROAS-calculator en vergelijk hem met je break-even ROAS voordat je opschaalt.

De korte versie

Kies de kleinste stijging die het vinden waard is, reken het aantal bezoekers per versie uit, deel door je dagelijkse verkeer, houd de uitkomst tussen Meta’s 7 en 30 dagen, en stop niet te vroeg. De A/B-testcalculator doet beide helften. En wil je liever dat de tests voor je worden voorgesteld? Hermoso is een AI-marketingagent die je marketing op de automatische piloot zet: hij kan elk advertentieplatform lezen dat je hebt gekoppeld en je vertellen wat je moet opschalen, pauzeren en als volgende testen, met per test de hypothese, de metric die beslist, een budget en een looptijd.

Veelgestelde vragen

Hoe lang moet ik een A/B-test voor Facebook-advertenties laten lopen?

Lang genoeg om de steekproefgrootte te halen die je vóór de start hebt uitgerekend, en minimaal 7 dagen, het minimum dat Meta aanraadt. Meta begrenst A/B-tests op 30 dagen. Bij 3.000 bezoekers per dag heeft een test op een conversieratio van 2% die een stijging van 20% zoekt ongeveer 15 dagen nodig.

Hoeveel conversies heb ik nodig voor een A/B-test?

Dat hangt af van je conversieratio en de stijging die je wilt meten. Bij een ratio van 2% kost het vinden van een stijging van 20% bij 95% betrouwbaarheid en 80% power 21.109 bezoekers per versie, ongeveer 422 conversies in de originele versie.

Mag ik een A/B-test vroeg stoppen als hij al significant is?

Niet als je wilt dat het betrouwbaarheidsniveau klopt. Vaak kijken en stoppen bij de eerste significante aflezing geeft toeval meer kansen om over de streep te gaan, waardoor het echte percentage valse positieven hoger uitkomt dan het niveau dat je koos.

Wat als mijn test meer dan 30 dagen nodig heeft?

A/B-tests van Meta kunnen niet langer dan 30 dagen lopen, dus pas de opzet aan: test een gedurfdere wijziging zodat de stijging die je zoekt groter is, verhoog het budget of verbreed de doelgroep voor meer verkeer, of accepteer een lager betrouwbaarheidsniveau en zeg dat erbij als je het resultaat rapporteert.

Hoe lang laat je een A/B-test voor advertenties lopen (en waarom te vroeg stoppen je misleidt)