Wie lange ein A/B-Test für Anzeigen laufen sollte

„Wie lange soll der Test laufen?“ hat eine echte Antwort, und die ist keine Anzahl von Tagen. Ein Test ist lang genug, wenn er genug Menschen gesehen hat, um die beiden Versionen auseinanderzuhalten. Tage kommen erst ins Spiel, wenn du diese Zahl durch deinen Traffic teilst. Mach es in der richtigen Reihenfolge, und der Test sagt dir etwas. Mach es falsch, und du schaltest am Ende die Anzeige, die an einem glücklichen Dienstag zufällig vorne lag.

Der kostenlose A/B-Test-Rechner macht die Rechnungen aus diesem Beitrag direkt in deinem Browser. So funktionieren sie, damit du weißt, was du eingeben musst.

Fang mit dem kleinsten Uplift an, der sich lohnt

Leg vor dem Test fest, ab welcher Verbesserung du handeln würdest. Wenn ein neuer Hook die Conversions um 3 % steigert, würdest du deine Anzeigen darauf umbauen? Eher nicht. Bei 20 %? Ziemlich sicher. Dieser kleinste lohnende Uplift bestimmt alles andere, denn kleine Unterschiede brauchen viel mehr Daten als große, bis man sie sieht.

Außerdem brauchst du drei weitere Zahlen:

Deine aktuelle Conversion-Rate. Nimm sie von der Anzeige, der Zielgruppe oder der Landingpage, die du testen willst, über einen normalen, aktuellen Zeitraum.
Ein Konfidenzniveau. 95 % ist die übliche Wahl. Es legt fest, wie oft ein Test ohne echten Unterschied trotzdem einen Gewinner ausruft: in etwa 5 % der Fälle.
Die Teststärke (Power). Die Wahrscheinlichkeit, den Uplift zu erkennen, wenn er wirklich da ist. Meta empfiehlt für die eigenen Tests meist 80 % oder mehr, und 80 % ist ein gängiger Standardwert.

Mach daraus Besucher pro Version

Mit diesen vier Zahlen liefert die Standardformel für den Vergleich zweier Conversion-Raten die Besucherzahl, die jede Version braucht. Der Rechner zeigt die Formel vollständig. Das kommt für einen Shop heraus, der 2 % seiner Besucher konvertiert, bei 95 % Konfidenz und 80 % Power:

Kleinster lohnender Uplift	Rate von B	Besucher pro Version	Gesamt
30 %	2,6 %	9.798	19.596
20 %	2,4 %	21.109	42.218
10 %	2,2 %	80.682	161.364

Halbierst du den Uplift, den du sehen willst, brauchst du ungefähr den vierfachen Traffic. Diese eine Tatsache erklärt die meisten gescheiterten Anzeigentests: Jemand wollte einen kleinen Unterschied messen, mit einem Budget, das für einen großen bemessen war.

Auch mehr Power hat ihren Preis. Derselbe Uplift von 20 % braucht bei 90 % Power 28.258 Besucher pro Version statt 21.109.

Dann, und erst dann, rechnest du in Tagen

Teile die Gesamtzahl durch die Besucher, die beide Versionen zusammen pro Tag bekommen. Bei 3.000 Besuchern am Tag braucht der 20-%-Test 42.218 ÷ 3.000 = 14,07, also 15 Tage. Bei 1.000 am Tag sind es 43 Tage. Bei 10.000 am Tag sind es 5.

Prüf das Ergebnis jetzt gegen die Vorgaben der Plattformen:

Zu kurz. Metas Best Practices für A/B-Tests empfehlen mindestens 7 Tage und warnen, dass kürzere Tests zu keinem klaren Ergebnis führen können. Sagt deine Rechnung 5 Tage, lass ihn trotzdem 7 laufen. Auf derselben Seite steht auch: Lass ihn länger laufen, wenn deine Kunden nach dem Sehen einer Anzeige meist mehr als 7 Tage bis zur Conversion brauchen.
Zu lang. Meta begrenzt A/B-Tests auf 30 Tage. Sagt deine Rechnung 43, kann der Test in dieser Form nie fertig werden. Such einen größeren Uplift (teste eine mutigere Änderung), mehr Traffic (ein höheres Budget oder eine breitere Zielgruppe) oder akzeptiere ein niedrigeres Konfidenzniveau und sag das dazu, wenn du das Ergebnis berichtest.
Google Ads. Die Hilfeseite zu Tests empfiehlt, einen Test 2 bis 3 Wochen laufen zu lassen und das Budget zu erhöhen oder länger zu testen, wenn die Ergebnisse noch offen sind.

Warum dich frühes Abbrechen täuscht

Hier ist die Falle. Du startest den Test und schaust jeden Morgen rein. An Tag vier liegt B vorne und das Tool meldet „signifikant“. Du stoppst, schaltest B und machst weiter.

Das Konfidenzniveau von 95 % gilt nur für einen Test, den du einmal ablesst, bei der geplanten Stichprobengröße. Konvertieren A und B in Wahrheit gleich, ruft diese eine Ablesung in etwa 5 % der Fälle einen falschen Gewinner aus. Jeden Tag reinzuschauen ist ein anderes Verfahren. Die beiden Raten schwanken, während Besucher reinkommen, und jeder Blick ist eine weitere Gelegenheit, dass eine zufällige Lücke die Linie überschreitet. Stoppst du beim ersten Überschreiten, hast du absichtlich den glücklichsten Moment gewählt. Die echte Rate falscher Treffer landet über 5 %, und sie steigt, je öfter du schaust.

Der p-Wert auf dem Bildschirm kann dich nicht warnen, weil er nicht weiß, wie oft du nachgesehen hast. Er sieht genauso aus, als hättest du nur einmal geschaut.

Drei Regeln halten einen Test ehrlich:

Schreib die Stichprobengröße vor dem Start auf. Zur Not in den Namen des Tests.
Schau rein, aber stopp nicht. Zu prüfen, ob beide Versionen ausgeliefert werden und nichts kaputt ist, ist völlig in Ordnung. Den Test zu beenden, weil die Zahl gut aussieht, nicht.
Lies das Ergebnis einmal ab, bei der geplanten Größe. Ist es nicht signifikant, ist auch das eine Antwort: Der Unterschied, falls es einen gibt, ist kleiner als der Uplift, den du als lohnend festgelegt hast.

Das Ergebnis lesen

Wenn der Test seine Größe erreicht hat, stell den Rechner auf Ist mein Ergebnis signifikant? um und gib Besucher und Conversions für beide Versionen ein. Angenommen, A hat 200 von 10.000 Besuchern konvertiert (2,00 %) und B 245 von 10.000 (2,45 %). Der Rechner liefert z = 2,157 und einen zweiseitigen p-Wert von 0,031, also unter 0,05: B gewinnt bei 95 % Konfidenz.

Lies dann die Spanne, nicht nur das Urteil. Das 95-%-Intervall für den Unterschied reicht von +0,04 bis +0,86 Prozentpunkten, als Uplift gegenüber A also grob +2 % bis +43 %. B ist besser, aber um wie viel, ist noch völlig offen. Kostet B mehr in der Produktion, sagt dir genau diese Spanne, ob es sich lohnt.

Die Plattformen werden nicht immer mit dem Rechner übereinstimmen, und das ist normal. Metas A/B-Ergebnisse zeigen einen Konfidenzprozentsatz und werten 65 % oder mehr als Gewinner, ein anderes Maß als ein p-Wert. Google Ads berechnet seine Intervalle per Jackknife-Resampling über 20 Buckets pro Testarm und zeigt standardmäßig ein 80-%-Intervall. Nutz das Urteil der Plattform für den Test der Plattform und den Rechner, um die Größe zu planen und die Rechnung gegenzuprüfen.

Bau den Test so auf, dass die Antwort etwas bedeutet

Ändere eine Sache. Laut Metas Best Practices sind die Ergebnisse aussagekräftiger, wenn die Versionen bis auf die getestete Variable identisch sind.
Teile sauber auf. Meta rät davon ab, durch An- und Ausschalten von Anzeigengruppen zu testen, weil sich Zielgruppen überschneiden können, und empfiehlt dasselbe Budget für beide Versionen. Nutz das A/B-Test- oder Experiment-Tool der Plattform selbst.
Prüf das Geld, nicht nur die Rate. Eine Version, die bei der Conversion-Rate gewinnt, kann trotzdem Geld verlieren, wenn sie pro Klick mehr kostet. Jag den Gewinner durch den ROAS-Rechner und vergleiche ihn mit deinem Break-even-ROAS, bevor du skalierst.

Die Kurzfassung

Wähle den kleinsten lohnenden Uplift, rechne die Besucher pro Version aus, teile durch deinen täglichen Traffic, bleib zwischen Metas 7 und 30 Tagen und brich nicht früh ab. Der A/B-Test-Rechner erledigt beide Hälften. Und wenn du dir die Tests lieber vorschlagen lassen willst: Hermoso ist ein KI-Marketing-Agent, der dein Marketing auf Autopilot laufen lässt. Er kann jede verbundene Werbeplattform auslesen und dir sagen, was du skalieren, pausieren und als Nächstes testen solltest, mit Hypothese, entscheidender Kennzahl, Budget und Laufzeit für jeden Test.

Häufige Fragen

Wie lange sollte ein A/B-Test für Facebook-Anzeigen laufen?

Lange genug, um die Stichprobengröße zu erreichen, die du vor dem Start ausgerechnet hast, und mindestens 7 Tage, das Minimum, das Meta empfiehlt. Meta begrenzt A/B-Tests auf 30 Tage. Bei 3.000 Besuchern am Tag braucht ein Test bei 2 % Conversion-Rate, der einen Uplift von 20 % sucht, etwa 15 Tage.

Wie viele Conversions brauche ich für einen A/B-Test?

Das hängt von deiner Conversion-Rate und dem Uplift ab, den du erkennen willst. Bei 2 % braucht ein Uplift von 20 % bei 95 % Konfidenz und 80 % Power 21.109 Besucher pro Version, also etwa 422 Conversions in der Originalversion.

Kann ich einen A/B-Test früher stoppen, wenn er schon signifikant ist?

Nicht, wenn das Konfidenzniveau halten soll. Wer oft nachschaut und beim ersten signifikanten Wert stoppt, gibt dem Zufall mehr Gelegenheiten, die Linie zu überschreiten. Die echte Rate falscher Treffer liegt dann höher als die, die du gewählt hast.

Was, wenn mein Test mehr als 30 Tage bräuchte?

A/B-Tests bei Meta können nicht länger als 30 Tage laufen, also ändere das Design: Teste eine mutigere Änderung, damit der gesuchte Uplift größer ist, erhöhe das Budget oder verbreitere die Zielgruppe für mehr Traffic, oder akzeptiere ein niedrigeres Konfidenzniveau und sag das dazu, wenn du das Ergebnis berichtest.

Wie lange ein A/B-Test für Anzeigen laufen sollte (und warum dich frühes Abbrechen täuscht)