Jak dlouho nechat běžet A/B test reklamy (a proč vás předčasné ukončení oklame)

“Jak dlouho má test běžet?” má skutečnou odpověď a není to počet dní. Test je dost dlouhý, když viděl dost lidí na to, aby od sebe obě verze rozlišil. Dny přicházejí na řadu teprve ve chvíli, kdy tento počet lidí vydělíte svou návštěvností. Když dodržíte pořadí, test vám něco řekne. Když ne, nasadíte tu reklamu, která náhodou vedla v jedno šťastné úterý.

Bezplatná kalkulačka A/B testů spočítá vše z tohoto článku přímo ve vašem prohlížeči. Tady je, jak výpočty fungují, abyste věděli, co do ní zadat.

Začněte nejmenším zlepšením, které stojí za to najít

Před testem si určete nejmenší zlepšení, podle kterého byste jednali. Kdyby nový hook zvýšil konverze o 3 %, přestavěli byste kvůli němu reklamy? Asi ne. O 20 %? Asi ano. Toto nejmenší zlepšení, které stojí za to najít, určuje všechno ostatní, protože malé rozdíly potřebují k odhalení mnohem víc dat než velké.

Potřebujete také tři další čísla:

• Současný konverzní poměr. Vezměte ho z reklamy, publika nebo vstupní stránky, kterou budete testovat, za běžné nedávné období.
• Hladinu spolehlivosti. Obvyklá volba je 95 %. Určuje, jak často test bez skutečného rozdílu přesto vyhlásí vítěze: přibližně v 5 % případů.
• Sílu testu. Šanci, že zlepšení zachytíte, pokud opravdu existuje. Meta pro vlastní testy obvykle doporučuje 80 % a více a 80 % je běžná výchozí hodnota.

Převeďte to na návštěvníky na verzi

Z těchto čtyř čísel standardní vzorec pro porovnání dvou konverzních poměrů určí, kolik návštěvníků každá verze potřebuje. Kalkulačka vzorec ukazuje celý. Takhle vychází pro e-shop, který konvertuje 2 % návštěvníků, při 95% spolehlivosti a 80% síle:

Nejmenší zlepšení, které stojí za nalezení	Poměr verze B	Návštěvníci na verzi	Celkem
30 %	2,6 %	9 798	19 596
20 %	2,4 %	21 109	42 218
10 %	2,2 %	80 682	161 364

Když zmenšíte hledané zlepšení na polovinu, potřebná návštěvnost se zhruba zčtyřnásobí. Tento jediný fakt vysvětluje většinu nepovedených testů reklam: někdo se snažil odhalit malý rozdíl s rozpočtem dimenzovaným na velký.

Vyšší síla testu má také svou cenu. Stejné 20% zlepšení při 90% síle potřebuje 28 258 návštěvníků na verzi místo 21 109.

Teprve potom to převeďte na dny

Vydělte celkový počet denní návštěvností, kterou obě verze dostanou dohromady. Při 3 000 návštěvnících denně potřebuje 20% test 42 218 ÷ 3 000 = 14,07, tedy 15 dní. Při 1 000 denně potřebuje 43 dní. Při 10 000 denně potřebuje 5.

Teď odpověď porovnejte s tím, co říkají platformy:

• Příliš krátké. Osvědčené postupy pro A/B testování od Meta doporučují nejméně 7 dní a uvádějí, že kratší testy mohou přinést neprůkazné výsledky. Pokud vám výpočet dá 5 dní, nechte test běžet 7 dní tak jako tak. Stejná stránka radí běžet déle, pokud zákazníkům konverze po zhlédnutí reklamy obvykle trvá víc než 7 dní.
• Příliš dlouhé. Meta omezuje A/B testy na 30 dní. Pokud vám výpočet dá 43, test v této podobě nemůže skončit. Hledejte větší zlepšení (otestujte odvážnější změnu), víc návštěvnosti (vyšší rozpočet nebo širší publikum), nebo přijměte nižší hladinu spolehlivosti a při reportování výsledku to uveďte.
• Google Ads. Jeho nápověda k experimentům doporučuje nechat experiment běžet 2 až 3 týdny a zvýšit rozpočet nebo běžet déle, pokud výsledky stále nejsou rozhodnuté.

Proč vás předčasné ukončení oklame

Tady je past. Spustíte test a každé ráno ho kontrolujete. Čtvrtý den vede verze B a nástroj hlásí, že je to signifikantní. Test zastavíte, nasadíte B a jdete dál.

95% hladina spolehlivosti popisuje jen test, který se vyhodnotí jednou, při plánované velikosti vzorku. Pokud A a B ve skutečnosti konvertují stejně, takové jediné vyhodnocení vyhlásí falešného vítěze asi v 5 % případů. Kontrolovat každý den je jiný postup. Oba poměry kolísají, jak přicházejí návštěvníci, a každý pohled je další šance, že náhodný rozdíl překročí hranici. Když zastavíte při prvním překročení, vybrali jste si schválně ten nejšťastnější okamžik. Skutečná míra falešně pozitivních výsledků pak skončí nad 5 % a roste, čím častěji se díváte.

P-hodnota na obrazovce vás varovat nemůže, protože neví, kolikrát jste se dívali. Vypadá přesně tak, jako byste se podívali jen jednou.

Test udrží poctivý tři pravidla:

1. Velikost vzorku si zapište před spuštěním. Klidně ji dejte do názvu testu.
2. Dívejte se, ale nezastavujte. Zkontrolovat, že se obě verze doručují a nic není rozbité, je v pořádku. Ukončit test, protože číslo vypadá dobře, není.
3. Výsledek vyhodnoťte jednou, při plánované velikosti. Pokud není signifikantní, je to také odpověď: rozdíl, pokud vůbec existuje, je menší než zlepšení, o kterém jste řekli, že stojí za to ho najít.

Vyhodnoťte výsledek

Až test dosáhne své velikosti, přepněte kalkulačku na Je můj výsledek signifikantní? a zadejte návštěvníky a konverze obou verzí. Řekněme, že A konvertovala 200 z 10 000 návštěvníků (2,00 %) a B 245 z 10 000 (2,45 %). Kalkulačka vypočítá z = 2,157 a oboustrannou p-hodnotu 0,031, tedy pod 0,05, takže B vítězí při 95% spolehlivosti.

Pak se podívejte na interval, nejen na verdikt. 95% interval pro rozdíl sahá od +0,04 do +0,86 procentního bodu, což jako zlepšení oproti A znamená zhruba +2 % až +43 %. B je lepší, ale o kolik, je pořád hodně otevřené. Pokud je výroba B dražší, právě tento rozsah vám řekne, jestli se vyplatí.

Platformy se s kalkulačkou nebudou vždy shodovat, a to se dá čekat. Výsledky A/B testů od Meta ukazují procento spolehlivosti a za vítězný výsledek považují 65 % a více, což je jiné měřítko než p-hodnota. Google Ads počítá své intervaly pomocí metody jackknife přes 20 skupin na každou větev a ve výchozím stavu ukazuje 80% interval. Pro test platformy použijte verdikt platformy a kalkulačku k naplánování velikosti a kontrole výpočtů.

Nastavte test tak, aby odpověď něco znamenala

• Měňte jednu věc. Podle osvědčených postupů Meta jsou výsledky průkaznější, když jsou verze shodné ve všem kromě testované proměnné.
• Rozdělte správně. Meta nedoporučuje testovat zapínáním a vypínáním sad reklam, protože se publika mohou překrývat, a doporučuje pro obě verze stejný rozpočet. Použijte nástroj pro A/B testy nebo experimenty přímo v platformě.
• Sledujte peníze, nejen poměr. Verze, která vyhraje na konverzním poměru, může přesto prodělávat, pokud je dražší za proklik. Vítěze proveďte kalkulačkou ROAS a před škálováním ho porovnejte se svým ROAS bodu zvratu.

Stručně

Zvolte nejmenší zlepšení, které stojí za to najít, spočítejte návštěvníky na verzi, vydělte je denní návštěvností, udržte výsledek mezi 7 a 30 dny podle Meta a nezastavujte předčasně. Kalkulačka A/B testů zvládne obě poloviny. A pokud byste si raději nechali testy navrhnout, Hermoso je AI marketingový agent, který řídí váš marketing na autopilota: dokáže číst všechny reklamní platformy, které jste připojili, a říct vám, co škálovat, co pozastavit a co testovat dál, u každého testu s hypotézou, metrikou, která rozhodne, rozpočtem a délkou trvání.

Časté dotazy

Jak dlouho nechat běžet A/B test reklamy na síti Facebook?

Dost dlouho na to, aby dosáhl velikosti vzorku, kterou jste spočítali před spuštěním, a nejméně 7 dní, což je minimum, které Meta doporučuje. Meta omezuje A/B testy na 30 dní. Při 3 000 návštěvnících denně potřebuje test s konverzním poměrem 2 %, který hledá 20% zlepšení, zhruba 15 dní.

Kolik konverzí potřebuji pro A/B test?

Záleží na vašem konverzním poměru a na zlepšení, které chcete odhalit. Při poměru 2 % vyžaduje nalezení 20% zlepšení při 95% spolehlivosti a 80% síle 21 109 návštěvníků na verzi, což je zhruba 422 konverzí v původní verzi.

Mohu A/B test ukončit dřív, když už je signifikantní?

Ne, pokud chcete, aby hladina spolehlivosti platila. Časté kontroly a zastavení při prvním signifikantním výsledku dávají náhodě víc příležitostí překročit hranici, takže skutečná míra falešně pozitivních výsledků skončí výš, než jakou jste si zvolili.

Co když by můj test potřeboval víc než 30 dní?

A/B testy od Meta nemohou běžet déle než 30 dní, takže změňte návrh testu: otestujte odvážnější změnu, aby hledané zlepšení bylo větší, přidejte rozpočet nebo rozšiřte publikum pro větší návštěvnost, nebo přijměte nižší hladinu spolehlivosti a při reportování výsledku to uveďte.