Скільки тримати A/B-тест реклами (і чому рання зупинка вас обманює)

“Скільки має тривати тест?” На це питання є справжня відповідь, і це не кількість днів. Тест триває достатньо, коли його побачило досить людей, щоб відрізнити дві версії одну від одної. Дні з’являються лише тоді, коли ви ділите цю кількість людей на свій трафік. Правильний порядок, і тест вам щось скаже. Неправильний, і ви запустите те оголошення, яке випадково вирвалося вперед у вдалий вівторок.

Безкоштовний калькулятор A/B-тестів робить усі розрахунки з цього посту просто у вашому браузері. Нижче пояснюємо, як вони працюють, щоб ви знали, що в нього вводити.

Почніть із найменшого приросту, який варто знайти

Ще до тесту вирішіть, яке найменше покращення змусило б вас діяти. Якби новий хук підняв конверсії на 3%, ви б перебудували навколо нього всю рекламу? Мабуть, ні. На 20%? Мабуть, так. Цей найменший приріст, який варто знайти, визначає все інше, бо малі різниці потребують набагато більше даних, ніж великі.

Також вам потрібні ще три числа:

• Ваш поточний коефіцієнт конверсії. Візьміть його з оголошення, аудиторії чи лендингу, які збираєтеся тестувати, за звичайний недавній період.
• Рівень довіри. Зазвичай обирають 95%. Він визначає, як часто тест без реальної різниці все одно оголосить переможця: приблизно у 5% випадків.
• Потужність. Імовірність помітити приріст, якщо він справді є. Meta зазвичай радить 80% або більше для власних тестів, і 80% це поширене значення за замовчуванням.

Перетворіть це на відвідувачів на версію

Маючи ці чотири числа, стандартна формула порівняння двох коефіцієнтів конверсії дає кількість відвідувачів, потрібну кожній версії. Калькулятор показує формулу повністю. Ось що вона дає для магазину, який конвертує 2% відвідувачів, за 95% довіри і 80% потужності:

Найменший приріст, який варто знайти	Коефіцієнт B	Відвідувачів на версію	Разом
30%	2,6%	9 798	19 596
20%	2,4%	21 109	42 218
10%	2,2%	80 682	161 364

Зменшіть удвічі приріст, який хочете побачити, і потрібний трафік зросте приблизно вчетверо. Цей один факт пояснює більшість провалених рекламних тестів: хтось намагався виявити малу різницю з бюджетом, розрахованим на велику.

Вища потужність теж має ціну. Той самий приріст у 20% за потужності 90% потребує 28 258 відвідувачів на версію замість 21 109.

І тільки потім переводьте це в дні

Поділіть загальну кількість на відвідувачів, яких обидві версії разом отримують за день. За 3 000 відвідувачів на день тест на 20% потребує 42 218 ÷ 3 000 = 14,07, тобто 15 днів. За 1 000 на день він потребує 43 дні. За 10 000 на день, 5.

Тепер перевірте відповідь на здоровий глузд за правилами платформ:

• Надто коротко. Найкращі практики A/B-тестування від Meta радять щонайменше 7 днів і попереджають, що коротші тести можуть дати непереконливі результати. Якщо ваші розрахунки кажуть 5 днів, усе одно тримайте 7. Та сама сторінка радить тримати довше, якщо ваші клієнти зазвичай конвертуються пізніше ніж через 7 днів після перегляду оголошення.
• Надто довго. Meta обмежує A/B-тести 30 днями. Якщо ваші розрахунки кажуть 43, тест у такому вигляді не може завершитися. Шукайте більший приріст (тестуйте сміливішу зміну), більше трафіку (більший бюджет або ширша аудиторія) або прийміть нижчий рівень довіри і скажіть про це, коли звітуватимете результат.
• Google Ads. Його довідка про експерименти радить давати експерименту 2–3 тижні, а якщо результати все ще невизначені, збільшити бюджет або продовжити тест.

Чому рання зупинка вас обманює

Ось пастка. Ви запускаєте тест і перевіряєте його щоранку. На четвертий день B попереду, а інструмент пише «значущо». Ви зупиняєте тест, запускаєте B і йдете далі.

Рівень довіри 95% описує лише тест, який читають один раз, на запланованому розмірі вибірки. Якщо A і B насправді конвертують однаково, це одне прочитання називає хибного переможця приблизно у 5% випадків. Щоденна перевірка це вже інша процедура. Обидва коефіцієнти коливаються в міру надходження відвідувачів, і кожен погляд це ще один шанс для випадкового розриву перетнути межу. Зупиніться на першому перетині, і ви навмисно обрали найщасливіший момент. Реальна частка хибнопозитивних результатів опиняється вище 5%, і що частіше ви дивитеся, то вона вища.

p-значення на екрані не може вас попередити, бо не знає, скільки разів ви перевіряли. Воно виглядає точно так, ніби ви подивилися один раз.

Три правила тримають тест чесним:

1. Запишіть розмір вибірки до запуску. Якщо треба, додайте його в назву тесту.
2. Дивіться, але не зупиняйте. Перевірити, що обидві версії показуються і ніщо не зламалося, нормально. Завершити тест, бо цифра виглядає гарно, ні.
3. Читайте результат один раз, на запланованому розмірі. Якщо він незначущий, це теж відповідь: різниця, якщо вона є, менша за приріст, який ви назвали вартим пошуку.

Прочитайте результат

Коли тест набере свій розмір, перемкніть калькулятор на Чи значущий мій результат? і введіть відвідувачів і конверсії для обох версій. Скажімо, A конвертувала 200 із 10 000 відвідувачів (2,00%), а B 245 із 10 000 (2,45%). Калькулятор дає z = 2,157 і двостороннє p-значення 0,031, нижче за 0,05, тож B перемагає з довірою 95%.

Потім читайте діапазон, а не лише вердикт. 95% інтервал для різниці йде від +0,04 до +0,86 відсоткового пункту, що як приріст відносно A означає приблизно від +2% до +43%. B краща, але наскільки, досі зовсім відкрите питання. Якщо B дорожча у виробництві, саме цей діапазон підкаже, чи варта вона того.

Платформи не завжди погоджуватимуться з калькулятором, і це нормально. Результати A/B у Meta показують відсоток довіри і вважають 65% або більше переможним результатом, а це інша міра, ніж p-значення. Google Ads рахує свої інтервали методом джекнайф-ресемплінгу по 20 групах на кожне плече і за замовчуванням показує 80% інтервал. Для тесту платформи використовуйте вердикт платформи, а калькулятор, щоб спланувати розмір і перевірити розрахунки.

Налаштуйте тест так, щоб відповідь щось означала

• Змінюйте одну річ. За найкращими практиками Meta, результати переконливіші, коли версії однакові в усьому, крім змінної, яку тестують.
• Розділяйте правильно. Meta не радить тестувати, вмикаючи й вимикаючи групи оголошень, бо аудиторії можуть перетинатися, і рекомендує однаковий бюджет для обох версій. Користуйтеся власним інструментом A/B-тестів або експериментів платформи.
• Перевіряйте гроші, а не лише коефіцієнт. Версія, що виграє за коефіцієнтом конверсії, все одно може втрачати гроші, якщо клік у неї дорожчий. Проженіть переможця через калькулятор ROAS і порівняйте зі своїм беззбитковим ROAS, перш ніж масштабувати.

Коротко

Оберіть найменший приріст, який варто знайти, порахуйте відвідувачів на версію, поділіть на щоденний трафік, тримайте результат у межах 7–30 днів, як у Meta, і не зупиняйте тест раніше. Калькулятор A/B-тестів робить обидві половини. А якщо хочете, щоб тести вам пропонували, Hermoso це ШІ-агент для маркетингу, який веде ваш маркетинг на автопілоті: він може читати кожну підключену рекламну платформу і підказувати, що масштабувати, що поставити на паузу і що тестувати далі, з гіпотезою кожного тесту, метрикою, яка його вирішує, бюджетом і тривалістю.

Часті запитання

Скільки тримати A/B-тест реклами у Facebook?

Достатньо довго, щоб набрати розмір вибірки, який ви порахували до старту, і щонайменше 7 днів, бо це мінімум, який радить Meta. Meta обмежує A/B-тести 30 днями. За 3 000 відвідувачів на день тест на коефіцієнті конверсії 2%, що шукає приріст у 20%, потребує приблизно 15 днів.

Скільки конверсій потрібно для A/B-тесту?

Залежить від вашого коефіцієнта конверсії і приросту, який ви хочете виявити. За коефіцієнта 2% знайти приріст у 20% за 95% довіри і 80% потужності вимагає 21 109 відвідувачів на версію, тобто приблизно 422 конверсії в початковій версії.

Чи можна зупинити A/B-тест раніше, якщо він уже значущий?

Ні, якщо хочете, щоб рівень довіри тримався. Часті перевірки і зупинка на першому значущому прочитанні дають випадковості більше шансів перетнути межу, тож реальна частка хибнопозитивних результатів опиняється вищою за обрану вами.

Що робити, якщо тесту знадобиться більше 30 днів?

A/B-тести Meta не можуть тривати довше 30 днів, тож змініть дизайн: тестуйте сміливішу зміну, щоб приріст, який ви шукаєте, був більшим, додайте бюджет або розширте аудиторію для більшого трафіку, або прийміть нижчий рівень довіри і скажіть про це, коли звітуватимете результат.