Сколько держать A/B-тест рекламы (и почему ранняя остановка вас обманывает)
A/B-тест рекламы должен идти, пока не наберёт размер выборки, который вы выбрали до старта, а не пока цифры не начнут радовать. Как его посчитать, с разобранными примерами, что советуют Meta и Google Ads, и бесплатный калькулятор.
“Сколько должен идти тест?” На этот вопрос есть настоящий ответ, и это не число дней. Тест достаточно длинный, когда он увидел достаточно людей, чтобы различить две версии. Дни появляются только тогда, когда вы делите это число людей на свой трафик. Соблюдите порядок, и тест вам что-то скажет. Перепутаете, и в итоге запустите то объявление, которому просто повезло вырваться вперёд в какой-нибудь вторник.
Бесплатный калькулятор A/B-тестов делает все расчёты из этой статьи прямо в браузере. Ниже объясняем, как они устроены, чтобы вы знали, что в него вводить.
Начните с минимального прироста, который стоит искать
До теста решите, какое минимальное улучшение заставит вас действовать. Если новый хук поднимет конверсию на 3%, станете ли вы перестраивать вокруг него всю рекламу? Скорее всего нет. А на 20%? Скорее всего да. Этот минимальный значимый прирост определяет всё остальное, потому что маленькую разницу увидеть гораздо труднее, чем большую: данных нужно намного больше.
Нужны ещё три числа:
- Ваша текущая конверсия. Берите её у того объявления, аудитории или лендинга, который собираетесь тестировать, за обычный недавний период.
- Уровень доверия. Обычно выбирают 95%. Он задаёт, как часто тест без реальной разницы всё равно объявит победителя: примерно в 5% случаев.
- Мощность. Вероятность поймать прирост, если он действительно есть. Meta обычно советует 80% или выше для своих тестов, и 80% как раз распространённое значение по умолчанию.
Переведите это в посетителей на версию
С этими четырьмя числами стандартная формула сравнения двух конверсий даёт число посетителей, нужное каждой версии. Калькулятор показывает формулу целиком. Вот что получается для магазина с конверсией 2% при уровне доверия 95% и мощности 80%:
| Минимальный значимый прирост | Конверсия B | Посетителей на версию | Всего |
|---|---|---|---|
| 30% | 2,6% | 9 798 | 19 596 |
| 20% | 2,4% | 21 109 | 42 218 |
| 10% | 2,2% | 80 682 | 161 364 |
Уменьшите искомый прирост вдвое, и нужный трафик вырастет примерно вчетверо. Этот один факт объясняет большинство проваленных рекламных тестов: кто-то пытался поймать маленькую разницу с бюджетом, рассчитанным на большую.
Повышение мощности тоже стоит денег. Тот же прирост 20% при мощности 90% требует 28 258 посетителей на версию вместо 21 109.
И только потом переводите в дни
Разделите итог на число посетителей в день, которое обе версии получат вместе. При 3 000 посетителей в день тесту на 20% нужно 42 218 ÷ 3 000 = 14,07, то есть 15 дней. При 1 000 в день нужно 43 дня. При 10 000 в день хватит 5.
Теперь сверьте ответ с требованиями платформ:
- Слишком коротко. Рекомендации Meta по A/B-тестам советуют не меньше 7 дней и предупреждают, что более короткие тесты могут дать неубедительный результат. Если по расчётам выходит 5 дней, всё равно держите 7. На той же странице сказано держать тест дольше, если ваши клиенты обычно конвертируются позже чем через 7 дней после показа рекламы.
- Слишком долго. Meta ограничивает A/B-тесты 30 днями. Если по расчётам выходит 43, тест в таком виде не закончится. Ищите прирост побольше (тестируйте более смелое изменение), больше трафика (выше бюджет или шире аудитория) или примите более низкий уровень доверия и честно укажите это, когда будете докладывать результат.
- Google Ads. Его справка по экспериментам советует держать эксперимент 2–3 недели, а если результат всё ещё неясен, увеличить бюджет или продлить срок.
Почему ранняя остановка вас обманывает
Вот ловушка. Вы запускаете тест и проверяете его каждое утро. На четвёртый день B впереди, и инструмент пишет «значимо». Вы останавливаете тест, запускаете B и идёте дальше.
Уровень доверия 95% описывает только тест, который читают один раз, на запланированном размере выборки. Если A и B на самом деле конвертируют одинаково, такое единственное чтение назовёт ложного победителя примерно в 5% случаев. Ежедневная проверка устроена иначе. По мере прихода посетителей две конверсии гуляют, и каждый взгляд даёт случайному разрыву ещё один шанс пересечь черту. Остановитесь на первом пересечении, и вы сознательно выберете самый удачный момент. Реальная доля ложных срабатываний окажется выше 5%, и чем чаще вы смотрите, тем она выше.
P-value на экране не может вас предупредить, потому что не знает, сколько раз вы проверяли. Он выглядит ровно так, будто вы посмотрели один раз.
Три правила держат тест честным:
- Запишите размер выборки до запуска. Если нужно, прямо в название теста.
- Смотрите, но не останавливайте. Проверять, что обе версии откручиваются и ничего не сломалось, можно. Завершать тест, потому что цифра выглядит хорошо, нельзя.
- Читайте результат один раз, на запланированном размере. Если он незначим, это тоже ответ: разница, если она есть, меньше прироста, который вы назвали стоящим.
Как читать результат
Когда тест наберёт свой размер, переключите калькулятор на Значим ли мой результат? и введите посетителей и конверсии для обеих версий. Допустим, A дала 200 конверсий из 10 000 посетителей (2,00%), а B дала 245 из 10 000 (2,45%). Калькулятор выдаёт z = 2,157 и двусторонний p-value 0,031, меньше 0,05, так что B побеждает при уровне доверия 95%.
Дальше смотрите на диапазон, а не только на вердикт. 95-процентный интервал для разницы идёт от +0,04 до +0,86 процентного пункта, то есть как прирост к A примерно от +2% до +43%. B лучше, но насколько, всё ещё сильно неясно. Если B дороже в производстве, именно этот диапазон скажет, стоит ли она того.
Платформы не всегда будут согласны с калькулятором, и это нормально. Результаты A/B-тестов Meta показывают процент уверенности и считают 65% и выше выигрышным результатом, а это другая мера, не p-value. Google Ads считает свои интервалы методом складного ножа (jackknife) по 20 корзинам на каждую ветку и по умолчанию показывает 80-процентный интервал. Для теста платформы используйте вердикт платформы, а калькулятор для того, чтобы спланировать размер и перепроверить математику.
Настройте тест так, чтобы ответ что-то значил
- Меняйте одну вещь. По рекомендациям Meta результаты убедительнее, когда версии одинаковы во всём, кроме тестируемой переменной.
- Делите трафик правильно. Meta не советует тестировать, включая и выключая группы объявлений, потому что аудитории могут пересекаться, и рекомендует одинаковый бюджет для обеих версий. Пользуйтесь встроенным инструментом A/B-тестов или экспериментов самой платформы.
- Проверяйте деньги, а не только конверсию. Версия, которая выигрывает по конверсии, всё равно может терять деньги, если клик у неё дороже. Прогоните победителя через калькулятор ROAS и сравните со своим ROAS безубыточности, прежде чем масштабировать.
Если коротко
Выберите минимальный значимый прирост, посчитайте посетителей на версию, разделите на дневной трафик, уложите результат между 7 и 30 днями Meta и не останавливайтесь раньше времени. Калькулятор A/B-тестов делает обе половины. А если хотите, чтобы тесты вам предлагали, Hermoso это ИИ-агент для маркетинга, который ведёт ваш маркетинг на автопилоте: он может читать все подключённые рекламные платформы и подсказывать, что масштабировать, что поставить на паузу и что тестировать дальше, с гипотезой каждого теста, метрикой, которая его решает, бюджетом и сроком.
Частые вопросы
Сколько держать A/B-тест рекламы в Facebook?
Пока он не наберёт размер выборки, посчитанный до старта, и не меньше 7 дней, это минимум, который советует Meta. Meta ограничивает A/B-тесты 30 днями. При 3 000 посетителей в день тесту с конверсией 2%, который ищет прирост 20%, нужно около 15 дней.
Сколько конверсий нужно для A/B-теста?
Зависит от вашей конверсии и прироста, который вы хотите поймать. При конверсии 2% найти прирост 20% с уровнем доверия 95% и мощностью 80% можно на 21 109 посетителях на версию, это около 422 конверсий в исходной версии.
Можно ли остановить A/B-тест раньше, если он уже значим?
Нет, если хотите, чтобы уровень доверия что-то значил. Частые проверки с остановкой на первом значимом чтении дают случайности больше шансов пересечь черту, и реальная доля ложных срабатываний оказывается выше выбранной.
Что делать, если тесту нужно больше 30 дней?
A/B-тесты Meta не идут дольше 30 дней, так что меняйте дизайн: тестируйте более смелое изменение, чтобы искомый прирост был больше, добавьте бюджет или расширьте аудиторию ради трафика, или примите более низкий уровень доверия и честно укажите это, когда будете докладывать результат.