تست A/B تبلیغات را چقدر اجرا کنیم؟ (و چرا توقف زودهنگام فریبتان می‌دهد)

«تست چقدر باید اجرا شود؟» جواب واقعی دارد، و آن جواب تعداد روز نیست. یک تست وقتی به اندازه کافی طول کشیده که به اندازه کافی آدم دیده باشد تا بتواند دو نسخه را از هم تشخیص دهد. روزها فقط وقتی وارد ماجرا می‌شوند که این تعداد آدم را بر ترافیکتان تقسیم کنید. ترتیب را درست رعایت کنید و تست چیزی به شما می‌گوید. اشتباهش کنید و آخرش تبلیغی را منتشر می‌کنید که در یک سه‌شنبه خوش‌شانس جلو افتاده بود.

ماشین‌حساب رایگان تست A/B همه محاسبات این مطلب را در مرورگر خودتان انجام می‌دهد. اینجا توضیح می‌دهیم چطور کار می‌کنند تا بدانید چه عددهایی به آن بدهید.

از کوچک‌ترین بهبودی که ارزش پیدا کردن دارد شروع کنید

قبل از تست، تصمیم بگیرید کوچک‌ترین بهبودی که بر اساسش اقدام می‌کنید چقدر است. اگر یک هوک جدید تبدیل را 3% بالا ببرد، تبلیغاتتان را حولش از نو می‌سازید؟ احتمالاً نه. اگر 20%؟ احتمالاً بله. همین کوچک‌ترین بهبود ارزشمند همه چیز دیگر را تعیین می‌کند، چون دیدن تفاوت‌های کوچک داده خیلی بیشتری می‌خواهد تا تفاوت‌های بزرگ.

سه عدد دیگر هم لازم دارید:

• نرخ تبدیل فعلی‌تان. آن را از همان تبلیغ، مخاطب یا صفحه فرودی بگیرید که قرار است تستش کنید، در یک بازه عادی اخیر.
• سطح اطمینان. انتخاب معمول 95% است. این عدد تعیین می‌کند تستی که هیچ تفاوت واقعی ندارد چند وقت یک بار باز هم برنده اعلام کند: حدود 5% مواقع.
• توان آزمون. احتمال اینکه بهبود را، اگر واقعاً وجود داشته باشد، پیدا کنید. Meta برای تست‌های خودش معمولاً 80% یا بیشتر را پیشنهاد می‌کند، و 80% یک پیش‌فرض رایج است.

این را به تعداد بازدیدکننده برای هر نسخه تبدیل کنید

با این چهار عدد، فرمول استاندارد مقایسه دو نرخ تبدیل تعداد بازدیدکننده‌ای را که هر نسخه لازم دارد به دست می‌دهد. ماشین‌حساب فرمول را کامل نشان می‌دهد. این نتیجه‌اش برای فروشگاهی است که 2% بازدیدکنندگانش را تبدیل می‌کند، با اطمینان 95% و توان 80%:

کوچک‌ترین بهبود ارزشمند	نرخ B	بازدیدکننده برای هر نسخه	مجموع
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

نصف کردن بهبودی که می‌خواهید ببینید، ترافیک لازم را تقریباً چهار برابر می‌کند. همین یک واقعیت دلیل بیشتر تست‌های شکست‌خورده تبلیغاتی است: کسی خواسته تفاوتی کوچک را با بودجه‌ای پیدا کند که برای تفاوتی بزرگ تنظیم شده بود.

بالا بردن توان آزمون هم هزینه دارد. همان بهبود 20% با توان 90% به جای 21,109 به 28,258 بازدیدکننده برای هر نسخه نیاز دارد.

بعد، و فقط بعد از آن، به روز تبدیلش کنید

مجموع را بر تعداد بازدیدکنندگانی تقسیم کنید که هر دو نسخه با هم در یک روز می‌گیرند. با 3,000 بازدیدکننده در روز، تست 20% به 42,218 ÷ 3,000 = 14.07 نیاز دارد، یعنی 15 روز. با 1,000 بازدیدکننده در روز 43 روز طول می‌کشد. با 10,000 در روز، 5 روز.

حالا جواب را با توصیه‌های پلتفرم‌ها محک بزنید:

• خیلی کوتاه. بهترین روش‌های تست A/B در Meta دست‌کم 7 روز را توصیه می‌کند و می‌گوید تست‌های کوتاه‌تر ممکن است نتیجه قطعی ندهند. اگر حسابتان می‌گوید 5 روز، باز هم 7 روز اجرا کنید. همان صفحه می‌گوید اگر مشتری‌هایتان معمولاً بیش از 7 روز بعد از دیدن تبلیغ خرید می‌کنند، تست را طولانی‌تر اجرا کنید.
• خیلی طولانی. Meta تست‌های A/B را به 30 روز محدود می‌کند. اگر حسابتان می‌گوید 43 روز، تست با این طراحی هیچ‌وقت تمام نمی‌شود. یا دنبال بهبود بزرگ‌تری باشید (یک تغییر جسورانه‌تر را تست کنید)، یا ترافیک بیشتری بیاورید (بودجه بیشتر یا مخاطب گسترده‌تر)، یا سطح اطمینان پایین‌تری را بپذیرید و هنگام گزارش نتیجه این را بگویید.
• Google Ads. صفحه راهنمای آزمایش‌ها در آن توصیه می‌کند آزمایش 2 تا 3 هفته اجرا شود، و اگر نتیجه هنوز معلوم نیست، بودجه را بیشتر کنید یا مدت را طولانی‌تر.

چرا توقف زودهنگام فریبتان می‌دهد

تله اینجاست. تست را راه می‌اندازید و هر صبح سر می‌زنید. روز چهارم B جلوتر است و ابزار می‌گوید معنادار است. تست را متوقف می‌کنید، B را منتشر می‌کنید و می‌روید سراغ کار بعدی.

سطح اطمینان 95% فقط درباره تستی صدق می‌کند که یک بار خوانده شود، در حجم نمونه‌ای که از قبل برنامه‌ریزی شده. اگر A و B واقعاً به یک اندازه تبدیل داشته باشند، آن یک بار خواندن حدود 5% مواقع برنده‌ای جعلی اعلام می‌کند. هر روز سر زدن روش دیگری است. با آمدن بازدیدکنندگان، دو نرخ بالا و پایین می‌روند، و هر نگاه یک فرصت دیگر است تا فاصله‌ای تصادفی از خط عبور کند. اگر در اولین عبور متوقف شوید، عمداً خوش‌شانس‌ترین لحظه را انتخاب کرده‌اید. نرخ واقعی مثبت کاذب از 5% بالاتر می‌رود، و هر چه بیشتر نگاه کنید بالاتر می‌رود.

p-value روی صفحه نمی‌تواند به شما هشدار بدهد، چون نمی‌داند چند بار سر زده‌اید. دقیقاً طوری نمایش داده می‌شود که انگار فقط یک بار نگاه کرده‌اید.

سه قانون تست را صادق نگه می‌دارد:

1. حجم نمونه را قبل از شروع یادداشت کنید. اگر لازم است، آن را در نام تست بنویسید.
2. نگاه کنید، اما متوقف نکنید. بررسی اینکه هر دو نسخه نمایش داده می‌شوند و چیزی خراب نیست اشکالی ندارد. تمام کردن تست چون عدد خوب به نظر می‌رسد اشکال دارد.
3. نتیجه را یک بار بخوانید، در حجم برنامه‌ریزی‌شده. اگر معنادار نبود، آن هم یک جواب است: تفاوت، اگر وجود داشته باشد، از بهبودی که گفتید ارزش پیدا کردن دارد کوچک‌تر است.

نتیجه را بخوانید

وقتی تست به حجمش رسید، ماشین‌حساب را روی آیا نتیجه من معنادار است؟ بگذارید و بازدیدکننده‌ها و تبدیل‌های هر دو نسخه را وارد کنید. فرض کنید A از 10,000 بازدیدکننده 200 تبدیل داشته (2.00%) و B از 10,000 بازدیدکننده 245 تبدیل (2.45%). ماشین‌حساب z = 2.157 و p-value دوطرفه 0.031 می‌دهد، که کمتر از 0.05 است، پس B با اطمینان 95% برنده است.

بعد بازه را بخوانید، نه فقط حکم را. بازه 95% برای تفاوت از 0.04+ تا 0.86+ واحد درصد است، که به صورت بهبود نسبت به A تقریباً از 2%+ تا 43%+ می‌شود. B بهتر است، اما اینکه چقدر بهتر، هنوز کاملاً باز است. اگر تولید B گران‌تر است، همین بازه به شما می‌گوید ارزشش را دارد یا نه.

پلتفرم‌ها همیشه با ماشین‌حساب هم‌نظر نیستند، و این طبیعی است. نتایج تست A/B در Meta یک درصد اطمینان نشان می‌دهد و 65% یا بیشتر را نتیجه برنده حساب می‌کند، که معیاری متفاوت از p-value است. Google Ads بازه‌هایش را با بازنمونه‌گیری jackknife روی 20 دسته برای هر شاخه حساب می‌کند و به طور پیش‌فرض بازه 80% نشان می‌دهد. برای تست پلتفرم از حکم خود پلتفرم استفاده کنید، و از ماشین‌حساب برای برنامه‌ریزی حجم و محک زدن محاسبات.

تست را طوری بچینید که جوابش معنا داشته باشد

• فقط یک چیز را تغییر دهید. بهترین روش‌های Meta می‌گوید وقتی نسخه‌ها جز در متغیر مورد تست کاملاً یکسان باشند، نتایج قطعی‌تر است.
• درست تقسیم کنید. Meta توصیه می‌کند با روشن و خاموش کردن مجموعه‌های تبلیغاتی تست نکنید، چون مخاطبان ممکن است هم‌پوشانی داشته باشند، و بودجه یکسان برای هر دو نسخه را پیشنهاد می‌کند. از ابزار تست A/B یا آزمایش خود پلتفرم استفاده کنید.
• پول را بررسی کنید، نه فقط نرخ را. نسخه‌ای که در نرخ تبدیل برنده است، اگر هزینه هر کلیکش بیشتر باشد، باز هم می‌تواند ضرر بدهد. قبل از بزرگ کردن نسخه برنده، آن را از ماشین‌حساب ROAS عبور دهید و با ROAS سربه‌سر خودتان مقایسه کنید.

خلاصه

کوچک‌ترین بهبود ارزشمند را انتخاب کنید، تعداد بازدیدکننده برای هر نسخه را حساب کنید، بر ترافیک روزانه‌تان تقسیم کنید، نتیجه را بین 7 و 30 روزِ Meta نگه دارید، و زود متوقف نکنید. ماشین‌حساب تست A/B هر دو نیمه را انجام می‌دهد. و اگر ترجیح می‌دهید تست‌ها به شما پیشنهاد شوند، Hermoso یک ایجنت بازاریابی هوش مصنوعی است که بازاریابی شما را خودکار پیش می‌برد: می‌تواند همه پلتفرم‌های تبلیغاتی متصل شما را بخواند و بگوید چه چیزی را بزرگ کنید، متوقف کنید و بعد تست کنید، با فرضیه هر تست، معیاری که درباره‌اش تصمیم می‌گیرد، یک بودجه و یک مدت زمان.

سؤالات متداول

تست A/B تبلیغ Facebook را چقدر باید اجرا کنم؟

به اندازه‌ای که به حجم نمونه‌ای برسد که قبل از شروع حساب کرده‌اید، و دست‌کم 7 روز، که حداقل توصیه‌شده Meta است. Meta تست‌های A/B را به 30 روز محدود می‌کند. با 3,000 بازدیدکننده در روز، تستی روی نرخ تبدیل 2% که دنبال بهبود 20% است حدود 15 روز لازم دارد.

برای تست A/B چند تبدیل لازم دارم؟

به نرخ تبدیلتان و بهبودی که می‌خواهید تشخیص دهید بستگی دارد. با نرخ 2%، پیدا کردن بهبود 20% با اطمینان 95% و توان 80% به 21,109 بازدیدکننده برای هر نسخه نیاز دارد، یعنی حدود 422 تبدیل در نسخه اصلی.

اگر تست A/B از همین حالا معنادار است، می‌توانم زودتر متوقفش کنم؟

نه، اگر می‌خواهید سطح اطمینان معتبر بماند. زیاد سر زدن و توقف در اولین نتیجه معنادار به شانس فرصت‌های بیشتری برای عبور از خط می‌دهد، پس نرخ واقعی مثبت کاذب از نرخی که انتخاب کرده بودید بالاتر می‌رود.

اگر تستم به بیش از 30 روز نیاز داشته باشد چه؟

تست‌های A/B در Meta نمی‌توانند بیش از 30 روز اجرا شوند، پس طراحی را عوض کنید: تغییر جسورانه‌تری را تست کنید تا بهبودی که دنبالش هستید بزرگ‌تر باشد، برای ترافیک بیشتر بودجه اضافه کنید یا مخاطب را گسترده‌تر کنید، یا سطح اطمینان پایین‌تری را بپذیرید و هنگام گزارش نتیجه این را بگویید.