اشتہار کا A/B ٹیسٹ کتنی دیر چلائیں (اور جلدی روکنا دھوکا کیوں دیتا ہے)

”ٹیسٹ کتنی دیر چلنا چاہیے؟“ اس سوال کا ایک اصل جواب ہے، اور وہ دنوں کی تعداد نہیں۔ ٹیسٹ تب کافی لمبا ہوتا ہے جب اس نے اتنے لوگ دیکھ لیے ہوں کہ دونوں ورژنز میں فرق بتایا جا سکے۔ دن تب آتے ہیں جب آپ لوگوں کی اس تعداد کو اپنی ٹریفک سے تقسیم کرتے ہیں۔ ترتیب درست رکھیں تو ٹیسٹ آپ کو کچھ بتاتا ہے۔ غلط رکھیں تو آپ وہ اشتہار چلا دیتے ہیں جو کسی خوش قسمت منگل کو اتفاقاً آگے نکل گیا تھا۔

مفت A/B ٹیسٹ کیلکولیٹر اس پوسٹ کا سارا حساب آپ کے براؤزر میں کر دیتا ہے۔ یہاں بتایا گیا ہے کہ یہ حساب کیسے کام کرتا ہے، تاکہ آپ جانیں کہ اس میں کیا ڈالنا ہے۔

اس سب سے چھوٹی بہتری سے شروع کریں جو ڈھونڈنے کے لائق ہو

ٹیسٹ سے پہلے طے کریں کہ وہ سب سے چھوٹی بہتری کون سی ہے جس پر آپ عمل کریں گے۔ اگر کسی نئے hook سے کنورژنز 3% بڑھیں، تو کیا آپ اپنے سارے اشتہار اس کے گرد دوبارہ بنائیں گے؟ شاید نہیں۔ 20% بڑھیں تو؟ شاید ہاں۔ ڈھونڈنے کے لائق یہی سب سے چھوٹی بہتری باقی ہر چیز طے کرتی ہے، کیونکہ چھوٹے فرق دیکھنے کے لیے بڑے فرق کے مقابلے میں کہیں زیادہ ڈیٹا چاہیے۔

آپ کو تین اور نمبر بھی چاہییں:

آپ کا موجودہ کنورژن ریٹ۔ اسے اسی اشتہار، آڈینس یا لینڈنگ پیج سے لیں جسے آپ ٹیسٹ کرنے والے ہیں، کسی عام حالیہ مدت کے دوران۔
اعتماد کی سطح (confidence level)۔ عام طور پر 95% لی جاتی ہے۔ یہ طے کرتی ہے کہ جس ٹیسٹ میں کوئی اصل فرق نہ ہو وہ پھر بھی کتنی بار کسی کو فاتح قرار دے گا: تقریباً 5% بار۔
پاور (power)۔ اگر بہتری واقعی موجود ہے تو اسے پکڑنے کا امکان۔ Meta اپنے ٹیسٹس کے لیے عموماً 80% یا اس سے زیادہ تجویز کرتا ہے، اور 80% ایک عام ڈیفالٹ ہے۔

اسے ہر ورژن کے وزیٹرز میں بدلیں

ان چار نمبروں کے ساتھ، دو کنورژن ریٹس کا موازنہ کرنے کا معیاری فارمولا بتا دیتا ہے کہ ہر ورژن کو کتنے وزیٹرز چاہییں۔ کیلکولیٹر پورا فارمولا دکھاتا ہے۔ ایک ایسی دکان کے لیے جو 2% وزیٹرز کو کنورٹ کرتی ہے، 95% اعتماد اور 80% پاور پر نتیجہ یہ نکلتا ہے:

ڈھونڈنے کے لائق سب سے چھوٹی بہتری	B کا ریٹ	فی ورژن وزیٹرز	کل
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

جو بہتری آپ دیکھنا چاہتے ہیں اسے آدھا کریں تو درکار ٹریفک تقریباً چار گنا ہو جاتی ہے۔ یہی ایک بات زیادہ تر ناکام اشتہاری ٹیسٹس کی وضاحت کرتی ہے: کسی نے چھوٹا فرق پکڑنے کی کوشش کی، اس بجٹ کے ساتھ جو بڑے فرق کے لیے بنا تھا۔

پاور بڑھانے کی بھی ایک قیمت ہے۔ وہی 20% بہتری 90% پاور پر فی ورژن 21,109 کی بجائے 28,258 وزیٹرز مانگتی ہے۔

پھر، اور صرف پھر، اسے دنوں میں بدلیں

کل تعداد کو ان روزانہ وزیٹرز سے تقسیم کریں جو دونوں ورژنز کو مل کر ملیں گے۔ 3,000 وزیٹرز روزانہ پر، 20% والے ٹیسٹ کو 42,218 ÷ 3,000 = 14.07 چاہیے، یعنی 15 دن۔ 1,000 روزانہ پر 43 دن۔ 10,000 روزانہ پر 5 دن۔

اب اس جواب کو پلیٹ فارمز کے مقابلے میں پرکھیں:

بہت چھوٹا۔ Meta کی A/B ٹیسٹنگ کی بہترین مشقیں کم از کم 7 دن تجویز کرتی ہیں اور کہتی ہیں کہ اس سے چھوٹے ٹیسٹ غیر حتمی نتائج دے سکتے ہیں۔ اگر آپ کا حساب 5 دن کہتا ہے، تو پھر بھی 7 دن چلائیں۔ وہی صفحہ کہتا ہے کہ اگر آپ کے گاہک اشتہار دیکھنے کے بعد عموماً 7 دن سے زیادہ میں کنورٹ ہوتے ہیں تو ٹیسٹ زیادہ دیر چلائیں۔
بہت لمبا۔ Meta A/B ٹیسٹس کو 30 دن تک محدود رکھتا ہے۔ اگر آپ کا حساب 43 کہتا ہے، تو موجودہ ڈیزائن والا ٹیسٹ مکمل ہو ہی نہیں سکتا۔ بڑی بہتری ڈھونڈیں (زیادہ جرات مندانہ تبدیلی ٹیسٹ کریں)، زیادہ ٹریفک لائیں (بڑا بجٹ یا وسیع آڈینس)، یا کم اعتماد کی سطح قبول کریں اور نتیجہ بتاتے وقت یہ بات کھل کر کہیں۔
Google Ads۔ اس کا experiments ہیلپ پیج تجربے کو 2 سے 3 ہفتے چلانے کی سفارش کرتا ہے، اور کہتا ہے کہ اگر نتائج اب بھی واضح نہ ہوں تو بجٹ بڑھائیں یا زیادہ دیر چلائیں۔

جلدی روکنا دھوکا کیوں دیتا ہے

جال یہ ہے۔ آپ ٹیسٹ لانچ کرتے ہیں اور ہر صبح اسے چیک کرتے ہیں۔ چوتھے دن B آگے ہے اور ٹول کہتا ہے کہ نتیجہ significant ہے۔ آپ ٹیسٹ روکتے ہیں، B چلا دیتے ہیں، اور آگے بڑھ جاتے ہیں۔

95% اعتماد کی سطح صرف اس ٹیسٹ پر لاگو ہوتی ہے جسے ایک بار، طے شدہ سیمپل سائز پر پڑھا جائے۔ اگر A اور B واقعی ایک جیسا کنورٹ کرتے ہیں، تو وہ ایک بار کی ریڈنگ تقریباً 5% بار غلط فاتح بتاتی ہے۔ روزانہ چیک کرنا ایک الگ طریقہ ہے۔ وزیٹرز آنے کے ساتھ دونوں ریٹس اوپر نیچے ہوتے رہتے ہیں، اور ہر بار دیکھنا ایک نیا موقع ہے کہ کوئی اتفاقی فرق لکیر پار کر جائے۔ پہلی بار لکیر پار ہوتے ہی روک دیں تو آپ نے جان بوجھ کر سب سے خوش قسمت لمحہ چن لیا۔ اصل false-positive ریٹ 5% سے اوپر چلا جاتا ہے، اور جتنی بار آپ دیکھتے ہیں اتنا ہی بڑھتا ہے۔

اسکرین پر موجود p-value آپ کو خبردار نہیں کر سکتی، کیونکہ اسے نہیں پتا کہ آپ نے کتنی بار چیک کیا۔ وہ بالکل ویسے ہی پڑھی جاتی ہے جیسے آپ نے ایک بار دیکھا ہو۔

تین اصول ٹیسٹ کو ایماندار رکھتے ہیں:

لانچ سے پہلے سیمپل سائز لکھ لیں۔ ضرورت ہو تو ٹیسٹ کے نام میں ڈال دیں۔
دیکھیں، مگر روکیں نہیں۔ یہ چیک کرنا ٹھیک ہے کہ دونوں ورژنز ڈیلیور ہو رہے ہیں اور کچھ خراب نہیں۔ نمبر اچھا لگنے پر ٹیسٹ ختم کر دینا ٹھیک نہیں۔
نتیجہ ایک بار پڑھیں، طے شدہ سائز پر۔ اگر وہ significant نہیں، تو یہ بھی ایک جواب ہے: فرق، اگر کوئی ہے، اس بہتری سے چھوٹا ہے جسے آپ نے ڈھونڈنے کے لائق کہا تھا۔

نتیجہ پڑھیں

جب ٹیسٹ اپنے سائز تک پہنچ جائے، تو کیلکولیٹر کو کیا میرا نتیجہ significant ہے؟ پر سوئچ کریں اور دونوں ورژنز کے وزیٹرز اور کنورژنز درج کریں۔ فرض کریں A نے 10,000 میں سے 200 وزیٹرز کنورٹ کیے (2.00%) اور B نے 10,000 میں سے 245 (2.45%)۔ کیلکولیٹر z = 2.157 اور two-sided p-value 0.031 دیتا ہے، جو 0.05 سے کم ہے، یعنی 95% اعتماد پر B جیتتا ہے۔

پھر صرف فیصلہ نہیں، رینج بھی پڑھیں۔ فرق کا 95% انٹرول +0.04 سے +0.86 پرسنٹیج پوائنٹس تک ہے، جو A پر بہتری کے طور پر تقریباً +2% سے +43% بنتا ہے۔ B بہتر ہے، لیکن کتنا بہتر، یہ ابھی کھلا سوال ہے۔ اگر B بنانا زیادہ مہنگا ہے، تو یہی رینج بتاتی ہے کہ وہ اس کے قابل ہے یا نہیں۔

پلیٹ فارمز ہمیشہ کیلکولیٹر سے متفق نہیں ہوں گے، اور یہ متوقع ہے۔ Meta کے A/B نتائج ایک confidence فیصد دکھاتے ہیں اور 65% یا اس سے زیادہ کو جیتنے والا نتیجہ مانتے ہیں، جو p-value سے الگ پیمانہ ہے۔ Google Ads اپنے انٹرولز ہر بازو کے 20 حصوں پر jackknife resampling سے نکالتا ہے اور ڈیفالٹ طور پر 80% انٹرول دکھاتا ہے۔ پلیٹ فارم کے ٹیسٹ کے لیے پلیٹ فارم کا فیصلہ مانیں، اور سائز کی منصوبہ بندی اور حساب کی جانچ کے لیے کیلکولیٹر استعمال کریں۔

ٹیسٹ ایسے سیٹ کریں کہ جواب کا کوئی مطلب ہو

ایک ہی چیز بدلیں۔ Meta کی بہترین مشقیں کہتی ہیں کہ نتائج تب زیادہ حتمی ہوتے ہیں جب ورژنز ٹیسٹ ہونے والے متغیر کے سوا بالکل ایک جیسے ہوں۔
تقسیم درست طریقے سے کریں۔ Meta ad sets کو آن آف کر کے ٹیسٹ کرنے سے منع کرتا ہے، کیونکہ آڈینسز ایک دوسرے پر چڑھ سکتی ہیں، اور دونوں ورژنز کے لیے ایک جیسا بجٹ تجویز کرتا ہے۔ پلیٹ فارم کا اپنا A/B ٹیسٹ یا experiment ٹول استعمال کریں۔
صرف ریٹ نہیں، پیسہ بھی دیکھیں۔ جو ورژن کنورژن ریٹ پر جیتتا ہے وہ پھر بھی پیسہ گنوا سکتا ہے اگر اس کا فی کلک خرچ زیادہ ہو۔ اسکیل کرنے سے پہلے فاتح کو ROAS کیلکولیٹر سے گزاریں اور اپنے بریک ایون ROAS سے موازنہ کریں۔

مختصر بات

ڈھونڈنے کے لائق سب سے چھوٹی بہتری چنیں، فی ورژن وزیٹرز نکالیں، اپنی روزانہ ٹریفک سے تقسیم کریں، نتیجہ Meta کے 7 اور 30 دن کے درمیان رکھیں، اور جلدی نہ روکیں۔ A/B ٹیسٹ کیلکولیٹر دونوں حصے کر دیتا ہے۔ اور اگر آپ چاہتے ہیں کہ ٹیسٹ آپ کو خود تجویز ہوں، تو Hermoso ایک AI مارکیٹنگ ایجنٹ ہے جو آپ کی مارکیٹنگ آٹو پائلٹ پر چلاتا ہے: یہ آپ کے جوڑے گئے ہر اشتہاری پلیٹ فارم کو پڑھ کر بتا سکتا ہے کہ کیا اسکیل کریں، کیا روکیں اور آگے کیا ٹیسٹ کریں، ہر ٹیسٹ کے مفروضے، فیصلہ کرنے والے میٹرک، بجٹ اور مدت کے ساتھ۔

اکثر پوچھے گئے سوالات

Facebook اشتہار کا A/B ٹیسٹ کتنی دیر چلانا چاہیے؟

اتنی دیر کہ وہ اس سیمپل سائز تک پہنچ جائے جو آپ نے شروع کرنے سے پہلے نکالا تھا، اور کم از کم 7 دن، جو Meta کی تجویز کردہ کم سے کم مدت ہے۔ Meta A/B ٹیسٹس کو 30 دن تک محدود رکھتا ہے۔ 3,000 وزیٹرز روزانہ پر، 2% کنورژن ریٹ والا ٹیسٹ جو 20% بہتری ڈھونڈ رہا ہو، تقریباً 15 دن لیتا ہے۔

A/B ٹیسٹ کے لیے کتنی کنورژنز چاہییں؟

یہ آپ کے کنورژن ریٹ اور اس بہتری پر منحصر ہے جسے آپ پکڑنا چاہتے ہیں۔ 2% ریٹ پر، 95% اعتماد اور 80% پاور کے ساتھ 20% بہتری ڈھونڈنے کے لیے فی ورژن 21,109 وزیٹرز چاہییں، جو اصل ورژن میں تقریباً 422 کنورژنز بنتے ہیں۔

اگر ٹیسٹ پہلے ہی significant ہو تو کیا میں اسے جلدی روک سکتا ہوں؟

نہیں، اگر آپ چاہتے ہیں کہ اعتماد کی سطح قائم رہے۔ بار بار چیک کرنا اور پہلی significant ریڈنگ پر روک دینا اتفاق کو لکیر پار کرنے کے زیادہ مواقع دیتا ہے، اس لیے اصل false-positive ریٹ آپ کے چنے ہوئے ریٹ سے زیادہ ہو جاتا ہے۔

اگر میرے ٹیسٹ کو 30 دن سے زیادہ چاہییں تو؟

Meta کے A/B ٹیسٹس 30 دن سے آگے نہیں چل سکتے، اس لیے ڈیزائن بدلیں: زیادہ جرات مندانہ تبدیلی ٹیسٹ کریں تاکہ جو بہتری آپ ڈھونڈ رہے ہیں وہ بڑی ہو، زیادہ ٹریفک کے لیے بجٹ بڑھائیں یا آڈینس وسیع کریں، یا کم اعتماد کی سطح قبول کریں اور نتیجہ بتاتے وقت یہ بات کھل کر کہیں۔