विज्ञापन A/B टेस्ट कितने दिन चलाएं (और जल्दी रोकना धोखा क्यों देता है)

“टेस्ट कितने दिन चलना चाहिए?” इसका एक असली जवाब है, और वह दिनों की गिनती नहीं है। टेस्ट तब काफ़ी लंबा होता है जब उसने इतने लोग देख लिए हों कि दोनों वर्ज़न में फ़र्क़ साफ़ दिखे। दिन तो तब आते हैं जब आप लोगों की उस संख्या को अपने ट्रैफ़िक से भाग देते हैं। क्रम सही रखिए, तो टेस्ट आपको कुछ बताता है। क्रम गलत हुआ, तो आप वही विज्ञापन चला देंगे जो किसी किस्मत वाले मंगलवार को आगे निकल गया था।

मुफ़्त A/B टेस्ट कैलकुलेटर इस पोस्ट का पूरा हिसाब आपके ब्राउज़र में ही कर देता है। यहां बताया गया है कि हिसाब कैसे काम करता है, ताकि आप जानें कि उसमें क्या डालना है।

सबसे छोटे ऐसे सुधार से शुरू करें जो ढूंढने लायक हो

टेस्ट से पहले तय करें कि सबसे छोटा कौन सा सुधार होगा जिस पर आप कदम उठाएंगे। अगर कोई नया हुक कन्वर्ज़न 3% बढ़ा दे, तो क्या आप अपने सारे विज्ञापन उसी के इर्द-गिर्द दोबारा बनाएंगे? शायद नहीं। 20% बढ़ाए तो? शायद हां। ढूंढने लायक यही सबसे छोटा सुधार बाकी सब तय करता है, क्योंकि छोटे फ़र्क़ देखने के लिए बड़े फ़र्क़ से कहीं ज़्यादा डेटा चाहिए।

आपको तीन और नंबर चाहिए:

आपकी मौजूदा कन्वर्ज़न रेट। इसे उसी विज्ञापन, ऑडियंस या लैंडिंग पेज से लें जिसे आप टेस्ट करने वाले हैं, हाल के किसी सामान्य दौर का।
कॉन्फ़िडेंस लेवल। आम तौर पर 95% चुना जाता है। यह तय करता है कि जिस टेस्ट में असल में कोई फ़र्क़ नहीं, वह फिर भी कितनी बार विजेता घोषित कर देगा: लगभग 5% बार।
पावर। अगर सुधार सच में है, तो उसे पकड़ने की संभावना। Meta अपने टेस्ट के लिए आम तौर पर 80% या उससे ज़्यादा सुझाता है, और 80% एक आम डिफ़ॉल्ट है।

इसे हर वर्ज़न के विज़िटर में बदलें

इन चार नंबरों के साथ, दो कन्वर्ज़न रेट की तुलना का स्टैंडर्ड फ़ॉर्मूला बताता है कि हर वर्ज़न को कितने विज़िटर चाहिए। कैलकुलेटर पूरा फ़ॉर्मूला दिखाता है। 2% विज़िटर को कन्वर्ट करने वाली किसी दुकान के लिए, 95% कॉन्फ़िडेंस और 80% पावर पर नतीजा यह है:

ढूंढने लायक सबसे छोटा सुधार	B की रेट	हर वर्ज़न के विज़िटर	कुल
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

जिस सुधार को आप देखना चाहते हैं उसे आधा करें, तो ज़रूरी ट्रैफ़िक लगभग चार गुना हो जाता है। ज़्यादातर फ़ेल हुए विज्ञापन टेस्ट की वजह यही एक बात है: किसी ने बड़े फ़र्क़ के हिसाब से बने बजट से छोटा फ़र्क़ पकड़ने की कोशिश की।

पावर बढ़ाने की भी कीमत है। वही 20% सुधार 90% पावर पर 21,109 की जगह हर वर्ज़न में 28,258 विज़िटर मांगता है।

फिर, और सिर्फ़ तभी, इसे दिनों में बदलें

कुल संख्या को उन विज़िटर से भाग दें जो दोनों वर्ज़न को मिलाकर रोज़ मिलेंगे। रोज़ 3,000 विज़िटर पर, 20% वाले टेस्ट को 42,218 ÷ 3,000 = 14.07 चाहिए, यानी 15 दिन। रोज़ 1,000 पर 43 दिन लगते हैं। रोज़ 10,000 पर 5।

अब इस जवाब को प्लेटफ़ॉर्म के नियमों से मिलाकर देखें:

बहुत छोटा। Meta की A/B टेस्टिंग बेस्ट प्रैक्टिस कम से कम 7 दिन सुझाती हैं और कहती हैं कि छोटे टेस्ट के नतीजे अधूरे रह सकते हैं। अगर आपका हिसाब 5 दिन कहता है, तब भी 7 दिन चलाएं। वही पेज कहता है कि अगर आपके ग्राहक विज्ञापन देखने के बाद आम तौर पर 7 दिन से ज़्यादा में कन्वर्ट होते हैं, तो टेस्ट और लंबा चलाएं।
बहुत लंबा। Meta A/B टेस्ट को 30 दिन पर रोक देता है। अगर आपका हिसाब 43 कहता है, तो इस डिज़ाइन वाला टेस्ट पूरा ही नहीं हो सकता। बड़ा सुधार ढूंढें (कोई ज़्यादा साहसी बदलाव टेस्ट करें), ज़्यादा ट्रैफ़िक लाएं (बड़ा बजट या चौड़ी ऑडियंस), या कम कॉन्फ़िडेंस लेवल मान लें और नतीजा बताते समय यह साफ़ कहें।
Google Ads। इसका एक्सपेरिमेंट वाला हेल्प पेज एक्सपेरिमेंट को 2 से 3 हफ़्ते चलने देने की सलाह देता है, और नतीजा तब भी तय न हो तो बजट बढ़ाने या और लंबा चलाने को कहता है।

जल्दी रोकना धोखा क्यों देता है

जाल यह है। आप टेस्ट शुरू करते हैं और हर सुबह उसे देखते हैं। चौथे दिन B आगे है और टूल कहता है कि नतीजा सिग्निफ़िकेंट है। आप रोकते हैं, B चला देते हैं, और आगे बढ़ जाते हैं।

95% कॉन्फ़िडेंस लेवल सिर्फ़ उस टेस्ट पर लागू होता है जिसे एक बार, तय सैंपल साइज़ पर पढ़ा जाए। अगर A और B सच में बराबर कन्वर्ट करते हैं, तो वह एक बार की रीडिंग लगभग 5% बार गलत विजेता चुनती है। रोज़ देखना एक अलग तरीका है। विज़िटर आते रहते हैं और दोनों रेट ऊपर-नीचे होती रहती हैं, और हर बार देखना संयोग से बने किसी फ़र्क़ को लाइन पार करने का एक और मौका देता है। पहली बार लाइन पार होते ही रोक दें, तो आपने जानबूझकर सबसे किस्मत वाला पल चुन लिया। असली फ़ॉल्स-पॉज़िटिव रेट 5% से ऊपर चली जाती है, और जितनी बार आप देखते हैं, उतनी बढ़ती जाती है।

स्क्रीन पर दिख रहा p-value आपको चेतावनी नहीं दे सकता, क्योंकि उसे पता ही नहीं कि आपने कितनी बार देखा। वह बिल्कुल ऐसे पढ़ता है जैसे आपने एक ही बार देखा हो।

तीन नियम टेस्ट को ईमानदार रखते हैं:

लॉन्च से पहले सैंपल साइज़ लिख लें। ज़रूरत हो तो टेस्ट के नाम में ही डाल दें।
देखें, पर रोकें नहीं। यह जांचना ठीक है कि दोनों वर्ज़न डिलीवर हो रहे हैं और कुछ टूटा नहीं है। नंबर अच्छा दिखने पर टेस्ट खत्म कर देना ठीक नहीं।
नतीजा एक बार पढ़ें, तय साइज़ पर। अगर वह सिग्निफ़िकेंट नहीं है, तो वह भी एक जवाब है: फ़र्क़ अगर है भी, तो उस सुधार से छोटा है जिसे आपने ढूंढने लायक कहा था।

नतीजा पढ़ें

जब टेस्ट अपने साइज़ तक पहुंच जाए, तो कैलकुलेटर को क्या मेरा नतीजा सिग्निफ़िकेंट है? पर स्विच करें और दोनों वर्ज़न के विज़िटर और कन्वर्ज़न डालें। मान लीजिए A ने 10,000 में से 200 विज़िटर कन्वर्ट किए (2.00%) और B ने 10,000 में से 245 (2.45%)। कैलकुलेटर z = 2.157 और टू-साइडेड p-value 0.031 देता है, जो 0.05 से कम है, यानी 95% कॉन्फ़िडेंस पर B जीतता है।

फिर सिर्फ़ फ़ैसला नहीं, रेंज भी पढ़ें। फ़र्क़ का 95% इंटरवल +0.04 से +0.86 परसेंटेज पॉइंट तक है, जो A पर सुधार के रूप में लगभग +2% से +43% बनता है। B बेहतर है, पर कितना बेहतर, यह अभी भी बहुत खुला है। अगर B बनाना ज़्यादा महंगा है, तो यही रेंज बताती है कि वह इसके लायक है या नहीं।

प्लेटफ़ॉर्म हमेशा कैलकुलेटर से सहमत नहीं होंगे, और यह स्वाभाविक है। Meta के A/B नतीजे एक कॉन्फ़िडेंस प्रतिशत दिखाते हैं और 65% या उससे ज़्यादा को जीतने वाला नतीजा मानते हैं, जो p-value से अलग पैमाना है। Google Ads अपने इंटरवल हर आर्म के 20 बकेट पर जैकनाइफ़ रीसैंपलिंग से निकालता है और डिफ़ॉल्ट रूप से 80% इंटरवल दिखाता है। प्लेटफ़ॉर्म के टेस्ट के लिए प्लेटफ़ॉर्म का फ़ैसला मानें, और साइज़ प्लान करने व हिसाब जांचने के लिए कैलकुलेटर का इस्तेमाल करें।

टेस्ट ऐसे सेट करें कि जवाब का कोई मतलब निकले

एक ही चीज़ बदलें। Meta की बेस्ट प्रैक्टिस कहती हैं कि जब टेस्ट किए जा रहे वेरिएबल के अलावा दोनों वर्ज़न बिल्कुल एक जैसे हों, तो नतीजे ज़्यादा पक्के होते हैं।
सही तरह से बांटें। Meta ऐड सेट चालू-बंद करके टेस्ट करने से मना करता है, क्योंकि ऑडियंस आपस में ओवरलैप कर सकती हैं, और दोनों वर्ज़न के लिए एक जैसा बजट सुझाता है। प्लेटफ़ॉर्म का अपना A/B टेस्ट या एक्सपेरिमेंट टूल इस्तेमाल करें।
सिर्फ़ रेट नहीं, पैसा भी देखें। जो वर्ज़न कन्वर्ज़न रेट पर जीतता है, वह प्रति क्लिक ज़्यादा महंगा हो तो फिर भी घाटा करा सकता है। स्केल करने से पहले विजेता को ROAS कैलकुलेटर में चलाएं और अपने ब्रेक-ईवन ROAS से तुलना करें।

छोटे में

ढूंढने लायक सबसे छोटा सुधार चुनें, हर वर्ज़न के विज़िटर निकालें, रोज़ के ट्रैफ़िक से भाग दें, नतीजा Meta के 7 और 30 दिन के बीच रखें, और जल्दी न रोकें। A/B टेस्ट कैलकुलेटर दोनों हिस्से कर देता है। और अगर आप चाहते हैं कि टेस्ट आपको सुझाए जाएं, तो Hermoso एक AI मार्केटिंग एजेंट है जो आपकी मार्केटिंग ऑटोपायलट पर चलाता है: यह आपके जुड़े हुए हर ऐड प्लेटफ़ॉर्म को पढ़कर बता सकता है कि आगे क्या स्केल करें, क्या रोकें और क्या टेस्ट करें, हर टेस्ट की हाइपोथिसिस, उसे तय करने वाले मेट्रिक, बजट और अवधि के साथ।

अक्सर पूछे जाने वाले सवाल

Facebook विज्ञापन का A/B टेस्ट कितने दिन चलाना चाहिए?

इतना कि वह शुरुआत से पहले निकाले गए सैंपल साइज़ तक पहुंच जाए, और कम से कम 7 दिन, जो Meta का सुझाया न्यूनतम है। Meta A/B टेस्ट को 30 दिन पर रोक देता है। रोज़ 3,000 विज़िटर पर, 2% कन्वर्ज़न रेट वाले टेस्ट को 20% सुधार ढूंढने के लिए लगभग 15 दिन चाहिए।

A/B टेस्ट के लिए कितने कन्वर्ज़न चाहिए?

यह आपकी कन्वर्ज़न रेट और उस सुधार पर निर्भर है जिसे आप पकड़ना चाहते हैं। 2% रेट पर, 95% कॉन्फ़िडेंस और 80% पावर से 20% सुधार ढूंढने के लिए हर वर्ज़न में 21,109 विज़िटर चाहिए, यानी ओरिजिनल वर्ज़न में लगभग 422 कन्वर्ज़न।

अगर नतीजा पहले से सिग्निफ़िकेंट है, तो क्या मैं A/B टेस्ट जल्दी रोक सकता हूं?

नहीं, अगर आप चाहते हैं कि कॉन्फ़िडेंस लेवल सही रहे। बार-बार देखने और पहली सिग्निफ़िकेंट रीडिंग पर रोक देने से संयोग को लाइन पार करने के ज़्यादा मौके मिलते हैं, तो असली फ़ॉल्स-पॉज़िटिव रेट आपकी चुनी हुई रेट से ऊपर चली जाती है।

अगर मेरे टेस्ट को 30 दिन से ज़्यादा चाहिए तो?

Meta के A/B टेस्ट 30 दिन से आगे नहीं चल सकते, इसलिए डिज़ाइन बदलें: कोई ज़्यादा साहसी बदलाव टेस्ट करें ताकि जिस सुधार को आप ढूंढ रहे हैं वह बड़ा हो, ज़्यादा ट्रैफ़िक के लिए बजट बढ़ाएं या ऑडियंस चौड़ी करें, या कम कॉन्फ़िडेंस लेवल मान लें और नतीजा बताते समय यह साफ़ कहें।