כמה זמן להריץ A/B test למודעות (ולמה עצירה מוקדמת מטעה אתכם)

"כמה זמן הבדיקה צריכה לרוץ?" היא שאלה עם תשובה אמיתית, והתשובה היא לא מספר ימים. בדיקה ארוכה מספיק כשהיא ראתה מספיק אנשים כדי להבדיל בין שתי הגרסאות. הימים נכנסים לתמונה רק כשמחלקים את מספר האנשים הזה בתנועה שלכם. תעשו את זה בסדר הנכון, והבדיקה תלמד אתכם משהו. תעשו את זה הפוך, ותשיקו את המודעה שבמקרה הובילה ביום שלישי עם מזל.

המחשבון A/B test החינמי עושה את החישובים של הפוסט הזה ישירות בדפדפן. הנה איך הם עובדים, כדי שתדעו מה להזין לו.

מתחילים מהשיפור הקטן ביותר ששווה למצוא

לפני הבדיקה, החליטו מה השיפור הקטן ביותר שהייתם פועלים לפיו. אם הוק חדש היה מעלה את ההמרות ב-3%, הייתם בונים מחדש את המודעות סביבו? כנראה שלא. ב-20%? כנראה שכן. השיפור הקטן ביותר ששווה למצוא קובע את כל השאר, כי הבדלים קטנים דורשים הרבה יותר נתונים כדי לראות אותם מאשר הבדלים גדולים.

צריך גם עוד שלושה מספרים:

• שיעור ההמרה הנוכחי שלכם. קחו אותו מהמודעה, מהקהל או מדף הנחיתה שאתם עומדים לבדוק, על פני תקופה רגילה ועדכנית.
• רמת ביטחון. 95% היא הבחירה המקובלת. היא קובעת כמה פעמים בדיקה בלי הבדל אמיתי עדיין תכריז על מנצחת: בערך 5% מהפעמים.
• עוצמה (Power). הסיכוי לתפוס את השיפור אם הוא באמת קיים. Meta בדרך כלל ממליצה על 80% ומעלה לבדיקות שלה, ו-80% הוא ברירת מחדל נפוצה.

הופכים את זה למבקרים לכל גרסה

עם ארבעת המספרים האלה, הנוסחה הסטנדרטית להשוואה בין שני שיעורי המרה נותנת את מספר המבקרים שכל גרסה צריכה. המחשבון מציג את הנוסחה במלואה. הנה מה שהיא מוציאה לחנות שממירה 2% מהמבקרים, ברמת ביטחון של 95% ועוצמה של 80%:

השיפור הקטן ביותר ששווה למצוא	השיעור של B	מבקרים לכל גרסה	סה"כ
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

חצי מהשיפור שאתם רוצים לראות דורש בערך פי ארבעה תנועה. העובדה הזו לבדה מסבירה את רוב בדיקות המודעות שנכשלות: מישהו ניסה לזהות הבדל קטן עם תקציב שמתאים להבדל גדול.

גם להעלאת העוצמה יש מחיר. אותו שיפור של 20% בעוצמה של 90% דורש 28,258 מבקרים לכל גרסה במקום 21,109.

ואז, ורק אז, הופכים את זה לימים

מחלקים את הסה"כ במספר המבקרים ביום ששתי הגרסאות יקבלו יחד. ב-3,000 מבקרים ביום, הבדיקה של 20% צריכה 42,218 ÷ 3,000 = 14.07, כלומר 15 ימים. ב-1,000 ביום היא צריכה 43 ימים. ב-10,000 ביום היא צריכה 5.

עכשיו בודקים את התשובה מול הפלטפורמות:

• קצר מדי. שיטות העבודה המומלצות ל-A/B testing של Meta ממליצות על 7 ימים לפחות, ואומרות שבדיקות קצרות יותר עלולות להניב תוצאות לא חד-משמעיות. אם החישוב שלכם אומר 5 ימים, תריצו 7 בכל זאת. אותו עמוד אומר להריץ יותר זמן אם הלקוחות שלכם בדרך כלל ממירים יותר מ-7 ימים אחרי שראו מודעה.
• ארוך מדי. Meta מגבילה A/B tests ל-30 ימים. אם החישוב שלכם אומר 43, הבדיקה כפי שתוכננה לא יכולה להסתיים. חפשו שיפור גדול יותר (בדקו שינוי נועז יותר), יותר תנועה (תקציב גדול יותר או קהל רחב יותר), או קבלו רמת ביטחון נמוכה יותר ותגידו את זה כשאתם מדווחים על התוצאה.
• Google Ads. עמוד העזרה על ניסויים שלה ממליץ לתת לניסוי לרוץ שבועיים עד שלושה, ולהגדיל תקציב או להאריך את הריצה אם התוצאות עדיין לא מוכרעות.

למה עצירה מוקדמת מטעה אתכם

הנה המלכודת. אתם משיקים את הבדיקה ובודקים אותה כל בוקר. ביום הרביעי B מוביל והכלי אומר מובהק. אתם עוצרים, משיקים את B וממשיכים הלאה.

רמת הביטחון של 95% מתארת רק בדיקה שקוראים פעם אחת, בגודל המדגם המתוכנן. אם A ו-B באמת ממירים אותו דבר, הקריאה היחידה הזו תכריז על מנצח שגוי בערך 5% מהפעמים. בדיקה כל יום היא נוהל אחר. שני השיעורים נודדים ככל שמבקרים מגיעים, וכל הצצה היא עוד הזדמנות לפער מקרי לחצות את הקו. תעצרו בחצייה הראשונה, ובחרתם בכוונה ברגע הכי בר מזל. שיעור החיובי-השגוי האמיתי יוצא גבוה מ-5%, והוא מטפס ככל שאתם מציצים יותר.

ה-p-value שעל המסך לא יכול להזהיר אתכם, כי הוא לא יודע כמה פעמים בדקתם. הוא נקרא בדיוק כאילו הצצתם פעם אחת.

שלושה כללים שומרים על בדיקה הוגנת:

1. רשמו את גודל המדגם לפני ההשקה. שימו אותו בשם הבדיקה אם צריך.
2. תציצו, אבל אל תעצרו. לבדוק ששתי הגרסאות מקבלות חשיפות ושום דבר לא שבור, זה בסדר. לסיים את הבדיקה כי המספר נראה טוב, זה לא.
3. קראו את התוצאה פעם אחת, בגודל המתוכנן. אם היא לא מובהקת, גם זו תשובה: ההבדל, אם יש כזה, קטן מהשיפור שאמרתם ששווה למצוא.

קוראים את התוצאה

כשהבדיקה מגיעה לגודל שלה, העבירו את המחשבון ל-האם התוצאה שלי מובהקת? והזינו מבקרים והמרות לשתי הגרסאות. נניח ש-A המירה 200 מתוך 10,000 מבקרים (2.00%) ו-B המירה 245 מתוך 10,000 (2.45%). המחשבון נותן z = 2.157 ו-p-value דו-צדדי של 0.031, מתחת ל-0.05, אז B מנצחת ברמת ביטחון של 95%.

אחר כך תקראו את הטווח, לא רק את הפסיקה. רווח הסמך של 95% להפרש נע בין 0.04+ ל-0.86+ נקודות אחוז, שכשיפור על A זה בערך 2%+ עד 43%+. B טובה יותר, אבל בכמה, זה עדיין פתוח לגמרי. אם הפקת B יקרה יותר, הטווח הזה הוא מה שאומר לכם אם זה שווה את זה.

הפלטפורמות לא תמיד יסכימו עם המחשבון, וזה צפוי. תוצאות ה-A/B של Meta מציגות אחוז ביטחון ומתייחסות ל-65% ומעלה כתוצאה מנצחת, מדד שונה מ-p-value. Google Ads מחשבת את הרווחים שלה עם דגימה חוזרת בשיטת jackknife על 20 דליים לכל זרוע ומציגה כברירת מחדל רווח של 80%. השתמשו בפסיקה של הפלטפורמה לבדיקה של הפלטפורמה, ובמחשבון כדי לתכנן את הגודל ולוודא שהחישוב הגיוני.

בנו את הבדיקה כך שלתשובה תהיה משמעות

• שנו דבר אחד. שיטות העבודה המומלצות של Meta אומרות שהתוצאות חד-משמעיות יותר כשהגרסאות זהות חוץ מהמשתנה שנבדק.
• פצלו כמו שצריך. Meta ממליצה לא לבדוק על ידי הדלקה וכיבוי של ad sets, כי קהלים יכולים לחפוף, וממליצה על אותו תקציב לשתי הגרסאות. השתמשו בכלי ה-A/B test או הניסויים של הפלטפורמה עצמה.
• בדקו את הכסף, לא רק את השיעור. גרסה שמנצחת בשיעור ההמרה עדיין יכולה להפסיד כסף אם היא עולה יותר לקליק. הריצו את המנצחת דרך מחשבון ה-ROAS והשוו אותה ל-ROAS נקודת האיזון שלכם לפני שאתם מגדילים אותה.

בקצרה

בחרו את השיפור הקטן ביותר ששווה למצוא, חשבו את המבקרים לכל גרסה, חלקו בתנועה היומית שלכם, שמרו על התוצאה בין 7 ל-30 הימים של Meta, ואל תעצרו מוקדם. המחשבון A/B test עושה את שני החלקים. ואם אתם מעדיפים שיציעו לכם את הבדיקות, Hermoso הוא סוכן שיווק AI שמריץ את השיווק שלכם על טייס אוטומטי: הוא יכול לקרוא כל פלטפורמת מודעות שחיברתם ולהגיד לכם מה להגדיל, מה להשהות ומה לבדוק הלאה, עם ההשערה של כל בדיקה, המדד שמכריע אותה, תקציב ומשך.

שאלות נפוצות

כמה זמן להריץ A/B test למודעת Facebook?

מספיק זמן כדי להגיע לגודל המדגם שחישבתם לפני שהתחלתם, ולפחות 7 ימים, המינימום ש-Meta ממליצה עליו. Meta מגבילה A/B tests ל-30 ימים. ב-3,000 מבקרים ביום, בדיקה על שיעור המרה של 2% שמחפשת שיפור של 20% צריכה בערך 15 ימים.

כמה המרות צריך ל-A/B test?

זה תלוי בשיעור ההמרה שלכם ובשיפור שאתם רוצים לזהות. בשיעור של 2%, מציאת שיפור של 20% ברמת ביטחון של 95% ועוצמה של 80% דורשת 21,109 מבקרים לכל גרסה, שזה בערך 422 המרות בגרסה המקורית.

אפשר לעצור A/B test מוקדם אם הוא כבר מובהק?

לא אם אתם רוצים שרמת הביטחון תחזיק. בדיקה תכופה ועצירה בקריאה המובהקת הראשונה נותנות למקריות יותר הזדמנויות לחצות את הקו, כך ששיעור החיובי-השגוי האמיתי יוצא גבוה מזה שבחרתם.

מה אם הבדיקה שלי תצטרך יותר מ-30 ימים?

A/B tests של Meta לא יכולים לרוץ יותר מ-30 ימים, אז שנו את התכנון: בדקו שינוי נועז יותר כדי שהשיפור שאתם מחפשים יהיה גדול יותר, הוסיפו תקציב או הרחיבו את הקהל לקבלת יותר תנועה, או קבלו רמת ביטחון נמוכה יותר ותגידו את זה כשאתם מדווחים על התוצאה.