ควรรัน A/B test โฆษณานานแค่ไหน (และทำไมหยุดเร็วถึงหลอกคุณ)

“เทสต์ควรรันนานแค่ไหน?” คำถามนี้มีคำตอบจริง และคำตอบไม่ใช่จำนวนวัน เทสต์นานพอเมื่อมันเห็นคนมากพอที่จะแยกสองเวอร์ชันออกจากกันได้ จำนวนวันจะเข้ามาก็ต่อเมื่อคุณเอาจำนวนคนนั้นไปหารด้วยทราฟฟิกของคุณ ทำตามลำดับให้ถูก เทสต์จะบอกอะไรคุณได้จริง ทำผิดลำดับ คุณจะได้ปล่อยโฆษณาตัวที่บังเอิญนำอยู่ในวันอังคารที่โชคดีวันหนึ่ง

เครื่องคำนวณ A/B test ฟรีทำการคำนวณทั้งหมดในโพสต์นี้ให้ในเบราว์เซอร์ของคุณ ด้านล่างคือวิธีที่มันทำงาน เพื่อให้คุณรู้ว่าต้องใส่อะไรลงไป

เริ่มจากการเพิ่มขึ้นที่เล็กที่สุดที่คุ้มจะหา

ก่อนเริ่มเทสต์ ให้ตัดสินใจว่าการปรับปรุงที่เล็กที่สุดที่คุณจะลงมือทำตามคือเท่าไร ถ้าฮุกใหม่ทำให้คอนเวอร์ชันเพิ่ม 3% คุณจะสร้างโฆษณาทั้งหมดใหม่รอบมันไหม? คงไม่ ถ้าเพิ่ม 20% ล่ะ? คงใช่ การเพิ่มขึ้นที่เล็กที่สุดที่คุ้มจะหานี้เป็นตัวกำหนดทุกอย่างที่เหลือ เพราะความต่างเล็กๆ ต้องใช้ข้อมูลมากกว่าความต่างใหญ่ๆ หลายเท่ากว่าจะมองเห็น

คุณต้องมีตัวเลขอีกสามตัว:

อัตราคอนเวอร์ชันปัจจุบันของคุณ เอามาจากโฆษณา กลุ่มเป้าหมาย หรือแลนดิ้งเพจที่คุณกำลังจะเทสต์ ในช่วงเวลาปกติล่าสุด
ระดับความเชื่อมั่น ที่นิยมใช้คือ 95% มันกำหนดว่าเทสต์ที่ไม่มีความต่างจริงจะยังประกาศผู้ชนะบ่อยแค่ไหน: ประมาณ 5% ของครั้ง
Power โอกาสที่จะจับการเพิ่มขึ้นได้ถ้ามันมีอยู่จริง Meta มักแนะนำ 80% ขึ้นไป สำหรับเทสต์ของตัวเอง และ 80% ก็เป็นค่าเริ่มต้นที่ใช้กันทั่วไป

แปลงเป็นจำนวนผู้เข้าชมต่อเวอร์ชัน

เมื่อมีตัวเลขทั้งสี่ตัว สูตรมาตรฐานสำหรับเปรียบเทียบอัตราคอนเวอร์ชันสองค่าจะบอกจำนวนผู้เข้าชมที่แต่ละเวอร์ชันต้องการ เครื่องคำนวณแสดงสูตรเต็ม นี่คือผลลัพธ์สำหรับร้านที่คอนเวอร์ชันได้ 2% ของผู้เข้าชม ที่ความเชื่อมั่น 95% และ power 80%:

การเพิ่มขึ้นที่เล็กที่สุดที่คุ้มจะหา	อัตราของ B	ผู้เข้าชมต่อเวอร์ชัน	รวม
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

ลดการเพิ่มขึ้นที่อยากเห็นลงครึ่งหนึ่ง ทราฟฟิกที่ต้องใช้จะเพิ่มขึ้นราวสี่เท่า ข้อเท็จจริงข้อนี้ข้อเดียวอธิบายเทสต์โฆษณาที่ล้มเหลวส่วนใหญ่ได้: มีคนพยายามจับความต่างเล็กๆ ด้วยงบที่ตั้งไว้สำหรับความต่างใหญ่

การเพิ่ม power ก็มีต้นทุนเหมือนกัน การเพิ่มขึ้น 20% เท่าเดิมที่ power 90% ต้องใช้ 28,258 ต่อเวอร์ชัน แทนที่จะเป็น 21,109

จากนั้น และเฉพาะตอนนั้น ค่อยแปลงเป็นจำนวนวัน

เอายอดรวมไปหารด้วยจำนวนผู้เข้าชมต่อวันที่ทั้งสองเวอร์ชันจะได้รวมกัน ที่ 3,000 คนต่อวัน เทสต์ 20% ต้องใช้ 42,218 ÷ 3,000 = 14.07 ก็คือ 15 วัน ที่ 1,000 คนต่อวันต้องใช้ 43 วัน ที่ 10,000 คนต่อวันต้องใช้ 5 วัน

ทีนี้เช็กคำตอบกับเกณฑ์ของแพลตฟอร์ม:

สั้นเกินไป แนวทางปฏิบัติที่ดีที่สุดสำหรับ A/B test ของ Meta แนะนำอย่างน้อย 7 วัน และบอกว่าเทสต์ที่สั้นกว่านั้นอาจได้ผลที่สรุปไม่ได้ ถ้าการคำนวณบอก 5 วัน ก็รัน 7 วันไปเลย หน้าเดียวกันยังบอกให้รันนานขึ้นถ้าลูกค้าของคุณมักใช้เวลามากกว่า 7 วันในการคอนเวอร์ชันหลังเห็นโฆษณา
ยาวเกินไป Meta จำกัด A/B test ไว้ที่ 30 วัน ถ้าการคำนวณบอก 43 วัน เทสต์ตามแบบนี้จะไม่มีทางจบ ให้มองหาการเพิ่มขึ้นที่ใหญ่กว่า (เทสต์การเปลี่ยนแปลงที่กล้ากว่า) เพิ่มทราฟฟิก (งบที่ใหญ่ขึ้นหรือกลุ่มเป้าหมายที่กว้างขึ้น) หรือยอมรับระดับความเชื่อมั่นที่ต่ำลงและบอกให้ชัดตอนรายงานผล
Google Ads หน้าช่วยเหลือเรื่อง experiments ของมันแนะนำให้ปล่อย experiment รัน 2 ถึง 3 สัปดาห์ และเพิ่มงบหรือรันนานขึ้นถ้าผลยังตัดสินไม่ได้

ทำไมหยุดเร็วถึงหลอกคุณ

กับดักอยู่ตรงนี้ คุณเปิดเทสต์แล้วเข้าไปดูทุกเช้า วันที่สี่ B นำอยู่และเครื่องมือบอกว่ามีนัยสำคัญ คุณหยุด ปล่อย B แล้วไปทำอย่างอื่นต่อ

ระดับความเชื่อมั่น 95% ใช้ได้กับเทสต์ที่อ่านผลครั้งเดียว ตอนถึงขนาดตัวอย่างที่วางแผนไว้เท่านั้น ถ้า A กับ B คอนเวอร์ชันเท่ากันจริงๆ การอ่านครั้งเดียวนั้นจะเลือกผู้ชนะผิดราว 5% ของครั้ง การเข้าไปดูทุกวันคือคนละวิธีกัน อัตราทั้งสองจะแกว่งไปมาตามผู้เข้าชมที่ทยอยเข้ามา และการดูแต่ละครั้งคือโอกาสอีกครั้งที่ช่องว่างจากความบังเอิญจะข้ามเส้น หยุดตอนข้ามเส้นครั้งแรก เท่ากับคุณจงใจเลือกช่วงเวลาที่โชคดีที่สุด อัตรา false positive จริงจะสูงกว่า 5% และยิ่งดูบ่อยก็ยิ่งสูงขึ้น

p-value บนหน้าจอเตือนคุณไม่ได้ เพราะมันไม่รู้ว่าคุณเช็กไปกี่ครั้ง มันแสดงผลเหมือนคุณดูแค่ครั้งเดียวทุกประการ

กฎสามข้อที่ทำให้เทสต์ซื่อตรง:

จดขนาดตัวอย่างไว้ก่อนเปิดเทสต์ ใส่ไว้ในชื่อเทสต์เลยก็ได้ถ้าจำเป็น
ดูได้ แต่อย่าหยุด การเช็กว่าทั้งสองเวอร์ชันส่งโฆษณาอยู่และไม่มีอะไรพังนั้นโอเค การจบเทสต์เพราะตัวเลขดูดีนั้นไม่โอเค
อ่านผลครั้งเดียว ตอนถึงขนาดที่วางแผนไว้ ถ้าไม่มีนัยสำคัญ นั่นก็เป็นคำตอบเหมือนกัน: ความต่าง (ถ้ามี) เล็กกว่าการเพิ่มขึ้นที่คุณบอกว่าคุ้มจะหา

อ่านผล

เมื่อเทสต์ถึงขนาดที่กำหนด ให้สลับเครื่องคำนวณไปที่ ผลของฉันมีนัยสำคัญไหม? แล้วใส่จำนวนผู้เข้าชมและคอนเวอร์ชันของทั้งสองเวอร์ชัน สมมติ A คอนเวอร์ชันได้ 200 จาก 10,000 คน (2.00%) และ B ได้ 245 จาก 10,000 คน (2.45%) เครื่องคำนวณจะให้ z = 2.157 และ p-value แบบสองทางเท่ากับ 0.031 ซึ่งต่ำกว่า 0.05 ดังนั้น B ชนะที่ความเชื่อมั่น 95%

แล้วอ่านช่วงด้วย ไม่ใช่แค่คำตัดสิน ช่วง 95% ของความต่างอยู่ระหว่าง +0.04 ถึง +0.86 จุดเปอร์เซ็นต์ ซึ่งถ้าคิดเป็นการเพิ่มขึ้นจาก A จะอยู่ราว +2% ถึง +43% B ดีกว่า แต่ดีกว่าเท่าไรยังเปิดกว้างมาก ถ้า B ผลิตแพงกว่า ช่วงนี้แหละที่บอกว่ามันคุ้มหรือไม่

แพลตฟอร์มจะไม่ได้เห็นตรงกับเครื่องคำนวณเสมอไป และนั่นเป็นเรื่องปกติ ผล A/B ของ Meta แสดงเป็นเปอร์เซ็นต์ความเชื่อมั่น และถือว่า 65% ขึ้นไปเป็นผลที่ชนะ ซึ่งเป็นคนละมาตรวัดกับ p-value ส่วน Google Ads คำนวณช่วงด้วยการ resample แบบ jackknife บน 20 bucket ต่อฝั่ง และแสดงช่วง 80% เป็นค่าเริ่มต้น ใช้คำตัดสินของแพลตฟอร์มสำหรับเทสต์ของแพลตฟอร์ม และใช้เครื่องคำนวณเพื่อวางแผนขนาดและเช็กการคำนวณ

ตั้งเทสต์ให้คำตอบมีความหมาย

เปลี่ยนแค่อย่างเดียว แนวทางของ Meta บอกว่าผลจะชัดเจนกว่าเมื่อเวอร์ชันต่างๆ เหมือนกันทุกอย่าง ยกเว้นตัวแปรที่กำลังเทสต์
แบ่งกลุ่มให้ถูกต้อง Meta ไม่แนะนำให้เทสต์ด้วยการเปิดปิดชุดโฆษณาสลับกัน เพราะกลุ่มเป้าหมายอาจทับซ้อนกัน และแนะนำให้ใช้งบเท่ากันทั้งสองเวอร์ชัน ใช้เครื่องมือ A/B test หรือ experiment ของแพลตฟอร์มเอง
ดูเงิน ไม่ใช่แค่อัตรา เวอร์ชันที่ชนะเรื่องอัตราคอนเวอร์ชันอาจยังขาดทุนได้ถ้าต้นทุนต่อคลิกสูงกว่า เอาผู้ชนะไปใส่ในเครื่องคำนวณ ROAS แล้วเทียบกับ ROAS จุดคุ้มทุน ของคุณก่อนจะสเกล

สรุปสั้นๆ

เลือกการเพิ่มขึ้นที่เล็กที่สุดที่คุ้มจะหา คำนวณผู้เข้าชมต่อเวอร์ชัน หารด้วยทราฟฟิกต่อวัน ให้ผลอยู่ระหว่าง 7 ถึง 30 วันตามเกณฑ์ของ Meta และอย่าหยุดเร็ว เครื่องคำนวณ A/B test ทำได้ทั้งสองส่วน และถ้าคุณอยากให้มีคนเสนอเทสต์ให้ Hermoso คือ AI marketing agent ที่ทำการตลาดของคุณแบบออโต้ไพลอต มันอ่านแพลตฟอร์มโฆษณาทุกตัวที่คุณเชื่อมต่อไว้ และบอกได้ว่าอะไรควรสเกล หยุด และเทสต์ต่อ พร้อมสมมติฐานของแต่ละเทสต์ ตัวชี้วัดที่ใช้ตัดสิน งบ และระยะเวลา

คำถามที่พบบ่อย

ควรรัน A/B test โฆษณา Facebook นานแค่ไหน?

นานพอให้ถึงขนาดตัวอย่างที่คุณคำนวณไว้ก่อนเริ่ม และอย่างน้อย 7 วัน ซึ่งเป็นขั้นต่ำที่ Meta แนะนำ Meta จำกัด A/B test ไว้ที่ 30 วัน ที่ 3,000 คนต่อวัน เทสต์บนอัตราคอนเวอร์ชัน 2% ที่มองหาการเพิ่มขึ้น 20% ต้องใช้ประมาณ 15 วัน

A/B test ต้องใช้คอนเวอร์ชันเท่าไร?

ขึ้นอยู่กับอัตราคอนเวอร์ชันและการเพิ่มขึ้นที่คุณอยากจับ ที่อัตรา 2% การหาการเพิ่มขึ้น 20% ที่ความเชื่อมั่น 95% และ power 80% ต้องใช้ 21,109 คนต่อเวอร์ชัน หรือประมาณ 422 คอนเวอร์ชันในเวอร์ชันต้นฉบับ

หยุด A/B test ก่อนกำหนดได้ไหมถ้ามันมีนัยสำคัญแล้ว?

ไม่ได้ ถ้าคุณอยากให้ระดับความเชื่อมั่นยังใช้ได้ การเช็กบ่อยๆ แล้วหยุดตอนเห็นนัยสำคัญครั้งแรกเปิดโอกาสให้ความบังเอิญข้ามเส้นมากขึ้น อัตรา false positive จริงจึงสูงกว่าที่คุณเลือกไว้

ถ้าเทสต์ของฉันต้องใช้เกิน 30 วันล่ะ?

A/B test ของ Meta รันเกิน 30 วันไม่ได้ ดังนั้นให้เปลี่ยนแบบเทสต์: เทสต์การเปลี่ยนแปลงที่กล้ากว่าเพื่อให้การเพิ่มขึ้นที่มองหาใหญ่ขึ้น เพิ่มงบหรือขยายกลุ่มเป้าหมายเพื่อให้ได้ทราฟฟิกมากขึ้น หรือยอมรับระดับความเชื่อมั่นที่ต่ำลงและบอกให้ชัดตอนรายงานผล