Gaano katagal dapat tumakbo ang ad A/B test (at bakit ka niloloko ng maagang paghinto)
Dapat tumakbo ang ad A/B test hanggang maabot nito ang sample size na pinili mo bago ito nagsimula, hindi hanggang gumanda ang tingin sa mga numero. Paano ito kalkulahin, may mga halimbawang may numero, kung ano ang payo ng Meta at Google Ads, at isang libreng calculator.
May totoong sagot ang tanong na “Gaano katagal dapat tumakbo ang test?”, at hindi ito bilang ng araw. Sapat na ang haba ng test kapag nakakita na ito ng sapat na tao para mapaghiwalay ang dalawang bersyon. Pumapasok lang ang mga araw kapag hinati mo na ang bilang na iyon sa traffic mo. Kapag tama ang pagkakasunod, may sasabihin sa iyo ang test. Kapag mali, ang mailalabas mo ay kung aling ad ang nagkataong nangunguna sa isang suwerteng Martes.
Ginagawa ng libreng A/B test calculator ang lahat ng kuwenta sa post na ito, sa browser mo mismo. Ipapaliwanag namin dito kung paano gumagana ang mga ito, para alam mo kung ano ang ilalagay mo.
Magsimula sa pinakamaliit na pag-angat na sulit hanapin
Bago ang test, pagpasyahan kung ano ang pinakamaliit na improvement na kikilusan mo. Kung tumaas ng 3% ang conversions dahil sa bagong hook, bubuuin mo ba ulit ang mga ad mo sa paligid nito? Malamang hindi. Kung 20%? Malamang oo. Ang pinakamaliit na pag-angat na iyon ang nagdidikta sa lahat ng iba pa, dahil mas maraming data ang kailangan para makita ang maliliit na pagkakaiba kaysa sa malalaki.
Kailangan mo rin ng tatlo pang numero:
- Ang kasalukuyan mong conversion rate. Kunin ito mula sa mismong ad, audience o landing page na ite-test mo, sa isang normal at kamakailang panahon.
- Confidence level. 95% ang karaniwang pinipili. Ito ang nagtatakda kung gaano kadalas magdedeklara pa rin ng panalo ang isang test na walang tunay na pagkakaiba: mga 5% ng pagkakataon.
- Power. Ang tsansang mahuli mo ang pag-angat kung talagang naroon ito. Ayon sa Meta, karaniwan nilang iminumungkahi ang 80% o mas mataas para sa sarili nilang mga test, at 80% ang karaniwang default.
Gawin itong bilang ng bisita bawat bersyon
Gamit ang apat na numerong iyon, ibinibigay ng karaniwang formula para sa paghahambing ng dalawang conversion rate ang bilang ng bisitang kailangan ng bawat bersyon. Buo ang formula na ipinapakita ng calculator. Ito ang lumalabas para sa isang shop na nagko-convert ng 2% ng mga bisita, sa 95% confidence at 80% power:
| Pinakamaliit na pag-angat na sulit hanapin | Rate ng B | Bisita bawat bersyon | Kabuuan |
|---|---|---|---|
| 30% | 2.6% | 9,798 | 19,596 |
| 20% | 2.4% | 21,109 | 42,218 |
| 10% | 2.2% | 80,682 | 161,364 |
Kapag hinati mo sa kalahati ang pag-angat na gusto mong makita, halos apat na beses ang traffic na kakailanganin mo. Ang iisang katotohanang iyan ang paliwanag sa karamihan ng mga palpak na ad test: may sumubok tumukoy ng maliit na pagkakaiba gamit ang badyet na para sa malaki.
May kapalit din ang pagtaas ng power. Ang parehong 20% na pag-angat sa 90% power ay nangangailangan ng 28,258 bawat bersyon sa halip na 21,109.
Saka, at doon lang, gawin itong araw
Hatiin ang kabuuan sa bilang ng bisitang makukuha ng dalawang bersyon nang magkasama sa isang araw. Sa 3,000 bisita kada araw, ang 20% na test ay nangangailangan ng 42,218 ÷ 3,000 = 14.07, kaya 15 araw. Sa 1,000 kada araw, 43 araw. Sa 10,000 kada araw, 5.
Ngayon, ikumpara ang sagot sa sinasabi ng mga platform:
- Masyadong maikli. Inirerekomenda ng A/B testing best practices ng Meta ang hindi bababa sa 7 araw at sinasabing maaaring hindi tiyak ang resulta ng mas maiikling test. Kung 5 araw ang lumabas sa kuwenta mo, patakbuhin pa rin ng 7. Sinasabi rin ng parehong pahina na patagalin pa kung karaniwang lampas 7 araw bago mag-convert ang mga customer mo matapos makita ang isang ad.
- Masyadong mahaba. Hanggang 30 araw lang ang A/B test sa Meta. Kung 43 ang lumabas sa kuwenta mo, hindi matatapos ang test sa disenyong iyan. Maghanap ng mas malaking pag-angat (mag-test ng mas matapang na pagbabago), ng mas maraming traffic (mas malaking badyet o mas malawak na audience), o tanggapin ang mas mababang confidence level at sabihin ito kapag iniulat mo ang resulta.
- Google Ads. Inirerekomenda ng help page nito tungkol sa experiments na patakbuhin ang isang experiment nang 2 hanggang 3 linggo, at dagdagan ang badyet o patagalin pa kung hindi pa rin malinaw ang resulta.
Bakit ka niloloko ng maagang paghinto
Ito ang bitag. Inilunsad mo ang test at sinisilip mo ito tuwing umaga. Sa ikaapat na araw, nangunguna ang B at sinasabi ng tool na significant na. Itinigil mo, inilabas ang B, at lumipat sa susunod.
Ang 95% confidence level ay para lang sa test na isang beses binabasa, sa nakaplanong sample size. Kung pareho talaga ang conversion ng A at B, ang iisang pagbasang iyon ay magdedeklara ng pekeng panalo mga 5% ng pagkakataon. Ibang proseso ang pagsilip araw-araw. Gumagalaw-galaw ang dalawang rate habang dumarating ang mga bisita, at bawat silip ay isa pang pagkakataon para tumawid sa linya ang isang pagkakaibang dulot lang ng tsamba. Kapag huminto ka sa unang pagtawid, sadya mong pinili ang pinakasuwerteng sandali. Lumalampas sa 5% ang tunay na false-positive rate, at lalo itong tumataas habang dumadalas ang pagsilip mo.
Hindi ka mababalaan ng p-value sa screen, dahil hindi nito alam kung ilang beses kang sumilip. Mukha itong eksaktong katulad ng kung isang beses ka lang tumingin.
Tatlong patakaran ang nagpapanatiling tapat sa test:
- Isulat ang sample size bago ilunsad. Ilagay ito sa pangalan ng test kung kailangan.
- Silipin, pero huwag ihinto. Ayos lang tingnan kung naihahatid ang dalawang bersyon at walang sira. Ang hindi ayos ay tapusin ang test dahil maganda ang tingin sa numero.
- Basahin ang resulta nang isang beses, sa nakaplanong laki. Kung hindi ito significant, sagot din iyon: ang pagkakaiba, kung mayroon man, ay mas maliit kaysa sa pag-angat na sinabi mong sulit hanapin.
Basahin ang resulta
Kapag naabot na ng test ang laki nito, ilipat ang calculator sa Significant ba ang resulta ko? at ilagay ang mga bisita at conversion ng dalawang bersyon. Halimbawa, nag-convert ang A ng 200 sa 10,000 bisita (2.00%) at ang B ng 245 sa 10,000 (2.45%). Ang ibinibigay ng calculator ay z = 2.157 at two-sided p-value na 0.031, mas mababa sa 0.05, kaya panalo ang B sa 95% confidence.
Pagkatapos, basahin ang range, hindi lang ang hatol. Ang 95% interval para sa pagkakaiba ay mula +0.04 hanggang +0.86 percentage points, na bilang pag-angat mula sa A ay humigit-kumulang +2% hanggang +43%. Mas magaling ang B, pero bukas pa rin ang tanong kung gaano kagaling. Kung mas mahal gawin ang B, ang range na iyan ang magsasabi sa iyo kung sulit ito.
Hindi laging magkakasundo ang mga platform at ang calculator, at inaasahan iyon. Nagpapakita ng confidence percentage ang A/B results ng Meta at itinuturing nitong panalo ang 65% o mas mataas, isang sukat na iba sa p-value. Kinukuwenta ng Google Ads ang mga interval nito gamit ang jackknife resampling sa 20 bucket bawat arm at 80% interval ang ipinapakita nito bilang default. Gamitin ang hatol ng platform para sa test ng platform, at ang calculator para planuhin ang laki at i-double-check ang kuwenta.
I-set up ang test para may kahulugan ang sagot
- Isang bagay lang ang baguhin. Sabi ng best practices ng Meta, mas tiyak ang resulta kapag magkapareho ang mga bersyon maliban sa variable na tine-test.
- Hatiin nang tama. Hindi inirerekomenda ng Meta ang pag-test sa pamamagitan ng pag-on at pag-off ng mga ad set, dahil maaaring magsapawan ang mga audience, at inirerekomenda nito ang parehong badyet para sa dalawang bersyon. Gamitin ang sariling A/B test o experiment tool ng platform.
- Tingnan ang pera, hindi lang ang rate. Ang bersyong panalo sa conversion rate ay puwede pa ring malugi kung mas mahal ito bawat click. Ipasok ang panalo sa ROAS calculator at ikumpara sa break-even ROAS mo bago mo ito palakihin.
Ang maikling bersyon
Piliin ang pinakamaliit na pag-angat na sulit hanapin, kuwentahin ang bisita bawat bersyon, hatiin sa araw-araw mong traffic, panatilihin ang resulta sa pagitan ng 7 at 30 araw ng Meta, at huwag huminto nang maaga. Ginagawa ng A/B test calculator ang dalawang kalahati. At kung mas gusto mong may magmungkahi ng mga test para sa iyo, ang Hermoso ay isang AI marketing agent na nagpapatakbo ng marketing mo nang naka-autopilot: kaya nitong basahin ang bawat ad platform na naka-connect sa iyo at sabihin kung ano ang dapat palakihin, ihinto at i-test sa susunod, kasama ang hypothesis ng bawat test, ang metric na magpapasya rito, isang badyet at isang tagal.
Mga madalas na tanong
Gaano katagal ko dapat patakbuhin ang A/B test ng Facebook ad?
Hanggang maabot nito ang sample size na kinuwenta mo bago magsimula, at hindi bababa sa 7 araw, ang minimum na inirerekomenda ng Meta. Hanggang 30 araw lang ang A/B test sa Meta. Sa 3,000 bisita kada araw, ang test sa 2% conversion rate na naghahanap ng 20% na pag-angat ay nangangailangan ng mga 15 araw.
Ilang conversion ang kailangan ko para sa isang A/B test?
Depende ito sa conversion rate mo at sa pag-angat na gusto mong matukoy. Sa 2% na rate, ang paghahanap ng 20% na pag-angat sa 95% confidence at 80% power ay nangangailangan ng 21,109 bisita bawat bersyon, o mga 422 conversion sa orihinal na bersyon.
Puwede ko bang ihinto nang maaga ang A/B test kung significant na ito?
Hindi, kung gusto mong manatiling totoo ang confidence level. Ang madalas na pagsilip at paghinto sa unang significant na pagbasa ay nagbibigay sa tsamba ng mas maraming pagkakataong tumawid sa linya, kaya mas mataas ang tunay na false-positive rate kaysa sa pinili mo.
Paano kung lampas 30 araw ang kailangan ng test ko?
Hindi puwedeng tumakbo nang lampas 30 araw ang A/B test sa Meta, kaya baguhin ang disenyo: mag-test ng mas matapang na pagbabago para mas malaki ang pag-angat na hinahanap mo, magdagdag ng badyet o palawakin ang audience para sa mas maraming traffic, o tanggapin ang mas mababang confidence level at sabihin ito kapag iniulat mo ang resulta.