Quanto deve durare un test A/B sugli annunci (e perché fermarlo prima ti inganna)
Un test A/B sugli annunci deve durare finché raggiunge un campione deciso prima di partire, non finché i numeri sembrano buoni. Come calcolarlo, con esempi svolti, cosa consigliano Meta e Google Ads e un calcolatore gratuito.
“Quanto deve durare il test?” ha una risposta vera, e non è un numero di giorni. Un test dura abbastanza quando ha visto abbastanza persone da distinguere le due versioni. I giorni entrano in gioco solo quando dividi quel numero di persone per il tuo traffico. Se rispetti quest'ordine, il test ti dice qualcosa. Se lo inverti, finisci per lanciare l'annuncio che per caso era in vantaggio in un martedì fortunato.
Il calcolatore di test A/B gratuito fa i conti di questo articolo nel tuo browser. Ecco come funzionano, così sai cosa inserire.
Parti dal miglioramento più piccolo che vale la pena trovare
Prima del test, decidi qual è il miglioramento più piccolo su cui agiresti. Se un nuovo hook alzasse le conversioni del 3%, ricostruiresti i tuoi annunci intorno a quello? Probabilmente no. Del 20%? Probabilmente sì. Questo miglioramento minimo guida tutto il resto, perché le differenze piccole richiedono molti più dati per vedersi rispetto a quelle grandi.
Ti servono anche altri tre numeri:
- Il tuo tasso di conversione attuale. Prendilo dall'annuncio, dal pubblico o dalla landing page che stai per testare, su un periodo recente e normale.
- Un livello di confidenza. Di solito si sceglie il 95%. Stabilisce quante volte un test senza nessuna differenza reale dichiarerà comunque un vincitore: circa il 5% delle volte.
- La potenza. La probabilità di cogliere il miglioramento se c'è davvero. Meta di solito suggerisce l'80% o più per i propri test, e l'80% è un valore predefinito comune.
Trasformalo in visitatori per versione
Con questi quattro numeri, la formula standard per confrontare due tassi di conversione ti dice quanti visitatori servono a ciascuna versione. Il calcolatore mostra la formula per intero. Ecco cosa restituisce per un negozio che converte il 2% dei visitatori, con confidenza al 95% e potenza all'80%:
| Miglioramento minimo da trovare | Tasso di B | Visitatori per versione | Totale |
|---|---|---|---|
| 30% | 2,6% | 9.798 | 19.596 |
| 20% | 2,4% | 21.109 | 42.218 |
| 10% | 2,2% | 80.682 | 161.364 |
Se dimezzi il miglioramento che vuoi vedere, il traffico necessario più o meno quadruplica. Questo solo fatto spiega la maggior parte dei test falliti: qualcuno ha cercato di rilevare una differenza piccola con un budget pensato per una grande.
Anche alzare la potenza ha un costo. Lo stesso miglioramento del 20% con potenza al 90% richiede 28.258 visitatori per versione invece di 21.109.
Poi, e solo poi, trasformalo in giorni
Dividi il totale per i visitatori giornalieri che le due versioni riceveranno insieme. Con 3.000 visitatori al giorno, il test sul 20% richiede 42.218 ÷ 3.000 = 14,07, quindi 15 giorni. Con 1.000 al giorno ne servono 43. Con 10.000 al giorno ne bastano 5.
Ora confronta la risposta con quello che dicono le piattaforme:
- Troppo corto. Le best practice di Meta per i test A/B consigliano almeno 7 giorni e avvertono che i test più brevi possono dare risultati non conclusivi. Se i tuoi conti dicono 5 giorni, fanne comunque 7. La stessa pagina dice di allungare il test se i tuoi clienti di solito impiegano più di 7 giorni a convertire dopo aver visto un annuncio.
- Troppo lungo. Meta limita i test A/B a 30 giorni. Se i tuoi conti dicono 43, il test così com'è non può finire. Punta a un miglioramento più grande (testa un cambiamento più audace), a più traffico (un budget più alto o un pubblico più ampio), oppure accetta un livello di confidenza più basso e dichiaralo quando riporti il risultato.
- Google Ads. La sua guida agli esperimenti consiglia di far girare un esperimento per 2 o 3 settimane, e di aumentare il budget o allungare i tempi se i risultati sono ancora incerti.
Perché fermarlo prima ti inganna
Ecco la trappola. Lanci il test e lo controlli ogni mattina. Al quarto giorno B è in vantaggio e lo strumento dice che è significativo. Ti fermi, lanci B e passi oltre.
Il livello di confidenza del 95% descrive solo un test letto una volta, alla dimensione del campione prevista. Se A e B convertono davvero allo stesso modo, quella singola lettura dichiara un falso vincitore circa il 5% delle volte. Controllare ogni giorno è una procedura diversa. I due tassi oscillano man mano che arrivano visitatori, e ogni sguardo è un'altra occasione perché uno scarto casuale superi la soglia. Se ti fermi al primo superamento, hai scelto apposta il momento più fortunato. Il tasso reale di falsi positivi finisce sopra il 5%, e sale quante più volte guardi.
Il p-value sullo schermo non può avvisarti, perché non sa quante volte hai controllato. Si legge esattamente come se avessi guardato una volta sola.
Tre regole tengono onesto un test:
- Scrivi la dimensione del campione prima del lancio. Mettila nel nome del test, se serve.
- Guarda, ma non fermarti. Controllare che entrambe le versioni vengano erogate e che niente sia rotto va bene. Chiudere il test perché il numero sembra buono no.
- Leggi il risultato una volta, alla dimensione prevista. Se non è significativo, anche quella è una risposta: la differenza, se c'è, è più piccola del miglioramento che avevi detto valesse la pena trovare.
Leggi il risultato
Quando il test raggiunge la sua dimensione, passa il calcolatore su Il mio risultato è significativo? e inserisci visitatori e conversioni per entrambe le versioni. Mettiamo che A abbia convertito 200 visitatori su 10.000 (2,00%) e B 245 su 10.000 (2,45%). Il calcolatore dà z = 2,157 e un p-value a due code di 0,031, sotto lo 0,05, quindi B vince con confidenza al 95%.
Poi leggi l'intervallo, non solo il verdetto. L'intervallo al 95% per la differenza va da +0,04 a +0,86 punti percentuali, che come miglioramento rispetto ad A significa più o meno da +2% a +43%. B è migliore, ma di quanto resta molto aperto. Se B costa di più da produrre, è quell'intervallo a dirti se ne vale la pena.
Le piattaforme non saranno sempre d'accordo con il calcolatore, ed è normale. I risultati dei test A/B di Meta mostrano una percentuale di confidenza e considerano vincente un risultato dal 65% in su, una misura diversa da un p-value. Google Ads calcola i suoi intervalli con il ricampionamento jackknife su 20 gruppi per braccio e di default mostra un intervallo all'80%. Usa il verdetto della piattaforma per il test della piattaforma, e il calcolatore per pianificare la dimensione e verificare i conti.
Imposta il test in modo che la risposta significhi qualcosa
- Cambia una cosa sola. Le best practice di Meta dicono che i risultati sono più conclusivi quando le versioni sono identiche tranne che per la variabile in test.
- Dividi bene il pubblico. Meta sconsiglia di testare accendendo e spegnendo gruppi di inserzioni, perché i pubblici possono sovrapporsi, e raccomanda lo stesso budget per entrambe le versioni. Usa lo strumento di test A/B o di esperimenti della piattaforma.
- Guarda i soldi, non solo il tasso. Una versione che vince sul tasso di conversione può comunque perdere soldi se costa di più per clic. Passa la vincitrice nel calcolatore ROAS e confrontala con il tuo ROAS di pareggio prima di scalarla.
In breve
Scegli il miglioramento più piccolo che vale la pena trovare, calcola i visitatori per versione, dividi per il traffico giornaliero, tieni il risultato fra i 7 e i 30 giorni di Meta e non fermarti prima. Il calcolatore di test A/B fa entrambe le metà. E se preferisci che i test te li suggerisca qualcun altro, Hermoso è un agente di marketing con IA che gestisce il tuo marketing in automatico: può leggere tutte le piattaforme pubblicitarie che hai collegato e dirti cosa scalare, mettere in pausa e testare dopo, con l'ipotesi di ogni test, la metrica che lo decide, un budget e una durata.
Domande frequenti
Quanto deve durare un test A/B sugli annunci Facebook?
Abbastanza da raggiungere la dimensione del campione che hai calcolato prima di iniziare, e almeno 7 giorni, il minimo consigliato da Meta. Meta limita i test A/B a 30 giorni. Con 3.000 visitatori al giorno, un test su un tasso di conversione del 2% che cerca un miglioramento del 20% richiede circa 15 giorni.
Quante conversioni servono per un test A/B?
Dipende dal tasso di conversione e dal miglioramento che vuoi rilevare. Con un tasso del 2%, trovare un miglioramento del 20% con confidenza al 95% e potenza all'80% richiede 21.109 visitatori per versione, cioè circa 422 conversioni nella versione originale.
Posso fermare prima un test A/B se è già significativo?
No, se vuoi che il livello di confidenza regga. Controllare spesso e fermarsi alla prima lettura significativa dà al caso più occasioni di superare la soglia, quindi il tasso reale di falsi positivi finisce più alto di quello che avevi scelto.
E se il mio test avesse bisogno di più di 30 giorni?
I test A/B di Meta non possono superare i 30 giorni, quindi cambia l'impostazione: testa un cambiamento più audace così che il miglioramento cercato sia più grande, aggiungi budget o allarga il pubblico per avere più traffico, oppure accetta un livello di confidenza più basso e dichiaralo quando riporti il risultato.