Combien de temps faire tourner un test A/B publicitaire ?

« Combien de temps doit durer le test ? » Il existe une vraie réponse, et ce n'est pas un nombre de jours. Un test est assez long quand il a vu assez de monde pour départager les deux versions. Les jours n'arrivent qu'ensuite, quand vous divisez ce nombre de personnes par votre trafic. Respectez cet ordre et le test vous apprend quelque chose. Inversez-le et vous finissez par lancer la publicité qui avait la chance d'être devant un mardi.

Le calculateur de test A/B gratuit fait les calculs de cet article dans votre navigateur. Voici comment ils fonctionnent, pour savoir quoi lui donner.

Partez du plus petit gain qui vaut la peine d'être détecté

Avant le test, décidez de la plus petite amélioration sur laquelle vous agiriez. Si un nouveau hook augmentait les conversions de 3 %, reconstruiriez-vous vos publicités autour ? Sans doute pas. De 20 % ? Sans doute oui. Ce plus petit gain utile commande tout le reste, car les petites différences demandent bien plus de données pour apparaître que les grandes.

Il vous faut aussi trois autres chiffres :

Votre taux de conversion actuel. Prenez-le sur la publicité, l'audience ou la landing page que vous allez tester, sur une période récente normale.
Un niveau de confiance. 95 % est le choix habituel. Il fixe la fréquence à laquelle un test sans vraie différence désignera quand même un gagnant : environ 5 % du temps.
La puissance. La probabilité de détecter le gain s'il existe vraiment. Meta suggère en général 80 % ou plus pour ses propres tests, et 80 % est une valeur par défaut courante.

Traduisez-les en visiteurs par version

Avec ces quatre chiffres, la formule classique de comparaison de deux taux de conversion donne le nombre de visiteurs nécessaire pour chaque version. Le calculateur affiche la formule en entier. Voici ce qu'elle donne pour une boutique qui convertit 2 % de ses visiteurs, à 95 % de confiance et 80 % de puissance :

Plus petit gain utile	Taux de B	Visiteurs par version	Total
30 %	2,6 %	9 798	19 596
20 %	2,4 %	21 109	42 218
10 %	2,2 %	80 682	161 364

Diviser par deux le gain que vous voulez voir multiplie à peu près par quatre le trafic nécessaire. Ce seul fait explique la plupart des tests publicitaires ratés : quelqu'un a voulu détecter une petite différence avec un budget taillé pour une grande.

Augmenter la puissance a aussi un coût. Le même gain de 20 % à 90 % de puissance demande 28 258 visiteurs par version au lieu de 21 109.

Ensuite, et seulement ensuite, convertissez en jours

Divisez le total par le nombre de visiteurs que les deux versions recevront ensemble chaque jour. À 3 000 visiteurs par jour, le test à 20 % demande 42 218 ÷ 3 000 = 14,07, soit 15 jours. À 1 000 par jour, il en faut 43. À 10 000 par jour, 5.

Confrontez maintenant ce résultat aux plateformes :

Trop court. Les bonnes pratiques de test A/B de Meta recommandent au moins 7 jours et préviennent que des tests plus courts peuvent donner des résultats peu concluants. Si votre calcul dit 5 jours, faites-en 7 quand même. La même page conseille d'aller plus loin si vos clients mettent en général plus de 7 jours à convertir après avoir vu une publicité.
Trop long. Meta plafonne les tests A/B à 30 jours. Si votre calcul dit 43, le test tel qu'il est conçu ne peut pas aboutir. Visez un gain plus gros (testez un changement plus audacieux), plus de trafic (un budget plus élevé ou une audience plus large), ou acceptez un niveau de confiance plus bas et dites-le quand vous présentez le résultat.
Google Ads. Sa page d'aide sur les tests recommande de laisser tourner un test 2 à 3 semaines, et d'augmenter le budget ou de prolonger si les résultats restent indécis.

Pourquoi arrêter trop tôt vous trompe

Voici le piège. Vous lancez le test et le consultez chaque matin. Au quatrième jour, B est devant et l'outil affiche « significatif ». Vous arrêtez, vous lancez B, vous passez à autre chose.

Le niveau de confiance de 95 % ne décrit qu'un test lu une seule fois, à la taille d'échantillon prévue. Si A et B convertissent réellement pareil, cette lecture unique désigne un faux gagnant environ 5 % du temps. Regarder tous les jours, c'est une autre procédure. Les deux taux fluctuent à mesure que les visiteurs arrivent, et chaque coup d'œil est une occasion de plus pour un écart dû au hasard de franchir la ligne. Arrêtez au premier franchissement et vous avez choisi exprès le moment le plus chanceux. Le vrai taux de faux positifs finit au-dessus de 5 %, et il grimpe à chaque fois que vous regardez.

La p-value affichée ne peut pas vous prévenir, car elle ne sait pas combien de fois vous avez regardé. Elle se lit exactement comme si vous aviez regardé une seule fois.

Trois règles gardent un test honnête :

Notez la taille d'échantillon avant le lancement. Mettez-la dans le nom du test s'il le faut.
Regardez, mais n'arrêtez pas. Vérifier que les deux versions diffusent et que rien n'est cassé, c'est bien. Couper le test parce que le chiffre est flatteur, non.
Lisez le résultat une fois, à la taille prévue. S'il n'est pas significatif, c'est aussi une réponse : la différence, s'il y en a une, est plus petite que le gain que vous jugiez utile de détecter.

Lisez le résultat

Quand le test atteint sa taille, passez le calculateur sur Mon résultat est-il significatif ? et saisissez les visiteurs et les conversions des deux versions. Disons que A a converti 200 visiteurs sur 10 000 (2,00 %) et B 245 sur 10 000 (2,45 %). Le calculateur donne z = 2,157 et une p-value bilatérale de 0,031, sous 0,05 : B gagne à 95 % de confiance.

Lisez ensuite la fourchette, pas seulement le verdict. L'intervalle à 95 % de la différence va de +0,04 à +0,86 point de pourcentage, soit, rapporté à A, un gain d'environ +2 % à +43 %. B est meilleur, mais de combien, ça reste très ouvert. Si B coûte plus cher à produire, c'est cette fourchette qui vous dit si ça vaut le coup.

Les plateformes ne seront pas toujours d'accord avec le calculateur, et c'est normal. Les résultats A/B de Meta affichent un pourcentage de confiance et considèrent 65 % ou plus comme un résultat gagnant, une mesure différente d'une p-value. Google Ads calcule ses intervalles par rééchantillonnage jackknife sur 20 groupes par bras et affiche par défaut un intervalle à 80 %. Fiez-vous au verdict de la plateforme pour le test de la plateforme, et au calculateur pour dimensionner le test et vérifier les calculs.

Montez le test pour que la réponse veuille dire quelque chose

Changez une seule chose. Selon les bonnes pratiques de Meta, les résultats sont plus concluants quand les versions sont identiques à l'exception de la variable testée.
Répartissez correctement. Meta déconseille de tester en activant et désactivant des ensembles de publicités, car les audiences peuvent se chevaucher, et recommande le même budget pour les deux versions. Utilisez l'outil de test A/B ou de test intégré à la plateforme.
Regardez l'argent, pas seulement le taux. Une version qui gagne sur le taux de conversion peut quand même perdre de l'argent si elle coûte plus cher au clic. Passez la gagnante dans le calculateur de ROAS et comparez-la à votre ROAS de rentabilité avant de la scaler.

En bref

Choisissez le plus petit gain utile, calculez les visiteurs par version, divisez par votre trafic quotidien, gardez le résultat entre les 7 et 30 jours de Meta, et n'arrêtez pas trop tôt. Le calculateur de test A/B fait les deux moitiés. Et si vous préférez qu'on vous suggère les tests, Hermoso est un agent marketing IA qui pilote votre marketing en automatique : il peut lire chaque plateforme publicitaire que vous avez connectée et vous dire quoi scaler, quoi mettre en pause et quoi tester ensuite, avec pour chaque test son hypothèse, la métrique qui tranche, un budget et une durée.

Questions fréquentes

Combien de temps faire tourner un test A/B sur Facebook ?

Assez longtemps pour atteindre la taille d'échantillon calculée avant le lancement, et au moins 7 jours, le minimum que recommande Meta. Meta plafonne les tests A/B à 30 jours. À 3 000 visiteurs par jour, un test sur un taux de conversion de 2 % qui cherche un gain de 20 % demande environ 15 jours.

Combien de conversions faut-il pour un test A/B ?

Cela dépend de votre taux de conversion et du gain que vous voulez détecter. À 2 %, trouver un gain de 20 % à 95 % de confiance et 80 % de puissance demande 21 109 visiteurs par version, soit environ 422 conversions sur la version d'origine.

Puis-je arrêter un test A/B plus tôt s'il est déjà significatif ?

Pas si vous voulez que le niveau de confiance tienne. Regarder souvent et s'arrêter à la première lecture significative donne au hasard plus d'occasions de franchir la ligne, si bien que le vrai taux de faux positifs finit plus haut que celui que vous aviez choisi.

Et si mon test demande plus de 30 jours ?

Les tests A/B de Meta ne peuvent pas dépasser 30 jours, alors changez la conception : testez un changement plus audacieux pour que le gain recherché soit plus gros, ajoutez du budget ou élargissez l'audience pour plus de trafic, ou acceptez un niveau de confiance plus bas et dites-le quand vous présentez le résultat.

Combien de temps faire tourner un test A/B publicitaire (et pourquoi l'arrêter trop tôt vous trompe)