Quanto tempo rodar um teste A/B de anúncio (e por que parar cedo engana)
Um teste A/B de anúncio deve rodar até atingir um tamanho de amostra que você definiu antes de começar, não até os números ficarem bonitos. Veja como calcular isso, com exemplos práticos, o que Meta e Google Ads recomendam e uma calculadora grátis.
“Por quanto tempo o teste deve rodar?” tem uma resposta de verdade, e ela não é um número de dias. Um teste dura o suficiente quando já viu gente bastante para diferenciar as duas versões. Os dias só entram quando você divide esse número de pessoas pelo seu tráfego. Acerte a ordem e o teste diz alguma coisa. Erre e você acaba publicando o anúncio que por acaso estava na frente numa terça-feira de sorte.
A calculadora de teste A/B grátis faz as contas deste post no seu navegador. Aqui está como elas funcionam, para você saber o que colocar nela.
Comece pelo menor ganho que vale a pena encontrar
Antes do teste, decida qual é a menor melhoria que faria você agir. Se um novo hook aumentasse as conversões em 3%, você reconstruiria seus anúncios em torno dele? Provavelmente não. Em 20%? Provavelmente sim. Esse menor ganho que vale a pena encontrar define todo o resto, porque diferenças pequenas exigem muito mais dados para aparecer do que diferenças grandes.
Você também precisa de mais três números:
- Sua taxa de conversão atual. Pegue do anúncio, do público ou da landing page que você vai testar, num período recente normal.
- Um nível de confiança. 95% é a escolha comum. Ele define com que frequência um teste sem diferença real ainda vai apontar um vencedor: cerca de 5% das vezes.
- Poder estatístico. A chance de detectar o ganho se ele realmente existir. A Meta costuma sugerir 80% ou mais para os próprios testes, e 80% é um padrão comum.
Transforme isso em visitantes por versão
Com esses quatro números, a fórmula padrão para comparar duas taxas de conversão dá os visitantes que cada versão precisa. A calculadora mostra a fórmula completa. Veja o resultado para uma loja que converte 2% dos visitantes, com 95% de confiança e 80% de poder:
| Menor ganho que vale encontrar | Taxa de B | Visitantes por versão | Total |
|---|---|---|---|
| 30% | 2,6% | 9.798 | 19.596 |
| 20% | 2,4% | 21.109 | 42.218 |
| 10% | 2,2% | 80.682 | 161.364 |
Cortar pela metade o ganho que você quer enxergar praticamente quadruplica o tráfego necessário. Esse fato sozinho explica a maioria dos testes de anúncio que dão errado: alguém tentou detectar uma diferença pequena com um orçamento dimensionado para uma grande.
Aumentar o poder também tem custo. O mesmo ganho de 20% com 90% de poder precisa de 28.258 por versão em vez de 21.109.
Só então transforme em dias
Divida o total pelos visitantes por dia que as duas versões vão receber juntas. Com 3.000 visitantes por dia, o teste de 20% precisa de 42.218 ÷ 3.000 = 14,07, ou seja, 15 dias. Com 1.000 por dia, precisa de 43 dias. Com 10.000 por dia, precisa de 5.
Agora confira a resposta com o que as plataformas dizem:
- Curto demais. As boas práticas de teste A/B da Meta recomendam pelo menos 7 dias e dizem que testes mais curtos podem dar resultados inconclusivos. Se a sua conta deu 5 dias, rode 7 mesmo assim. A mesma página diz para rodar por mais tempo se seus clientes costumam levar mais de 7 dias para converter depois de ver um anúncio.
- Longo demais. A Meta limita testes A/B a 30 dias. Se a sua conta deu 43, o teste como foi desenhado não consegue terminar. Busque um ganho maior (teste uma mudança mais ousada), mais tráfego (orçamento maior ou público mais amplo), ou aceite um nível de confiança menor e deixe isso claro quando reportar o resultado.
- Google Ads. A página de ajuda sobre experimentos recomenda deixar um experimento rodar de 2 a 3 semanas, e aumentar o orçamento ou rodar por mais tempo se os resultados ainda estiverem indefinidos.
Por que parar cedo engana
A armadilha é esta. Você lança o teste e confere toda manhã. No quarto dia, B está na frente e a ferramenta diz que é significativo. Você para, publica B e segue em frente.
O nível de confiança de 95% só descreve um teste lido uma única vez, no tamanho de amostra planejado. Se A e B convertem de fato igual, essa leitura única aponta um falso vencedor cerca de 5% das vezes. Conferir todo dia é outro procedimento. As duas taxas oscilam conforme os visitantes chegam, e cada olhada é mais uma chance de uma diferença por acaso cruzar a linha. Pare no primeiro cruzamento e você escolheu de propósito o momento de mais sorte. A taxa real de falsos positivos fica acima de 5%, e sobe quanto mais vezes você olha.
O p-valor na tela não consegue avisar você, porque ele não sabe quantas vezes você conferiu. Ele aparece exatamente como se você tivesse olhado uma vez só.
Três regras mantêm um teste honesto:
- Anote o tamanho da amostra antes de lançar. Coloque no nome do teste, se precisar.
- Olhe, mas não pare. Conferir se as duas versões estão sendo entregues e se nada quebrou tudo bem. Encerrar o teste porque o número parece bom, não.
- Leia o resultado uma vez, no tamanho planejado. Se não for significativo, isso também é uma resposta: a diferença, se existir, é menor do que o ganho que você disse que valia a pena encontrar.
Leia o resultado
Quando o teste atingir o tamanho, mude a calculadora para Meu resultado é significativo? e informe visitantes e conversões das duas versões. Digamos que A converteu 200 de 10.000 visitantes (2,00%) e B converteu 245 de 10.000 (2,45%). A calculadora dá z = 2,157 e um p-valor bicaudal de 0,031, abaixo de 0,05, então B vence com 95% de confiança.
Depois leia o intervalo, não só o veredito. O intervalo de 95% para a diferença vai de +0,04 a +0,86 ponto percentual, o que, como ganho sobre A, é algo entre +2% e +43%. B é melhor, mas o quanto melhor ainda está bem em aberto. Se B custa mais para produzir, é esse intervalo que diz se vale a pena.
As plataformas nem sempre vão concordar com a calculadora, e isso é esperado. Os resultados de teste A/B da Meta mostram uma porcentagem de confiança e tratam 65% ou mais como resultado vencedor, uma medida diferente de um p-valor. O Google Ads calcula seus intervalos com reamostragem jackknife em 20 grupos por braço e mostra por padrão um intervalo de 80%. Use o veredito da plataforma para o teste da plataforma, e a calculadora para planejar o tamanho e conferir as contas.
Monte o teste para que a resposta signifique algo
- Mude uma coisa só. As boas práticas da Meta dizem que os resultados são mais conclusivos quando as versões são idênticas, exceto pela variável testada.
- Divida do jeito certo. A Meta desaconselha testar ligando e desligando conjuntos de anúncios, porque os públicos podem se sobrepor, e recomenda o mesmo orçamento para as duas versões. Use a ferramenta de teste A/B ou de experimentos da própria plataforma.
- Olhe o dinheiro, não só a taxa. Uma versão que vence em taxa de conversão ainda pode dar prejuízo se custar mais por clique. Passe a vencedora pela calculadora de ROAS e compare com o seu ROAS de equilíbrio antes de escalar.
Resumindo
Escolha o menor ganho que vale a pena encontrar, calcule os visitantes por versão, divida pelo seu tráfego diário, mantenha o resultado entre os 7 e os 30 dias da Meta e não pare cedo. A calculadora de teste A/B faz as duas metades. E se você prefere que os testes sejam sugeridos para você, a Hermoso é um agente de marketing com IA que coloca seu marketing no piloto automático: ela consegue ler todas as plataformas de anúncio que você conectou e dizer o que escalar, pausar e testar em seguida, com a hipótese de cada teste, a métrica que decide, um orçamento e uma duração.
Perguntas frequentes
Por quanto tempo devo rodar um teste A/B de anúncio no Facebook?
O suficiente para atingir o tamanho de amostra que você calculou antes de começar, e pelo menos 7 dias, que é o mínimo que a Meta recomenda. A Meta limita testes A/B a 30 dias. Com 3.000 visitantes por dia, um teste com taxa de conversão de 2% buscando um ganho de 20% precisa de cerca de 15 dias.
De quantas conversões preciso para um teste A/B?
Depende da sua taxa de conversão e do ganho que você quer detectar. Com uma taxa de 2%, encontrar um ganho de 20% com 95% de confiança e 80% de poder exige 21.109 visitantes por versão, o que dá cerca de 422 conversões na versão original.
Posso parar um teste A/B antes se ele já está significativo?
Não, se você quer que o nível de confiança se mantenha. Conferir com frequência e parar na primeira leitura significativa dá ao acaso mais oportunidades de cruzar a linha, então a taxa real de falsos positivos fica maior do que a que você escolheu.
E se o meu teste precisar de mais de 30 dias?
Testes A/B da Meta não passam de 30 dias, então mude o desenho: teste uma mudança mais ousada para que o ganho buscado seja maior, aumente o orçamento ou amplie o público para ter mais tráfego, ou aceite um nível de confiança menor e deixe isso claro quando reportar o resultado.