Cuánto debe durar un test A/B de anuncios (y por qué pararlo antes te engaña)

“¿Cuánto tiempo debe durar el test?” tiene una respuesta real, y no es un número de días. Un test dura lo suficiente cuando ha visto a suficientes personas para distinguir las dos versiones. Los días solo aparecen cuando divides ese número de personas entre tu tráfico. Si sigues ese orden, el test te dice algo. Si no, acabas lanzando el anuncio que por casualidad iba delante un martes con suerte.

La calculadora de tests A/B gratuita hace en tu navegador todas las cuentas de este artículo. Aquí te explicamos cómo funcionan, para que sepas qué datos meterle.

Empieza por la mejora más pequeña que vale la pena detectar

Antes del test, decide cuál es la mejora más pequeña por la que actuarías. Si un gancho nuevo subiera las conversiones un 3%, ¿rehacerías tus anuncios alrededor de él? Probablemente no. ¿Y un 20%? Probablemente sí. Esa mejora mínima lo decide todo, porque las diferencias pequeñas necesitan muchos más datos para verse que las grandes.

También necesitas otros tres números:

Tu tasa de conversión actual. Sácala del anuncio, la audiencia o la landing page que vas a probar, en un periodo reciente normal.
Un nivel de confianza. Lo habitual es el 95%. Marca con qué frecuencia un test sin ninguna diferencia real declarará igualmente un ganador: alrededor del 5% de las veces.
Potencia. La probabilidad de detectar la mejora si de verdad existe. Meta suele sugerir un 80% o más para sus propios tests, y el 80% es un valor por defecto habitual.

Conviértelo en visitantes por versión

Con esos cuatro números, la fórmula estándar para comparar dos tasas de conversión te da los visitantes que necesita cada versión. La calculadora muestra la fórmula completa. Esto es lo que sale para una tienda que convierte al 2% de sus visitantes, con un 95% de confianza y un 80% de potencia:

Mejora mínima que vale la pena detectar	Tasa de B	Visitantes por versión	Total
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

Si reduces a la mitad la mejora que quieres ver, el tráfico que necesitas se multiplica más o menos por cuatro. Ese dato explica la mayoría de los tests de anuncios fallidos: alguien intentó detectar una diferencia pequeña con un presupuesto pensado para una grande.

Subir la potencia también tiene un coste. La misma mejora del 20% con un 90% de potencia necesita 28,258 visitantes por versión en lugar de 21,109.

Después, y solo después, conviértelo en días

Divide el total entre los visitantes diarios que recibirán las dos versiones juntas. Con 3,000 visitantes al día, el test del 20% necesita 42,218 ÷ 3,000 = 14.07, así que 15 días. Con 1,000 al día necesita 43 días. Con 10,000 al día, 5.

Ahora contrasta el resultado con lo que dicen las plataformas:

Demasiado corto. Las buenas prácticas de tests A/B de Meta recomiendan al menos 7 días y advierten que los tests más cortos pueden dar resultados no concluyentes. Si tus cuentas dicen 5 días, deja 7 igualmente. La misma página aconseja alargarlo si tus clientes suelen tardar más de 7 días en convertir después de ver un anuncio.
Demasiado largo. Meta limita los tests A/B a 30 días. Si tus cuentas dicen 43, el test tal como está diseñado no puede terminar. Busca una mejora mayor (prueba un cambio más atrevido), más tráfico (más presupuesto o una audiencia más amplia), o acepta un nivel de confianza más bajo y dilo cuando presentes el resultado.
Google Ads. Su página de ayuda sobre experimentos recomienda dejar correr un experimento de 2 a 3 semanas, y subir el presupuesto o alargarlo si los resultados siguen sin decidirse.

Por qué pararlo antes te engaña

Esta es la trampa. Lanzas el test y lo miras cada mañana. El cuarto día B va por delante y la herramienta dice que es significativo. Lo paras, lanzas B y pasas a otra cosa.

El nivel de confianza del 95% solo describe un test que se lee una vez, con el tamaño de muestra previsto. Si A y B convierten de verdad igual, esa única lectura declara un falso ganador alrededor del 5% de las veces. Mirarlo cada día es otro procedimiento. Las dos tasas van oscilando a medida que llegan visitantes, y cada vez que miras le das otra oportunidad a una diferencia casual para cruzar la línea. Si paras en el primer cruce, estás eligiendo a propósito el momento de más suerte. La tasa real de falsos positivos acaba por encima del 5%, y sube cuanto más a menudo miras.

El p-valor de la pantalla no puede avisarte, porque no sabe cuántas veces lo has mirado. Se lee exactamente igual que si lo hubieras mirado una sola vez.

Tres reglas mantienen honesto un test:

Apunta el tamaño de muestra antes del lanzamiento. Ponlo en el nombre del test si hace falta.
Mira, pero no lo pares. Comprobar que las dos versiones se están entregando y que nada está roto está bien. Terminar el test porque el número pinta bien, no.
Lee el resultado una vez, con el tamaño previsto. Si no es significativo, eso también es una respuesta: la diferencia, si la hay, es menor que la mejora que dijiste que valía la pena detectar.

Lee el resultado

Cuando el test alcance su tamaño, cambia la calculadora a ¿Es significativo mi resultado? e introduce los visitantes y las conversiones de las dos versiones. Supón que A convirtió 200 de 10,000 visitantes (2.00%) y B convirtió 245 de 10,000 (2.45%). La calculadora da z = 2.157 y un p-valor bilateral de 0.031, por debajo de 0.05, así que B gana con un 95% de confianza.

Después lee el intervalo, no solo el veredicto. El intervalo del 95% para la diferencia va de +0.04 a +0.86 puntos porcentuales, que como mejora sobre A es aproximadamente de +2% a +43%. B es mejor, pero cuánto mejor sigue muy abierto. Si B cuesta más de producir, ese intervalo es lo que te dice si compensa.

Las plataformas no siempre coincidirán con la calculadora, y es normal. Los resultados A/B de Meta muestran un porcentaje de confianza y consideran ganador un resultado del 65% o más, una medida distinta de un p-valor. Google Ads calcula sus intervalos con remuestreo jackknife sobre 20 grupos por brazo y muestra por defecto un intervalo del 80%. Usa el veredicto de la plataforma para el test de la plataforma, y la calculadora para planificar el tamaño y comprobar las cuentas.

Monta el test para que la respuesta signifique algo

Cambia una sola cosa. Las buenas prácticas de Meta dicen que los resultados son más concluyentes cuando las versiones son idénticas salvo en la variable que se prueba.
Divide bien. Meta desaconseja hacer tests encendiendo y apagando conjuntos de anuncios, porque las audiencias pueden solaparse, y recomienda el mismo presupuesto para las dos versiones. Usa la herramienta de test A/B o de experimentos de la propia plataforma.
Mira el dinero, no solo la tasa. Una versión que gana en tasa de conversión puede perder dinero si cuesta más por clic. Pasa la ganadora por la calculadora de ROAS y compárala con tu ROAS de equilibrio antes de escalarla.

La versión corta

Elige la mejora mínima que vale la pena detectar, calcula los visitantes por versión, divide entre tu tráfico diario, mantén el resultado entre los 7 y los 30 días de Meta y no lo pares antes. La calculadora de tests A/B hace las dos mitades. Y si prefieres que te sugieran los tests, Hermoso es un agente de marketing con IA que lleva tu marketing en piloto automático: puede leer todas las plataformas de anuncios que tengas conectadas y decirte qué escalar, qué pausar y qué probar después, con la hipótesis de cada test, la métrica que lo decide, un presupuesto y una duración.

Preguntas frecuentes

¿Cuánto tiempo debo dejar un test A/B de anuncios en Facebook?

El suficiente para alcanzar el tamaño de muestra que calculaste antes de empezar, y como mínimo 7 días, que es lo mínimo que recomienda Meta. Meta limita los tests A/B a 30 días. Con 3,000 visitantes al día, un test sobre una tasa de conversión del 2% que busca una mejora del 20% necesita unos 15 días.

¿Cuántas conversiones necesito para un test A/B?

Depende de tu tasa de conversión y de la mejora que quieras detectar. Con una tasa del 2%, encontrar una mejora del 20% con un 95% de confianza y un 80% de potencia requiere 21,109 visitantes por versión, que son unas 422 conversiones en la versión original.

¿Puedo parar un test A/B antes si ya es significativo?

No, si quieres que el nivel de confianza se mantenga. Mirar a menudo y parar en la primera lectura significativa le da al azar más oportunidades de cruzar la línea, así que la tasa real de falsos positivos acaba siendo más alta que la que elegiste.

¿Y si mi test necesitara más de 30 días?

Los tests A/B de Meta no pueden pasar de 30 días, así que cambia el diseño: prueba un cambio más atrevido para que la mejora que buscas sea mayor, añade presupuesto o amplía la audiencia para tener más tráfico, o acepta un nivel de confianza más bajo y dilo cuando presentes el resultado.