Cómo leer los resultados de un test A/B sin engañarte

El panel te da cuatro números y una decisión. Esta es la forma de leerlos sin convertir una moneda al aire en una conclusión.

1. Visitantes por variante

Es el tamaño de la muestra real, no el que planeaste. Si las dos ramas no están cerca, algo va mal:

• Diferencias de más del 10 % suelen indicar un problema de asignación (snippet duplicado, caché sirviendo la misma variante, bots).
• Diferencias pequeñas son normales: la asignación es determinista por visitante, no un reparto perfecto.

2. Conversiones y tasa

La tasa es conversiones / visitantes. Compárala siempre con la del control, no con la de otro test anterior: el tráfico y la estacionalidad cambian.

3. Uplift (mejora relativa)

uplift = (tasa_B - tasa_A) / tasa_A

Un uplift del 12 % significa que B convierte un 12 % mejor que A, no 12 puntos porcentuales. De 4,0 % a 4,48 % es un uplift del 12 % y una diferencia de 0,48 pp. Confundir ambos es el error más caro al escribir el informe.

4. Probabilidad de mejora

La lectura bayesiana responde a la pregunta que realmente haces: ¿qué probabilidad hay de que B sea mejor que A? Si el panel dice 96 %, no significa “96 % de mejora”: significa que, con los datos observados y una prior razonable, B gana en 96 de cada 100 escenarios simulados.

Guía práctica:

Probabilidad	Qué hacer
< 80 %	Sigue recogiendo datos o cierra: no hay señal
80-95 %	Señal débil: alarga el test si puedes
95-99 %	Decisión razonable si el test ya cumplió 7 días
> 99 %	Puedes aplicar el ganador con tranquilidad

Si prefieres el marco frecuentista, el p-valor y el intervalo de confianza llegan a la misma conclusión con otra terminología. Lo comparamos en bayesiano vs frecuentista y puedes reproducir los números en la calculadora bayesiana.

5. Intervalo de confianza

Un resultado de “+0,4 pp” sin intervalo no dice nada. Si el intervalo va de −0,2 a +1,0, tu mejora podría ser una pérdida. Cuando el intervalo cruza el cero, la decisión honesta es no hay diferencia demostrada.

Errores de lectura que se repiten

• Mirar el panel cada hora. Cada consulta es una oportunidad de detectar un falso positivo. Decide la duración antes de lanzar.
• Cambiar la métrica a mitad. Si el objetivo era add_to_cart y acabas mirando purchase, estás eligiendo el resultado que te gusta.
• Ignorar los segmentos. Un resultado plano en global puede esconder un +18 % en móvil y un −6 % en escritorio. Segmenta por dispositivo y país antes de generalizar.
• Confundir no significativo con no importa. Un test con 400 visitantes no puede detectar mejoras del 5 %: no es que no existan, es que no las ves.

Plantilla de informe

Campo	Ejemplo
Hipótesis	Un titular con envío gratis sube el add_to_cart
Métrica principal	add_to_cart
Visitantes A / B	3.180 / 3.204
Tasa A / B	4,2 % / 4,7 %
Uplift	+11,9 %
Probabilidad de mejora	97 %
Decisión	Aplicado el 20/11

Con la calculadora de tamaño muestral puedes comprobar si el test tenía potencia suficiente para detectar el efecto que encontraste.