Bayesiano vs frecuentista: cómo decidir el ganador de un test A/B
Diferencias prácticas entre estadística bayesiana y frecuentista en A/B testing: qué significa el p-valor, qué significa la probabilidad de ser mejor y cuándo usar cada una.
Casi todas las herramientas de A/B testing dicen si el resultado es “significativo”, pero no todas miden lo mismo. Entender la diferencia evita decisiones malas y discusiones eternas con el equipo.
Frecuentista: el p-valor
El enfoque clásico responde a esta pregunta: si las dos variantes fueran iguales, ¿qué probabilidad habría de ver una diferencia como la observada? Eso es el p-valor.
- p = 0,05 significa: si no hubiera diferencia real, veríamos este resultado (o uno más extremo) en el 5 % de los casos.
- No significa que haya un 95 % de probabilidad de que B sea mejor.
- No significa que la diferencia sea grande o importante para el negocio.
El p-valor es sensible a tres cosas: el tamaño de la muestra, el tamaño del efecto y cuántas veces has mirado el resultado. Ese último punto es la trampa: si consultas el test diez veces y paras en cuanto p < 0,05, la tasa real de falsos positivos se dispara muy por encima del 5 %.
Bayesiano: la probabilidad de ser mejor
El enfoque bayesiano responde a otra pregunta: con los datos que tengo, ¿qué probabilidad hay de que B convierta mejor que A?
Se calcula actualizando una creencia previa con los datos observados. En la práctica verás un número como “96 % de probabilidad de que B sea mejor”, que es exactamente lo que un equipo quiere saber para decidir.
Ventajas:
- Se puede interpretar directamente y en lenguaje de negocio.
- Permite mirar el resultado en cualquier momento sin invalidar el cálculo (aunque sigue siendo mala idea decidir con muestras ridículas).
- Se puede parar antes si la evidencia es abrumadora: diez victorias seguidas informan mucho.
Riesgos:
- Depende de la distribución previa que elijas (la mayoría de herramientas usan una Beta(1,1) neutra, que es lo razonable).
- Un 96 % no es una garantía: sigue siendo un 4 % de equivocarte.
Comparación rápida
| Frecuentista | Bayesiano | |
|---|---|---|
| Pregunta | ¿Es compatible con el azar? | ¿Qué probabilidad hay de que gane? |
| Salida típica | p-valor, intervalo de confianza | Probabilidad de ser mejor, uplift |
| Lectura | Técnica | Directa |
| Mirar antes de tiempo | Infla los falsos positivos | Menos problemático |
| Requisito | Tamaño muestral fijado antes | Menos rígido |
| Riesgo principal | Malinterpretar el p-valor | Exceso de confianza con pocos datos |
Qué usar en la práctica
- Decide antes de lanzar cuál vas a usar y qué umbral te hace actuar. En fluxAB el panel muestra la probabilidad bayesiana; si vienes del mundo frecuentista, el equivalente práctico es exigir ≥ 95 %.
- Exige un mínimo de muestra además de la probabilidad. 95 % con 40 visitantes por variante no es un resultado, es una anécdota.
- Cubre un ciclo completo (7 días mínimo) para no confundir un efecto de día de la semana con una mejora.
- No cambies de método cuando el resultado no te gusta. Elegir el método después de ver los datos es la forma más elegante de autoengañarse.
Un ejemplo concreto
Una variante lleva 1.200 visitantes y 42 conversiones; la otra, 1.180 y 51.
- Frecuentista: diferencia de 3,5 % vs 4,3 %, p ≈ 0,29. No significativo.
- Bayesiano: probabilidad de que B sea mejor ≈ 86 %. Todavía no.
Con esos números, la respuesta sensata es la misma en ambos métodos: seguir midiendo. La diferencia aparece cuando el resultado está en la frontera y el equipo necesita un criterio: ahí la probabilidad bayesiana se explica en una frase y el p-valor necesita un párrafo.
Si quieres ver cómo se mueve la probabilidad con tus propios números, prueba la calculadora bayesiana.
¿Quieres aplicar esto con datos reales?
El plan gratuito de fluxAB incluye editor visual, mapas de calor y 5.000 visitantes al mes, sin tarjeta.
Crear cuenta gratis