Glosario de A/B testing
Los términos que aparecen en cualquier herramienta de experimentación, explicados sin rodeos.
Test A/B A/B/n Variante de control Conversión Tasa de conversión Uplift Exposición Asignación determinista Visitor ID MTU (visitantes únicos mensuales) MDE (mejora mínima detectable) Potencia estadística p-valor Significancia estadística Estadística bayesiana Ventana de atribución Anti-flicker Sin cookies de terceros Embudo (funnel) Mapa de calor Segmento Test de URL (redirect)
- Test A/B
- Experimento en el que dos o más versiones de una página se reparten el tráfico de forma aleatoria y estable para medir cuál convierte mejor. Cada visitante ve siempre la misma versión durante el experimento.
- A/B/n
- Variante del test A/B con más de dos versiones (A/B/C, A/B/C/D…). Reparte el tráfico entre todas y permite comparar varias hipótesis a la vez, a cambio de necesitar más visitantes por variante.
- Variante de control
- La versión original contra la que se compara. Cualquier mejora se mide como diferencia respecto al control, no respecto a un cero absoluto.
- Conversión
- La acción que indica éxito para el experimento: una compra, un registro, un clic en el CTA, una suscripción. Debe definirse antes de lanzar el test.
- Tasa de conversión
- Conversiones divididas entre visitantes únicos del periodo, expresada en porcentaje. Es la métrica que se compara entre variantes.
- Uplift
- La mejora relativa de una variante frente al control. Si el control convierte al 3 % y la variante al 3,6 %, el uplift es del 20 %.
- Exposición
- El momento en el que un visitante entra en el experimento y ve una variante. Sin exposición no hay atribución: la conversión debe ocurrir después.
- Asignación determinista
- Técnica que calcula la variante con un hash de `visitor_id + experimento`. El mismo visitante obtiene siempre la misma variante, sin necesidad de guardar una cookie de asignación en el servidor.
- Visitor ID
- Identificador anónimo que el SDK guarda en el navegador (localStorage) para reconocer al visitante entre páginas y sesiones. No contiene datos personales.
- MTU (visitantes únicos mensuales)
- Visitantes distintos que participan en al menos un experimento durante un mes natural. Es la unidad con la que se factura en la mayoría de herramientas de A/B testing.
- MDE (mejora mínima detectable)
- El cambio más pequeño que el test puede detectar con la muestra disponible. Cuanto menor sea el MDE que quieres detectar, más tráfico necesitas: el tamaño muestral crece con su cuadrado inverso.
- Potencia estadística
- La probabilidad de detectar una mejora real si existe. El estándar es el 80 %: con menos potencia, un test puede declarar "sin diferencias" cuando en realidad la había.
- p-valor
- Probabilidad de observar una diferencia como la medida (o mayor) si las variantes fueran iguales. Un p-valor de 0,05 no significa que haya un 95 % de probabilidad de que B gane.
- Significancia estadística
- Criterio frecuentista que declara un resultado "significativo" cuando el p-valor baja del umbral fijado (habitualmente 0,05). No dice nada sobre la magnitud ni sobre su valor para el negocio.
- Estadística bayesiana
- Enfoque que calcula directamente la probabilidad de que una variante sea mejor que otra actualizando una creencia previa con los datos. Se interpreta en lenguaje natural y tolera mejor las consultas intermedias.
- Ventana de atribución
- Periodo durante el cual una conversión se atribuye a la exposición. En fluxAB se configura entre 1 y 365 días por experimento; una compra fuera de la ventana no cuenta para ese test.
- Anti-flicker
- Técnica que oculta la página durante unos milisegundos hasta aplicar la variante, para evitar que el visitante vea la versión original y luego el cambio. Siempre debe tener un tiempo máximo de espera.
- Embudo (funnel)
- Secuencia ordenada de pasos (páginas o eventos) que lleva a una conversión. Sirve para ver en qué paso se pierde más gente antes de decidir qué test lanzar.
- Mapa de calor
- Visualización de los clics y del scroll sobre la página real. Muestra qué elementos reciben atención y cuáles quedan fuera del alcance del visitante.
- Segmento
- Subconjunto de visitantes con una característica común: dispositivo, navegador, país o fuente de tráfico. Comparar resultados por segmento evita conclusiones que solo valen para una parte de la audiencia.
- Test de URL (redirect)
- Experimento en el que la variante lleva a otra página distinta en lugar de modificar la actual. Útil para comparar dos landings completas; requiere controlar los bucles de redirección y conservar los parámetros de campaña.