Curso de A/B testing

Lección 1 • Panorama de Errores Comunes en Pruebas

Anticipa los errores más frecuentes (husmear los datos, efectos de novedad y sesgo de selección) para que los estudiantes los reconozcan a tiempo. Establece las expectativas de rigor que se mantendrán durante todo el curso.

Lección 2 • Métricas Clave y KPIs

Identifica las métricas primarias, secundarias y de control para los experimentos. La elección de la métrica correcta determina directamente si una prueba responde a la pregunta de negocio planteada.

Lección 3 • Conceptos Estadísticos Fundamentales

Cubre distribuciones de probabilidad, varianza y teoría del muestreo, esenciales para pruebas válidas. Proporciona el lenguaje matemático que se usará durante todo el curso.

Lección 4 • ¿Qué es la Prueba A/B?

Define los experimentos controlados y los contrasta con el análisis observacional. Sienta las bases del capítulo mostrando cómo la prueba A/B elimina las conjeturas en las decisiones de producto.

Lección 1 • Errores de Tipo I y Tipo II

Define los falsos positivos y falsos negativos, y sus consecuencias para el negocio. Enmarca el balance alfa-beta que rige todas las decisiones sobre el tamaño de la muestra y la potencia estadística.

Lección 2 • Comprendiendo los Valores P

Explica qué mide un valor p y qué es lo que no demuestra. Aborda directamente los conceptos erróneos generalizados que llevan a decisiones de negocio basadas en falsos positivos.

Lección 3 • Potencia Estadística y Sensibilidad

Explica cómo la potencia determina la capacidad de una prueba para detectar efectos reales. Las pruebas con poca potencia desperdician recursos; esta sección asegura que los estudiantes dimensionen las pruebas correctamente.

Lección 4 • Significancia Práctica vs. Estadística

Distingue los resultados estadísticamente significativos de los que tienen un impacto real en el negocio. Evita que los equipos implementen cambios que son detectables, pero económicamente irrelevantes.

Lección 1 • Uso de Calculadoras de Tamaño de Muestra

Demuestra cómo usar calculadoras en línea y programáticas de forma precisa. Reduce los errores de cálculo y acelera la fase de planificación previa al experimento.

Lección 2 • Temporalidad del Efecto Novedad y Primacía

Explica cómo cambia el comportamiento del usuario al inicio del experimento y se estabiliza con el tiempo. Enseña cuándo empezar a medir para evitar resultados iniciales inflados o deflactados.

Lección 3 • Fundamentos del Tamaño de la Muestra

Explica la relación entre el tamaño de la muestra, la potencia, alfa y el tamaño del efecto. Establece la fórmula que los estudiantes aplicarán en cada diseño de experimento subsiguiente.

Lección 4 • Reglas de Detención y Terminación Temprana

Cubre reglas de detención preespecificadas que mantienen las garantías de tasa de error. Previene el problema de husmear los datos, a la vez que permite detenciones tempranas por razones éticas ante daños graves.

Lección 1 • Instrumentación y Seguimiento

Define el registro de eventos y la instrumentación analítica necesarios antes del lanzamiento. Un seguimiento faltante o incorrecto es la principal causa de experimentos no analizables.

Lección 2 • Lista de Verificación Previa al Experimento

Consolida todas las decisiones de diseño en una lista de verificación para comprobar que se está listo para el lanzamiento. Una revisión sistemática detecta errores que invalidarían los resultados después de la recolección de datos.

Lección 3 • Construcción del Control y las Variantes

Guía la creación de líneas de base de control y variantes de tratamiento que aíslan una sola variable. El aislamiento es el principio fundamental que hace posible la inferencia causal.

Lección 4 • Definición del Alcance del Experimento

Establece la población objetivo, la superficie de exposición y los criterios de exclusión antes del lanzamiento. Las decisiones de alcance controlan directamente la validez interna y la generalizabilidad de los resultados.

Lección 1 • Efectos de Interacción entre Pruebas

Explica cómo los experimentos simultáneos pueden interferir y sesgar los resultados entre sí. Los estudiantes aplican exclusión mutua y diseños factoriales para gestionar pruebas concurrentes.

Lección 2 • Lanzamiento Seguro de un Experimento

Cubre despliegues por etapas, incremento gradual de tráfico y protocolos de interrupción para lanzamientos seguros. La exposición gradual limita el impacto en el usuario si surge un error crítico después del lanzamiento.

Lección 3 • Monitoreo de la Calidad de los Datos

Establece controles continuos para detectar anomalías en métricas, brechas en el registro y tráfico de bots. El monitoreo constante previene que la corrupción silenciosa de datos distorsione los resultados finales.

Lección 4 • Detección de Desajuste en la Proporción de la Muestra (SRM)

Enseña a identificar cuándo las divisiones de tráfico observadas se desvían de las proporciones previstas. El SRM invalida la aleatorización y debe detectarse antes de que comience el análisis.

Lección 1 • Interpretación de Resultados No Concluyentes

Proporciona un marco de decisión para resultados nulos: implementar, iterar o abandonar. Las pruebas no concluyentes contienen información y no se debe implementar la variante por defecto.

Lección 2 • Elección de la Prueba Estadística Correcta

Asocia los tipos de métrica con las pruebas apropiadas: prueba z, prueba t, chi-cuadrado y Mann-Whitney. Elegir la prueba incorrecta infla las tasas de error y lleva a conclusiones engañosas.

Lección 3 • Técnicas de Reducción de la Varianza

Introduce CUPED y el análisis estratificado para reducir el ruido y aumentar la sensibilidad de la prueba. Una menor varianza significa que el mismo tamaño de muestra detecta efectos reales más pequeños.

Lección 4 • Análisis Segmentado

Cubre el desglose de resultados por segmentos de usuarios para encontrar efectos de tratamiento heterogéneos. El análisis por segmentos revela quién se beneficia y quién se ve perjudicado por un cambio.

Lección 1 • Algoritmos Bandit para Optimización

Explica el epsilon-greedy, UCB y el muestreo de Thompson para compensaciones entre exploración y explotación. Los bandits maximizan la recompensa acumulativa cuando la velocidad de aprendizaje prima sobre las necesidades de inferencia causal.

Lección 2 • Prueba A/B Bayesiana

Introduce las distribuciones previas, las actualizaciones posteriores y las métricas de probabilidad de ser el mejor. El enfoque bayesiano se alinea naturalmente con el lenguaje de decisión de negocio y la tolerancia al riesgo.

Lección 3 • Pruebas de Alternancia (Switchback) e Intercalado (Interleaving)

Cubre los diseños de alternancia basados en el tiempo y el intercalado para sistemas de marketplace y ranking. Aborda los efectos de red que invalidan la aleatorización a nivel de usuario.

Lección 4 • Prueba Multivariada (MVT)

Enseña los diseños factoriales completos y fraccionados para probar múltiples elementos simultáneamente. La MVT revela efectos de interacción que son invisibles para las pruebas A/B aisladas.

Lección 1 • Medición del ROI del Programa de Experimentación

Cuantifica el valor de negocio del programa de experimentación para justificar la inversión. La medición del ROI asegura el patrocinio ejecutivo y los recursos para el crecimiento de la plataforma.

Lección 2 • Escalamiento de la Velocidad de Experimentación

Cubre estrategias para aumentar el caudal de pruebas sin sacrificar la calidad o la coordinación. Una alta velocidad requiere herramientas, plantillas y analítica de autoservicio estandarizadas.

Lección 3 • Gestión del Conocimiento y Aprendizajes

Diseña repositorios de experimentos y procesos retrospectivos que capitalizan el aprendizaje organizacional. Los aprendizajes documentados previenen errores repetidos y aceleran la futura generación de hipótesis.

Lección 4 • Arquitectura de la Plataforma de Experimentación

Describe los componentes de una plataforma de experimentación interna: asignación, registro y análisis. La madurez de la plataforma determina directamente cuántas pruebas puede ejecutar una organización.