Formation A/B testing

Leçon 1 • Aperçu des pièges de test courants

Prévisualise les erreurs les plus fréquentes — picorage, effets de nouveauté et biais de sélection — afin que les étudiants les reconnaissent tôt. Définit les attentes de rigueur maintenues tout au long du cours.

Leçon 2 • Métriques clés et KPI

Identifie les métriques primaires, secondaires et de garde-fou pour les expériences. Le choix de la bonne métrique détermine directement si un test répond à la question commerciale visée.

Leçon 3 • Concepts statistiques fondamentaux

Couvre les distributions de probabilité, la variance et la théorie de l'échantillonnage essentielles pour des tests valides. Fournit le langage mathématique utilisé tout au long du cours.

Leçon 4 • Qu'est-ce que le test A/B

Définit les expériences contrôlées et les oppose à l'analyse observationnelle. Ancre le chapitre en montrant comment le test A/B élimine les conjectures des décisions produit.

Leçon 1 • Erreurs de type I et de type II

Définit les faux positifs et les faux négatifs ainsi que leurs conséquences commerciales. Encadre le compromis alpha-bêta qui régit toutes les décisions de taille d'échantillon et de puissance.

Leçon 2 • Comprendre les valeurs P

Explique ce qu'une valeur P mesure et ce qu'elle ne prouve pas. Aborde directement les idées fausses répandues qui mènent à des décisions commerciales faussement positives.

Leçon 3 • Puissance statistique et sensibilité

Explique comment la puissance détermine la capacité d'un test à détecter des effets réels. Les tests sous-dimensionnés gaspillent des ressources ; cette section garantit que les étudiants dimensionnent correctement leurs tests.

Leçon 4 • Significativité pratique vs statistique

Distingue les résultats statistiquement significatifs de ceux qui sont pertinents pour l'entreprise. Empêche les équipes de déployer des changements détectables mais économiquement non pertinents.

Leçon 1 • Utilisation des calculateurs de taille d'échantillon

Montre comment utiliser avec précision les calculateurs en ligne et programmatiques. Réduit les erreurs de calcul et accélère la phase de planification pré-expérience.

Leçon 2 • Calendrier des effets de nouveauté et de primauté

Explique comment le comportement des utilisateurs change au début de l'expérience et se stabilise au fil du temps. Enseigne quand commencer à mesurer pour éviter des résultats précoces gonflés ou dégonflés.

Leçon 3 • Principes fondamentaux de la taille d'échantillon

Dérive la relation entre la taille d'échantillon, la puissance, alpha et la taille d'effet. Établit la formule que les étudiants appliqueront dans chaque conception d'expérience ultérieure.

Leçon 4 • Règles d'arrêt et terminaison précoce

Couvre les règles d'arrêt pré-spécifiées qui maintiennent les garanties de taux d'erreur. Empêche le problème du picorage tout en permettant des arrêts précoces éthiques en cas de préjudice grave.

Leçon 1 • Instrumentation et tracking

Définit l'instrumentation de journalisation des événements et d'analyse requise avant le lancement. Un tracking manquant ou incorrect est la principale cause d'expériences non analysables.

Leçon 2 • Liste de vérification pré-expérience

Consolide toutes les décisions de conception dans une liste de vérification de préparation au lancement. Un examen systématique permet de détecter les erreurs qui invalideraient les résultats après la collecte de données.

Leçon 3 • Construction du témoin et des variantes

Guide la création de bases de référence témoins et de variantes de traitement qui isolent une seule variable. L'isolation est le principe fondamental qui rend l'inférence causale possible.

Leçon 4 • Définition du périmètre de l'expérience

Établit la population cible, la surface d'exposition et les critères d'exclusion avant le lancement. Les décisions de périmètre contrôlent directement la validité interne et la généralisabilité des résultats.

Leçon 1 • Effets d'interaction entre tests

Explique comment des expériences simultanées peuvent interférer et biaiser les résultats des unes et des autres. Les étudiants appliquent l'exclusion mutuelle et les designs factoriels pour gérer les tests concurrents.

Leçon 2 • Lancement sécurisé d'une expérience

Couvre les déploiements progressifs, la montée en charge du trafic et les protocoles de kill-switch pour des lancements sécurisés. Une exposition graduelle limite l'impact utilisateur en cas de bug critique après le lancement.

Leçon 3 • Surveillance de la qualité des données

Établit des vérifications continues pour les anomalies de métriques, les lacunes de journalisation et le trafic de bots. Une surveillance continue empêche la corruption silencieuse des données de fausser les résultats finaux.

Leçon 4 • Détection de discordance du ratio d'échantillons

Enseigne comment identifier quand les répartitions de trafic observées s'écartent des ratios prévus. Le SRM invalide la randomisation et doit être détecté avant le début de l'analyse.

Leçon 1 • Interprétation des résultats non concluants

Fournit un cadre de décision pour les résultats nuls : déployer, itérer ou abandonner. Les tests non concluants contiennent des informations et ne devraient pas par défaut conduire au déploiement de la variante.

Leçon 2 • Choix du test statistique approprié

Fait correspondre les types de métriques aux tests appropriés : test Z, test T, Chi-2 et Mann-Whitney. Choisir le mauvais test gonfle les taux d'erreur et produit des conclusions trompeuses.

Leçon 3 • Techniques de réduction de la variance

Introduit CUPED et l'analyse stratifiée pour réduire le bruit et augmenter la sensibilité des tests. Une variance plus faible signifie que la même taille d'échantillon détecte des effets réels plus petits.

Leçon 4 • Analyse segmentée

Couvre la rupture des résultats par segments d'utilisateurs pour trouver des effets de traitement hétérogènes. L'analyse par segment révèle qui bénéficie et qui est lésé par un changement.

Leçon 1 • Algorithmes de bandit pour l'optimisation

Explique l'epsilon-greedy, l'UCB et l'échantillonnage de Thompson pour les compromis exploration-exploitation. Les bandits maximisent la récompense cumulative lorsque la vitesse d'apprentissage l'emporte sur les besoins d'inférence causale.

Leçon 2 • Test A/B bayésien

Introduit les distributions a priori, les mises à jour a posteriori et les métriques de probabilité d'être le meilleur. Le cadre bayésien s'aligne naturellement avec le langage de décision commerciale et la tolérance au risque.

Leçon 3 • Tests switchback et d'interclassement

Couvre les designs switchback basés sur le temps et l'interclassement pour les places de marché et les systèmes de classement. Traite les effets de réseau qui rendent la randomisation au niveau utilisateur invalide.

Leçon 4 • Test multivarié (MVT)

Enseigne les plans factoriels complets et fractionnaires pour tester plusieurs éléments simultanément. Le MVT révèle des effets d'interaction invisibles pour les tests A/B isolés.

Leçon 1 • Mesure du ROI du programme d'expérimentation

Quantifie la valeur commerciale du programme d'expérimentation pour justifier l'investissement. La mesure du ROI sécurise le parrainage des dirigeants et les ressources pour la croissance de la plateforme.

Leçon 2 • Passage à l'échelle de la vélocité d'expérimentation

Couvre les stratégies pour augmenter le débit des tests sans sacrifier la qualité ou la coordination. Une haute vélocité nécessite des outils standardisés, des modèles et des analyses en libre-service.

Leçon 3 • Gestion des connaissances et apprentissages

Conçoit des répertoires d'expériences et des processus rétrospectifs qui capitalisent l'apprentissage organisationnel. Les apprentissages documentés empêchent la répétition des erreurs et accélèrent la génération d'hypothèses futures.

Leçon 4 • Architecture de la plateforme d'expérimentation

Décrit les composants d'une plateforme d'expérimentation interne : affectation, journalisation et analyse. La maturité de la plateforme détermine directement le nombre de tests qu'une organisation peut exécuter.