Formation A/B testing

Leçon 1 • Aperçu des pièges courants des tests

Prévisualise les erreurs les plus fréquentes — le picorage, les effets de nouveauté et le biais de sélection — afin que les apprenants les reconnaissent tôt. Cela établit les attentes en matière de rigueur maintenue tout au long du cours.

Leçon 2 • Métriques clés et KPI

Identifie les métriques primaires, secondaires et de garde-fou pour les expériences. Choisir la bonne métrique détermine directement si un test répond à la question commerciale visée.

Leçon 3 • Concepts statistiques fondamentaux

Couvre les distributions de probabilité, la variance et la théorie de l'échantillonnage essentielles pour des tests valides. Fournit le langage mathématique utilisé tout au long du cours.

Leçon 4 • Qu'est-ce que le test A/B

Définit les expériences contrôlées et les oppose à l'analyse observationnelle. Ancre le chapitre en montrant comment le test A/B élimine les suppositions des décisions produit.

Leçon 1 • Erreurs de type I et de type II

Définit les faux positifs et les faux négatifs ainsi que leurs conséquences commerciales. Cadre le compromis alpha-bêta qui régit toutes les décisions de taille d'échantillon et de puissance.

Leçon 2 • Comprendre les valeurs P

Explique ce qu'une valeur P mesure et ce qu'elle ne prouve pas. Aborde directement les idées fausses répandues qui conduisent à des décisions commerciales faussement positives.

Leçon 3 • Puissance statistique et sensibilité

Explique comment la puissance détermine la capacité d'un test à détecter des effets réels. Les tests sous-puissants gaspillent des ressources ; cette section garantit que les apprenants dimensionnent correctement les tests.

Leçon 4 • Signification pratique vs. statistique

Distingue les résultats statistiquement significatifs de ceux qui ont un sens commercial. Empêche les équipes de déployer des changements détectables mais économiquement non pertinents.

Leçon 1 • Utilisation des calculateurs de taille d'échantillon

Montre comment utiliser avec précision des calculateurs en ligne et programmatiques. Réduit les erreurs de calcul et accélère la phase de planification avant l'expérience.

Leçon 2 • Calendrier des effets de nouveauté et de primauté

Explique comment le comportement des utilisateurs change au début de l'expérience et se stabilise avec le temps. Apprend quand commencer à mesurer pour éviter des résultats précoces gonflés ou dégonflés.

Leçon 3 • Fondamentaux de la taille d'échantillon

Dérive la relation entre la taille d'échantillon, la puissance, l'alpha et la taille d'effet. Établit la formule que les apprenants appliqueront dans chaque conception d'expérience ultérieure.

Leçon 4 • Règles d'arrêt et arrêt précoce

Couvre les règles d'arrêt pré-spécifiées qui maintiennent les garanties de taux d'erreur. Empêche le problème du picorage tout en permettant des arrêts précoces éthiques en cas de préjudice grave.

Leçon 1 • Instrumentation et suivi

Définit la journalisation des événements et l'instrumentation analytique requises avant le lancement. Un suivi manquant ou incorrect est la principale cause d'expériences non analysables.

Leçon 2 • Liste de vérification avant l'expérience

Consolide toutes les décisions de conception dans une liste de contrôle de préparation au lancement. Une vérification systématique détecte les erreurs qui invalideraient les résultats après la collecte des données.

Leçon 3 • Construction du contrôle et des variantes

Guide la création de bases de référence de contrôle et de variantes de traitement qui isolent une variable. L'isolement est le principe central qui rend possible l'inférence causale.

Leçon 4 • Définition du périmètre de l'expérience

Établit la population cible, la surface d'exposition et les critères d'exclusion avant le lancement. Les décisions de périmètre contrôlent directement la validité interne et la généralisabilité des résultats.

Leçon 1 • Effets d'interaction entre les tests

Explique comment des expériences simultanées peuvent interférer et biaiser mutuellement leurs résultats. Les apprenants appliquent l'exclusion mutuelle et les plans factoriels pour gérer les tests simultanés.

Leçon 2 • Lancer une expérience en toute sécurité

Couvre les déploiements progressifs, la montée en puissance du trafic et les protocoles de coupure pour des lancements sécurisés. Une exposition graduelle limite l'impact sur l'utilisateur si un bug critique apparaît après le lancement.

Leçon 3 • Surveillance de la qualité des données

Établit des vérifications continues pour les anomalies métriques, les lacunes de journalisation et le trafic de bots. Une surveillance continue empêche une corruption silencieuse des données de fausser les résultats finaux.

Leçon 4 • Détection de non-concordance du ratio d'échantillon

Apprend à identifier quand les répartitions de trafic observées s'écartent des ratios prévus. La SRM invalide la randomisation et doit être détectée avant le début de l'analyse.

Leçon 1 • Interprétation des résultats non concluants

Fournit un cadre de décision pour les résultats nuls : déployer, itérer ou abandonner. Les tests non concluants portent de l'information et ne doivent pas par défaut conduire au déploiement de la variante.

Leçon 2 • Choisir le bon test statistique

Fait correspondre les types de métriques aux tests appropriés : test Z, test T, chi-deux et Mann-Whitney. Choisir le mauvais test gonfle les taux d'erreur et produit des conclusions trompeuses.

Leçon 3 • Techniques de réduction de variance

Présente CUPED et l'analyse stratifiée pour réduire le bruit et augmenter la sensibilité des tests. Une variance plus faible signifie que la même taille d'échantillon détecte des effets réels plus petits.

Leçon 4 • Analyse segmentée

Couvre la décomposition des résultats par segments d'utilisateurs pour trouver des effets de traitement hétérogènes. L'analyse de segment révèle qui bénéficie et qui est lésé par un changement.

Leçon 1 • Algorithmes de bandit pour l'optimisation

Explique epsilon-greedy, UCB et l'échantillonnage de Thompson pour les compromis exploration-exploitation. Les bandits maximisent la récompense cumulée lorsque la vitesse d'apprentissage l'emporte sur les besoins d'inférence causale.

Leçon 2 • Test A/B bayésien

Présente les distributions a priori, les mises à jour a posteriori et les métriques de probabilité d'être le meilleur. Le cadrage bayésien s'aligne naturellement sur le langage de décision commerciale et la tolérance au risque.

Leçon 3 • Tests de switchback et d'interleaving

Couvre les conceptions de switchback basées sur le temps et l'interleaving pour les systèmes de marketplace et de classement. Traite les effets de réseau qui rendent la randomisation au niveau utilisateur invalide.

Leçon 4 • Test multivarié (MVT)

Enseigne les conceptions factorielles complètes et fractionnaires pour tester plusieurs éléments simultanément. Le MVT révèle des effets d'interaction invisibles dans les tests A/B isolés.

Leçon 1 • Mesurer le ROI du programme d'expérimentation

Quantifie la valeur commerciale du programme d'expérimentation pour justifier l'investissement. La mesure du ROI garantit le parrainage exécutif et les ressources pour la croissance de la plateforme.

Leçon 2 • Accélérer la vélocité de l'expérimentation

Couvre les stratégies pour augmenter le débit des tests sans sacrifier la qualité ou la coordination. Une haute vélocité nécessite des outils standardisés, des modèles et une analytique en libre-service.

Leçon 3 • Gestion des connaissances et apprentissages

Conçoit des référentiels d'expériences et des processus rétrospectifs qui cumulent l'apprentissage organisationnel. Les apprentissages documentés empêchent la répétition des erreurs et accélèrent la génération d'hypothèses futures.

Leçon 4 • Architecture de la plateforme d'expérimentation

Décrit les composants d'une plateforme d'expérimentation interne : affectation, journalisation et analyse. La maturité de la plateforme détermine directement le nombre de tests qu'une organisation peut exécuter.