Corso di A/B Testing

Lezione 1 • Panoramica sugli Errori Comuni nei Test

Anticipa gli errori più frequenti — sbirciare i dati, effetti novità e bias di selezione — affinché gli studenti li riconoscano precocemente. Definisce le aspettative per il rigore mantenuto durante l'intero corso.

Lezione 2 • Metriche Chiave e KPI

Identifica le metriche primarie, secondarie e di salvaguardia per gli esperimenti. La scelta della metrica corretta determina direttamente se un test risponde alla domanda di business prevista.

Lezione 3 • Concetti Statistici Fondamentali

Tratta distribuzioni di probabilità, varianza e teoria del campionamento essenziali per test validi. Fornisce il linguaggio matematico utilizzato durante l'intero corso.

Lezione 4 • Che Cos'è l'A/B Testing

Definisce gli esperimenti controllati e li contrappone all'analisi osservazionale. Ancora il capitolo mostrando come l'A/B test elimini le congetture dalle decisioni di prodotto.

Lezione 1 • Errori di Tipo I e Tipo II

Definisce i falsi positivi e i falsi negativi e le loro conseguenze per il business. Inquadra il compromesso alfa-beta che governa tutte le decisioni su dimensione del campione e potenza.

Lezione 2 • Comprendere i P-Value

Spiega cosa misura un p-value e cosa non dimostra. Affronta direttamente i diffusi fraintendimenti che portano a decisioni aziendali falsamente positive.

Lezione 3 • Potenza Statistica e Sensibilità

Spiega come la potenza determini la capacità di un test di rilevare effetti reali. Test con potenza insufficiente sprecano risorse; questa sezione assicura che gli studenti dimensionino correttamente i test.

Lezione 4 • Significatività Pratica vs. Statistica

Distingue i risultati statisticamente significativi da quelli rilevanti per il business. Impedisce ai team di rilasciare modifiche rilevabili ma economicamente irrilevanti.

Lezione 1 • Utilizzare i Calcolatori della Dimensione del Campione

Dimostra come utilizzare accuratamente calcolatori online e programmatici. Riduce gli errori di calcolo e accelera la fase di pianificazione pre-esperimento.

Lezione 2 • Tempistica degli Effetti Novità e Primato

Spiega come il comportamento degli utenti cambi all'inizio dell'esperimento e si stabilizzi nel tempo. Insegna quando iniziare a misurare per evitare risultati iniziali gonfiati o ridotti.

Lezione 3 • Fondamenti della Dimensione del Campione

Deriva la relazione tra dimensione del campione, potenza, alfa e dimensione dell'effetto. Stabilisce la formula che gli studenti applicheranno in ogni successiva progettazione di esperimenti.

Lezione 4 • Regole di Arresto e Terminazione Anticipata

Tratta regole di arresto pre-specificate che mantengono le garanzie sul tasso d'errore. Previene il problema dello sbirciare i dati, consentendo al contempo arresti anticipati etici per danni gravi.

Lezione 1 • Strumentazione e Tracciamento

Definisce la registrazione degli eventi e la strumentazione analitica richiesta prima del lancio. Un tracciamento mancante o errato è la principale causa di esperimenti non analizzabili.

Lezione 2 • Checklist Pre-Esperimento

Consolida tutte le decisioni di progettazione in una checklist di prontezza al lancio. La revisione sistematica coglie gli errori che invaliderebbero i risultati dopo la raccolta dei dati.

Lezione 3 • Costruzione di Controllo e Varianti

Guida la creazione di baseline di controllo e varianti di trattamento che isolano una singola variabile. L'isolamento è il principio fondamentale che rende possibile l'inferenza causale.

Lezione 4 • Definire l'Ambito dell'Esperimento

Stabilisce la popolazione target, la superficie di esposizione e i criteri di esclusione prima del lancio. Le decisioni sull'ambito controllano direttamente la validità interna e la generalizzabilità dei risultati.

Lezione 1 • Effetti di Interazione tra Test

Spiega come esperimenti simultanei possano interferire e distorcere i risultati reciproci. Gli studenti applicano l'esclusione reciproca e i disegni fattoriali per gestire test concorrenti.

Lezione 2 • Lanciare un Esperimento in Sicurezza

Tratta rollout scaglionati, aumento graduale del traffico e protocolli di kill-switch per lanci sicuri. L'esposizione graduale limita l'impatto sugli utenti se emerge un bug critico post-lancio.

Lezione 3 • Monitoraggio della Qualità dei Dati

Stabilisce controlli continui per anomalie delle metriche, lacune di registrazione e traffico bot. Il monitoraggio continuo previene che la corruzione silenziosa dei dati distorca i risultati finali.

Lezione 4 • Rilevamento della Discrepanza del Rapporto Campionario

Insegna a identificare quando le suddivisioni del traffico osservate deviano dai rapporti previsti. L'SRM invalida la randomizzazione e deve essere rilevato prima che l'analisi abbia inizio.

Lezione 1 • Interpretare Risultati Non Conclusivi

Fornisce un framework decisionale per risultati nulli: rilasciare, iterare o abbandonare. I test non conclusivi contengono informazioni e non dovrebbero portare automaticamente al rilascio della variante.

Lezione 2 • Scegliere il Test Statistico Corretto

Associa i tipi di metrica ai test appropriati: z-test, t-test, chi-quadrato e Mann-Whitney. Selezionare il test sbagliato aumenta i tassi d'errore e produce conclusioni fuorvianti.

Lezione 3 • Tecniche di Riduzione della Varianza

Introduce CUPED e l'analisi stratificata per ridurre il rumore e aumentare la sensibilità del test. Una varianza inferiore significa che la stessa dimensione del campione rileva effetti reali più piccoli.

Lezione 4 • Analisi Segmentata

Tratta la scomposizione dei risultati per segmenti di utenti per trovare effetti eterogenei del trattamento. L'analisi per segmenti rivela chi beneficia e chi è danneggiato da un cambiamento.

Lezione 1 • Algoritmi Bandit per l'Ottimizzazione

Spiega epsilon-greedy, UCB e campionamento di Thompson per i compromessi esplora-sfrutta. I bandit massimizzano la ricompensa cumulativa quando la velocità di apprendimento supera le esigenze di inferenza causale.

Lezione 2 • A/B Test Bayesiano

Introduce distribuzioni a priori, aggiornamenti a posteriori e metriche di probabilità di essere il migliore. L'impostazione bayesiana si allinea naturalmente con il linguaggio decisionale aziendale e la tolleranza al rischio.

Lezione 3 • Test Switchback e Interleaving

Tratta disegni switchback basati sul tempo e interleaving per marketplace e sistemi di posizionamento. Affronta gli effetti di rete che rendono invalida la randomizzazione a livello utente.

Lezione 4 • Test Multivariato (MVT)

Insegna disegni fattoriali completi e frazionari per testare più elementi simultaneamente. L'MVT rivela effetti di interazione invisibili agli A/B test isolati.

Lezione 1 • Misurare il ROI del Programma di Sperimentazione

Quantifica il valore di business del programma di sperimentazione per giustificare l'investimento. La misurazione del ROI assicura la sponsorizzazione esecutiva e le risorse per la crescita della piattaforma.

Lezione 2 • Scalare la Velocità di Sperimentazione

Tratta strategie per aumentare il throughput dei test senza sacrificare qualità o coordinamento. L'alta velocità richiede strumentazione standardizzata, modelli e analytics self-service.

Lezione 3 • Gestione della Conoscenza e Apprendimenti

Progetta repository di esperimenti e processi retrospettivi che accumulano l'apprendimento organizzativo. Gli apprendimenti documentati prevengono errori ripetuti e accelerano la futura generazione di ipotesi.

Lezione 4 • Architettura della Piattaforma di Sperimentazione

Delinea i componenti di una piattaforma di sperimentazione interna: assegnazione, registrazione e analisi. La maturità della piattaforma determina direttamente quanti test un'organizzazione può eseguire.