Training A/B Testing

Les 1 • Overzicht veelvoorkomende testvalkuilen

Laat de meest voorkomende fouten zien – pieken, nieuwigheidseffecten en selectiebias – zodat studenten ze vroegtijdig herkennen. Schept verwachtingen voor de nauwkeurigheid die in de hele cursus wordt gehanteerd.

Les 2 • Kernmetrieken en KPI's

Identificeert primaire, secundaire en guardrail-metrieken voor experimenten. Het kiezen van de juiste metriek bepaalt direct of een test de beoogde bedrijfsvraag beantwoordt.

Les 3 • Kernstatistiekconcepten

Behandelt kansverdelingen, variantie en steekproeftheorie die essentieel zijn voor valide tests. Biedt de wiskundige taal die in de hele cursus wordt gebruikt.

Les 4 • Wat is A/B-testen

Definieert gecontroleerde experimenten en contrasteert ze met observationele analyses. Verankert het hoofdstuk door te laten zien hoe A/B-testen het giswerk uit productbeslissingen haalt.

Les 1 • Type I- en Type II-fouten

Definieert fout-positieven en fout-negatieven en hun zakelijke consequenties. Kadert de alfa-bèta-afweging die alle steekproefomvang- en powerbeslissingen beheerst.

Les 2 • P-waarden begrijpen

Legt uit wat een p-waarde meet en wat het niet bewijst. Gaat direct in op wijdverbreide misvattingen die leiden tot fout-positieve bedrijfsbeslissingen.

Les 3 • Statistische power en sensitiviteit

Legt uit hoe power het vermogen van een test om echte effecten te detecteren bepaalt. Tests met te weinig power verspillen middelen; dit onderdeel zorgt ervoor dat studenten tests correct dimensioneren.

Les 4 • Praktische significantie vs. statistische significantie

Onderscheidt statistisch significante resultaten van bedrijfsmatig relevante. Voorkomt dat teams wijzigingen doorvoeren die detecteerbaar maar economisch irrelevant zijn.

Les 1 • Gebruik van steekproefomvangcalculators

Laat zien hoe je online en programmatische calculators nauwkeurig gebruikt. Vermindert rekenfouten en versnelt de planningsfase voorafgaand aan het experiment.

Les 2 • Timing van nieuwigheids- en primacy-effecten

Legt uit hoe gebruikersgedrag verandert aan het begin van een experiment en in de loop van de tijd stabiliseert. Leert wanneer je moet beginnen met meten om opgeblazen of afgezwakte vroege resultaten te voorkomen.

Les 3 • Grondbeginselen van steekproefomvang

Leidt de relatie af tussen steekproefomvang, power, alfa en effectgrootte. Vestigt de formule die studenten zullen toepassen in elk volgend experimentontwerp.

Les 4 • Stopregels en vroegtijdige beëindiging

Behandelt vooraf gespecificeerde stopregels die foutpercentages garanderen. Voorkomt het piekprobleem terwijl ethisch vroegtijdig stoppen bij ernstige schade mogelijk is.

Les 1 • Instrumentatie en tracking

Definieert de eventlogging en analysetracking die vóór de lancering vereist is. Ontbrekende of onjuiste tracking is de belangrijkste oorzaak van niet-analytische experimenten.

Les 2 • Checklist vóór het experiment

Consolideert alle ontwerpbeslissingen in een checklist voor lanceergereedheid. Systematische controle vangt fouten die resultaten ongeldig zouden maken na dataverzameling.

Les 3 • Controle- en variantconstructie

Begeleidt het maken van controlebaselines en behandelingsvarianten die één variabele isoleren. Isolatie is het kernprincipe dat causale inferentie mogelijk maakt.

Les 4 • De reikwijdte van het experiment definiëren

Stelt de doelpopulatie, blootstellingssurface en exclusiecriteria vast vóór de lancering. Scope-beslissingen beheersen direct de interne validiteit en generaliseerbaarheid van de resultaten.

Les 1 • Interactie-effecten tussen tests

Legt uit hoe gelijktijdige experimenten elkaars resultaten kunnen verstoren en vertekenen. Studenten passen wederzijdse uitsluiting en factoriële ontwerpen toe om gelijktijdige tests te beheren.

Les 2 • Een experiment veilig lanceren

Behandelt gefaseerde uitrol, verkeersopbouw en kill-switch-protocollen voor veilige lanceringen. Geleidelijke blootstelling beperkt de impact op gebruikers als er na de lancering een kritieke fout optreedt.

Les 3 • Datakwaliteitsmonitoring

Stelt doorlopende controles in voor metriekafwijkingen, logginggaten en botverkeer. Continue monitoring voorkomt dat stille datacorruptie de eindresultaten vertekent.

Les 4 • Detectie van steekproefratio-mismatch

Leert hoe je kunt identificeren wanneer waargenomen verkeerssplitsingen afwijken van beoogde verhoudingen. SRM maakt randomisatie ongeldig en moet worden opgemerkt voordat de analyse begint.

Les 1 • Het interpreteren van niet-conclusieve resultaten

Biedt een beslissingskader voor nulresultaten: doorvoeren, itereren of stoppen. Niet-conclusieve tests bevatten informatie en mogen niet standaard leiden tot het doorvoeren van de variant.

Les 2 • De juiste statistische toets kiezen

Koppelt metriektypes aan geschikte toetsen: z-toets, t-toets, chi-kwadraat en Mann-Whitney. Het kiezen van de verkeerde toets verhoogt foutpercentages en leidt tot misleidende conclusies.

Les 3 • Technieken voor variantiereductie

Introduceert CUPED en gestratificeerde analyse om ruis te verminderen en de testgevoeligheid te verhogen. Lagere variantie betekent dat dezelfde steekproefomvang kleinere, echte effecten detecteert.

Les 4 • Gesegmenteerde analyse

Behandelt het uitsplitsen van resultaten naar gebruikerssegmenten om heterogene behandelingseffecten te vinden. Segmentanalyse onthult wie er baat heeft bij en wie er wordt geschaad door een wijziging.

Les 1 • Bandit-algoritmen voor optimalisatie

Legt epsilon-greedy-, UCB- en Thompson-sampling uit voor de explore-exploit-afweging. Bandits maximaliseren cumulatieve beloning wanneer leersnelheid zwaarder weegt dan causale inferentiebehoeften.

Les 2 • Bayesiaans A/B-testen

Introduceert priori-verdelingen, posteriori-updates en waarschijnlijkheid-van-beste-metrieken. Bayesiaanse framing sluit van nature aan bij bedrijfsbeslissingstaal en risicotolerantie.

Les 3 • Switchback- en interleaving-tests

Behandelt tijdgebaseerde switchback-ontwerpen en interleaving voor marktplaats- en rankingsystemen. Gaat in op netwerkeffecten die randomisatie op gebruikersniveau ongeldig maken.

Les 4 • Multivariaat testen (MVT)

Leert volledig factoriële en gebroken factoriële ontwerpen voor het gelijktijdig testen van meerdere elementen. MVT onthult interactie-effecten die onzichtbaar zijn voor geïsoleerde A/B-tests.

Les 1 • ROI van het experimentatieprogramma meten

Kwantificeert de bedrijfswaarde van het experimentatieprogramma om investeringen te rechtvaardigen. ROI-meting verzekert executive sponsoring en middelen voor platformgroei.

Les 2 • Experimentatiesnelheid opschalen

Behandelt strategieën voor het verhogen van de testdoorvoer zonder kwaliteit of coördinatie op te offeren. Hoge snelheid vereist gestandaardiseerde tooling, sjablonen en selfservice-analyse.

Les 3 • Kennisbeheer en leerervaringen

Ontwerpt experimentenrepositories en retrospectieve processen die organisatorisch leren versterken. Gedocumenteerde leerervaringen voorkomen herhaalde fouten en versnellen toekomstige hypothesegeneratie.

Les 4 • Architectuur van het experimentatieplatform

Schetst de componenten van een intern experimentatieplatform: toewijzing, logging en analyse. Platformvolwassenheid bepaalt direct hoeveel tests een organisatie kan uitvoeren.