Cursus Analytics Engineering

Les 1 • Overzicht van de Moderne Datastack

Brengt de categorieën tools in kaart waaruit een hedendaags dataplatform bestaat. Biedt de vocabulaire die gedurende de cursus wordt gebruikt.

Les 2 • Basisprincipes van versiebeheer voor datateams

Behandelt Git-workflows aangepast voor analytics-codebases. Verbindt versiebeheer met collaboratief, reproduceerbaar datawerk.

Les 3 • SQL-opfrisser voor Analytics

Bespreekt SQL-constructies die het meest cruciaal zijn voor analytische transformaties. Zorgt voor een gemeenschappelijke basis voordat geavanceerde querypatronen worden geïntroduceerd.

Les 4 • Grondslagen van datamodellering

Introduceert relationele concepten en modelleringsparadigma's die worden gebruikt om analytische data te structureren. Legt de theoretische basis voordat er praktisch transformatiewerk wordt gedaan.

Les 1 • Geavanceerd SQL voor Warehouses

Breidt SQL-vaardigheden uit naar warehouse-specifieke functies en prestatiepatronen. Bouwt de vloeiendheid in het schrijven van queries die nodig is voor complexe transformaties.

Les 2 • Data laden en stagen

Behandelt bulk laden, bestandsformaten en staging-area patronen voor het innemen van ruwe data. Verbindt inname met de transformatiewerkstroom.

Les 3 • Basisprincipes van toegangsbeheer en datagovernance

Introduceert rolgebaseerde toegang, datamasking en schemarechten. Stelt governance-gewoonten vast voordat productiepijplijnen worden gebouwd.

Les 4 • Cloud Warehouse-architectuur

Legt compute-storage scheiding, virtuele warehouses en query-uitvoeringsmodellen uit. Biedt de architecturale context die nodig is om efficiënte SQL te schrijven.

Les 1 • Documentatie en de dbt DAG

Leert modelbeschrijvingen, documentatie op kolomniveau en DAG-visualisatie. Produceert zelfdocumenterende pijplijnen die teamsamenwerking ondersteunen.

Les 2 • Incrementele modellen en prestaties

Duikt diep in incrementele strategieën voor grote tabellen. Brengt een evenwicht tussen actualiteit, kosten en correctheid in productiepijplijnen.

Les 3 • Modellen en materialisaties bouwen

Behandelt SQL-modelbestanden, de ref()-functie en materialisatietypes. Leert hoe dbt transformatielogica compileert en uitvoert.

Les 4 • Macros, pakketten en Jinja

Breidt dbt uit met herbruikbare Jinja-macros en community-pakketten. Vermindert codeduplicatie en versnelt projectontwikkeling.

Les 5 • dbt-projectstructuur en -opzet

Doorloopt projectinitialisatie, directory-indeling en profielconfiguratie. Stelt de projectskelet vast die in al het volgende dbt-werk wordt gebruikt.

Les 1 • Patronen voor herbruikbaarheid en modulariteit

Leert DRY-principes toegepast op datamodellen via macros en gedeelde staging-lagen. Vermindert de onderhoudslast in groeiende projecten.

Les 2 • Omgaan met complexe datarelaties

Behandelt veel-op-veel-relaties, brugtabellen en hiërarchieën. Rust studenten uit om de complexiteit van de echte bedrijfswereld accuraat te modelleren.

Les 3 • Dimensioneel modelleren in de praktijk

Past sterschema-ontwerp toe op echte analytische use cases. Vertaalt theorie uit Hoofdstuk 1 naar productierijpe dbt-modellen.

Les 4 • One Big Table versus Genormaliseerde Marts

Vergelijkt brede gedenormaliseerde tabellen met genormaliseerde martsstructuren. Begeleidt studenten bij het kiezen van het juiste patroon voor elke use case.

Les 1 • Alarmering, monitoring en herstel

Bouwt alarmeringspijplijnen en incidentresponsworkflows voor datakwaliteitsfouten. Sluit de lus tussen detectie en oplossing.

Les 2 • Great Expectations en Aangepaste Kaders

Past een specifiek datakwaliteitskader toe naast dbt-tests. Biedt rijkere validatiemogelijkheden voor complexe kwaliteitseisen.

Les 3 • Statistische en distributietesten

Introduceert volumecontroles, distributiemonitoring en anomaliedetectie voor numerieke data. Onderschept subtiele datadrift die structurele tests missen.

Les 4 • Dimensies van datakwaliteit

Definieert volledigheid, nauwkeurigheid, consistentie, tijdigheid en uniciteit als meetbare kwaliteitsdimensies. Kadert de teststrategie voor het hele hoofdstuk.

Les 1 • Workflows bouwen met Airflow

Behandelt het schrijven van Airflow DAG's, operators en verbindingen. Vertaalt orkestratieconcepten naar werkende pijplijncode.

Les 2 • Monitoring en waarneembaarheid voor pijplijnen

Introduceert pijplijnmetagegevens, uitvoeringsgeschiedenis en externe monitoringsintegraties. Biedt zichtbaarheid in de gezondheid van pijplijnen op schaal.

Les 3 • Planning en afhankelijkheidsbeheer

Leert cron-expressies, data-ware planning en cross-DAG-afhankelijkheden. Zorgt ervoor dat pijplijnen in de juiste volgorde en met de juiste timing worden uitgevoerd.

Les 4 • Orkestratieconcepten en -tools

Introduceert DAG-gebaseerde orkestratie, taakafhankelijkheden en het orkestratorlandschap. Biedt conceptuele basis voordat er praktisch met tools wordt gewerkt.

Les 1 • Kostenbeheer in Productie

Past warehouse-kostenbeheersing, querybudgetten en resourcetagging toe op productiepijplijnen. Brengt een evenwicht tussen prestaties en operationele kosten.

Les 2 • Incidentrespons voor datapijplijnen

Vestigt runbooks, oproepdiensten en postmortemprocessen voor dataincidenten. Verkort de gemiddelde hersteltijd voor productiefouten.

Les 3 • Beheer van geheimen en configuratie

Behandelt veilige opslag van credentials, omgevingsvariabelen en geheimenbeheerders. Voorkomt blootstelling van credentials in analytics-codebases.

Les 4 • CI/CD voor datapijplijnen

Implementeert geautomatiseerde test- en implementatiepijplijnen voor dbt-projecten. Brengt software-engineeringdiscipline naar data-transformatieworkflows.

Les 1 • Dimensie- en entiteitsmodellering

Ontwerpt entiteitsrelaties en dimensiehierarchieën binnen de semantische laag. Maakt consistente slicing en filtering over alle metrieken mogelijk.

Les 2 • Het concept van de metrische laag

Legt uit waarom een gecentraliseerde metrische laag metrische inconsistentie tussen tools elimineert. Motiveert het semantische modelleringswerk dat volgt.

Les 3 • Metrieken definiëren met dbt Semantic Layer

Behandelt MetricFlow-syntaxis voor het definiëren van measures, dimensies en metrieken in dbt. Produceert herbruikbare metrische definities die door elke BI-tool kunnen worden gebruikt.

Les 4 • Governance en versiebeheer van metrieken

Vestigt eigenaarschap, wijzigingsbeheer en versiebeheerpraktijken voor metrische definities. Behoudt vertrouwen in metrieken naarmate het bedrijf evolueert.