Data Engineer Cursus

Les 1 • Inleiding tot datarchitectuurpatronen

Onderzoekt fundamentele architectuurstijlen, waaronder datawarehouses, datalakes en lakehouses. Verbindt architectuurkeuzes met bedrijfsvereisten en schaalbaarheidsdoelen.

Les 2 • Kerndataconcepten en -terminologie

Introduceert gestructureerde, semi-gestructureerde en ongestructureerde datatypen en belangrijke opslagabstracties. Zorgt voor een gedeelde woordenschat voordat we in de architectuur en tools duiken.

Les 3 • Overzicht van de levenscyclus van data-engineering

Brengt de end-to-end reis van data van bron tot consumptie in kaart. Biedt een mentaal model dat elk later in de cursus behandeld technisch onderwerp kadert.

Les 1 • Geavanceerde SQL voor data-engineering

Introduceert vensterfuncties, CTE's en setbewerkingen voor complexe analytische transformaties. Bereidt studenten voor om productieklare SQL te schrijven die wordt gebruikt in pipelines en rapportagelagen.

Les 2 • Dimensionale modellering voor analyses

Past ster- en sneeuwvlakschemapatronen toe om analyseklare datamodellen te ontwerpen. Maakt direct het datawarehouse- en transformatiewerk mogelijk dat in latere hoofdstukken wordt behandeld.

Les 3 • Kern SQL-querytechnieken

Leert SELECT, filteren, aggregatie en joins tussen meerdere tabellen voor data ophalen. Deze vaardigheden liggen ten grondslag aan elke transformatie en elke analytische workload in de cursus.

Les 1 • Python-essenties voor datawerk

Bespreekt Python-syntax, datastructuren en control flow die relevant zijn voor datamanipulatietaken. Legt de programmeerbasis voor het scripten van pipelines gedurende de hele cursus.

Les 2 • Bestands- en dataformaatverwerking

Leert het lezen en schrijven van CSV-, JSON-, Parquet- en Avro-bestanden met Python-bibliotheken. Ondersteunt direct inname- en serialisatietaken in de hoofdstukken over pipeline-ontwikkeling.

Les 3 • Beste praktijken voor automatisering en scripten

Introduceert logging, configuratiebeheer en verpakken voor productierijpe Python-scripts. Bereidt studenten voor om onderhoudbare code te schrijven die integreert in georkestreerde pipelines.

Les 4 • Datamanipulatie met Pandas

Behandelt DataFrame-bewerkingen, samenvoegen, hervormen en opschonen met de Pandas-bibliotheek. Biedt de transformatietoolkit die wordt gebruikt in batchverwerking en verkennend datawerk.

Les 1 • Data extraheren uit relationele bronnen

Behandelt CDC, op tijdstempel gebaseerde extractie en op query's gebaseerde pulls uit relationele databases. Bouwt voort op SQL-vaardigheden om betrouwbare extractiestrategieën met weinig impact te implementeren.

Les 2 • Ontwerpprincipes voor pipelines

Introduceert modulariteit, idempotentie, foutafhandeling en observeerbaarheid als pijlers van pipeline-ontwerp. Legt technische standaarden vast die in alle volgende pipepinehoofdstukken worden toegepast.

Les 3 • Innamepatronen en brontypen

Onderzoekt veelvoorkomende databronnen, waaronder databases, API's, bestanden en event streams. Kadert de innameontwerpbeslissingen die de architectuurkeuzes van de pipeline sturen.

Les 4 • Inname uit API's en bestandsbronnen

Leert gestructureerde benaderingen voor het consumeren van REST API's, FTP-bronnen en cloudopslagbestanden. Breidt Python API-vaardigheden uit naar productie-innamepipelinepatronen.

Les 1 • Tabelformaten en open opslagstandaarden

Introduceert open tabelformaten die ACID-transacties en schema-evolutie op objectopslag mogelijk maken. Bereidt studenten voor op lakehouse-implementaties die in geavanceerde hoofdstukken worden behandeld.

Les 2 • Cloud datawarehouse-architectuur

Onderzoekt kolomopslag, MPP-query-engines en scheiding van rekenkracht en opslag. Verbindt interne warehouse-mechanismen met queryprestaties en kostenoptimalisatiebeslissingen.

Les 3 • Datamodellering in het warehouse

Past dimensionale en vault-modelleringstechnieken toe in cloud-warehouse-omgevingen. Bouwt voort op relationele modellering vaardigheden om analyseklare warehouse-lagen te produceren.

Les 4 • Basisprincipes van cloudobjectopslag

Legt objectopslagconcepten uit, bucket-organisatie, partitionering en toegangscontrole. Biedt de opslagbasis die ten grondslag ligt aan datalakes en lakehouse-architecturen.

Les 1 • Geavanceerde dbt-patronen

Behandelt macro's, Jinja-templating, packages en incrementele strategieën voor complexe use cases. Breidt kern-dbt-vaardigheden uit om grootschalige en dynamische transformatievereisten aan te kunnen.

Les 2 • Testen en documentatie in dbt

Implementeert schematests, aangepaste tests en automatisch gegenereerde documentatie binnen dbt-projecten. Dwingt datakwaliteit en onderhoudbaarheidsstandaarden af in transformatiepipelines.

Les 3 • Architectuur van de transformatielaag

Definieert de transformatielagen staging, intermediate en mart en hun verantwoordelijkheden. Legt het gelaagde ontwerppatroon vast dat al het dbt-projectwerk in dit hoofdstuk structureert.

Les 1 • Pipeline-monitoring en observeerbaarheid

Legt logging, metrieken en lijnage-trackingpraktijken vast voor zichtbaarheid van georkestreerde pipelines. Verbindt observeerbaarheidstools met de datakwaliteit- en governancethema's van de cursus.

Les 2 • Moderne orchestratiealternatieven

Onderzoekt Prefect, Dagster en event-gestuurde orchestratie als alternatieven voor Airflow. Rust studenten uit om orchestratietools te evalueren tegen projectvereisten en teambeperkingen.

Les 3 • Foutafhandeling en strategieën voor opnieuw proberen

Implementeert pogingen tot herstel, SLA's, waarschuwingen en fout-callbacks binnen georkestreerde workflows. Zorgt dat pipelines voldoen aan de betrouwbaarheidsnormen die vereist zijn in productiedata-omgevingen.

Les 4 • Orchestratieconcepten en -patronen

Introduceert DAG-gebaseerde planning, afhankelijkheidsresolutie en scheiding van orchestratie versus uitvoering. Kadert de orchestratielaag die inname, opslag en transformatie samenbindt.

Les 1 • Streaming data-opslag en -serveren

Behandelt het schrijven van streaminguitvoer naar datalakes, warehouses en real-time serving-stores. Verbindt streamingpipelines met de opslag- en consumptielagen die in eerdere hoofdstukken zijn gebouwd.

Les 2 • Betrouwbaarheid en schaling van streamingpipelines

Behandelt backpressure, schema registry, dead-letter-topics en horizontale schaling voor streamingsystemen. Zorgt dat studenten streamingpipelines betrouwbaar kunnen bedienen op productieschaal.

Les 3 • Streamverwerking met Apache Flink

Leert stateful streamverwerking, windowing en event-time-afhandeling met Apache Flink. Bouwt voort op Kafka-kennis om real-time transformatie- en aggregatielogica te implementeren.

Les 4 • Streaming-basisprincipes en use cases

Contrasteert streaming met batchverwerking en identificeert use cases waar real-time data vereist is. Legt de conceptuele basis voor alle streamingarchitectuur- en toolingbeslissingen.