Big Data Engineer Cursus

Les 1 • Rol en verantwoordelijkheden van de data-engineer

Definieert de scope van de data-engineer versus data scientists en analisten. Verduidelijkt het eigenaarschap van pipelines, betrouwbaarheid en datakwaliteit.

Les 2 • Big Data-architectuurpatronen

Introduceert Lambda- en Kappa-architecturen en hun afwegingen. Biedt de structurele context voor alle pipeline-ontwerpen die later aan bod komen.

Les 3 • Big Data definiëren en de dimensies ervan

Behandelt het 5 Vs-framework en drijfveren voor datagroei in de praktijk. Vestigt de woordenschat die in de hele cursus wordt gebruikt.

Les 1 • Netwerkconcepten voor data-engineers

Legt TCP/IP, DNS, poorten en firewalls uit in de context van gedistribueerde systemen. Stelt studenten in staat connectiviteitsproblemen in clusteromgevingen op te lossen.

Les 2 • Basisprincipes van cloudinfrastructuur

Introduceert reken-, opslag- en netwerkprimitieven voor de belangrijkste cloudproviders. Studenten kunnen virtuele machines en objectopslagbuckets implementeren en configureren.

Les 3 • Containerisatie met Docker

Leert het bouwen en uitvoeren van containers voor reproduceerbare data-engineeringomgevingen. Containers worden gebruikt in praktijkopdrachten vanaf het volgende hoofdstuk.

Les 1 • HDFS-architectuur en interne werking

Legt de rollen van NameNode en DataNode, blokreplicatie en fouttolerantie uit. Biedt de opslagbasis die vereist is voordat verwerkingsframeworks worden geïntroduceerd.

Les 2 • Dataformaten voor gedistribueerde opslag

Vergelijkt rijgebaseerde en kolomgebaseerde formaten, waaronder Avro, Parquet en ORC. Formaatkeuze heeft directe invloed op de queryprestaties in latere verwerkingshoofdstukken.

Les 3 • Integratie van cloud-objectopslag

Demonstreert het gebruik van cloud-objectopslag als een directe vervanging van HDFS. Bereidt studenten voor op cloud-native pipeline-architecturen die later worden geïntroduceerd.

Les 4 • Ontwerpprincipes voor data lakes

Introduceert zonegebaseerde data lake-architectuur: ruwe, gecureerde en consumptielagen. Studenten ontwerpen opslaglay-outs die stroomafwaartse analyse-pipelines ondersteunen.

Les 1 • Prestatieoptimalisatie van Spark

Behandelt partitionering, caching, serialisatie en geheugenbeheer voor productietaken. Studenten verkorten de looptijd van taken en verlagen de resourcekosten aanzienlijk.

Les 2 • Spark-architectuur en uitvoeringsmodel

Legt driver, executor, DAG-scheduler en taakuitvoering uit. Inzicht in de interne werking is een vereiste voor het schrijven van efficiënte Spark-code.

Les 3 • RDD's, DataFrames en Datasets

Behandelt de drie Spark-abstractielagen en wanneer je ze gebruikt. Bouwt van laag-niveau RDD-bewerkingen naar hoog-niveau DataFrame-transformaties.

Les 4 • Spark SQL en datamanipulatie

Leert SQL-queries, vensterfuncties en complexe aggregaties op DataFrames. Stelt analisten die engineer zijn geworden in staat om bestaande SQL-vaardigheden in Spark te gebruiken.

Les 1 • Batchopname met Apache Sqoop en alternatieven

Behandelt bulkextractie uit relationele databases met Sqoop en moderne alternatieven. Completeert de opnametoolkit voor zowel streaming- als batchbronsystemen.

Les 2 • Berichten produceren en consumeren

Behandelt producer-bevestigingsinstellingen, consumer-offsetbeheer en exactly-once-semantiek. Studenten schrijven betrouwbare producers en consumers in Python en Java.

Les 3 • Change Data Capture-technieken

Introduceert CDC met databasetransactielogs om wijzigingen op rijniveau vast te leggen. Maakt bijna real-time synchronisatie mogelijk tussen operationele databases en de data lake.

Les 4 • Apache Kafka-architectuur

Legt brokers, topics, partities, consumergroepen en replicatie uit. Deze architectuur vormt de basis voor alle streaming-pipelines die in volgende hoofdstukken worden gebouwd.

Les 1 • Betrouwbaarheid en monitoring van streaming-pipelines

Behandelt backpressure, consumer-lag, herstel na fouten en alerting voor streamingtaken. Zorgt ervoor dat studenten streaming-pipelines in productie kunnen beheren.

Les 2 • Apache Flink-architectuur en API's

Behandelt Flink's JobManager, TaskManager, DataStream API en Table API. Studenten schrijven stateful streamingtaken met exactly-once-garanties.

Les 3 • Basisprincipes van streamverwerking

Definieert event time, processing time, watermarks en windowing-semantiek. Deze concepten zijn een vereiste voor het schrijven van correcte streamingtoepassingen.

Les 4 • Spark Structured Streaming

Leert de micro-batch- en continue-verwerkingsmodi van Spark Structured Streaming. Maakt gebruik van bestaande Spark DataFrame-vaardigheden voor streaming-workloads.

Les 1 • Cloud datawarehouse-platforms

Vergelijkt MPP-cloudwarehouse-architecturen en hun modellen voor opslag-computerseparatie. Studenten laden, transformeren en doorzoeken grote datasets met warehouse-SQL.

Les 2 • Apache Iceberg- en Hudi-formaten

Behandelt Iceberg's verborgen partitionering en Hudi's upsert-mogelijkheden als alternatieven voor Delta Lake. Studenten selecteren het juiste open tabelformaat voor hun use case.

Les 3 • Delta Lake en tabelformaten

Introduceert ACID-transacties, time travel en schema-enforcement in Delta Lake. Overbrugt de kloof tussen ruwe data lake-opslag en warehouse-grade betrouwbaarheid.

Les 4 • Basisprincipes van datawarehouse-modellering

Behandelt sterschema, sneeuwvlokschema, langzaam veranderende dimensies en feitentabelontwerp. Biedt de modelleringswoordenschat die wordt gebruikt in warehouse- en lakehouse-implementaties.

Les 1 • Apache Airflow-architectuur en DAG's

Behandelt Airflow's scheduler, executor, metadata-database en DAG-creatie. Legt de orkestratiebasis voor alle pipeline-automatisering in dit hoofdstuk.

Les 2 • CI/CD en infrastructuur als code voor pipelines

Past Git-workflows, geautomatiseerd testen en Terraform toe op pipeline-implementatie. Studenten leveren wijzigingen veilig en herhaalbaar in productie.

Les 3 • Geavanceerde DAG-ontwerppatronen

Leert dynamische DAG-generatie, branching en cross-DAG-afhankelijkheden. Stelt studenten in staat flexibele, herbruikbare orkestratiepatronen te bouwen.

Les 4 • Datakwaliteit en pipeline-testen

Implementeert datakwaliteitscontroles met Great Expectations en dbt-tests in pipelines. Voorkomt dat slechte data wordt doorgegeven aan stroomafwaartse consumenten.