Cursus Big Data Integratie

Les 1 • Metadata en datacatalogi

Legt de rol van technische, bedrijfs- en operationele metadata uit. Vestigt metadatamanagement als een overkoepelende zorg voor al het integratiewerk.

Les 2 • Overzicht van het big data-landschap

Definieert de kenmerken van big data en de problematiek rondom integratie. Plaatst volgende technische onderwerpen in een realistische bedrijfscontext.

Les 3 • Architectuurstijlen voor data-integratie

Onderzoekt ETL-, ELT-, datavirtualisatie- en event-gedreven patronen. Biedt een beslissingskader dat gedurende de hele cursus wordt gebruikt.

Les 1 • Gedistribueerde bestandssystemen

Behandelt principes van gedistribueerde opslag op blokniveau en bestandssysteemsemantiek. Verbindt opslagarchitectuur met later gemaakte beslissingen over ingestie en verwerking.

Les 2 • Selectie van opslagformaten

Vergelijkt rijgebaseerde, kolomgebaseerde en geneste formaten voor integratieworkloads. Geeft direct informatie voor schemabeslissingen en transformatiebeslissingen die nog komen.

Les 3 • Objectopslag en cloud-lagen

Legt de semantiek van objectopslag en cloud-native tiering uit. Bereidt studenten voor op cloudgebaseerde integratiearchitecturen in latere hoofdstukken.

Les 4 • Datawarehouses en datalakes

Contrasteert schema-on-write-warehouses met schema-on-read-lakes. Stuurt opslagselectie op basis van querypatronen en integratievereisten.

Les 1 • Basisprincipes van datatransformatie

Behandelt filter-, aggregatie-, join- en verrijkings-transformaties. Bouwt de transformatievaardigheden op die worden uitgebreid in gevorderde hoofdstukken.

Les 2 • Data-laad- en doelpatronen

Legt laadstrategieën uit voor upsert, merge en langzaam veranderende dimensies. Verbindt laadlogica met de warehouse- en lake-opslag die in hoofdstuk 2 is behandeld.

Les 3 • Ontwerppatronen voor batch-ingestie

Behandelt laadstrategieën voor volledige belading, incrementele belading en change data capture. Vestigt de ingestielaag die al het stroomafwaartse transformatiewerk voedt.

Les 4 • Data-extractietechnieken

Leert extractie uit relationele databases, bestanden en API's op schaal. Biedt herbruikbare extractiepatronen die worden toegepast in pipelinelabs.

Les 1 • Stateless en stateful streamverwerking

Leert filteren, mappen, windowing en aggregatie op live streams. Bouwt verwerkingslogica die real-time dashboards en stroomafwaartse systemen voedt.

Les 2 • Streamingconcepten en berichtensystemen

Definieert eventstromen, topics, partities en consumergroepen. Legt de berichtenbasis voor al het streamingpipelinerwerk.

Les 3 • Lambda- en Kappa-architecturen

Contrasteert batch-plus-streaming en uitsluitend streaming integratiearchitecturen. Stuurt architectuurbeslissingen voor hybride workloads die in de praktijk voorkomen.

Les 4 • Stream-naar-opslag-levering

Legt sink-connectors, micro-batch-landing en compacteringsstrategieën uit. Verbindt streaming-output met de opslagsystemen die in hoofdstuk 2 zijn behandeld.

Les 1 • Beheer van masterdata en referentiedata

Definieert masterdatadomeinen, golden records en referentiedatabeheer. Biedt de basis voor dataconsistentie in multi-bron integratiescenario's.

Les 2 • Schemaontwerp voor datalakes

Legt schema-on-read, zone-architectuur en mapconventies voor lakes uit. Breidt lake-opslagconcepten uit hoofdstuk 2 uit met praktische ontwerprichtlijnen.

Les 3 • Conceptueel en logisch datamodelleren

Behandelt entiteit-relatiemodellering en normalisatie voor integratiecontexten. Biedt de modelleringsbasis voor fysiek schemaontwerp dat nog komt.

Les 4 • Schema-evolutie en compatibiliteit

Behandelt strategieën voor achterwaartse, voorwaartse en volledige compatibiliteit voor evoluerende schema's. Voorkomt pipeline-storingen veroorzaakt door schema-afwijking in productiesystemen.

Les 1 • Kwaliteitsregels en validatieframeworks

Legt regel-gebaseerde validatie, expectationsuites en quarantaine-patronen uit. Integreert kwaliteitspoorten in de eerder gebouwde batch- en streaming-pipelines.

Les 2 • Monitoring van datakwaliteit en SLA's

Behandelt continue kwaliteitsmonitoring, waarschuwingen en het bijhouden van service level agreements. Verbindt kwaliteitsstatistieken met operationele dashboards en governance-processen.

Les 3 • Profilering en anomaliedetectie

Behandelt statistische profilering, patroonanalyse en detectietechnieken voor uitbijters. Biedt diagnostische tools die worden gebruikt voor en tijdens pipeline-uitvoering.

Les 4 • Data-opschoningstechnieken

Leert standaardisatie-, deduplicatie-, imputatie- en parseer-transformaties. Breidt de transformatievaardigheden uit hoofdstuk 3 uit met kwaliteitsgerichte logica.

Les 1 • Pipeline-waarneembaarheid en logging

Leert gestructureerde logging, gedistribueerde tracering en het verzamelen van statistieken voor pipelines. Biedt de zichtbaarheid die nodig is om storingen in complexe integratiestromen te diagnosticeren.

Les 2 • Geavanceerde workflow-orchestratie

Behandelt dynamische DAG's, interdependencies tussen pipelines en SLA-gestuurde planning. Breidt basisorchestratie uit hoofdstuk 3 uit naar workflows op bedrijfsschaal.

Les 3 • Pipeline-testen en CI/CD

Legt strategieën uit voor unit-, integratie- en end-to-end testen van datapipelines. Verankert kwaliteitsborging in de implementatielevenscyclus van integratiecode.

Les 4 • Prestatie-optimalisatie en capaciteitsplanning

Behandelt het identificeren van knelpunten, het bepalen van resourcegroottes en schaalstrategieën voor pipelines. Zorgt ervoor dat integratiesystemen voldoen aan de doorvoer- en latentie-SLA's onder belasting.

Les 1 • Wettelijke naleving en audittrails

Legt gegevensretentie, recht op vergetelheid, toestemmingsbeheer en auditlogging uit. Stemt integratiepipelines af op sectoroverschrijdende gegevensbeschermingsverplichtingen.

Les 2 • Toegangscontrole en identiteitsbeheer

Behandelt op rollen en attributen gebaseerde toegangscontrole voor dataplatforms. Beveiligt gegevens in de opslag- en pipelinelagen die in eerdere hoofdstukken zijn gebouwd.

Les 3 • Encryptie en veilig datatransport

Behandelt encryptie in rust, in transit en sleutelbeheer voor integratiesystemen. Beschermt gegevens tijdens alle verplaatsings- en opslagbewerkingen in de pipeline.

Les 4 • Datagovernance-frameworks voor integratie

Definieert governancerollen, -beleid en -stewardschapmodellen voor geïntegreerde data. Biedt de organisatiestructuur die alle technische governancecontroles ondersteunt.