Cursus Data Engineering met Databricks

Les 1 • Clusterconfiguratie en -beheer

Leert clustercreatie, -grootteschaling, -automatisch schalen en beëindigingsbeleid. Studenten krijgen vanaf het begin controle over compute-kosten en prestaties.

Les 2 • Overzicht van de Databricks-architectuur

Behandelt het controleplan, het dataplan en de clusterarchitectuur die ten grondslag liggen aan Databricks. Plaatst alle volgende platformgebruik in een helder mentaal model.

Les 3 • Workspacenavigatie en -installatie

Introduceert de Databricks-UI, mapstructuur en gebruikersinstellingen. Stelt studenten in staat projecten te organiseren en persoonlijke omgevingen effectief te beheren.

Les 4 • Basisprincipes van de Databricks CLI en REST API

Introduceert programmatische toegang tot het platform via CLI en REST API. Bereidt studenten voor op automatiseringstaken die in latere hoofdstukken aan bod komen.

Les 1 • Transformaties en acties

Maakt onderscheid tussen smalle en brede transformaties en legt actietriggers uit. Studenten leren nadenken over shuffle-kosten en uitvoeringsgrenzen.

Les 2 • Gedistribueerd uitvoeringsmodel van Spark

Legt RDD's, DAG's, stages en taken uit binnen Spark's uitvoeringsengine. Biedt de conceptuele basis voor het schrijven van efficiënte gedistribueerde code.

Les 3 • Basisbeginselen van de DataFrame-API

Behandelt het maken van DataFrames, schema-inferentie en kerntransformaties. Studenten passen deze bewerkingen toe als de primaire interface voor gegevensmanipulatie.

Les 4 • Basisprincipes van Spark-prestaties

Introduceert de Spark-UI, uitvoeringsplannen en basisafstemmingsmogelijkheden. Rust studenten uit om veelvoorkomende prestatieknelpunten te diagnosticeren en aan te pakken.

Les 1 • Opslagformaat van Delta Lake

Legt Parquet-bestanden, het transactielogboek en checkpoint-bestanden uit die Delta Lake vormen. Studenten begrijpen waarom Delta betrouwbaarheid biedt ten opzichte van onbewerkte bestandsformaten.

Les 2 • Delta-tabellen maken en beheren

Behandelt DDL voor het maken, wijzigen en verwijderen van Delta-tabellen. Vestigt de tabelbeheervaardigheden die nodig zijn voor al het pijplijnwerk dat voor ons ligt.

Les 3 • ACID-transacties en gelijktijdigheid

Leert optimistische gelijktijdigheidsregeling, isolatieniveaus en conflictoplossing in Delta. Studenten kunnen pijplijnen ontwerpen die veilig gelijktijdige schrijfbewerkingen verwerken.

Les 4 • Optimalisatietechnieken voor Delta Lake

Behandelt OPTIMIZE, Z-ordering en bestandscompacting om de queryprestaties te verbeteren. Studenten passen deze technieken toe op Delta-tabellen van productiekwaliteit.

Les 1 • ELT-ontwerppatronen

Presenteert medaillonarchitectuur en incrementele laadstrategieën voor gestructureerde ELT. Studenten ontwerpen multi-hop-pijplijnen die onbewerkte, opgeschoonde en samengestelde lagen scheiden.

Les 2 • Batch-inname uit veelvoorkomende bronnen

Leert lezen uit cloud-objectopslag, JDBC-databases en bestandsindelingen. Biedt de innamebasis voor alle pijplijnpatronen in dit hoofdstuk.

Les 3 • Handhaving van gegevenskwaliteit bij inname

Leert op beperkingen gebaseerde validatie, quarantainepatronen en verwachtingskaders. Zorgt ervoor dat de gegevenskwaliteit wordt gehandhaafd voordat gegevens stroomafwaartse gebruikers bereiken.

Les 4 • Basisprincipes van Structured Streaming

Behandelt streaming DataFrames, triggers en uitvoermodi voor continue gegevensverwerking. Verbindt streamingconcepten met de Delta Lake-sink die in productie wordt gebruikt.

Les 1 • Pijplijnconfiguratie en -implementatie

Leert pijplijninstellingen, clusterbeleid en implementatie via UI en API. Studenten configureren productieklaar pijplijnen met de juiste compute- en opslaginstellingen.

Les 2 • Monitoring en probleemoplossing van DLT

Verkent het gebeurtenislogboek, de pijplijn-UI-statistieken en veelvoorkomende foutpatronen. Studenten diagnosticeren en lossen pijplijnproblemen op met behulp van ingebouwde observeerbaarheidstools.

Les 3 • Gegevenskwaliteit met Expectations

Behandelt EXPECT-, EXPECT OR DROP- en EXPECT OR FAIL-beperkingen in DLT. Studenten integreren kwaliteitsregels rechtstreeks in pijplijndefinities voor geautomatiseerde handhaving.

Les 4 • Pijplijnen orkestreren met Databricks Workflows

Integreert DLT-pijplijnen in multi-task Databricks Workflows met afhankelijkheden en planning. Studenten bouwen end-to-end georkestreerde gegevensproducten.

Les 1 • Identiteits- en toegangsbeheer

Behandelt gebruikers, groepen, serviceprincipals en privilegetoekenningen in Unity Catalog. Studenten implementeren toegangsmodellen met minimale rechten voor gegevensactiva.

Les 2 • Unity Catalog-architectuur

Legt de metastore-, catalogus-, schema- en tabelhiërarchie in Unity Catalog uit. Biedt het structurele begrip dat nodig is om beheerde naamruimten te ontwerpen.

Les 3 • Gegevens delen met Delta Sharing

Introduceert het open Delta Sharing-protocol voor het delen van gegevens tussen platforms en organisaties. Studenten publiceren en consumeren veilig gedeelde datasets.

Les 4 • Auditing en compliance

Leert toegang tot auditlogboeken, querygeschiedenis en compliance-rapportagepatronen. Studenten configureren monitoring om te voldoen aan de auditeisen van de onderneming.

Les 1 • Kostengebaseerde optimalisatie en statistieken

Behandelt ANALYZE TABLE, kolomstatistieken en de join-herordening van de kostengebaseerde optimizer. Studenten verzamelen en benutten statistieken om de plankwaliteit te verbeteren.

Les 2 • Geheugenbeheer en spill

Behandelt Spark-geheugenregio's, executor-grootteschaling en spill-detectie en -beperking. Studenten configureren geheugeninstellingen om kostbare schijf-spill te elimineren.

Les 3 • Photon Engine en gevectoriseerde uitvoering

Introduceert de Databricks Photon-engine en de voordelen van gevectoriseerde uitvoering. Studenten identificeren workloads die het meeste baat hebben bij Photon en schakelen dit op de juiste manier in.

Les 4 • Partitionerings- en shufflestrategieën

Leert optimale partitieaantallen, repartitioneren versus coalescen, en shuffle-afstemming. Studenten elimineren gegevensscheefheid en verminderen shuffle-overhead in complexe pijplijnen.

Les 1 • Kostenbeheer en FinOps

Behandelt DBU-verbruiksanalyse, cluster right-sizing en spot-instantie-strategieën. Studenten verlagen de computekosten zonder de betrouwbaarheid van de pijplijn op te offeren.

Les 2 • CI/CD voor Databricks-projecten

Leert Databricks Asset Bundles, implementatieautomatisering en omgevingsoverdracht. Studenten implementeren een volledige CI/CD-pijplijn van ontwikkeling tot productie.

Les 3 • Beveiliging hardening en best practices

Leert netwerkisolatie, geheimbeheer en veilig omgaan met referenties. Studenten passen defense-in-depth-principes toe om gegevensactiva in productie te beschermen.

Les 4 • Testen van gegevenspijplijnen

Behandelt unit testing met pytest, integratieteststrategieën en testgegevensbeheer. Studenten bouwen een testsuite die de pijplijnlogica valideert vóór implementatie.