Databricks platform training

Les 1 • Navigeren door de Databricks Workspace

Behandelt de workspace UI, resource-organisatie en gebruikersrollen. Cursisten krijgen hands-on vertrouwdheid met de omgeving voordat ze code schrijven.

Les 2 • Verbinden met databronnen

Demonstreert het mounten van cloudopslag en het verbinden met externe databases. Stelt data-toegangspatronen vast die nodig zijn voor alle data engineering- en analytische taken.

Les 3 • Wat is de Lakehouse-architectuur

Definieert het lakehouse-paradigma en contrasteert het met datawarehouses en datalakes. Biedt de architecturale context voor al het volgende Databricks-werk.

Les 4 • Werken met Databricks Notebooks

Introduceert het maken van notebooks, magic commands en meertalige ondersteuning. Notebooks zijn de primaire ontwikkelinterface die in elk volgend hoofdstuk wordt gebruikt.

Les 1 • Gegevensformaten lezen en schrijven

Behandelt het lezen en schrijven van Parquet-, JSON-, CSV- en Delta-formaten met opties. Correcte formaatafhandeling is fundamenteel voor alle ingestie- en output-pipelines.

Les 2 • DataFrames en de DataFrame API

Behandelt het maken van DataFrames, schema-afleiding en kerntransformaties. DataFrames zijn de primaire abstractie die in alle gegevensverwerkingshoofdstukken wordt gebruikt.

Les 3 • Spark-prestatiebasisprincipes

Introduceert partitioning, caching en broadcast joins voor prestatie-optimalisatie. Deze technieken worden later in de cursus toegepast in geavanceerde optimalisatiehoofdstukken.

Les 4 • Spark-architectuur en uitvoeringsmodel

Legt drivers, executors, DAG's en lazy evaluation uit. Inzicht in de uitvoeringsstroom is cruciaal voor het schrijven van efficiënte Spark-code in latere hoofdstukken.

Les 1 • DML-bewerkingen op Delta-tabellen

Leert INSERT-, UPDATE-, DELETE- en MERGE-bewerkingen op Delta-tabellen. Stelt cursisten in staat upsert-patronen te implementeren die essentieel zijn voor incrementele datapipelines.

Les 2 • Delta-tabellen optimaliseren

Behandelt OPTIMIZE-, ZORDER- en VACUUM-opdrachten voor prestatie- en opslagbeheer. Deze bewerkingen zijn cruciaal voor het onderhouden van Delta-tabellen van productiekwaliteit.

Les 3 • Time travel en gegevensversiebeheer

Demonstreert het queryen van historische tabelversies en het herstellen van eerdere toestanden. Time travel ondersteunt auditing en foutherstel in productie-datapipelines.

Les 4 • Delta-tabellen maken en beheren

Behandelt DDL-bewerkingen, tabeleigenschappen en beheerde vs. externe tabellen. Deze vaardigheden zijn vereist voor het bouwen van gestructureerde gegevenslagen in latere pipeline-hoofdstukken.

Les 1 • Auto Loader voor incrementele ingestie

Introduceert de bestandsnotificatie- en directory listing-modi van Auto Loader voor schaalbare ingestie. Auto Loader is het aanbevolen Databricks-patroon voor continu bestandsgebaseerde ingestie.

Les 2 • Batch-ingestiepatronen

Behandelt volledige en incrementele batch-laadstrategieën met Spark en Delta. Bepaalt de ingestiepatronen die ten grondslag liggen aan alle pipeline-architecturen in dit hoofdstuk.

Les 3 • Transformatielogica bouwen

Behandelt meerstaps-transformatiepatronen, waaronder opschonen, verrijken en dedupliceren. Transformatielogica is de laag die de kernwaarde toevoegt in elke ETL-pipeline.

Les 4 • Delta Live Tables voor pipeline-orchestratie

Introduceert Delta Live Tables (DLT) voor declaratieve pipelinedefinitie en kwaliteitshandhaving. DLT vereenvoudigt pipelinebeheer en integreert met de medaillon-architectuur.

Les 1 • Principes van de medaillon-architectuur

Definieert Brons-, Zilver- en Goudlaagverantwoordelijkheden en gegevenscontracten. Biedt het structurele raamwerk dat wordt toegepast in elke volgende modellerings- en pipelinesectie.

Les 2 • De Bronslaag ontwerpen

Behandelt het landen van ruwe data, schema-on-read en het behouden van bronbetrouwbaarheid. Een goed ontworpen Bronslaag zorgt voor volledige controleerbaarheid en reprocessingsmogelijkheden.

Les 3 • Goudlaag-aggregaten construeren

Behandelt het bouwen van vooraf geaggregeerde, gedenormaliseerde tabellen die zijn geoptimaliseerd voor BI en rapportage. Goudtabellen verminderen de querycomplexiteit en verbeteren de dashboardprestaties.

Les 4 • De Zilverlaag bouwen

Leert opschonen, type-conversie, deduplicatie en het conformeren van data aan een uniform schema. De Zilverlaag is de primaire bron voor analytische en ML-workloads.

Les 1 • Queryoptimalisatie voor Analytics

Leert queryplananalyse, cachingstrategieën en resultaatcaching voor SQL-workloads. Geoptimaliseerde query's verlagen de warehousekosten en verbeteren de gebruikerservaring.

Les 2 • Dashboards en visualisaties bouwen

Behandelt het maken van grafieken, dashboards en waarschuwingen binnen Databricks SQL. Dashboards stellen zakelijke belanghebbenden in staat data te consumeren zonder code te schrijven.

Les 3 • Unity Catalog voor Data Governance

Introduceert de drielaagse naamruimte, toegangscontrole en gegevens-lineage van Unity Catalog. Governance is fundamenteel voor veilige, conforme analyses tussen teams.

Les 4 • Geavanceerde SQL-technieken in Databricks

Leert vensterfuncties, CTE's en hogere-ordefuncties voor complexe analytische query's. Deze technieken maken geavanceerde analyses mogelijk, direct in Databricks SQL.

Les 1 • Introduceert modelregistratie, faseovergangen en versiebeheer in de Model Registry. De registry biedt governance en traceerbaarheid voor productiemodellen.

Introduceert modelregistratie, faseovergangen en versiebeheer in de Model Registry. De registry biedt governance en traceerbaarheid voor productiemodellen.

Les 2 • Modelserving en batch-inferentie

Behandelt real-time modelserving-endpoints en batch-inferentie met Spark. Het implementeren van modellen in beide modi garandeert flexibiliteit voor uiteenlopende bedrijfsvereisten.

Les 3 • Modellen op schaal trainen met Spark

Behandelt gedistribueerd trainen met pandas UDF's, Spark ML en Hyperopt voor tuning. Gedistribueerd trainen verkort de time-to-insight op grote datasets.

Les 4 • Experiment tracking met MLflow

Leert het loggen van parameters, metrics en artefacten met MLflow Tracking. Systematische experiment tracking maakt reproduceerbaarheid en geïnformeerde modelselectie mogelijk.

Les 1 • Monitoring, logging en kostenbeheer

Behandelt clustergebeurtenislogs, jobmetrics, auditlogs en DBU-kostentracering. Observeerbaarheid en kostenbeheersing zijn essentieel voor duurzame productie-activiteiten.

Les 2 • Workflows plannen en triggeren

Leert cron-gebaseerde planning, bestandsaankomsttriggers en externe API-triggers. Flexibele triggering zorgt ervoor dat pipelines op het juiste moment worden uitgevoerd met minimale handmatige tussenkomst.

Les 3 • Infrastructure as Code met Terraform

Introduceert het inrichten van Databricks-resources met de Terraform-provider. Infrastructure as code zorgt voor reproduceerbare, controleerbare omgevingsinstellingen tussen workspaces.

Les 4 • Databricks Jobs en taakorchestratie

Behandelt het maken van meertakige jobs, het instellen van afhankelijkheden en het configureren van compute voor elke taak. Jobs zijn het primaire mechanisme voor het uitvoeren van productieworkloads volgens een schema.