Dbt (Data Build Tool) Kurs

Lektion 1 • DBT Core im Vergleich zu DBT Cloud

Unterscheidet das Open-Source-CLI-Tool von der verwalteten Cloud-Plattform. Die Teilnehmer wählen den richtigen Bereitstellungsmodus für ihre Umgebung.

Lektion 2 • Einrichten Ihrer DBT-Umgebung

Führt durch die Installation von DBT Core und die Verbindung mit einem Data Warehouse. Die Teilnehmer erhalten eine funktionierende lokale Umgebung, die für die Projekterstellung bereit ist.

Lektion 3 • Was ist DBT und warum es wichtig ist

Behandelt das zentrale Wertversprechen von DBT und wie es SQL-basierte Datentransformation verändert. Vermittelt den Teilnehmern das Problem, das DBT löst, bevor sie praktisch arbeiten.

Lektion 1 • Initialisieren eines DBT-Projekts

Führt durch dbt init und die generierte Dateistruktur. Die Teilnehmer verstehen den Zweck jeder automatisch generierten Datei, bevor sie Änderungen vornehmen.

Lektion 2 • Quellcodeverwaltung und Projektkonventionen

Etabliert Git-basierte Workflows und Namenskonventionen für skalierbare DBT-Projekte. Die Teilnehmer wenden konsistente Standards an, die die Teamzusammenarbeit unterstützen.

Lektion 3 • Verwalten von Profilen und Targets

Behandelt die Multi-Umgebungs-Profilkonfiguration für Dev-, Staging- und Produktions-Targets. Die Teilnehmer wechseln sicher zwischen Kontexten, ohne Credentials fest zu codieren.

Lektion 1 • Organisieren von Modellen in Schichten

Stellt die Konventionen für Staging-, Intermediate- und Mart-Schichten zur Modellorganisation vor. Die Teilnehmer strukturieren ein mehrschichtiges Projekt, das die reale Praxis des Analytics Engineering abbildet.

Lektion 2 • Materialisierungen im Detail

Erklärt Table-, View-, Incremental- und Ephemeral-Materialisierungen mit ihren Vor- und Nachteilen. Die Teilnehmer wählen die richtige Materialisierung für die Leistungsanforderungen jedes Modells.

Lektion 3 • Auswählen und Ausführen von Modellteilmengen

Behandelt die Knotenauswahlsyntax zum Ausführen gezielter Teilmengen des DAG. Die Teilnehmer bauen während der Entwicklung effizient nur die benötigten Modelle neu auf.

Lektion 4 • Schreiben Ihres ersten DBT-Modells

Stellt die SQL-SELECT-basierte Modellsyntax und die ref()-Funktion vor. Die Teilnehmer schreiben und führen ein funktionierendes Modell gegen eine reine Warehouse-Tabelle aus.

Lektion 1 • Quellen-Freshness und Datenverträge

Lehrt Freshness-Schwellenwerte und die Durchsetzung von Datenankunfts-SLAs auf der Quellenebene. Die Teilnehmer konfigurieren Warnungen, die veraltete Daten erkennen, bevor sie die Marts erreichen.

Lektion 2 • Deklarieren und Verwenden von Quellen

Behandelt die YAML-Deklaration von Quellen und die source()-Funktion zum Referenzieren von Rohdaten. Die Teilnehmer ersetzen hartcodierte Tabellennamen durch verwaltete Quellenverweise.

Lektion 3 • Aufzeichnen von Verläufen mit Snapshots

Stellt DBT-Snapshots zum Verfolgen von langsam veränderlichen Dimensionsdatensätzen im Zeitverlauf vor. Die Teilnehmer implementieren Timestamp- und Check-Strategien für SCD-Typ-2-Muster.

Lektion 1 • Testpakete von Drittanbietern

Untersucht beliebte Pakete wie dbt-expectations und dbt-utils für eine erweiterte Testabdeckung. Die Teilnehmer installieren und wenden paketbasierte Tests an, um Lücken in der integrierten Abdeckung zu schließen.

Lektion 2 • Schreiben benutzerdefinierter generischer Tests

Lehrt das Erstellen wiederverwendbarer Jinja-basierter generischer Tests für projektspezifische Regeln. Die Teilnehmer erweitern die Testbibliothek über die integrierten Optionen hinaus.

Lektion 3 • Singuläre Tests für komplexe Logik

Stellt singuläre SQL-basierte Tests für Behauptungen vor, die nicht generisch ausgedrückt werden können. Die Teilnehmer schreiben gezielte Tests für die Validierung von Geschäftsregeln.

Lektion 4 • Tests-Schweregrad und Fehlerbehandlung

Erklärt die Schweregrade Warnung vs. Fehler und die Handhabung erwarteter Testfehler. Die Teilnehmer konfigurieren Tests, die warnen, ohne die Pipeline-Ausführung zu blockieren.

Lektion 1 • Verstehen und Verwenden des DAG

Erklärt die Ansicht des gerichteten azyklischen Graphen und dessen Verwendung für die Auswirkungsanalyse. Die Teilnehmer verfolgen die Datenherkunft von der Rohquelle bis zum endgültigen Mart-Modell.

Lektion 2 • Verwenden von doc()-Blöcken zur Wiederverwendung

Stellt Markdown-Doc-Blöcke zum Schreiben ausführlicher, wiederverwendbarer Beschreibungen vor. Die Teilnehmer eliminieren doppelte Dokumentation bei gemeinsam genutzten Spaltendefinitionen.

Lektion 3 • Schreiben von Modell- und Spaltenbeschreibungen

Behandelt Inline-YAML-Beschreibungen für Modelle, Spalten und Quellen. Die Teilnehmer dokumentieren jedes Asset, sodass die generierte Dokumentation sofort nützlich ist.

Lektion 1 • Grundlagen des Jinja-Templating

Stellt die Jinja-Syntax einschließlich Variablen, Schleifen und Bedingungen in SQL-Modellen vor. Die Teilnehmer schreiben dynamisches SQL, das sich an den Laufzeitkontext anpasst.

Lektion 2 • DBT-Variablen und Laufzeit-Flags

Erklärt Projektvariablen und CLI-übergebene Variablen zur Parametrisierung des Modellverhaltens. Die Teilnehmer erstellen Modelle, die ihr Verhalten basierend auf Laufzeiteingaben ändern.

Lektion 3 • Schreiben und Verwenden von Makros

Behandelt Makrodefinition, Argumente und Aufruf für wiederverwendbare SQL-Logik. Die Teilnehmer ersetzen wiederholte SQL-Muster durch Makroaufrufe von einer einzigen Quelle.

Lektion 4 • Hooks und Operationen

Stellt Pre-Hook, Post-Hook und On-Run-End-Hooks zur Ausführung von SQL um Modelläufe herum vor. Die Teilnehmer automatisieren Warehouse-Wartungsaufgaben innerhalb des DBT-Lebenszyklus.

Lektion 1 • Continuous Integration für DBT-Projekte

Behandelt Slim-CI-Muster unter Verwendung von Statusvergleichen, um nur geänderte Modelle bei Pull-Requests zu testen. Die Teilnehmer konfigurieren eine CI-Pipeline, die schnelle, gezielte Prüfungen durchführt.

Lektion 2 • Orchestrieren von DBT mit Workflow-Tools

Untersucht Integrationsmuster mit Orchestrierungsplattformen wie Airflow und Prefect. Die Teilnehmer lösen DBT-Ausführungen von einem Orchestrator mit ordnungsgemäßem Abhängigkeitsmanagement aus.

Lektion 3 • Überwachen der DBT-Ausführungsgesundheit

Behandelt Ausführungsartefakte, Metadaten-API und Alarmierung bei fehlgeschlagenen Ausführungen und veralteten Modellen. Die Teilnehmer bauen eine Observability-Schicht auf, die Pipeline-Probleme proaktiv erkennt.

Lektion 4 • Strategien zur Umgebungsförderung

Erklärt die Förderungs-Workflows von Dev über Staging bis Produktion und die Schema-Isolierung. Die Teilnehmer stellen Änderungen sicher bereit, ohne Produktionsdaten während der Entwicklung zu überschreiben.