Data Warehouse Spezialist Schulung

Lektion 1 • Was ist ein Data Warehouse?

Definiert ein Data Warehouse und stellt es OLTP-Systemen gegenüber. Untermauert alle nachfolgenden Architekturentscheidungen mit dieser Unterscheidung.

Lektion 2 • Geschichte und Entwicklung des Warehousing

Verfolgt das Warehousing von frühen Entscheidungsunterstützungssystemen bis hin zu modernen Cloud-Plattformen. Bietet Kontext dafür, warum aktuelle Architekturen existieren.

Lektion 3 • Kernkonzepte des Warehousing

Führt Granularität, Integration und Metadaten als grundlegende Prinzipien ein. Diese Konzepte untermauern jede später behandelte Designentscheidung.

Lektion 4 • Schlüsselrollen und Stakeholder

Identifiziert die Fachleute, die ein Warehouse aufbauen, warten und nutzen. Klärt die Verantwortlichkeiten des Spezialisten innerhalb eines größeren Teams.

Lektion 1 • Fortgeschrittene dimensionale Muster

Erkundet degenerierte Dimensionen, Junk-Dimensionen und faktlose Fakten-Tabellen. Bereitet die Teilnehmer auf komplexe reale Modellierungsherausforderungen vor.

Lektion 2 • Auffrischungskurs zur relationalen Modellierung

Wiederholt Normalisierungsformen und Entity-Relationship-Diagramme als Grundlage. Stellt fest, warum normalisierte Modelle für Analysen oft ungeeignet sind.

Lektion 3 • Langsam veränderliche Dimensionen (SCD)

Behandelt die SCD-Typen 1 bis 6 zur Nachverfolgung historischer Attributänderungen. Die Teilnehmer implementieren den richtigen Typ basierend auf den Geschäftsanforderungen.

Lektion 4 • Prinzipien der dimensionalen Modellierung

Führt Fakten, Dimensionen und das Sternschema als primäres Analysemodell ein. Die Teilnehmer wenden Kimballs vierstufigen Designprozess an.

Lektion 1 • Ladestrategien und -muster

Vergleicht Insert-Only-, Upsert- und Truncate-ReLoad-Lademuster. Die Teilnehmer ordnen Lademuster den SCD-Typen und Geschäftsaktualisierungsanforderungen zu.

Lektion 2 • ETL-Pipeline-Architektur

Definiert die drei ETL-Phasen und ihre Reihenfolge innerhalb einer Warehouse-Pipeline. Schafft das strukturelle Fundament für alle Pipeline-Entwicklungsarbeiten.

Lektion 3 • Logik der Datentransformation

Lehrt Transformationslogiken für Bereinigung, Standardisierung, Ableitung und Aggregation. Die Teilnehmer schreiben wiederverwendbare Transformationsregeln, die auf mehrere Pipelines angewendet werden.

Lektion 4 • Fehlerbehandlung und Pipeline-Logging

Implementiert Ablehnungstabellen, Wiederholungslogiken und Audit-Logging für Produktionspipelines. Die Teilnehmer bauen Pipelines, die fehlertolerant sind und die Ursachenanalyse unterstützen.

Lektion 1 • Mengenbasiertes Abfragedesign

Führt die Teilnehmer vom zeilenweisen zum mengenbasierten Denken für analytisches SQL. Diese Denkweise ist eine Voraussetzung für das Schreiben effizienter Warehouse-Abfragen.

Lektion 2 • Erweiterungen für Aggregation und Gruppierung

Wendet GROUPING SETS, ROLLUP und CUBE für multidimensionale Zusammenfassungen an. Die Teilnehmer erstellen Kreuztabellen- und Zwischensummenberichte ohne mehrere Abfragedurchläufe.

Lektion 3 • Gemeinsame Tabellenausdrücke (CTEs) und Rekursion

Verwendet CTEs, um komplexe Abfragen zu zerlegen, und rekursive CTEs für hierarchische Daten. Die Teilnehmer verbessern die Lesbarkeit von Abfragen und unterstützen hierarchische Berichte.

Lektion 4 • Techniken zur Abfrageoptimierung

Liest Ausführungspläne und wendet Indizierung, Partitionierung und Statistikhinweise an. Die Teilnehmer reduzieren Abfrage-Laufzeiten und Ressourcenverbrauch in der Produktion.

Lektion 1 • Workflows für Überwachung und Behebung

Erstellt Dashboards und Alarm-Workflows, die Qualitätsprobleme nahezu in Echtzeit aufdecken. Die Teilnehmer entwerfen Behebungspfade, die den Kreislauf für erkannte Fehler schließen.

Lektion 2 • Daten-Profilierungstechniken

Wendet spalten-, spaltenübergreifende und tabellenübergreifende Profilerstellung an, um Anomalien zu entdecken. Die Ergebnisse der Profilerstellung fließen direkt in das Design von Qualitätsregeln ein.

Lektion 3 • Dimensionen der Datenqualität

Definiert Vollständigkeit, Genauigkeit, Konsistenz, Aktualität und Eindeutigkeit als messbare Dimensionen. Die Teilnehmer verwenden diese Dimensionen, um den Umfang von Qualitätsbewertungen abzustecken.

Lektion 4 • Entwurf von Datenqualitätsregeln

Übersetzt Geschäftsanforderungen in ausführbare Validierungsregeln und Schwellenwerte. Die Teilnehmer implementieren Regeln als wiederverwendbare SQL-Prüfungen oder Pipeline-Assertions.

Lektion 1 • Workload-Management und Parallelität

Konfiguriert Ressourcenpools, Abfragewarteschlangen und Prioritätsklassen für gemischte Workloads. Die Teilnehmer balancieren interaktive und Batch-Workloads ohne Ressourcenkonflikte aus.

Lektion 2 • Indizierungsstrategien für die Analytik

Behandelt Bitmap-, B-Tree- und gruppierte Indizes im Kontext von Warehouse-Abfragen. Die Teilnehmer wählen Indextypen, die häufige analytische Zugriffsmuster beschleunigen.

Lektion 3 • Caching und Materialisierung

Verwendet Ergebnis-Caching, materialisierte Sichten und Aggregationstabellen, um wiederholte Abfragen zu bedienen. Die Teilnehmer identifizieren, welche Abfragen am meisten von der Vorberechnung profitieren.

Lektion 4 • Speicherlayout und Komprimierung

Untersucht zeilenbasiertes vs. spaltenbasiertes Layout und Komprimierungsalgorithmen. Die Teilnehmer wählen Speicherformate, die die I/O für analytische Scan-Muster minimieren.

Lektion 1 • Architekturmuster für Cloud-Warehouses

Vergleicht Shared-Disk-, Shared-Nothing- und serverlose Cloud-Architekturen. Die Teilnehmer wählen die Architektur, die zum Skalierungs- und Kostenprofil ihrer Organisation passt.

Lektion 2 • Infrastructure as Code für Warehouses

Stellt Warehouse-Ressourcen mithilfe deklarativer Konfigurationsvorlagen bereit. Die Teilnehmer versionieren die Infrastruktur und automatisieren die Umgebungserstellung.

Lektion 3 • Notfallwiederherstellung und Hochverfügbarkeit

Entwickelt Backup-Pläne, Failover-Strategien und Wiederherstellungszeitziele. Die Teilnehmer erstellen einen dokumentierten DR-Plan, der durch Stabsübungen validiert wird.

Lektion 4 • Sicherheit und Zugriffskontrolle

Implementiert rollenbasierte Zugriffe, Spaltensicherheit und Zeilenfilterung. Die Teilnehmer setzen das Prinzip der geringsten Rechte für alle Warehouse-Objekte durch.

Lektion 1 • Test- und Validierungsstrategien

Führt Unit-, Integrations- und Abnahmetests für Modelle, Pipelines und Berichte durch. Die Teilnehmer erstellen Testnachweise, die die Anforderungen für die Freigabe durch das Geschäft erfüllen.

Lektion 2 • Lösungsarchitektur und -design

Erstellt Architekturdiagramme, Datenflusspläne und Modelldesigns für die Gesamtlösung. Die Teilnehmer begründen Designentscheidungen gegenüber Anforderungen und Einschränkungen.

Lektion 3 • Anforderungserhebung und Umfangsdefinition

Ermittelt analytische Anforderungen von Geschäftsinteressengruppen und übersetzt sie in technische Spezifikationen. Die Umfangsdefinition verhindert Scope Creep und gleicht die Liefererwartungen ab.

Lektion 4 • Agile Lieferung für Warehouse-Projekte

Wendet Sprint-basierte Lieferung auf Warehouse-Bauten an, einschließlich Backlog-Pflege und Demos. Die Teilnehmer passen agile Zeremonien an den iterativen Charakter der Datenarbeit an.