Data Lake Kurs

Lektion 1 • Was ist ein Data Lake?

Definiert Data Lakes und stellt sie Data Warehouses und Data Marts gegenüber. Liefert die konzeptionelle Grundlage für alle nachfolgenden Architekturentscheidungen.

Lektion 2 • Häufige Fallstricke und das Problem des Data Swamp

Identifiziert Governance-Fehler, die Data Lakes in unbrauchbare Data Swamps verwandeln. Das Bewusstsein für diese Risiken motiviert die später eingeführten Best Practices.

Lektion 3 • Anwendungsfälle und geschäftlicher Wert von Data Lakes

Ordnet reale Szenarien – Analytik, ML, Archivierung – den Fähigkeiten von Data Lakes zu. Studierende verknüpfen technische Funktionen mit messbaren Geschäftsergebnissen.

Lektion 1 • Speicher-Tiering und Kostenoptimierung

Erklärt die Speicherstufen Hot, Warm und Cold sowie automatisierte Tiering-Richtlinien. Studierende entwerfen kosteneffektive Aufbewahrungsstrategien, die auf Zugriffsmuster abgestimmt sind.

Lektion 2 • Kompressionsstrategien für Data Lakes

Behandelt die Kompromisse zwischen Kompressionsrate und Geschwindigkeit bei Snappy, Gzip, Zstd und LZ4. Eine korrekte Komprimierung senkt die Speicherkosten, ohne die Abfrageleistung zu beeinträchtigen.

Lektion 3 • Spaltenorientierte und zeilenbasierte Dateiformate

Vergleicht Parquet, ORC, Avro, CSV und JSON für Analyseaufgaben. Die Formatwahl beeinflusst direkt die Abfragegeschwindigkeit und die Speichereffizienz.

Lektion 4 • Objektspeicherung als Grundlage

Erklärt die Mechanik der Objektspeicherung, Bucket-Organisation und Haltbarkeitsgarantien. Die Objektspeicherung ist die dominierende physische Schicht für moderne Data Lakes.

Lektion 1 • Pipeline-Zuverlässigkeit und Überwachung

Lehrt Dead-Letter-Queues, Datenqualitätsprüfungen bei der Aufnahme und Pipeline-Beobachtbarkeit. Zuverlässige Pipelines verhindern stillen Datenverlust und nachgelagerte Korruption.

Lektion 2 • Grundlagen der Streaming-Aufnahme

Führt Konzepte des Event-Streamings, Message Broker und Exactly-Once-Semantik ein. Die Streaming-Aufnahme ermöglicht nahezu Echtzeitanalysen kontinuierlich eingehender Daten.

Lektion 3 • Überblick über die Aufnahmearchitektur

Ordnet Aufnahmemuster Quellentypen und Latenzanforderungen zu. Dieser Überblick gibt den Rahmen für die im gesamten Kapitel behandelten Entwurfsentscheidungen vor.

Lektion 4 • Aufnahme aus verschiedenen Quellentypen

Behandelt Datenbanken, APIs, Dateien, IoT-Geräte und SaaS-Plattformen als Aufnahmequellen. Jeder Quellentyp erfordert spezifische Konnektoren und Schema-Handhabungsstrategien.

Lektion 1 • Technische und geschäftliche Metadaten

Unterscheidet technische Metadaten (Schema, Lineage) von geschäftlichen Metadaten (Eigentümerschaft, Glossar). Beide Arten sind für effektive Datenentdeckung und Governance erforderlich.

Lektion 2 • Zonenbasierte Lake-Architektur

Führt Rohdaten-, bereinigte, kuratierte und Sandbox-Zonen mit klaren Promotionskriterien ein. Die Zonentrennung erzwingt Datenqualitätsgrenzen und Zugriffskontrolle.

Lektion 3 • Daten-Lineage-Verfolgung

Erklärt die Erfassung und Visualisierung von Lineage auf Spalten- und Datensatzebene. Lineage ermöglicht Auswirkungsanalysen und schafft Vertrauen der Verbraucher in Datenbestände.

Lektion 4 • Namenskonventionen und Ordnerstrukturen

Legt Standards für Bucket-Namen, Präfixe und Datensatzkennungen fest. Konsistente Benennung ermöglicht Automatisierung, Auffindbarkeit und Governance in großem Maßstab.

Lektion 1 • Zugriffskontrollmodelle für Data Lakes

Vergleicht rollenbasierte, attributbasierte und Zugriffskontrollmodelle auf Zeilen-/Spaltenebene. Die Wahl des richtigen Modells balanciert Sicherheit mit betrieblicher Flexibilität aus.

Lektion 2 • Datenmaskierung und Anonymisierung

Behandelt Techniken der statischen Maskierung, dynamischen Maskierung, Tokenisierung und Pseudonymisierung. Diese Methoden schützen sensible Daten, während sie den analytischen Nutzen bewahren.

Lektion 3 • Verschlüsselung ruhender und übertragener Daten

Erklärt serverseitige Verschlüsselung, clientseitige Verschlüsselung und TLS für Daten in Bewegung. Verschlüsselung ist die grundlegende Kontrolle zum Schutz von Lake-Daten vor unbefugtem Zugriff.

Lektion 4 • Audit-Logging und Compliance-Berichterstattung

Entwirft Audit-Log-Pipelines, Aufbewahrungsrichtlinien und Compliance-Dashboards. Prüfpfade belegen die Wirksamkeit der Kontrollen gegenüber internen und externen Prüfern.

Lektion 1 • Grundlagen der verteilten Verarbeitung

Führt verteilte Ausführungsmodelle, DAGs und Shuffle-Operationen ein. Das Verständnis dieser Mechanismen ist Voraussetzung für die Optimierung groß angelegter Transformations-Jobs.

Lektion 2 • Transformationsregeln für Datenqualität

Implementiert Validierung, Standardisierung, Deduplizierung und Anreicherung als Transformationsschritte. Die Einbettung von Qualitätsregeln in Pipelines verhindert, dass schlechte Daten die Verbraucher erreichen.

Lektion 3 • Pipeline-Performance-Optimierung

Wendet Caching, Partition Pruning, Predicate Pushdown und Job Tuning an, um die Laufzeit zu reduzieren. Optimierte Pipelines senken die Rechenkosten und erfüllen SLA-Anforderungen.

Lektion 4 • Muster für Streaming-Transformationen

Lehrt zustandsbehaftete Stream-Verarbeitung, Watermarks und die Handhabung verspätet eintreffender Daten. Streaming-Transformationen ermöglichen kontinuierliche Analysen von Echtzeit-Datenströmen.

Lektion 1 • Entwurf der Lakehouse-Architektur

Integriert offene Tabellenformate mit Abfrage-Engines, BI-Tools und ML-Plattformen in ein einheitliches Lakehouse. Diese Architektur macht in vielen Szenarien ein separates Data Warehouse überflüssig.

Lektion 2 • Apache Iceberg und Apache Hudi

Vergleicht Icebergs versteckte Partitionierung und Hudis Upserts auf Datensatzebene mit Delta Lake. Studierende wählen das richtige Format basierend auf Workload- und Ökosystemanforderungen aus.

Lektion 3 • Einschränkungen traditioneller Data Lakes

Identifiziert Lücken bei Konsistenz, Aktualisierungen und Time Travel in einfachen Objektspeicher-Lakes. Diese Einschränkungen motivieren die Einführung offener Tabellenformate.

Lektion 4 • Konzepte offener Tabellenformate

Erklärt Metadatenschichten, Transaktionslogs und Snapshot-Isolation, die allen offenen Formaten gemeinsam sind. Ein gemeinsames konzeptionelles Modell vereinfacht den Vergleich spezifischer Implementierungen.

Lektion 1 • Datenaufbewahrung und Lebenszyklus-Governance

Entwirft Aufbewahrungspläne, Lösch-Workflows und rechtliche Halteprozesse. Lebenszyklus-Governance reduziert Risiko und Speicherkosten, während sie regulatorische Verpflichtungen erfüllt.

Lektion 2 • Data Mesh und föderierte Eigentümerschaft

Wendet Data-Mesh-Prinzipien – Domain-Eigentum, Datenprodukte und föderierte Governance – auf große Lakes an. Föderierte Modelle skalieren Governance über die Kapazität eines zentralen Teams hinaus.

Lektion 3 • Fahrplanplanung und Reifegradbewertung

Verwendet Reifegradmodelle zur Bewertung der aktuellen Lake-Fähigkeiten und Priorisierung von Verbesserungsinitiativen. Ein strukturierter Fahrplan stimmt technische Investitionen mit der Geschäftsstrategie ab.

Lektion 4 • Kostenmanagement und FinOps für Data Lakes

Wendet Tagging, Showback, Chargeback und Right-Sizing zur Kontrolle der Lake-Ausgaben an. Kostentransparenz fördert Verantwortlichkeit und verhindert unkontrolliertes Speicher- und Rechenwachstum.