Cloud Computing und Big Data Kurs

Lektion 1 • Cloud-Computing-Konzepte und Geschichte

Zeichnet die Entwicklung der Cloud von Mainframes bis zu modernen Hyperscalern nach und definiert die wesentliche Terminologie. Bietet die konzeptionelle Grundlage für alle nachfolgenden Cloud-Themen.

Lektion 2 • Cloud-Servicemodelle im Detail

Unterscheidet IaaS, PaaS und SaaS durch funktionale Vergleiche und Beispiele aus der Praxis. Befähigt Studierende, Arbeitslasten der richtigen Serviceebene zuzuordnen.

Lektion 3 • Cloud-Deployment-Modelle

Untersucht Public, Private, Hybrid- und Multi-Cloud-Architekturen mit einer Abwägungsanalyse. Verbindet die Deployment-Wahl mit organisatorischen Compliance- und Kostenzielen.

Lektion 1 • Cloud-Speicherdienste

Behandelt Objekt-, Block- und Dateispeichertypen mit Abwägungen bezüglich Haltbarkeit und Zugriffsmustern. Bereitet Studierende darauf vor, Speicherstufen für verschiedene Anwendungsanforderungen auszuwählen.

Lektion 2 • Identitäts- und Zugriffsverwaltung

Vermittelt rollenbasierte Zugriffskontrolle, Richtlinien und das Prinzip der minimalen Rechte für Cloud-Umgebungen. Etabliert die erforderliche Sicherheitshygiene, bevor eine Produktionsarbeitslast bereitgestellt wird.

Lektion 3 • Compute-Dienste und virtuelle Maschinen

Stellt virtuelle Maschinen, Instanztypen und Auto-Scaling-Gruppen als grundlegende Compute-Primitive vor. Wendet das Wissen über Cloud-Servicemodelle direkt auf die Infrastrukturbereitstellung an.

Lektion 4 • Verwaltete Datenbankdienste

Untersucht verwaltete relationale und NoSQL-Datenbankangebote, einschließlich Bereitstellungs- und Backup-Strategien. Verbindet Speicherwissen mit zustandsbehafteter Anwendungsarchitektur.

Lektion 1 • Batch- und Stream-Verarbeitungsmodelle

Stellt die Batch-Verarbeitung der Echtzeit-Stream-Verarbeitung unter Verwendung der Lambda- und Kappa-Architekturen gegenüber. Bereitet Studierende darauf vor, Pipelines zu entwerfen, die den Anforderungen an Latenz und Durchsatz entsprechen.

Lektion 2 • Einführung in das Hadoop-Ökosystem

Erklärt HDFS, MapReduce, YARN und wichtige Ökosystem-Tools als Grundlage der verteilten Batch-Verarbeitung. Bietet historischen und technischen Kontext für moderne Big-Data-Frameworks.

Lektion 3 • Big-Data-Speicherarchitekturen

Behandelt verteilte Dateisysteme, Data Lakes und Data Warehouses als komplementäre Speicherparadigmen. Überbrückt Cloud-Speicherwissen mit den Anforderungen an die Erfassung und Aufbewahrung von Big Data.

Lektion 4 • Entwurfsprinzipien für Big-Data-Pipelines

Stellt Erfassungs-, Transformations-, Speicher- und Bereitstellungsebenen als einheitliches Pipeline-Framework vor. Gibt Studierenden eine Designvorlage, die in den verbleibenden Big-Data-Kapiteln angewendet wird.

Lektion 1 • Data-Warehouse-Ladestrategien

Behandelt dimensionale Modellierung, langsam veränderliche Dimensionen und Bulk-Load-Muster für analytische Speicher. Verbindet Erfassungspipelines mit abfrageoptimierten Warehouse-Strukturen.

Lektion 2 • Echtzeit-Daten-Streaming-Erfassung

Vermittelt Message Queues, Event-Streaming-Plattformen und Producer-Consumer-Muster für Echtzeitdaten. Erweitert das Wissen über die Batch-Erfassung auf Szenarien mit geringer Latenz und hohem Durchsatz.

Lektion 3 • Batch-Erfassungstechniken

Behandelt ETL-Workflows, dateibasierte Erfassung und geplante Datentransfers für große Datensätze. Wendet Pipeline-Entwurfsprinzipien auf strukturierte und semi-strukturierte Datenquellen an.

Lektion 4 • Datenqualität und -validierung

Stellt Datenprofilierung, Schema-Validierung und Anomalieerkennung als Qualitätstore für die Erfassung vor. Stellt sicher, dass nachgelagerte Analysen und ML-Modelle vertrauenswürdige Daten erhalten.

Lektion 1 • Leistungsoptimierung von Spark

Behandelt Partitionierung, Caching, Broadcast Joins und Serialisierung als wichtige Spark-Optimierungshebel. Überführt theoretisches Spark-Wissen in produktionsreife Job-Effizienz.

Lektion 2 • Spark Streaming und Structured Streaming

Behandelt Mikro-Batch- und Continuous-Processing-Modelle für Echtzeitdaten mit Structured Streaming. Erweitert Batch-Spark-Fähigkeiten auf Streaming-Pipelines mit geringer Latenz.

Lektion 3 • Spark-Architektur und Kernkonzepte

Erklärt den Treiber, Executor, DAG-Scheduler und das RDD-Modell als Spark's Ausführungsgrundlage. Baut das mentale Modell auf, das zum effektiven Schreiben und Debuggen von Spark-Anwendungen erforderlich ist.

Lektion 4 • Ausführen von Spark auf Cloud-Plattformen

Demonstriert die Bereitstellung verwalteter Spark-Cluster, die automatische Skalierung und die Kostenkontrolle bei Cloud-Diensten. Verbindet Spark-Fähigkeiten mit realen Cloud-Deployment- und Betriebspraktiken.

Lektion 1 • Serverlose und ereignisgesteuerte Pipelines

Behandelt Function-as-a-Service-Trigger, Event-Busse und cloudnative Workflow-Dienste für leichte Pipelines. Ergänzt Airflow um Overhead-arme, ereignisgesteuerte Automatisierungsmuster.

Lektion 2 • Pipeline-Überwachung und Observability

Behandelt Logging, Metriken, Alarmierung und Herkunftsverfolgung für die betriebliche Transparenz von Pipelines. Ermöglicht Teams, Pipeline-Ausfälle schnell zu erkennen, zu diagnostizieren und zu beheben.

Lektion 3 • Grundlagen der Pipeline-Orchestrierung

Stellt DAG-basierte Workflow-Orchestrierung, Aufgabenabhängigkeiten und Planungskonzepte vor. Bietet die architektonische Grundlage für die Automatisierung mehrstufiger Datenpipelines.

Lektion 4 • Erstellen von Pipelines mit Apache Airflow

Vermittelt das Verfassen von DAGs, Operatoren, Hooks und XComs für komplexe Airflow-Workflows. Wendet Orchestrierungskonzepte auf eine weit verbreitete Open-Source-Plattform an.

Lektion 1 • Prinzipien der Datenvisualisierung

Stellt Diagrammauswahl, visuelle Kodierung und Storytelling-Prinzipien für die analytische Kommunikation vor. Stellt sicher, dass Visualisierungen Daten genau darstellen und fundierte Entscheidungen ermöglichen.

Lektion 2 • Optimierung analytischer Abfragen

Vermittelt Abfrageplanung, Indizierung, materialisierte Sichten und kostenbasierte Optimierung für große analytische Datensätze. Baut auf Warehouse-Ladewissen auf, um die Abfrageleistung zu maximieren.

Lektion 3 • Echtzeitanalysen und Streaming-Dashboards

Erweitert Batch-Analysen auf Echtzeitanwendungsfälle unter Verwendung von Streaming-Aggregationen und Live-Dashboards. Verbindet Spark-Streaming- und Pipeline-Wissen mit operativen Analyseszenarien.

Lektion 4 • Explorative Datenanalyse im großen Maßstab

Behandelt statistische Zusammenfassungen, Verteilungsanalyse und Korrelationstechniken, die auf große Datensätze angewendet werden. Überbrückt die rohe Datenerfassung mit hypothesengesteuerten analytischen Untersuchungen.

Lektion 1 • ML-Workflow- und MLOps-Grundlagen

Bildet den gesamten ML-Lebenszyklus von der Datenvorbereitung bis zum Modell-Serving und Monitoring ab. Etabliert den operativen Rahmen für alle nachfolgenden ML-Implementierungsthemen.

Lektion 2 • Feature Stores und Datenpipelines für ML

Stellt Feature Stores als Brücke zwischen Datenpipelines und ML-Training und -Serving vor. Stellt konsistente, wiederverwendbare Features über Training und Produktionsinferenz hinweg sicher.

Lektion 3 • Modell-Deployment und Serving

Vermittelt Batch-Inferenz, Echtzeit-REST-Endpunkte und Edge-Deployment-Muster für ML-Modelle. Verbindet trainierte Modelle mit Produktionssystemen, die geschäftlichen Mehrwert liefern.

Lektion 4 • Verteiltes Modell-Training

Behandelt Datenparallelität, Modellparallelität und verteilte Trainingsframeworks für groß angelegtes ML. Wendet Spark- und Cloud-Compute-Wissen an, um das Modelltraining auf Big Data zu beschleunigen.