Cours PySpark

Leçon 1 • Présentation de l'architecture Apache Spark

Explique le modèle driver-executor de Spark, les gestionnaires de cluster et le moteur d'exécution DAG. Fournit le modèle mental nécessaire aux étudiants pour raisonner sur le comportement des jobs PySpark.

Leçon 2 • Concepts et défis du Big Data

Couvre le volume, la vélocité et la variété comme moteurs des besoins de traitement distribué. Établit pourquoi les outils traditionnels échouent à grande échelle, motivant l'approche PySpark.

Leçon 3 • Bases de SparkSession et SparkContext

Présente SparkSession comme le point d'entrée unifié pour toutes les fonctionnalités de Spark. Les étudiants créent des sessions, définissent des configurations et comprennent la hiérarchie des contextes.

Leçon 4 • Configuration de l'environnement PySpark

Guide l'installation de Java, Python et PySpark en local et via des notebooks cloud. Les étudiants vérifient leur installation en exécutant un contexte Spark minimal.

Leçon 1 • Création de RDD à partir de diverses sources

Montre la parallélisation de collections Python et la lecture à partir de fichiers et de systèmes externes. Les étudiants s'exercent à créer des RDD avec un nombre de partitions contrôlé.

Leçon 2 • Actions et persistance des RDD

Explique comment les actions déclenchent l'exécution et comment la mise en cache évite les recalculs redondants. Les étudiants choisissent des niveaux de stockage appropriés pour les charges de travail itératives.

Leçon 3 • Transformations : map, filter et flatMap

Couvre les transformations paresseuses fondamentales qui remodèlent le contenu des RDD élément par élément. Les étudiants construisent des chaînes de transformations et inspectent le DAG résultant.

Leçon 4 • RDD clé-valeur et opérations sur les paires

Présente les RDD de paires et les opérations basées sur le shuffle comme groupByKey et reduceByKey. Les étudiants apprennent à minimiser les shuffles pour de meilleures performances.

Leçon 1 • Spark SQL : interrogation avec la syntaxe SQL

Enregistre les DataFrames en tant que vues temporaires et les interroge avec du SQL standard. Les étudiants combinent des appels SQL et à l'API DataFrame dans le même pipeline.

Leçon 2 • Agrégations et regroupement

Applique groupBy, agg et les fonctions de fenêtrage pour résumer les données à différentes granularités. Les étudiants produisent des métriques métier à partir de données d'événements brutes.

Leçon 3 • Création de DataFrames à partir de plusieurs sources

Couvre la lecture de sources CSV, JSON, Parquet et JDBC dans des DataFrames. Les étudiants configurent les options de lecture et gèrent gracieusement les enregistrements malformés.

Leçon 4 • Transformations DataFrame et opérations sur les colonnes

Enseigne la sélection, le filtrage, le renommage, le casting et la dérivation de colonnes à l'aide de l'API Column. Les étudiants construisent des pipelines de transformation réutilisables.

Leçon 1 • Types complexes : tableaux, maps et structures

Manipule des données imbriquées et semi-structurées à l'aide de explode, de fonctions de tableau et d'accès aux structures. Les étudiants aplatissent et remodèlent des colonnes de type JSON pour une analyse tabulaire.

Leçon 2 • Déduplication et validation des données

Supprime les enregistrements en double et applique des règles métier via des vérifications de type assertion. Les étudiants construisent des couches de validation qui révèlent rapidement les problèmes de qualité des données.

Leçon 3 • Manipulation de chaînes et expressions régulières

Utilise des fonctions de chaîne intégrées et des motifs regex pour nettoyer et standardiser les champs de texte. Les étudiants normalisent des formats incohérents tels que les numéros de téléphone et les catégories.

Leçon 4 • Traitement des dates et des timestamps

Analyse, formatage et calculs arithmétiques sur les dates à l'aide des fonctions de date de Spark. Les étudiants extraient des caractéristiques temporelles pour les analyses aval.

Leçon 1 • Modèles d'agrégation avancés

Applique un regroupement multi-niveaux, une agrégation conditionnelle et des fonctions approximatives à grande échelle. Les étudiants équilibrent précision et performance pour les charges de travail d'agrégation importantes.

Leçon 2 • Fonctions de fenêtrage : classement et ordre

Présente les spécifications de fenêtre et les fonctions de classement comme row_number, rank et dense_rank. Les étudiants attribuent des rangs ordonnés au sein des partitions pour des analyses de type classement.

Leçon 3 • Fonctions de fenêtrage : totaux cumulés et lag/lead

Calcule les sommes cumulées, les moyennes mobiles et les comparaisons de période à période à l'aide de limites de fenêtre. Les étudiants construisent des métriques de séries temporelles sans auto-jointure.

Leçon 4 • Types et stratégies de jointure

Couvre les jointures internes, gauches, droites, externes complètes, semi et anti avec des exemples pratiques. Les étudiants sélectionnent les types de jointure en fonction de la logique métier et de la cardinalité des données.

Leçon 1 • Écriture de DataFrames avec les modes de sauvegarde

Explique les modes de sauvegarde overwrite, append, ignore et error et leurs implications en production. Les étudiants implémentent des modèles d'écriture idempotents pour des pipelines fiables.

Leçon 2 • Connexion au stockage cloud et distribué

Configure PySpark pour lire et écrire vers le stockage objet et les systèmes de fichiers distribués. Les étudiants s'authentifient de manière sécurisée et paramètrent les paramètres d'E/S pour les environnements cloud.

Leçon 3 • Formats de fichiers : Parquet, ORC, Avro et Delta

Compare les formats columnar et row-based sur les performances de lecture, la compression et l'évolution du schéma. Les étudiants choisissent des formats en fonction des modèles d'accès à la charge de travail.

Leçon 4 • Stratégies de partitionnement et de bucketing

Applique le partitionnement à l'écriture et le bucketing pour réduire les coûts d'analyse sur les grands ensembles de données. Les étudiants conçoivent des schémas de partitionnement alignés sur les prédicats de requête courants.

Leçon 1 • Mise en cache et variables broadcast

Applique la mise en cache des DataFrames et les variables broadcast pour éliminer les calculs redondants et les transferts réseau. Les étudiants mesurent les taux de succès du cache et le comportement d'éviction.

Leçon 2 • Compréhension de l'optimiseur Catalyst

Trace comment Catalyst transforme les plans logiques en plans physiques optimisés via des passes basées sur des règles et sur le coût. Les étudiants lisent la sortie explain pour vérifier les optimisations.

Leçon 3 • Gestion de la mémoire et ramasse-miettes

Explique les régions de mémoire des exécuteurs, le stockage hors tas et l'impact du GC JVM sur les jobs Spark. Les étudiants ajustent les fractions mémoire pour réduire le spill et les pauses GC.

Leçon 4 • Partitionnement pour le parallélisme

Aligne le nombre de partitions sur les cœurs du cluster pour maximiser le parallélisme sans surcharge excessive. Les étudiants appliquent l'exécution de requêtes adaptative pour automatiser le dimensionnement des partitions.

Leçon 1 • Journalisation, surveillance et gestion des erreurs

Implémente la journalisation structurée, la gestion des exceptions et l'émission de métriques dans les jobs PySpark. Les étudiants construisent des pipelines observables qui révèlent les échecs et les régressions de performance.

Leçon 2 • Test du code PySpark

Applique les modèles de test unitaire et d'intégration à l'aide de pytest et de petits DataFrames en mémoire. Les étudiants construisent des suites de tests qui détectent les régressions avant le déploiement en production.

Leçon 3 • Orchestration de workflows avec Airflow

Planifie et surveille les jobs PySpark à l'aide d'une orchestration basée sur DAG avec gestion des dépendances. Les étudiants construisent un DAG de pipeline multi-étapes avec logique de relance et d'alerte.

Leçon 4 • Architecture des pipelines et patrons de conception

Présente l'architecture Medallion, la conception modulaire des pipelines et la séparation des couches d'ingestion, de transformation et de service. Les étudiants traduisent les exigences métier en étapes de pipeline.