Formation Ingénieur Big Data

Leçon 1 • Rôle et responsabilités du data engineer

Définit le périmètre du data engineer par rapport aux data scientists et analystes. Clarifie la propriété des pipelines, la fiabilité et la qualité des données.

Leçon 2 • Patterns d'architecture Big Data

Présente les architectures Lambda et Kappa et leurs compromis. Fournit le contexte structurel pour tous les designs de pipelines abordés plus tard.

Leçon 3 • Définir le Big Data et ses dimensions

Couvre le framework des 5 V et les moteurs de croissance des données réelles. Établit le vocabulaire utilisé tout au long du cours.

Leçon 1 • Concepts réseau pour data engineers

Explique TCP/IP, DNS, les ports et les pare-feu dans le contexte des systèmes distribués. Permet aux apprenants de résoudre les problèmes de connectivité dans les environnements cluster.

Leçon 2 • Fondamentaux de l'infrastructure Cloud

Présente les primitives de calcul, de stockage et de réseau chez les principaux fournisseurs de cloud. Les apprenants peuvent déployer et configurer des machines virtuelles et des buckets de stockage d'objets.

Leçon 3 • Conteneurisation avec Docker

Enseigne la construction et l'exécution de conteneurs pour des environnements de data engineering reproductibles. Les conteneurs sont utilisés dans les laboratoires à partir du chapitre suivant.

Leçon 1 • Architecture et fonctionnement interne de HDFS

Explique les rôles NameNode, DataNode, la réplication des blocs et la tolérance aux pannes. Fournit la base de stockage requise avant d'introduire les frameworks de traitement.

Leçon 2 • Formats de données pour le stockage distribué

Compare les formats lignes et colonnes incluant Avro, Parquet et ORC. Le choix du format impacte directement les performances des requêtes dans les chapitres de traitement ultérieurs.

Leçon 3 • Intégration du stockage d'objets cloud

Démontre l'utilisation du stockage d'objets cloud comme remplacement direct de HDFS. Prépare les apprenants aux architectures de pipelines cloud natives introduites plus tard.

Leçon 4 • Principes de conception du Data Lake

Présente l'architecture de data lake basée sur les zones : brutes, organisées et de consommation. Les apprenants conçoivent des dispositions de stockage qui soutiennent les pipelines d'analyse en aval.

Leçon 1 • Optimisation des performances Spark

Aborde le partitionnement, la mise en cache, la sérialisation et la gestion de la mémoire pour les jobs de production. Les apprenants réduisent considérablement les temps d'exécution des jobs et les coûts des ressources.

Leçon 2 • Architecture et modèle d'exécution Spark

Explique le driver, l'exécuteur, le planificateur DAG et l'exécution des tâches. Comprendre le fonctionnement interne est un prérequis pour écrire du code Spark efficace.

Leçon 3 • RDD, DataFrames et Datasets

Couvre les trois couches d'abstraction Spark et quand les utiliser. Part des opérations RDD de bas niveau pour aller vers les transformations DataFrame de haut niveau.

Leçon 4 • Spark SQL et manipulation de données

Enseigne les requêtes SQL, les fonctions de fenêtrage et les agrégations complexes sur les DataFrames. Permet aux analystes devenus ingénieurs d'exploiter leurs compétences SQL existantes dans Spark.

Leçon 1 • Ingestion par lots avec Apache Sqoop et alternatives

Couvre l'extraction en masse de bases de données relationnelles avec Sqoop et les alternatives modernes. Complète la boîte à outils d'ingestion pour les systèmes source en flux et par lots.

Leçon 2 • Production et consommation de messages

Couvre les paramètres d'accusé de réception du producteur, la gestion des décalages des consommateurs et la sémantique exactement-une-fois. Les apprenants écrivent des producteurs et des consommateurs fiables en Python et Java.

Leçon 3 • Techniques de capture de changement de données

Présente la CDC à l'aide des journaux de transaction de base de données pour capturer les modifications au niveau des lignes. Permet une synchronisation quasi en temps réel entre les bases de données opérationnelles et le data lake.

Leçon 4 • Architecture Apache Kafka

Explique les brokers, les topics, les partitions, les groupes de consommateurs et la réplication. Cette architecture sous-tend tous les pipelines de streaming construits dans les chapitres suivants.

Leçon 1 • Fiabilité et surveillance des pipelines de streaming

Aborde la contre-pression, le retard des consommateurs, la reprise après échec et les alertes pour les jobs de streaming. Garantit que les apprenants peuvent exploiter des pipelines de streaming en production.

Leçon 2 • Architecture et API Apache Flink

Couvre le JobManager, le TaskManager, l'API DataStream et l'API Table de Flink. Les apprenants écrivent des jobs de streaming avec état avec des garanties exactement-une-fois.

Leçon 3 • Fondamentaux du traitement de flux

Définit le temps d'événement, le temps de traitement, les watermarks et la sémantique de fenêtrage. Ces concepts sont un prérequis pour écrire des applications de streaming correctes.

Leçon 4 • Streaming structuré Spark

Enseigne les modes de traitement micro-batch et continu de Spark Structured Streaming. Exploite les compétences existantes en Spark DataFrame pour les charges de travail de streaming.

Leçon 1 • Plateformes de Data Warehouse Cloud

Compare les architectures de data warehouse MPP cloud et leurs modèles de séparation calcul-stockage. Les apprenants chargent, transforment et interrogent de grands ensembles de données à l'aide du SQL warehouse.

Leçon 2 • Formats Apache Iceberg et Hudi

Couvre le partitionnement caché d'Iceberg et les capacités d'insertion-mise à jour de Hudi comme alternatives à Delta Lake. Les apprenants sélectionnent le bon format de table ouvert pour leur cas d'utilisation.

Leçon 3 • Delta Lake et formats de table

Présente les transactions ACID, le voyage dans le temps et l'application du schéma dans Delta Lake. Fait le pont entre le stockage brut du data lake et la fiabilité de niveau warehouse.

Leçon 4 • Fondamentaux de la modélisation Data Warehouse

Couvre le schéma en étoile, le schéma en flocon de neige, les dimensions à évolution lente et la conception des tables de faits. Fournit le vocabulaire de modélisation utilisé dans les implémentations de warehouse et lakehouse.

Leçon 1 • Architecture Apache Airflow et DAG

Couvre le planificateur, l'exécuteur, la base de données de métadonnées et la création de DAG d'Airflow. Établit la base d'orchestration pour toute l'automatisation des pipelines dans ce chapitre.

Leçon 2 • CI/CD et Infrastructure en tant que Code pour pipelines

Applique les workflows Git, les tests automatisés et Terraform au déploiement des pipelines. Les apprenants livrent des changements en production de manière sûre et reproductible.

Leçon 3 • Patterns avancés de conception de DAG

Enseigne la génération dynamique de DAG, le branchement et les dépendances inter-DAG. Permet aux apprenants de construire des patterns d'orchestration flexibles et réutilisables.

Leçon 4 • Qualité des données et tests de pipelines

Implémente des contrôles de qualité des données avec Great Expectations et des tests dbt dans les pipelines. Empêche les mauvaises données de se propager aux consommateurs en aval.