Formation ingénieur Big Data

Leçon 1 • Rôle et responsabilités de l'ingénieur de données

Définit le champ d'application de l'ingénieur de données par rapport aux scientifiques et analystes de données. Clarifie la propriété des pipelines, la fiabilité et la qualité des données.

Leçon 2 • Modèles d'architecture Big Data

Présente les architectures Lambda et Kappa et leurs compromis. Fournit le contexte structurel pour toutes les conceptions de pipelines abordées plus loin.

Leçon 3 • Définir le Big Data et ses dimensions

Couvre le cadre des 5 V et les moteurs de croissance des données réelles. Établit le vocabulaire utilisé dans tout le cours.

Leçon 1 • Concepts de réseautique pour les ingénieurs de données

Explique TCP/IP, DNS, les ports et les pare-feux dans le contexte des systèmes distribués. Permet aux étudiants de résoudre les problèmes de connectivité dans les environnements de grappes.

Leçon 2 • Notions fondamentales de l'infrastructure infonuagique

Présente les primitives de calcul, de stockage et de réseautique chez les principaux fournisseurs de nuage. Les étudiants peuvent déployer et configurer des machines virtuelles et des compartiments de stockage d'objets.

Leçon 3 • Conteneurisation avec Docker

Enseigne la construction et l'exécution de conteneurs pour des environnements d'ingénierie des données reproductibles. Les conteneurs sont utilisés dans les laboratoires à partir du chapitre suivant.

Leçon 1 • Architecture et fonctionnement interne du HDFS

Explique les rôles de NameNode et DataNode, la réplication des blocs et la tolérance aux pannes. Fournit la base de stockage nécessaire avant d'introduire les frameworks de traitement.

Leçon 2 • Formats de données pour le stockage distribué

Compare les formats lignes et colonnes, notamment Avro, Parquet et ORC. Le choix du format a un impact direct sur les performances des requêtes dans les chapitres de traitement ultérieurs.

Leçon 3 • Intégration du stockage d'objets dans le nuage

Montre comment utiliser le stockage d'objets dans le nuage comme remplacement direct du HDFS. Prépare les étudiants aux architectures de pipelines natifs du nuage présentées plus loin.

Leçon 4 • Principes de conception d'un lac de données

Présente l'architecture de lac de données en zones : zones brutes, traitées et de consommation. Les étudiants conçoivent des agencements de stockage qui prennent en charge les pipelines d'analyse en aval.

Leçon 1 • Réglage des performances de Spark

Aborde le partitionnement, la mise en cache, la sérialisation et la gestion de la mémoire pour les tâches de production. Les étudiants réduisent considérablement les temps d'exécution des tâches et les coûts de ressources.

Leçon 2 • Architecture et modèle d'exécution de Spark

Explique le conducteur, l'exécuteur, le planificateur DAG et l'exécution des tâches. Comprendre le fonctionnement interne est un prérequis pour écrire du code Spark efficace.

Leçon 3 • RDD, DataFrames et Datasets

Couvre les trois couches d'abstraction de Spark et quand utiliser chacune. Passe des opérations RDD de bas niveau aux transformations DataFrame de haut niveau.

Leçon 4 • Spark SQL et manipulation de données

Enseigne les requêtes SQL, les fonctions de fenêtrage et les agrégations complexes sur les DataFrames. Permet aux analystes devenus ingénieurs d'exploiter leurs compétences SQL existantes dans Spark.

Leçon 1 • Ingestion par lots avec Apache Sqoop et alternatives

Couvre l'extraction en masse de bases de données relationnelles à l'aide de Sqoop et d'alternatives modernes. Complète la trousse à outils d'ingestion pour les systèmes sources en continu et par lots.

Leçon 2 • Production et consommation de messages

Couvre les paramètres d'accusé de réception du producteur, la gestion des décalages du consommateur et la sémantique exactement une fois. Les étudiants écrivent des producteurs et des consommateurs fiables en Python et en Java.

Leçon 3 • Techniques de capture de données de changement (CDC)

Présente la CDC à l'aide des journaux de transactions de base de données pour capturer les modifications au niveau des lignes. Permet une synchronisation quasi en temps réel entre les bases de données opérationnelles et le lac de données.

Leçon 4 • Architecture Apache Kafka

Explique les courtiers, les sujets, les partitions, les groupes de consommateurs et la réplication. Cette architecture sous-tend tous les pipelines de diffusion construits dans les chapitres suivants.

Leçon 1 • Fiabilité et surveillance des pipelines de diffusion en continu

Aborde la contre-pression, le retard du consommateur, la reprise après échec et les alertes pour les tâches de diffusion. Garantit que les étudiants peuvent exploiter les pipelines de diffusion en production.

Leçon 2 • Architecture et API d'Apache Flink

Couvre le JobManager, le TaskManager, l'API DataStream et l'API Table de Flink. Les étudiants écrivent des tâches de diffusion avec état garantissant la sémantique exactement une fois.

Leçon 3 • Notions fondamentales du traitement en continu

Définit le temps d'événement, le temps de traitement, les marques d'eau et la sémantique de fenêtrage. Ces concepts sont des prérequis pour écrire des applications de diffusion correctes.

Leçon 4 • Spark Structured Streaming

Enseigne les modes de micro-lots et de traitement continu de Spark Structured Streaming. Exploite les compétences existantes en DataFrame Spark pour les charges de travail de diffusion.

Leçon 1 • Plateformes d'entrepôt de données dans le nuage

Compare les architectures d'entrepôt de nuage MPP et leurs modèles de séparation stockage-calcul. Les étudiants chargent, transforment et interrogent de grands ensembles de données à l'aide du SQL d'entrepôt.

Leçon 2 • Formats Apache Iceberg et Hudi

Couvre le partitionnement caché d'Iceberg et les capacités d'upsert de Hudi comme alternatives à Delta Lake. Les étudiants sélectionnent le bon format de table ouvert pour leur cas d'utilisation.

Leçon 3 • Delta Lake et formats de table

Présente les transactions ACID, le voyage dans le temps et l'application du schéma dans Delta Lake. Fait le pont entre le stockage brut du lac de données et la fiabilité de type entrepôt.

Leçon 4 • Notions fondamentales de la modélisation d'entrepôt de données

Couvre le schéma en étoile, le schéma en flocon, les dimensions à changement lent et la conception des tables de faits. Fournit le vocabulaire de modélisation utilisé dans les implémentations d'entrepôt et de lakehouse.

Leçon 1 • Architecture Apache Airflow et DAG

Couvre le planificateur, l'exécuteur, la base de données de métadonnées et la création de DAG d'Airflow. Établit la base d'orchestration pour toute l'automatisation des pipelines dans ce chapitre.

Leçon 2 • CI/CD et infrastructure en tant que code pour les pipelines

Applique les workflows Git, les tests automatisés et Terraform au déploiement de pipelines. Les étudiants livrent des changements en production de manière sécurisée et reproductible.

Leçon 3 • Modèles de conception avancés de DAG

Enseigne la génération dynamique de DAG, le branchement et les dépendances entre DAG. Permet aux étudiants de construire des modèles d'orchestration flexibles et réutilisables.

Leçon 4 • Qualité des données et tests de pipelines

Implémente des vérifications de qualité des données à l'aide de Great Expectations et de tests dbt dans les pipelines. Empêche la propagation de données erronées aux consommateurs en aval.