Formation data engineering

Leçon 1 • Le paysage de l'ingénierie des données

Définit le périmètre de l'ingénierie des données, en la distinguant de la science des données et de l'analyse. Établit le vocabulaire utilisé tout au long du cours.

Leçon 2 • Composants principaux de l'infrastructure de données

Présente les bases de données, les entrepôts de données, les lacs de données et les lakehouses comme des modèles d'infrastructure distincts. Prépare les étudiants à sélectionner les architectures de stockage appropriées.

Leçon 3 • Pipelines de données et concepts de workflow

Explique ce qu'est un pipeline de données, ses étapes et comment l'orchestration relie les étapes entre elles. Ancre les étudiants dans la réflexion sur les pipelines avant la mise en œuvre pratique.

Leçon 1 • Modélisation dimensionnelle pour l'analyse

Couvre les schémas en étoile et en flocon, les tables de faits et les tables de dimensions pour les charges de travail analytiques. Fait le lien entre la théorie relationnelle et la conception d'entrepôts dans les chapitres suivants.

Leçon 2 • Techniques SQL avancées

Enseigne les fonctions de fenêtrage, les CTE et les opérations ensemblistes pour les requêtes analytiques complexes. Permet aux étudiants de gérer des logiques de reporting et de transformation réalistes.

Leçon 3 • Performance et optimisation SQL

Examine les plans d'exécution des requêtes, les stratégies de partitionnement et d'indexation pour améliorer la vitesse des requêtes. Prépare les étudiants à écrire du SQL de niveau production à grande échelle.

Leçon 4 • Principes de modélisation des données relationnelles

Introduit les formes normales et la modélisation entité-relation pour les systèmes transactionnels. Fournit les bases de la conception de schémas nécessaires avant la modélisation analytique.

Leçon 1 • Notions fondamentales sur l'ingestion streaming

Introduit les concepts de streaming d'événements, les producteurs, les consommateurs et les sujets pour l'ingestion en temps réel. Pose les bases du chapitre sur le traitement streaming qui suit.

Leçon 2 • Techniques d'ingestion batch

Couvre les modèles de chargement complet, incrémental et de capture de données modifiées (CDC) pour l'extraction batch. Apprend aux étudiants à équilibrer l'exhaustivité avec le coût d'ingestion.

Leçon 3 • Ingestion de données depuis les API et le Web

Montre comment extraire des données d'API REST, gérer la pagination, l'authentification et les limites de débit. Se connecte à des scénarios réels d'intégration de données SaaS et tierces.

Leçon 4 • Comprendre les modèles de systèmes sources

Passe en revue les bases de données OLTP, les API, les flux d'événements et les fichiers plats comme sources de données courantes. Définit le contexte pour choisir la stratégie d'ingestion appropriée par type de source.

Leçon 1 • Architecture d'entrepôt de données en nuage

Examine la séparation du calcul et du stockage, les moteurs de requêtes MPP et la mise à l'échelle de la concurrence. Fournit le contexte architectural pour toutes les décisions de conception d'entrepôt.

Leçon 2 • Conception de lac de données et de stockage objet

Couvre la hiérarchie des dossiers, la sélection des formats de fichiers et l'élagage des partitions dans les environnements de stockage objet. Prépare les étudiants à gérer les zones brutes et organisées dans un lac de données.

Leçon 3 • Modèles de conception de schémas d'entrepôt

Applique la modélisation dimensionnelle du Chapitre 2 à la conception physique du schéma d'entrepôt avec partitionnement et clustering. Fait le lien entre la théorie et la mise en œuvre d'un entrepôt de production.

Leçon 4 • Formats de table et standards ouverts

Introduit les formats de table ouverts qui ajoutent des transactions ACID et l'évolution des schémas aux lacs de données. Permet aux étudiants de mettre en œuvre des modèles lakehouse sur le stockage objet en nuage.

Leçon 1 • Transformation de données avec Python

Introduit pandas et PySpark pour la transformation programmatique de grands ensembles de données. Élargit la boîte à outils des étudiants au-delà de SQL pour les transformations complexes ou non relationnelles.

Leçon 2 • Transformation avec des outils basés sur SQL

Enseigne la transformation SQL modulaire en utilisant des conventions de modélisation en couches telles que les couches de staging, intermédiaire et de marts. Relie les compétences SQL du Chapitre 2 aux workflows de production.

Leçon 3 • Nettoyage des données et contrôle qualité

Couvre la déduplication, la gestion des valeurs nulles, le transtypage et la validation des contraintes pendant la transformation. Améliore directement la fiabilité des sorties analytiques en aval.

Leçon 4 • Paradigmes ETL vs. ELT

Compare les architectures extract-transform-load et extract-load-transform ainsi que leurs compromis. Guide les étudiants dans le choix du paradigme approprié pour une plateforme donnée.

Leçon 1 • Construction et configuration de DAG

Couvre la création de DAG avec des opérateurs, des capteurs et des hooks pour les tâches de données courantes. Traduit les concepts d'orchestration en code de pipeline fonctionnel.

Leçon 2 • Concepts et modèles d'orchestration

Définit les DAG, les dépendances de tâches, les déclencheurs et les intervalles de planification comme primitives d'orchestration. Établit le modèle mental pour tout le travail pratique d'orchestration.

Leçon 3 • Supervision et observabilité des pipelines

Établit les stratégies de journalisation, de collecte de métriques et d'alertes pour les pipelines orchestrés. Prépare les étudiants à maintenir la santé des pipelines en production.

Leçon 4 • Gestion de la planification et des dépendances

Enseigne la planification basée sur cron, les dépendances entre DAG et les modèles de planification tenant compte des données. Permet aux étudiants de coordonner des workflows complexes multi-pipelines.

Leçon 1 • Opérations de traitement de flux

Enseigne le filtrage, le mappage, l'agrégation et la jointure sur des flux d'événements non bornés. Permet aux étudiants de mettre en œuvre une logique de transformation de base dans un contexte streaming.

Leçon 2 • Fondamentaux de l'architecture streaming

Contrast le streaming avec le traitement batch et introduit les modèles d'architecture Lambda et Kappa. Fournit le vocabulaire de conception pour tout le travail de mise en œuvre du streaming.

Leçon 3 • Intégration et sortie des pipelines streaming

Couvre l'envoi des flux traités vers des bases de données, des entrepôts et des sujets en aval. Relie les sorties streaming à la plateforme de données plus large construite dans les chapitres précédents.

Leçon 4 • Streaming avec état et tolérance aux pannes

Traite des magasins d'état, du checkpointing et des watermarks pour un traitement streaming fiable avec état. Garantit que les étudiants peuvent construire des pipelines streaming qui survivent aux pannes.

Leçon 1 • Conformité réglementaire et confidentialité des données

Traite de la résidence des données, des obligations de rétention, de la gestion du consentement et du droit à l'effacement. Prépare les étudiants à construire des plateformes qui répondent aux exigences de confidentialité et de conformité.

Leçon 2 • Catalogue de données et gestion des métadonnées

Couvre la découverte des données, le suivi de la lignée et la gestion du glossaire métier dans un catalogue de données. Permet aux équipes de trouver, comprendre et faire confiance aux actifs de données.

Leçon 3 • Contrôle d'accès et sécurité des données

Met en œuvre le contrôle d'accès basé sur les rôles, le masquage de colonnes et la sécurité au niveau des lignes sur les actifs de données. Protège les données sensibles tout en permettant un accès analytique approprié.

Leçon 4 • Contrats de données et attentes

Introduit les contrats de schéma, les attentes au niveau des colonnes et les contrôles qualité automatisés dans les pipelines. Empêche les mauvaises données de se propager aux consommateurs en aval.