Formation data engineer

Leçon 1 • Introduction aux modèles d'architecture de données

Passe en revue les styles architecturaux fondamentaux, notamment les entrepôts de données, les lacs de données et les lakehouses. Relie les choix architecturaux aux besoins métier et aux objectifs d'évolutivité.

Leçon 2 • Concepts clés et terminologie des données

Présente les types de données structurées, semi-structurées et non structurées ainsi que les principales abstractions de stockage. Assure un vocabulaire partagé avant de plonger dans l'architecture et les outils.

Leçon 3 • Aperçu du cycle de vie de l'ingénierie des données

Cartographie le parcours de bout en bout des données, de la source à la consommation. Fournit un modèle mental qui encadre chaque sujet technique abordé plus tard dans la formation.

Leçon 1 • SQL avancé pour l'ingénierie des données

Présente les fonctions de fenêtrage, les CTE et les opérations ensemblistes pour des transformations analytiques complexes. Prépare les apprenants à écrire du SQL de niveau production utilisé dans les pipelines et les couches de reporting.

Leçon 2 • Modélisation dimensionnelle pour l'analyse

Applique les modèles de schémas en étoile et en flocon de neige pour concevoir des modèles de données prêts pour l'analyse. Permet directement le travail sur l'entrepôt de données et la transformation couvert dans les chapitres suivants.

Leçon 3 • Techniques de requêtage SQL de base

Enseigne SELECT, le filtrage, l'agrégation et les jointures multi-tables pour la récupération de données. Ces compétences sous-tendent chaque charge de travail de transformation et d'analyse dans la formation.

Leçon 1 • L'essentiel de Python pour le travail sur les données

Passe en revue la syntaxe Python, les structures de données et le flux de contrôle pertinents pour les tâches de manipulation de données. Établit les bases de programmation nécessaires pour l'écriture de scripts de pipeline tout au long de la formation.

Leçon 2 • Gestion des fichiers et des formats de données

Enseigne la lecture et l'écriture de fichiers CSV, JSON, Parquet et Avro à l'aide de bibliothèques Python. Soutient directement les tâches d'ingestion et de sérialisation dans les chapitres sur le développement de pipelines.

Leçon 3 • Bonnes pratiques d'automatisation et de script

Présente la journalisation, la gestion de la configuration et le packaging pour des scripts Python prêts pour la production. Prépare les apprenants à écrire du code maintenable qui s'intègre dans des pipelines orchestrés.

Leçon 4 • Manipulation de données avec Pandas

Couvre les opérations sur les DataFrames, la fusion, le remodelage et le nettoyage à l'aide de la bibliothèque Pandas. Fournit la boîte à outils de transformation utilisée dans le traitement par lots et le travail exploratoire sur les données.

Leçon 1 • Extraction de données à partir de sources relationnelles

Couvre la capture de données modifiées (CDC), l'extraction basée sur des horodatages et les extractions basées sur des requêtes à partir de bases de données relationnelles. S'appuie sur les compétences SQL pour mettre en œuvre des stratégies d'extraction fiables et à faible impact.

Leçon 2 • Principes de conception de pipelines

Présente la modularité, l'idempotence, la gestion des erreurs et l'observabilité comme piliers de la conception de pipelines. Établit les normes d'ingénierie appliquées dans tous les chapitres suivants sur les pipelines.

Leçon 3 • Modèles d'ingestion et types de sources

Passe en revue les sources de données courantes, y compris les bases de données, les API, les fichiers et les flux d'événements. Encadre les décisions de conception d'ingestion qui déterminent les choix d'architecture de pipeline.

Leçon 4 • Ingestion à partir d'API et de sources de fichiers

Enseigne des approches structurées pour consommer des API REST, des sources FTP et des fichiers de stockage en nuage. Étend les compétences Python en API vers des modèles de pipeline d'ingestion de production.

Leçon 1 • Formats de table et normes de stockage ouvertes

Présente les formats de table ouverts qui permettent les transactions ACID et l'évolution du schéma sur le stockage d'objets. Prépare les apprenants aux implémentations lakehouse couvertes dans les chapitres avancés.

Leçon 2 • Architecture d'un entrepôt de données en nuage

Examine le stockage columnar, les moteurs de requête MPP et la séparation du calcul et du stockage. Relie les aspects internes de l'entrepôt aux décisions de performance des requêtes et d'optimisation des coûts.

Leçon 3 • Modélisation des données dans l'entrepôt

Applique les techniques de modélisation dimensionnelle et de data vault dans les environnements d'entrepôt en nuage. S'appuie sur les compétences en modélisation relationnelle pour produire des couches d'entrepôt prêtes pour l'analyse.

Leçon 4 • Fondamentaux du stockage d'objets en nuage

Explique les concepts de stockage d'objets, l'organisation des buckets, le partitionnement et le contrôle d'accès. Fournit la base de stockage sous-jacente aux architectures de lacs de données et de lakehouses.

Leçon 1 • Modèles dbt avancés

Couvre les macros, le templating Jinja, les packages et les stratégies incrémentielles pour des cas d'utilisation complexes. Étend les compétences de base en dbt pour gérer des besoins de transformation à grande échelle et dynamiques.

Leçon 2 • Tests et documentation dans dbt

Met en œuvre des tests de schéma, des tests personnalisés et de la documentation générée automatiquement dans les projets dbt. Applique les normes de qualité des données et de maintenabilité dans les pipelines de transformation.

Leçon 3 • Architecture de la couche de transformation

Définit les couches de transformation de staging, intermédiaire et de marts ainsi que leurs responsabilités. Établit le modèle de conception en couches qui structure tout le travail du projet dbt dans ce chapitre.

Leçon 1 • Surveillance et observabilité des pipelines

Établit des pratiques de journalisation, de métriques et de suivi de lignée pour la visibilité des pipelines orchestrés. Relie l'outillage d'observabilité aux thèmes de qualité des données et de gouvernance de la formation.

Leçon 2 • Alternatives modernes d'orchestration

Passe en revue Prefect, Dagster et l'orchestration pilotée par les événements comme alternatives à Airflow. Équipe les apprenants pour évaluer les outils d'orchestration en fonction des exigences du projet et des contraintes de l'équipe.

Leçon 3 • Stratégies de gestion des erreurs et de nouvelles tentatives

Met en œuvre les nouvelles tentatives, les SLA, l'alerting et les callbacks d'échec dans les flux de travail orchestrés. Garantit que les pipelines répondent aux normes de fiabilité requises dans les environnements de données de production.

Leçon 4 • Concepts et modèles d'orchestration

Présente la planification basée sur les DAG, la résolution des dépendances et la séparation de l'orchestration et de l'exécution. Encadre la couche d'orchestration qui relie l'ingestion, le stockage et la transformation.

Leçon 1 • Stockage et mise à disposition des données en streaming

Traite de l'écriture des sorties de streaming vers les lacs de données, les entrepôts et les magasins de mise à disposition en temps réel. Relie les pipelines de streaming aux couches de stockage et de consommation construites dans les chapitres précédents.

Leçon 2 • Fiabilité et mise à l'échelle des pipelines de streaming

Couvre la contrepression, le registre des schémas, les sujets de lettres mortes et la mise à l'échelle horizontale pour les systèmes de streaming. Garantit que les apprenants peuvent exploiter les pipelines de streaming de manière fiable à l'échelle de la production.

Leçon 3 • Traitement de flux avec Apache Flink

Enseigne le traitement de flux avec état, le fenêtrage et la gestion du temps d'événement avec Apache Flink. S'appuie sur les connaissances de Kafka pour mettre en œuvre une logique de transformation et d'agrégation en temps réel.

Leçon 4 • Fondamentaux du streaming et cas d'utilisation

Contraste le streaming avec le traitement par lots et identifie les cas d'utilisation où les données en temps réel sont nécessaires. Établit les bases conceptuelles pour toutes les décisions d'architecture et d'outillage de streaming.