Formation Cloud Data Engineer

Leçon 1 • Modèles de service cloud et types de déploiement

Couvre les distinctions entre IaaS, PaaS et SaaS ainsi que les déploiements publics, privés et hybrides. Ancre toutes les décisions ultérieures concernant les services de données cloud dans un contexte architectural.

Leçon 2 • Composants fondamentaux de l'infrastructure cloud

Présente les primitives de calcul, de stockage, de réseau et d'identité utilisées sur les principales plateformes cloud. Fournit le vocabulaire nécessaire pour concevoir et discuter de l'infrastructure de données.

Leçon 3 • Fondamentaux de la sécurité et de la conformité dans le cloud

Couvre le chiffrement au repos et en transit, la gestion des clés et les cadres de conformité réglementaire pour les données. Établit les bonnes pratiques de sécurité appliquées tout au long du cours.

Leçon 1 • Choisir le stockage adapté à chaque cas d'usage

Applique un cadre décisionnel pour faire correspondre les systèmes de stockage aux exigences de latence, de débit et de coût. Synthétise toutes les options de stockage pour fournir des conseils pratiques de sélection.

Leçon 2 • Options de store NoSQL et clé-valeur

Couvre les modèles de bases de données document, colonne large, clé-valeur et graphe disponibles en tant que services cloud. Guide la sélection en fonction des modèles d'accès et des exigences de cohérence.

Leçon 3 • Services de bases de données relationnelles cloud

Examine les offres de bases de données relationnelles managées, les configurations haute disponibilité et les réplicas en lecture. Relie les fondamentaux SQL aux modèles de déploiement managé dans le cloud.

Leçon 4 • L'entreposage de données en tant que service cloud

Présente le stockage columnar, l'architecture MPP, et le provisionnement et la mise à l'échelle des entrepôts de données cloud. Prépare les étudiants aux charges de travail de requêtes analytiques couvertes dans les chapitres suivants.

Leçon 1 • Modèles et outils d'ingestion par lots

Couvre les transferts de fichiers planifiés, l'ingestion par API en masse et les stratégies de chargement incrémental pour les pipelines par lots. Établit le modèle d'ingestion le plus courant avant d'introduire le streaming.

Leçon 2 • Techniques de capture de changements de données

Explique les méthodes CDC basées sur les journaux, les déclencheurs et les horodatages pour capturer les changements de base de données. Permet une réplication quasi en temps réel sans analyses complètes de table.

Leçon 3 • Fondamentaux de l'ingestion en continu

Présente les concepts de streaming d'événements, producteurs, consommateurs, topics et partitions pour le flux de données en temps réel. Fait le pont entre les connaissances d'ingestion par lots et le traitement continu des données.

Leçon 1 • Orchestration des flux de transformation

Applique des outils d'orchestration pour planifier, surveiller et versionner les tâches de transformation à grande échelle. Étend les fondamentaux de l'orchestration de pipelines aux flux de transformation complexes en plusieurs étapes.

Leçon 2 • Modélisation des données pour l'analyse

Présente le schéma en étoile, le schéma en flocon et la modélisation en data vault pour les charges de travail analytiques. Garantit que les sorties de transformation sont structurées pour une interrogation aval efficace.

Leçon 3 • Modèles de transformation basés sur SQL

Couvre les fonctions de fenêtre, les CTE, les modèles incrémentaux et l'optimisation des requêtes pour les transformations SQL à grande échelle. Relie les compétences SQL aux moteurs de requête d'entrepôt de données cloud et de lacs de données.

Leçon 4 • Traitement distribué par lots avec Spark

Enseigne les API RDD et DataFrame, le partitionnement, le brassage et l'optimisation des jobs dans Apache Spark. Établit le moteur de traitement distribué principal utilisé tout au long du cours.

Leçon 1 • Fenêtrage et sémantique temporelle

Couvre les fenêtres basculantes, glissantes et de session ainsi que le temps d'événement, le temps de traitement et les jalons d'eau. Permet des agrégations précises sur des flux d'événements désordonnés et arrivant tardivement.

Leçon 2 • Modèles de conception de pipelines de streaming

Applique les architectures lambda, kappa et streaming-first à des scénarios concrets d'ingénierie des données. Relie la connaissance des frameworks aux décisions de conception de pipelines de bout en bout.

Leçon 3 • Traitement de flux avec état

Explique l'état clé, l'état d'opérateur, le point de contrôle et les backends d'état pour les jobs de streaming tolérants aux pannes. Permet la détection d'événements complexes et les agrégations en cours sur des flux non bornés.

Leçon 1 • Contrats de données et gestion des schémas

Définit les contrats de données entre producteurs et consommateurs et couvre l'utilisation du registre de schémas et leur évolution. Empêche la propagation de modifications cassantes à travers les systèmes de données dépendants.

Leçon 2 • Cadres de validation de la qualité des données

Couvre la validation du schéma, les contrôles de nullité, l'intégrité référentielle et le profilage statistique pour la qualité des données. Intègre des contrôles de qualité directement dans les pipelines d'ingestion et de transformation.

Leçon 3 • Lignée des données et catalogage

Explique la traçabilité au niveau des colonnes, le catalogage des métadonnées et les outils de découverte des données pour la conformité de la gouvernance. Permet aux équipes de retracer les origines des données et de comprendre l'impact aval des modifications.

Leçon 4 • Observabilité et surveillance des pipelines

Présente les métriques, les journaux, les traces et le suivi des SLA pour la surveillance de l'état de santé des pipelines de bout en bout. Fournit la visibilité opérationnelle nécessaire pour maintenir les systèmes de données de production de manière fiable.

Leçon 1 • Conception pour les environnements multi-cloud et hybrides

Couvre la portabilité des données, la mise en réseau inter-cloud et les outils indépendants des fournisseurs pour les plateformes de données multi-cloud. Prépare les étudiants à concevoir des plateformes qui évitent l'enfermement propriétaire.

Leçon 2 • Modèles d'évolutivité et de fiabilité

Aborde la mise à l'échelle horizontale, la tolérance aux pannes, l'idempotence et la reprise après sinistre pour les composants de la plateforme de données. Garantit que les conceptions de plateforme répondent aux exigences de fiabilité et de disponibilité de la production.

Leçon 3 • Stratégies d'optimisation des coûts de la plateforme

Applique le dimensionnement adapté, l'utilisation spot, le nivellement du stockage et les contrôles de coûts des requêtes pour réduire les dépenses de la plateforme. Relie les décisions architecturales directement à des résultats de coûts mesurables.

Leçon 4 • Architectures de référence modernes pour plateformes de données

Examine les architectures medallion, data mesh et lakehouse comme plans directeurs pour les plateformes de données cloud. Fournit le vocabulaire architectural et les modèles pour les exercices de conception qui suivent.

Leçon 1 • Planification de capacité et gestion des performances

Applique les tests de charge, la prévision des ressources et l'analyse comparative des performances aux décisions de capacité de la plateforme de données. Garantit que les plateformes évoluent de manière proactive plutôt que réactive face à des volumes de données croissants.

Leçon 2 • Culture DataOps et amélioration continue

Présente les principes DataOps, les boucles de rétroaction, le versionnage des pipelines et les pratiques de collaboration d'équipe. Intègre un état d'esprit d'amélioration continue dans les opérations quotidiennes d'ingénierie des données.

Leçon 3 • Gestion des environnements et configuration

Couvre la parité des environnements de développement, de recette et de production, la gestion des secrets et les configurations spécifiques à l'environnement. Empêche la dérive de configuration et l'exposition des identifiants entre les environnements de déploiement.

Leçon 4 • Pipelines CI/CD pour l'ingénierie des données

Construit des flux de travail automatisés de test, d'analyse statique, de déploiement et de retour arrière pour le code des pipelines de données. Applique les pratiques de livraison du génie logiciel au cycle de vie de l'ingénierie des données.