Formation Data Engineering avec Databricks

Leçon 1 • Configuration et Gestion des Clusters

Enseigne la création de clusters, le dimensionnement, l'autoscaling et les politiques de terminaison. Les participants obtiennent le contrôle des coûts de calcul et des performances dès le départ.

Leçon 2 • Présentation de l'Architecture Databricks

Couvre le plan de contrôle, le plan de données et l'architecture des clusters qui sous-tendent Databricks. Ancre toute l'utilisation ultérieure de la plateforme dans un modèle mental clair.

Leçon 3 • Navigation et Configuration dans l'Espace de Travail

Présente l'interface utilisateur Databricks, la structure des dossiers et les paramètres utilisateur. Permet aux participants d'organiser des projets et de gérer efficacement leurs environnements personnels.

Leçon 4 • Fondamentaux de la CLI et de l'API REST Databricks

Présente l'accès programmatique à la plateforme via la CLI et l'API REST. Prépare les participants aux tâches d'automatisation couvertes dans les chapitres suivants.

Leçon 1 • Transformations et Actions

Distingue les transformations étroites des transformations larges et explique les déclencheurs d'action. Les participants apprennent à raisonner sur les coûts de shuffle et les limites d'exécution.

Leçon 2 • Modèle d'Exécution Distribuée de Spark

Explique les RDD, les DAG, les étages et les tâches au sein du moteur d'exécution de Spark. Fournit la base conceptuelle pour écrire du code distribué efficace.

Leçon 3 • Fondamentaux de l'API DataFrame

Couvre la création de DataFrames, l'inférence de schéma et les transformations fondamentales. Les participants appliquent ces opérations comme interface principale de manipulation de données.

Leçon 4 • Fondamentaux des Performances Spark

Présente l'interface utilisateur Spark, les plans d'exécution et les leviers de réglage de base. Équipe les participants pour diagnostiquer et traiter les goulots d'étranglement de performance courants.

Leçon 1 • Format de Stockage Delta Lake

Explique les fichiers Parquet, le journal des transactions et les fichiers de point de contrôle qui forment Delta Lake. Les participants comprennent pourquoi Delta offre une fiabilité par rapport aux formats de fichiers bruts.

Leçon 2 • Création et Gestion des Tables Delta

Couvre le DDL pour créer, modifier et supprimer des tables Delta. Établit les compétences de gestion de tables requises pour tout le travail de pipeline à venir.

Leçon 3 • Transactions ACID et Concurrence

Enseigne le contrôle de concurrence optimiste, les niveaux d'isolation et la résolution de conflits dans Delta. Les participants peuvent concevoir des pipelines qui gèrent en toute sécurité les écritures concurrentes.

Leçon 4 • Techniques d'Optimisation Delta Lake

Couvre OPTIMIZE, le Z-ordering et la compaction de fichiers pour améliorer les performances des requêtes. Les participants appliquent ces techniques à des tables Delta de qualité production.

Leçon 1 • Modèles de Conception ELT

Présente l'architecture médaillon et les stratégies de chargement incrémental pour l'ELT structuré. Les participants conçoivent des pipelines multi-sauts qui séparent les couches brutes, nettoyées et organisées.

Leçon 2 • Ingestion par Lots à partir de Sources Courantes

Enseigne la lecture à partir du stockage objet dans le cloud, des bases de données JDBC et des formats de fichiers. Fournit la base d'ingestion pour tous les modèles de pipeline de ce chapitre.

Leçon 3 • Application de la Qualité des Données à l'Ingestion

Enseigne la validation basée sur des contraintes, les modèles de quarantaine et les frameworks d'attentes. Assure que la qualité des données est appliquée avant que les données n'atteignent les consommateurs en aval.

Leçon 4 • Fondamentaux du Structured Streaming

Couvre les DataFrames en continu, les déclencheurs et les modes de sortie pour le traitement continu des données. Relie les concepts de streaming au sink Delta Lake utilisé en production.

Leçon 1 • Configuration et Déploiement du Pipeline

Enseigne les paramètres de pipeline, les politiques de cluster et le déploiement via l'interface utilisateur et l'API. Les participants configurent des pipelines prêts pour la production avec des paramètres de calcul et de stockage appropriés.

Leçon 2 • Surveillance et Dépannage des DLT

Explore le journal des événements, les métriques de l'interface utilisateur du pipeline et les modèles d'échec courants. Les participants diagnostiquent et résolvent les problèmes de pipeline à l'aide d'outils d'observabilité intégrés.

Leçon 3 • Qualité des Données avec les Attentes

Couvre les contraintes EXPECT, EXPECT OR DROP et EXPECT OR FAIL dans DLT. Les participants intègrent des règles de qualité directement dans les définitions de pipeline pour une application automatisée.

Leçon 4 • Orchestration des Pipelines avec les Workflows Databricks

Intègre les pipelines DLT dans les Workflows Databricks multi-tâches avec des dépendances et une planification. Les participants construisent des produits de données orchestrés de bout en bout.

Leçon 1 • Gestion des Identités et des Accès

Couvre les utilisateurs, les groupes, les principaux de service et les octrois de privilèges dans Unity Catalog. Les participants implémentent des modèles d'accès au moindre privilège pour les actifs de données.

Leçon 2 • Architecture Unity Catalog

Explique la hiérarchie metastore, catalogue, schéma et table dans Unity Catalog. Fournit la compréhension structurelle nécessaire pour concevoir des espaces de noms gouvernés.

Leçon 3 • Partage de Données avec Delta Sharing

Présente le protocole ouvert Delta Sharing pour le partage de données multiplateforme et inter-organisationnel. Les participants publient et consomment des ensembles de données partagés en toute sécurité.

Leçon 4 • Audit et Conformité

Enseigne l'accès au journal d'audit, l'historique des requêtes et les modèles de reporting de conformité. Les participants configurent la surveillance pour répondre aux exigences d'audit de l'entreprise.

Leçon 1 • Optimisation Basée sur les Coûts et Statistiques

Couvre ANALYZE TABLE, les statistiques de colonnes et le réordonnancement de jointure de l'optimiseur basé sur les coûts. Les participants collectent et exploitent les statistiques pour améliorer la qualité des plans.

Leçon 2 • Gestion de la Mémoire et Spill

Couvre les régions mémoire de Spark, le dimensionnement des exécuteurs et la détection et l'atténuation du spill. Les participants configurent les paramètres mémoire pour éliminer le spill coûteux sur disque.

Leçon 3 • Moteur Photon et Exécution Vectorisée

Présente le moteur Databricks Photon et ses avantages d'exécution vectorisée. Les participants identifient les charges de travail qui bénéficient le plus de Photon et l'activent de manière appropriée.

Leçon 4 • Stratégies de Partitionnement et de Shuffle

Enseigne les nombres de partitions optimaux, le repartition vs. coalesce et le réglage du shuffle. Les participants éliminent le déséquilibre des données et réduisent la surcharge de shuffle dans les pipelines complexes.

Leçon 1 • Gestion des Coûts et FinOps

Couvre l'analyse de la consommation DBU, le dimensionnement correct des clusters et les stratégies d'instances spot. Les participants réduisent les coûts de calcul sans sacrifier la fiabilité des pipelines.

Leçon 2 • CI/CD pour les Projets Databricks

Enseigne les Databricks Asset Bundles, l'automatisation du déploiement et la promotion d'environnement. Les participants implémentent un pipeline CI/CD complet du développement à la production.

Leçon 3 • Renforcement de la Sécurité et Bonnes Pratiques

Enseigne l'isolation réseau, la gestion des secrets et la gestion sécurisée des identifiants. Les participants appliquent des principes de défense en profondeur pour protéger les actifs de données en production.

Leçon 4 • Test des Pipelines de Données

Couvre les tests unitaires avec pytest, les stratégies de tests d'intégration et la gestion des données de test. Les participants construisent une suite de tests qui valide la logique du pipeline avant le déploiement.