Formation Analytics Engineering

Leçon 1 • Aperçu de la pile de données moderne

Cartographie les catégories d'outils qui composent une plateforme de données contemporaine. Fournit le vocabulaire utilisé tout au long du cours.

Leçon 2 • Bases du contrôle de version pour les équipes de données

Couvre les workflows Git adaptés aux bases de code analytiques. Relie le contrôle de source à un travail de données collaboratif et reproductible.

Leçon 3 • Révision SQL pour l'analytique

Passe en revue les constructions SQL les plus critiques pour les transformations analytiques. Assure une base de référence commune avant l'introduction de modèles de requêtes avancés.

Leçon 4 • Fondamentaux de la modélisation des données

Introduit les concepts relationnels et les paradigmes de modélisation utilisés pour structurer les données analytiques. Ancre les étudiants dans la théorie avant le travail pratique de transformation.

Leçon 1 • SQL avancé pour les entrepôts

Étend les compétences SQL aux fonctions spécifiques à l'entrepôt et aux modèles de performance. Développe la fluidité d'écriture de requêtes nécessaire pour les transformations complexes.

Leçon 2 • Chargement et préparation des données

Couvre le chargement en masse, les formats de fichier et les modèles de zone de préparation pour l'ingestion de données brutes. Relie l'ingestion au workflow de transformation.

Leçon 3 • Contrôle d'accès et bases de la gouvernance des données

Introduit le contrôle d'accès basé sur les rôles, le masquage des données et les permissions au niveau du schéma. Établit des habitudes de gouvernance avant la construction des pipelines de production.

Leçon 4 • Architecture de l'entrepôt cloud

Explique la séparation calcul-stockage, les entrepôts virtuels et les modèles d'exécution des requêtes. Fournit le contexte architectural nécessaire pour écrire du SQL efficace.

Leçon 1 • Documentation et DAG dbt

Enseigne les descriptions de modèles, la documentation au niveau des colonnes et la visualisation du DAG. Produit des pipelines auto-documentés qui soutiennent la collaboration en équipe.

Leçon 2 • Modèles incrémentaux et performance

Plongée approfondie dans les stratégies incrémentales pour les grandes tables. Équilibre la fraîcheur, le coût et la justesse dans les pipelines de production.

Leçon 3 • Construction de modèles et matérialisations

Couvre les fichiers de modèles SQL, la fonction ref() et les types de matérialisation. Enseigne comment dbt compile et exécute la logique de transformation.

Leçon 4 • Macros, packages et Jinja

Étend dbt avec des macros Jinja réutilisables et des packages communautaires. Réduit la duplication de code et accélère le développement de projets.

Leçon 5 • Structure et configuration du projet dbt

Parcourt l'initialisation du projet, la disposition des répertoires et la configuration du profil. Établit l'échafaudage du projet utilisé dans tout le travail dbt ultérieur.

Leçon 1 • Modèles de réutilisabilité et de modularité

Enseigne les principes DRY appliqués aux modèles de données via des macros et des couches de préparation partagées. Réduit la charge de maintenance dans les projets en croissance.

Leçon 2 • Gestion des relations de données complexes

Aborde les relations plusieurs-à-plusieurs, les tables ponts et les hiérarchies. Équipe les étudiants pour modéliser avec précision la complexité métier réelle.

Leçon 3 • Modélisation dimensionnelle en pratique

Applique la conception de schéma en étoile à des cas d'usage analytiques réels. Traduit la théorie du Chapitre 1 en modèles dbt prêts pour la production.

Leçon 4 • Une grande table vs. magasins normalisés

Compare les tables larges dénormalisées avec les structures de magasins normalisées. Guide les étudiants dans le choix du bon modèle pour chaque cas d'usage.

Leçon 1 • Alertes, surveillance et correction

Construit des pipelines d'alerte et des workflows de réponse aux incidents pour les défaillances de qualité des données. Boucle la boucle entre la détection et la résolution.

Leçon 2 • Great Expectations et frameworks personnalisés

Applique un framework dédié à la qualité des données en complément des tests dbt. Fournit des capacités de validation plus riches pour les exigences de qualité complexes.

Leçon 3 • Tests statistiques et de distribution

Introduit les contrôles de volume, la surveillance de la distribution et la détection d'anomalies pour les données numériques. Capte les dérives subtiles de données que les tests structurels manquent.

Leçon 4 • Dimensions de la qualité des données

Définit l'exhaustivité, l'exactitude, la cohérence, l'actualité et l'unicité comme des dimensions de qualité mesurables. Cadre la stratégie de test pour l'ensemble du chapitre.

Leçon 1 • Construction de workflows avec Airflow

Couvre la création de DAG Airflow, les opérateurs et les connexions. Traduit les concepts d'orchestration en code de pipeline fonctionnel.

Leçon 2 • Surveillance et observabilité des pipelines

Introduit les métadonnées de pipeline, l'historique des exécutions et les intégrations de surveillance externe. Fournit une visibilité sur la santé des pipelines à grande échelle.

Leçon 3 • Planification et gestion des dépendances

Enseigne les expressions cron, la planification tenant compte des données et les dépendances entre DAG. Garantit que les pipelines s'exécutent dans le bon ordre avec le bon timing.

Leçon 4 • Concepts et outils d'orchestration

Introduit l'orchestration basée sur les DAG, les dépendances entre tâches et le paysage des orchestrateurs. Fournit une base conceptuelle avant le travail pratique avec les outils.

Leçon 1 • Gestion des coûts en production

Applique les contrôles de coûts d'entrepôt, les budgets de requêtes et le marquage des ressources aux pipelines de production. Équilibre la performance avec le coût opérationnel.

Leçon 2 • Réponse aux incidents pour les pipelines de données

Établit des runbooks, des pratiques d'astreinte et des processus de post-mortem pour les incidents de données. Réduit le temps moyen de récupération pour les défaillances de production.

Leçon 3 • Gestion des secrets et de la configuration

Couvre le stockage sécurisé des identifiants, les variables d'environnement et les gestionnaires de secrets. Empêche l'exposition des identifiants dans les bases de code analytiques.

Leçon 4 • CI/CD pour les pipelines de données

Implémente les pipelines de test et de déploiement automatisés pour les projets dbt. Apporte la discipline du génie logiciel aux workflows de transformation de données.

Leçon 1 • Modélisation des dimensions et des entités

Conçoit les relations entre entités et les hiérarchies de dimensions au sein de la couche sémantique. Permet un découpage et un filtrage cohérents sur toutes les métriques.

Leçon 2 • Le concept de couche de métriques

Explique pourquoi une couche de métriques centralisée élimine l'incohérence des métriques entre les outils. Motive le travail de modélisation sémantique qui suit.

Leçon 3 • Définition des métriques avec la couche sémantique dbt

Couvre la syntaxe MetricFlow pour définir les mesures, les dimensions et les métriques dans dbt. Produit des définitions de métriques réutilisables et consommables par tout outil BI.

Leçon 4 • Gouvernance et versionnage des métriques

Établit les pratiques de propriété, de gestion des changements et de versionnage pour les définitions de métriques. Maintient la confiance dans les métriques à mesure que l'entreprise évolue.