Formation Analytics Engineering

Leçon 1 • Aperçu de la pile de données moderne

Cartographie les catégories d'outils qui composent une plateforme de données contemporaine. Fournit le vocabulaire utilisé tout au long du cours.

Leçon 2 • Notions de base du contrôle de version pour les équipes de données

Couvre les flux de travail Git adaptés aux bases de code analytiques. Relie le contrôle de source au travail de données collaboratif et reproductible.

Leçon 3 • Révision SQL pour l'analytique

Passe en revue les constructions SQL les plus critiques pour les transformations analytiques. Assure une base de référence commune avant l'introduction de modèles de requête avancés.

Leçon 4 • Fondamentaux de la modélisation des données

Introduit les concepts relationnels et les paradigmes de modélisation utilisés pour structurer les données analytiques. Fonde les étudiants dans la théorie avant le travail pratique de transformation.

Leçon 1 • SQL avancé pour les entrepôts

Étend les compétences SQL aux fonctions spécifiques aux entrepôts et aux modèles de performance. Développe la maîtrise de l'écriture de requêtes nécessaire pour les transformations complexes.

Leçon 2 • Chargement et mise en scène des données

Couvre le chargement en masse, les formats de fichier et les modèles de zone de préparation pour l'ingestion de données brutes. Relie l'ingestion au flux de travail de transformation.

Leçon 3 • Notions de base du contrôle d'accès et de la gouvernance des données

Introduit le contrôle d'accès basé sur les rôles, le masquage des données et les permissions au niveau du schéma. Établit des habitudes de gouvernance avant la construction des pipelines de production.

Leçon 4 • Architecture de l'entrepôt en nuage

Explique la séparation calcul-stockage, les entrepôts virtuels et les modèles d'exécution des requêtes. Fournit le contexte architectural nécessaire pour écrire du SQL efficace.

Leçon 1 • Documentation et le DAG dbt

Enseigne les descriptions de modèles, la documentation au niveau des colonnes et la visualisation du DAG. Produit des pipelines auto-documentés qui soutiennent la collaboration d'équipe.

Leçon 2 • Modèles incrémentiels et performance

Plongée en profondeur dans les stratégies incrémentielles pour les grandes tables. Équilibre la fraîcheur, le coût et l'exactitude dans les pipelines de production.

Leçon 3 • Construction de modèles et matérialisations

Couvre les fichiers de modèles SQL, la fonction ref() et les types de matérialisation. Enseigne comment dbt compile et exécute la logique de transformation.

Leçon 4 • Macros, paquets et Jinja

Étend dbt avec des macros Jinja réutilisables et des paquets communautaires. Réduit la duplication de code et accélère le développement de projet.

Leçon 5 • Structure et configuration du projet dbt

Parcourt l'initialisation du projet, la disposition des répertoires et la configuration du profil. Établit l'échafaudage du projet utilisé dans tout le travail dbt subséquent.

Leçon 1 • Modèles de réutilisabilité et de modularité

Enseigne les principes DRY appliqués aux modèles de données via des macros et des couches de préparation partagées. Réduit le fardeau de maintenance dans les projets en croissance.

Leçon 2 • Gestion des relations de données complexes

Aborde les relations plusieurs-à-plusieurs, les tables de pont et les hiérarchies. Équipe les étudiants pour modéliser avec précision la complexité réelle des affaires.

Leçon 3 • Modélisation dimensionnelle en pratique

Applique la conception de schéma en étoile à des cas d'utilisation analytiques réels. Traduit la théorie du chapitre 1 en modèles dbt prêts pour la production.

Leçon 4 • Une grande table vs. les marts normalisés

Compare les tables dénormalisées larges avec les structures de mart normalisées. Guide les étudiants dans le choix du bon modèle pour chaque cas d'utilisation.

Leçon 1 • Alertes, surveillance et correction

Construit des pipelines d'alerte et des flux de travail de réponse aux incidents pour les défaillances de qualité des données. Boucle la boucle entre la détection et la résolution.

Leçon 2 • Great Expectations et cadres personnalisés

Applique un cadre de qualité des données dédié aux côtés des tests dbt. Fournit des capacités de validation plus riches pour les exigences de qualité complexes.

Leçon 3 • Tests statistiques et de distribution

Introduit les contrôles de volume, la surveillance de la distribution et la détection d'anomalies pour les données numériques. Détecte la dérive subtile des données que les tests structurels manquent.

Leçon 4 • Dimensions de la qualité des données

Définit l'exhaustivité, l'exactitude, la cohérence, l'actualité et l'unicité comme des dimensions de qualité mesurables. Encadre la stratégie de test pour tout le chapitre.

Leçon 1 • Construction de flux de travail avec Airflow

Couvre la création de DAG Airflow, les opérateurs et les connexions. Traduit les concepts d'orchestration en code de pipeline fonctionnel.

Leçon 2 • Surveillance et observabilité des pipelines

Introduit les métadonnées des pipelines, l'historique des exécutions et les intégrations de surveillance externes. Fournit une visibilité sur la santé des pipelines à grande échelle.

Leçon 3 • Ordonnancement et gestion des dépendances

Enseigne les expressions cron, l'ordonnancement conscient des données et les dépendances entre DAG. Assure que les pipelines s'exécutent dans le bon ordre avec une synchronisation correcte.

Leçon 4 • Concepts et outils d'orchestration

Introduit l'orchestration basée sur DAG, les dépendances de tâches et le paysage des orchestrateurs. Fournit une base conceptuelle avant le travail pratique avec les outils.

Leçon 1 • Gestion des coûts en production

Applique les contrôles des coûts d'entrepôt, les budgets de requêtes et l'étiquetage des ressources aux pipelines de production. Équilibre la performance avec le coût d'exploitation.

Leçon 2 • Réponse aux incidents pour les pipelines de données

Établit des runbooks, des pratiques d'astreinte et des processus de post-mortem pour les incidents de données. Réduit le temps moyen de récupération pour les défaillances de production.

Leçon 3 • Gestion des secrets et de la configuration

Couvre le stockage sécurisé des identifiants, les variables d'environnement et les gestionnaires de secrets. Empêche l'exposition des identifiants dans les bases de code analytiques.

Leçon 4 • CI/CD pour les pipelines de données

Implémente des pipelines de test et de déploiement automatisés pour les projets dbt. Apporte la discipline du génie logiciel aux flux de travail de transformation de données.

Leçon 1 • Modélisation des dimensions et des entités

Conçoit les relations entre entités et les hiérarchies de dimensions au sein de la couche sémantique. Permet un découpage et un filtrage cohérents sur toutes les métriques.

Leçon 2 • Le concept de couche de métriques

Explique pourquoi une couche de métriques centralisée élimine l'incohérence des métriques entre les outils. Motive le travail de modélisation sémantique qui suit.

Leçon 3 • Définition de métriques avec la couche sémantique dbt

Couvre la syntaxe MetricFlow pour définir des mesures, des dimensions et des métriques dans dbt. Produit des définitions de métriques réutilisables consommables par tout outil BI.

Leçon 4 • Gouvernance et versionnement des métriques

Établit les pratiques de propriété, de gestion des changements et de versionnement pour les définitions de métriques. Maintient la confiance dans les métriques à mesure que l'entreprise évolue.