Cours DBT

Leçon 1 • DBT Core contre DBT Cloud

Fait la distinction entre l'outil CLI open source et la plateforme infonuagique gérée. Les étudiants choisissent le mode de déploiement approprié pour leur environnement.

Leçon 2 • Configuration de votre environnement DBT

Guide l'installation de DBT Core et la connexion à un entrepôt de données. Les étudiants terminent avec un environnement local fonctionnel prêt pour la création de projet.

Leçon 3 • Qu'est-ce que DBT et pourquoi c'est important

Couvre la proposition de valeur fondamentale de DBT et comment il transforme la transformation de données basée sur SQL. Ancre les étudiants dans le problème que DBT résout avant tout travail pratique.

Leçon 1 • Initialisation d'un projet DBT

Parcourt dbt init et la structure de fichiers générée. Les étudiants comprennent le but de chaque fichier généré automatiquement avant de modifier quoi que ce soit.

Leçon 2 • Contrôle de source et conventions de projet

Établit des flux de travail basés sur Git et des conventions de nommage pour des projets DBT évolutifs. Les étudiants appliquent des normes cohérentes qui favorisent la collaboration en équipe.

Leçon 3 • Gestion des profils et des cibles

Couvre la configuration de profil multi-environnement pour les cibles de développement, d'étape et de production. Les étudiants changent de contexte en toute sécurité sans coder en dur les identifiants.

Leçon 1 • Organisation des modèles en couches

Présente les conventions de couche de préparation, intermédiaire et de marché pour l'organisation des modèles. Les étudiants structurent un projet multicouche qui reflète la pratique réelle du génie analytique.

Leçon 2 • Matérialisations en profondeur

Explique les matérialisations table, vue, incrémentielle et éphémère avec leurs compromis. Les étudiants sélectionnent la bonne matérialisation pour les besoins de performance de chaque modèle.

Leçon 3 • Sélection et exécution de sous-ensembles de modèles

Couvre la syntaxe de sélection de nœuds pour exécuter des sous-ensembles ciblés du DAG. Les étudiants reconstruisent efficacement uniquement les modèles dont ils ont besoin pendant le développement.

Leçon 4 • Rédaction de votre premier modèle DBT

Présente la syntaxe du modèle basé sur SELECT SQL et la fonction ref(). Les étudiants écrivent et exécutent un modèle fonctionnel sur une table d'entrepôt réelle.

Leçon 1 • Fraîcheur des sources et contrats de données

Enseigne les seuils de fraîcheur et comment appliquer les SLA d'arrivée des données au niveau de la source. Les étudiants configurent des alertes qui révèlent les données obsolètes avant qu'elles n'atteignent les marchés.

Leçon 2 • Déclaration et utilisation des sources

Couvre les déclarations YAML de source et la fonction source() pour référencer les tables brutes. Les étudiants remplacent les noms de table codés en dur par des références de source régies.

Leçon 3 • Capture de l'historique avec les instantanés

Présente les instantanés DBT pour le suivi des enregistrements de dimensions à évolution lente au fil du temps. Les étudiants implémentent des stratégies d'horodatage et de vérification pour les modèles SCD de type 2.

Leçon 1 • Paquets de test tiers

Passe en revue les paquets populaires comme dbt-expectations et dbt-utils pour une couverture de test étendue. Les étudiants installent et appliquent des tests basés sur des paquets pour combler les lacunes de la couverture intégrée.

Leçon 2 • Rédaction de tests génériques personnalisés

Enseigne comment créer des tests génériques réutilisables basés sur Jinja pour des règles spécifiques au projet. Les étudiants étendent la bibliothèque de tests au-delà des options intégrées.

Leçon 3 • Tests singuliers pour la logique complexe

Présente les tests singuliers basés sur SQL pour les assertions qui ne peuvent pas être exprimées de manière générique. Les étudiants rédigent des tests ciblés pour la validation des règles d'affaires.

Leçon 4 • Sévérité des tests et gestion des échecs

Explique les niveaux de sévérité avertissement vs erreur et comment gérer les échecs de test attendus. Les étudiants configurent des tests qui alertent sans bloquer l'exécution du pipeline.

Leçon 1 • Comprendre et utiliser le DAG

Explique la vue du graphe orienté acyclique et comment l'utiliser pour l'analyse d'impact. Les étudiants retracent la lignée des données de la source brute au modèle de marché final.

Leçon 2 • Utilisation des blocs doc() pour la réutilisation

Présente les blocs de documentation Markdown pour la rédaction de descriptions longues et réutilisables. Les étudiants éliminent la documentation en double dans les définitions de colonnes partagées.

Leçon 3 • Rédaction de descriptions de modèles et de colonnes

Couvre les descriptions YAML en ligne pour les modèles, les colonnes et les sources. Les étudiants documentent chaque actif afin que la documentation générée soit immédiatement utile.

Leçon 1 • Fondamentaux des modèles Jinja

Présente la syntaxe Jinja, y compris les variables, les boucles et les conditionnelles dans les modèles SQL. Les étudiants écrivent du SQL dynamique qui s'adapte au contexte d'exécution.

Leçon 2 • Variables DBT et indicateurs d'exécution

Explique les variables au niveau du projet et passées via la CLI pour paramétrer le comportement du modèle. Les étudiants construisent des modèles qui changent de comportement en fonction des entrées d'exécution.

Leçon 3 • Rédaction et utilisation de macros

Couvre la définition, les arguments et l'invocation de macros pour une logique SQL réutilisable. Les étudiants remplacent les modèles SQL répétés par des appels de macro à source unique.

Leçon 4 • Crochets et opérations

Présente les crochets pré-hook, post-hook et on-run-end pour exécuter du SQL autour des exécutions de modèles. Les étudiants automatisent les tâches de maintenance d'entrepôt dans le cycle de vie DBT.

Leçon 1 • Intégration continue pour les projets DBT

Couvre les modèles d'IC légers utilisant la comparaison d'état pour tester uniquement les modèles modifiés sur les demandes de tirage. Les étudiants configurent un pipeline d'IC qui exécute des vérifications rapides et ciblées.

Leçon 2 • Orchestration de DBT avec des outils de flux de travail

Passe en revue les modèles d'intégration avec des plateformes d'orchestration comme Airflow et Prefect. Les étudiants déclenchent des exécutions DBT à partir d'un orchestrateur avec une gestion appropriée des dépendances.

Leçon 3 • Surveillance de l'état d'exécution de DBT

Couvre les artefacts d'exécution, l'API de métadonnées et les alertes pour les exécutions échouées et les modèles obsolètes. Les étudiants construisent une couche d'observabilité qui révèle les problèmes de pipeline de façon proactive.

Leçon 4 • Stratégies de promotion d'environnement

Explique les flux de travail de promotion de développement à d'étape à production et l'isolation des schémas. Les étudiants déploient les modifications en toute sécurité sans écraser les données de production pendant le développement.