Formation Schéma en étoile et suivi des modifications

Leçon 1 • Concepts fondamentaux de l'entreposage de données

Présente la finalité, l'historique et l'architecture des entrepôts de données. Établit le vocabulaire utilisé tout au long du cours.

Leçon 2 • Modèles d'architecture d'entrepôt de données

Passe en revue les approches architecturales d'Inmon, Kimball et hybrides. Les étudiants sélectionnent les modèles appropriés en fonction des exigences organisationnelles.

Leçon 3 • Systèmes OLTP vs. OLAP

Met en contraste les systèmes transactionnels et analytiques en termes de charge de travail, de conception et de modèles de requêtes. Clarifie pourquoi des magasins analytiques distincts sont nécessaires.

Leçon 1 • Validation et révision d'un schéma en étoile

Fournit une liste de contrôle structurée pour réviser les conceptions de schémas en étoile avant l'implémentation. Les étudiants appliquent la liste de contrôle à des schémas d'exemple et identifient des défauts.

Leçon 2 • Conception de tables de faits

Couvre la déclaration de la granularité, la sélection des mesures et les faits additifs vs. non additifs. La définition correcte de la granularité est soulignée comme la décision de conception la plus critique.

Leçon 3 • Conception de tables de dimensions

Enseigne la sélection des attributs, les clés de substitution et les clés naturelles pour les dimensions. Les étudiants comprennent comment la richesse des dimensions favorise la flexibilité analytique.

Leçon 4 • Anatomie d'un schéma en étoile

Décompose la table de faits centrale et les tables de dimensions environnantes. Établit le modèle visuel et structurel que les étudiants construiront tout au long du cours.

Leçon 1 • Type 3 de SCD et types hybrides

Présente un historique limité via des colonnes de valeur antérieure et des stratégies SCD mixtes. Les étudiants évaluent quand les approches hybrides surpassent les types purs.

Leçon 2 • Type 2 de SCD – suivi complet de l'historique

Enseigne le versionnage de lignes avec des dates d'effet et un indicateur de ligne courante, la méthode SCD la plus utilisée. Les étudiants implémentent la logique de type 2 sur des dimensions d'exemple.

Leçon 3 • Types 0 et 1 de SCD

Couvre les attributs fixes et les stratégies d'écrasement, les approches SCD les plus simples. Les étudiants identifient quand chaque type est approprié et quels sont ses compromis.

Leçon 4 • Framework de sélection de stratégie SCD

Fournit un framework décisionnel qui relie les exigences métier aux types SCD. Les étudiants appliquent le framework à des études de cas et justifient leurs sélections.

Leçon 1 • Test et validation des chargements SCD

Définit des cas de test pour la complétude, la précision et l'idempotence des traitements ETL de type 2. Les étudiants construisent une suite de tests réutilisable pour la validation du chargement des dimensions.

Leçon 2 • Gestion des données arrivant tardivement

Traite les enregistrements sources qui arrivent après leur date d'effet, nécessitant des mises à jour rétroactives des dimensions. Les étudiants appliquent des modèles de correction sans corrompre l'historique.

Leçon 3 • Techniques de détection des changements

Couvre la comparaison par hachage, la somme de contrôle et le diff colonne par colonne pour détecter les lignes modifiées dans les données sources. Une détection précise est le prérequis pour des chargements SCD corrects.

Leçon 1 • Relations dimensionnelles multivaluées

Résout la relation plusieurs-à-plusieurs entre les faits et les dimensions à l'aide de tables de pont. Les étudiants conçoivent des tables de pont et écrivent des requêtes d'agrégation correctes.

Leçon 2 • Faits transactionnels, instantanés et cumulatifs

Distingue les trois types fondamentaux de tables de faits par granularité et comportement de mise à jour. Les étudiants associent chaque type au processus métier correct.

Leçon 3 • Plongée approfondie dans l'instantané cumulatif

Se concentre sur le suivi des pipelines et des flux de travail à l'aide d'instantanés cumulatifs avec des dates jalon. Les étudiants implémentent la logique de mise à jour pour les lignes en cours et terminées.

Leçon 1 • Stratégies de chargement incrémentiel

Couvre les approches par watermark, CDC et diff complet pour charger uniquement les données modifiées. Les étudiants sélectionnent et implémentent la stratégie appropriée pour chaque type de source.

Leçon 2 • Planification des pipelines et gestion des dépendances

Couvre la planification des traitements, les graphes de dépendances et la surveillance des SLA pour les chargements d'entrepôt. Les étudiants conçoivent un planning tenant compte des dépendances pour un schéma multi-tables.

Leçon 3 • Architecture ETL pour les chargements dimensionnels

Mappe les étapes d'extraction, de transformation et de chargement aux exigences du schéma en étoile. Les étudiants séquencent les chargements des dimensions avant les chargements des faits pour maintenir l'intégrité référentielle.

Leçon 4 • Gestion des erreurs et audit du pipeline

Établit la journalisation des erreurs, l'audit du nombre de lignes et les points de reprise dans les traitements ETL. Les étudiants implémentent des tables d'audit qui prennent en charge la surveillance opérationnelle.

Leçon 1 • Agrégation et vues matérialisées

Utilise des tables récapitulatives pré-agrégées et des vues matérialisées pour accélérer les requêtes courantes. Les étudiants identifient quelles agrégations offrent le gain de performance le plus élevé.

Leçon 2 • Comment les moteurs de requêtes traitent les schémas en étoile

Explique l'ordre des jointures, le pushdown des filtres et l'optimisation des jointures en étoile dans les moteurs analytiques. Les étudiants lisent les plans d'exécution des requêtes pour identifier les goulots d'étranglement.

Leçon 3 • Réécriture de requêtes et évitement des anti-patrons

Identifie les anti-patrons courants de requêtes lentes et les réécrit en utilisant les meilleures pratiques dimensionnelles. Les étudiants comparent les performances des requêtes avant et après.

Leçon 4 • Partitionnement des tables de faits

Applique les partitions par plage, par liste et par hachage aux grandes tables de faits pour réduire les coûts de balayage. Les étudiants conçoivent des schémas de partitionnement alignés sur les filtres de requêtes courants.

Leçon 1 • Validation, test et optimisation

Exécute la suite de tests complète, résout les défauts et applique les optimisations de requêtes au schéma terminé. Les étudiants documentent les résultats des tests et les benchmarks de performance.

Leçon 2 • Conception et documentation du schéma

Produit une conception complète de schéma en étoile incluant toutes les tables de faits et de dimensions avec les types SCD attribués. Les étudiants créent une matrice de bus et un dictionnaire de données.

Leçon 3 • Présentation du projet et relecture par les pairs

Les étudiants présentent leur conception de schéma et leur pipeline ETL à leurs pairs et reçoivent des retours structurés. Les compétences de présentation et la justification de la conception sont évaluées.

Leçon 4 • Implémentation du pipeline ETL

Construit le pipeline ETL complet pour le schéma conçu, incluant la logique SCD de type 2 et les tables d'audit. Les étudiants exécutent le pipeline sur un ensemble de données d'exemple réaliste.