Formation Automatisation et Qualité des Données

Leçon 1 • Modèles de Maturité de la Qualité des Données

Présente des cadres de maturité par étapes pour évaluer l'état actuel d'une organisation. Guide la priorisation des initiatives d'amélioration.

Leçon 2 • Contexte Réglementaire et de Conformité

Passe en revue les obligations de gouvernance des données découlant de la confidentialité, des rapports financiers et des normes sectorielles. Présente la conformité comme un moteur de qualité.

Leçon 3 • Causes Profondes des Problèmes de Qualité des Données

Catégorise les sources de défauts de données à travers les personnes, les processus et les systèmes. Permet une correction ciblée plutôt que des solutions symptomatiques.

Leçon 4 • Impact Métier d'une Mauvaise Qualité des Données

Quantifie les coûts opérationnels, financiers et de réputation d'une mauvaise qualité des données. Relie les défaillances de qualité à des conséquences réelles sur la prise de décision.

Leçon 1 • Analyse des Motifs et des Formats

Identifie les motifs de format à l'aide d'expressions régulières et de contrôles de cardinalité. Révèle les incohérences cachées dans les champs de texte libre et codifiés.

Leçon 2 • Conception et Communication du Rapport de Profilage

Structure les résultats du profilage en rapports exploitables pour les publics techniques et métier. Fait le pont entre les résultats de la découverte et la rédaction de règles dans les chapitres suivants.

Leçon 3 • Résumés Statistiques et Distributions

Calcule les statistiques descriptives — moyenne, médiane, écart type et percentiles — pour détecter les anomalies. Révèle les schémas distributionnels qui éclairent le réglage des seuils.

Leçon 4 • Profilage des Relations et de l'Intégrité Référentielle

Examine les relations de clé étrangère, les clés de jointure et les dépendances inter-tables. Met en évidence les enregistrements orphelins et les violations d'intégrité référentielle.

Leçon 1 • Règles de Cohérence et d'Intégrité Référentielle

Construit des règles qui imposent un accord entre les champs, les tables et les systèmes. Aborde la synchronisation inter-systèmes et la cohérence des champs dérivés.

Leçon 2 • Taxonomie et Classification des Règles

Organise les règles par dimension, périmètre et niveau d'application. Fournit un système de classification qui s'adapte à tous les domaines et ensembles de données.

Leçon 3 • Règles d'Unicité et de Dédoublonnage

Conçoit des règles pour détecter les doublons exacts et approximatifs aux niveaux enregistrement et entité. Introduit les clés de rapprochement et les seuils de similarité.

Leçon 4 • Documentation et Gouvernance des Règles

Établit un catalogue de règles avec métadonnées, propriétaire et historique des modifications. Garantit que les règles restent auditées et maintenables dans le temps.

Leçon 1 • Test et Validation de la Suite d'Automatisation

Applique des tests unitaires et d'intégration au code de validation pour garantir l'exactitude de la logique des règles. Prévient les faux positifs et les faux négatifs qui minent la confiance.

Leçon 2 • Modèles d'Architecture d'Automatisation

Passe en revue les architectures de validation par point de contrôle, en side-car et en ligne pour les pipelines. Sélectionne le bon modèle en fonction de la latence, du volume et de la tolérance aux pannes.

Leçon 3 • Planification et Orchestration

Planifie les tâches de validation à l'aide d'orchestrateurs de flux de travail et de déclencheurs basés sur cron. Gère les dépendances entre les tâches de profilage, de validation et d'alerte.

Leçon 4 • Intégration des Contrôles dans les Pipelines de Données

Intègre des barrières de qualité dans les couches d'ingestion, de transformation et de service d'un pipeline. Définit des seuils de réussite, d'avertissement et d'échec qui contrôlent le flux de données.

Leçon 1 • Détection de Changement de Distribution

Applique des tests statistiques pour détecter quand les distributions de données changent de manière significative dans le temps. Distingue les changements métier légitimes des défaillances de qualité des données.

Leçon 2 • Détection des Changements de Volume et de Schéma

Surveille le nombre de lignes, le nombre de colonnes et les différences de schéma pour détecter les dérives structurelles. Capture les modifications en amont avant qu'elles ne corrompent les consommateurs en aval.

Leçon 3 • Seuils Statistiques et Cartes de Contrôle

Utilise les scores z, les écarts interquartiles et les limites des cartes de contrôle pour signaler les valeurs aberrantes. Établit des seuils dynamiques qui s'adaptent aux distributions de données.

Leçon 4 • Conception des Alertes et Réduction du Bruit

Conçoit le routage des alertes, les niveaux de sévérité et les règles de suppression pour minimiser la fatigue d'alerte. Garantit que les signaux actionnables atteignent rapidement les bons responsables.

Leçon 1 • Fondamentaux du Lignage des Données

Définit le lignage au niveau colonne et au niveau ensemble de données et explique comment il est capturé. Établit le lignage comme fondement de l'analyse d'impact et des causes profondes.

Leçon 2 • Gestion des Incidents et Post-Mortems

Structure la réponse aux incidents de qualité, de la détection à la résolution et la rétrospective. Produit des artefacts post-mortem qui empêchent la récurrence.

Leçon 3 • Traçage Automatisé du Lignage dans les Pipelines

Instrumente les pipelines pour émettre automatiquement les métadonnées de lignage à chaque étape de transformation. Réduit la maintenance manuelle du lignage et améliore la précision.

Leçon 4 • Techniques d'Enquête sur les Causes Profondes

Applique les méthodes des cinq pourquoi, du diagramme d'Ishikawa et de l'analyse chronologique pour isoler l'origine des défauts. Distingue les causes systémiques des incidents ponctuels.

Leçon 1 • Boucles de Rétroaction pour l'Amélioration Continue

Utilise les tendances des tableaux de bord pour prioriser les backlogs de correction et suivre l'efficacité des correctifs. Ferme la boucle entre la mesure et l'action.

Leçon 2 • Définir des Métriques de Qualité Pertinentes

Sélectionne des KPI qui reflètent l'impact métier plutôt que de simples décomptes techniques. Aligne les métriques sur les six dimensions de la qualité et les priorités des parties prenantes.

Leçon 3 • Implémentation des Tableaux de Bord et Outillage

Construit des tableaux de bord interactifs à l'aide d'outils BI connectés aux tables de métriques qualité. Couvre la conception du modèle de données, la planification de l'actualisation et le contrôle d'accès.

Leçon 4 • Gestion des SLA et des Seuils

Définit des SLA de qualité avec propriétaires, fenêtres de mesure et chemins d'escalade en cas de dépassement. Intègre le suivi des SLA directement dans les vues du tableau de bord.

Leçon 1 • Qualité des Données dans DataOps et DevOps

Intègre des barrières de qualité dans les pipelines CI/CD afin que les modifications des données soient validées avant leur promotion. Traite la qualité des données comme du code avec gestion de versions et tests.

Leçon 2 • Structures de Gouvernance des Données pour la Qualité

Définit les rôles de gestionnaire de données, les conseils et les droits de décision qui imposent les normes de qualité. Aligne la gouvernance sur la structure organisationnelle et les domaines de données.

Leçon 3 • Automatisation des Flux de Travail de Gouvernance

Automatise les flux de certification, d'approbation et de gestion des changements pour les règles et les ensembles de données. Réduit la surcharge manuelle tout en maintenant l'auditabilité.

Leçon 4 • Passage à l'Échelle de la Gestion des Règles Entre Domaines

Implémente des référentiels de règles centralisés avec des extensions et un héritage spécifiques aux domaines. Empêche la prolifération des règles tout en permettant l'autonomie des domaines.