Cours Data Lake

Leçon 1 • Qu'est-ce qu'un lac de données

Définit les lacs de données et les oppose aux entrepôts de données et aux data marts. Fournit la base conceptuelle pour toutes les décisions architecturales ultérieures.

Leçon 2 • Pièges courants et le problème du marécage de données

Identifie les défaillances de gouvernance qui transforment les lacs de données en marécages de données inutilisables. La connaissance de ces risques motive les meilleures pratiques introduites plus tard.

Leçon 3 • Cas d'utilisation et valeur commerciale du lac de données

Mappe des scénarios réels—analytique, ML, archivage—aux capacités du lac de données. Les apprenants relient les caractéristiques techniques aux résultats commerciaux mesurables.

Leçon 1 • Hiérarchisation du stockage et optimisation des coûts

Explique les niveaux de stockage chaud, tiède et froid et les politiques de hiérarchisation automatisées. Les apprenants conçoivent des stratégies de rétention rentables alignées sur les modèles d'accès.

Leçon 2 • Stratégies de compression pour les lacs de données

Couvre les compromis entre Snappy, Gzip, Zstd et LZ4 en matière de taux de compression et de vitesse. Une compression appropriée réduit le coût de stockage sans dégrader les performances des requêtes.

Leçon 3 • Formats de fichiers columnaires et basés sur les lignes

Compare Parquet, ORC, Avro, CSV et JSON pour les charges de travail analytiques. Le choix du format a un impact direct sur la vitesse des requêtes et l'efficacité du stockage.

Leçon 4 • Stockage d'objets comme fondation

Explique les mécanismes de stockage d'objets, l'organisation des compartiments et les garanties de durabilité. Le stockage d'objets est la couche physique dominante pour les lacs de données modernes.

Leçon 1 • Fiabilité et surveillance des pipelines

Enseigne les files d'attente de lettres mortes, les contrôles de qualité des données à l'ingestion et l'observabilité des pipelines. Des pipelines fiables empêchent la perte silencieuse de données et la corruption en aval.

Leçon 2 • Fondamentaux de l'ingestion en streaming

Introduit les concepts de streaming d'événements, les courtiers de messages et la sémantique exactly-once. L'ingestion en streaming permet une analytique quasi-réelle sur des données arrivant en continu.

Leçon 3 • Aperçu de l'architecture d'ingestion

Mappe les modèles d'ingestion aux types de sources et aux exigences de latence. Cet aperçu encadre les décisions de conception couvertes tout au long du chapitre.

Leçon 4 • Ingestion à partir de divers types de sources

Aborde les bases de données, les API, les fichiers, les appareils IoT et les plateformes SaaS comme sources d'ingestion. Chaque type de source nécessite des connecteurs spécifiques et des stratégies de gestion de schéma.

Leçon 1 • Métadonnées techniques et métier

Différencie les métadonnées techniques (schéma, lignée) des métadonnées métier (propriété, glossaire). Les deux types sont nécessaires pour une découverte et une gouvernance efficaces des données.

Leçon 2 • Architecture de lac basée sur les zones

Introduit les zones brutes, nettoyées, organisées et sandbox avec des critères de promotion clairs. La séparation des zones applique des limites de qualité des données et un contrôle d'accès.

Leçon 3 • Suivi de la lignée des données

Explique la capture et la visualisation de la lignée au niveau des colonnes et des ensembles de données. La lignée permet l'analyse d'impact et renforce la confiance des consommateurs dans les actifs de données.

Leçon 4 • Conventions de nommage et structures de dossiers

Établit des normes pour les noms de compartiments, les préfixes et les identifiants d'ensembles de données. Un nommage cohérent permet l'automatisation, la découverte et la gouvernance à grande échelle.

Leçon 1 • Modèles de contrôle d'accès pour les lacs de données

Compare les modèles de contrôle d'accès basés sur les rôles, les attributs et au niveau des lignes/colonnes. La sélection du bon modèle équilibre la sécurité avec la flexibilité opérationnelle.

Leçon 2 • Masquage et anonymisation des données

Couvre les techniques de masquage statique, masquage dynamique, tokenisation et pseudonymisation. Ces méthodes protègent les données sensibles tout en préservant l'utilité analytique.

Leçon 3 • Chiffrement au repos et en transit

Explique le chiffrement côté serveur, le chiffrement côté client et le TLS pour les données en mouvement. Le chiffrement est le contrôle de base pour protéger les données du lac contre les accès non autorisés.

Leçon 4 • Journalisation d'audit et reporting de conformité

Conçoit des pipelines de journaux d'audit, des politiques de rétention et des tableaux de bord de conformité. Les pistes d'audit démontrent l'efficacité des contrôles aux réviseurs internes et externes.

Leçon 1 • Fondamentaux du traitement distribué

Introduit les modèles d'exécution distribuée, les DAG et les opérations de shuffle. Comprendre ces mécanismes est un prérequis pour optimiser toute tâche de transformation à grande échelle.

Leçon 2 • Règles de transformation de la qualité des données

Implémente la validation, la normalisation, la déduplication et l'enrichissement comme étapes de transformation. Intégrer des règles de qualité dans les pipelines empêche les mauvaises données d'atteindre les consommateurs.

Leçon 3 • Optimisation des performances des pipelines

Applique la mise en cache, l'élagage des partitions, le pushdown des prédicats et le réglage des tâches pour réduire le temps d'exécution. Les pipelines optimisés réduisent les coûts de calcul et respectent les exigences SLA.

Leçon 4 • Modèles de transformation en streaming

Enseigne le traitement de flux avec état, les watermarks et la gestion des données en retard. Les transformations en streaming permettent une analytique continue sur des flux de données en temps réel.

Leçon 1 • Conception de l'architecture lakehouse

Intègre les formats de table ouverts avec les moteurs de requêtes, les outils BI et les plateformes ML dans un lakehouse unifié. Cette architecture élimine le besoin d'un entrepôt de données séparé dans de nombreux scénarios.

Leçon 2 • Apache Iceberg et Apache Hudi

Compare le partitionnement caché d'Iceberg et les upserts au niveau des enregistrements de Hudi avec Delta Lake. Les apprenants sélectionnent le format approprié en fonction des exigences de la charge de travail et de l'écosystème.

Leçon 3 • Limitations des lacs de données traditionnels

Identifie les lacunes de cohérence, de mise à jour et de time travel dans les lacs de stockage d'objets simples. Ces limitations motivent l'adoption de formats de table ouverts.

Leçon 4 • Concepts des formats de table ouverts

Explique les couches de métadonnées, les journaux de transactions et l'isolation par instantané communs à tous les formats ouverts. Un modèle conceptuel partagé simplifie la comparaison des implémentations spécifiques.

Leçon 1 • Rétention des données et gouvernance du cycle de vie

Conçoit des calendriers de rétention, des flux de travail de suppression et des processus de conservation légale. La gouvernance du cycle de vie réduit les risques et les coûts de stockage tout en satisfaisant aux obligations réglementaires.

Leçon 2 • Data mesh et propriété fédérée

Applique les principes du data mesh—propriété par domaine, produits de données et gouvernance fédérée—aux grands lacs. Les modèles fédérés font évoluer la gouvernance au-delà de la capacité de l'équipe centrale.

Leçon 3 • Planification de la feuille de route et évaluation de la maturité

Utilise des modèles de maturité pour évaluer les capacités actuelles du lac et prioriser les initiatives d'amélioration. Une feuille de route structurée aligne les investissements techniques avec la stratégie commerciale.

Leçon 4 • Gestion des coûts et FinOps pour les lacs de données

Applique le marquage, le showback, le chargeback et le redimensionnement pour contrôler les dépenses du lac. La visibilité des coûts favorise la responsabilisation et empêche la croissance incontrôlée du stockage et du calcul.