Cours Data Lake

Leçon 1 • Qu'est-ce qu'un lac de données

Définit les lacs de données et les distingue des entrepôts de données et des magasins de données. Fournit la base conceptuelle pour toutes les décisions architecturales ultérieures.

Leçon 2 • Pièges courants et problème du marécage de données

Identifie les défaillances de gouvernance qui transforment les lacs de données en marécages de données inutilisables. La connaissance de ces risques motive les bonnes pratiques présentées plus tard.

Leçon 3 • Cas d'usage et valeur métier des lacs de données

Associe des scénarios concrets (analytique, apprentissage automatique, archivage) aux capacités des lacs de données. Les étudiants relient les fonctionnalités techniques à des résultats métier mesurables.

Leçon 1 • Hiérarchisation du stockage et optimisation des coûts

Explique les niveaux de stockage chaud, tiède et froid ainsi que les politiques de hiérarchisation automatisée. Les étudiants conçoivent des stratégies de rétention rentables alignées sur les modes d'accès.

Leçon 2 • Stratégies de compression pour les lacs de données

Couvre les compromis entre Snappy, Gzip, Zstd et LZ4 concernant le taux de compression et la vitesse. Une compression adaptée réduit le coût de stockage sans dégrader la performance des requêtes.

Leçon 3 • Formats de fichiers columnaires et ligne par ligne

Compare Parquet, ORC, Avro, CSV et JSON pour les charges de travail analytiques. Le choix du format a un impact direct sur la vitesse des requêtes et l'efficacité du stockage.

Leçon 4 • Le stockage objet comme fondation

Explique les mécanismes du stockage objet, l'organisation des buckets et les garanties de durabilité. Le stockage objet est la couche physique dominante pour les lacs de données modernes.

Leçon 1 • Fiabilité et surveillance des pipelines

Enseigne les files d'attente de lettres mortes, les contrôles de qualité des données à l'ingestion et l'observabilité des pipelines. Des pipelines fiables évitent les pertes de données silencieuses et la corruption en aval.

Leçon 2 • Fondamentaux de l'ingestion en flux continu

Introduit les concepts de flux d'événements, les courtiers en messages et la sémantique de livraison unique exacte. L'ingestion en flux continu permet l'analytique quasi temps réel sur des données arrivant en continu.

Leçon 3 • Vue d'ensemble de l'architecture d'ingestion

Associe les schémas d'ingestion aux types de sources et aux exigences de latence. Cette vue d'ensemble encadre les décisions de conception abordées dans le chapitre.

Leçon 4 • Ingestion à partir de divers types de sources

Aborde les bases de données, les API, les fichiers, les dispositifs IoT et les plateformes SaaS comme sources d'ingestion. Chaque type de source nécessite des connecteurs et des stratégies de gestion de schéma spécifiques.

Leçon 1 • Métadonnées techniques et métier

Distingue les métadonnées techniques (schéma, lignée) des métadonnées métier (propriété, glossaire). Les deux types sont nécessaires pour une découverte et une gouvernance efficaces des données.

Leçon 2 • Architecture du lac basée sur des zones

Introduit les zones brutes, nettoyées, organisées et sandbox avec des critères de promotion clairs. La séparation en zones applique des frontières de qualité des données et de contrôle d'accès.

Leçon 3 • Traçabilité de la lignée des données

Explique la capture et la visualisation de la lignée au niveau des colonnes et des ensembles de données. La lignée permet l'analyse d'impact et renforce la confiance des consommateurs dans les actifs de données.

Leçon 4 • Conventions de nommage et structures de dossiers

Établit des normes pour les noms de buckets, les préfixes et les identifiants d'ensembles de données. Un nommage cohérent permet l'automatisation, la découverte et la gouvernance à grande échelle.

Leçon 1 • Modèles de contrôle d'accès pour les lacs de données

Compare les modèles de contrôle d'accès basés sur les rôles, basés sur les attributs et au niveau des lignes et des colonnes. Le choix du bon modèle équilibre la sécurité et la flexibilité opérationnelle.

Leçon 2 • Masquage et anonymisation des données

Couvre le masquage statique, le masquage dynamique, la tokenisation et les techniques de pseudonymisation. Ces méthodes protègent les données sensibles tout en préservant l'utilité analytique.

Leçon 3 • Chiffrement au repos et en transit

Explique le chiffrement côté serveur, le chiffrement côté client et TLS pour les données en mouvement. Le chiffrement est le contrôle de base pour protéger les données du lac contre les accès non autorisés.

Leçon 4 • Enregistrement des audits et rapports de conformité

Conçoit des pipelines de journaux d'audit, des politiques de rétention et des tableaux de bord de conformité. Les pistes d'audit démontrent l'efficacité des contrôles aux examinateurs internes et externes.

Leçon 1 • Fondamentaux du traitement distribué

Introduit les modèles d'exécution distribuée, les DAG et les opérations de brassage. La compréhension de ces mécanismes est un prérequis pour optimiser toute tâche de transformation à grande échelle.

Leçon 2 • Règles de transformation pour la qualité des données

Met en œuvre la validation, la normalisation, la déduplication et l'enrichissement comme étapes de transformation. L'intégration de règles de qualité dans les pipelines empêche les mauvaises données d'atteindre les consommateurs.

Leçon 3 • Optimisation des performances des pipelines

Applique la mise en cache, l'élagage des partitions, la descente de prédicats et le réglage des tâches pour réduire le temps d'exécution. Les pipelines optimisés réduisent les coûts de calcul et respectent les exigences des accords de niveau de service.

Leçon 4 • Schémas de transformation en flux continu

Enseigne le traitement de flux avec état, les marqueurs d'eau et la gestion des données arrivant tardivement. Les transformations en flux continu permettent l'analytique continue sur des flux de données en temps réel.

Leçon 1 • Conception d'une architecture lakehouse

Intègre les formats de table ouverts avec les moteurs de requêtes, les outils de BI et les plateformes de ML dans un lakehouse unifié. Cette architecture élimine le besoin d'un entrepôt de données séparé dans de nombreux scénarios.

Leçon 2 • Apache Iceberg et Apache Hudi

Compare le partitionnement caché d'Iceberg et les mises à jour au niveau des enregistrements de Hudi à Delta Lake. Les étudiants sélectionnent le format approprié en fonction de la charge de travail et des exigences de l'écosystème.

Leçon 3 • Limites des lacs de données traditionnels

Identifie les lacunes en matière de cohérence, de mise à jour et de voyage dans le temps dans les lacs de stockage objet simples. Ces limitations motivent l'adoption de formats de table ouverts.

Leçon 4 • Concepts des formats de table ouverts

Explique les couches de métadonnées, les journaux de transactions et l'isolation par instantané communs à tous les formats ouverts. Un modèle conceptuel partagé simplifie la comparaison des implémentations spécifiques.

Leçon 1 • Rétention des données et gouvernance du cycle de vie

Conçoit des calendriers de rétention, des processus de suppression et des procédures de blocage légal. La gouvernance du cycle de vie réduit les risques et les coûts de stockage tout en satisfaisant aux obligations réglementaires.

Leçon 2 • Data mesh et propriété fédérée

Applique les principes du data mesh (propriété par domaine, produits de données, gouvernance fédérée) aux grands lacs. Les modèles fédérés étendent la gouvernance au-delà de la capacité de l'équipe centrale.

Leçon 3 • Planification de la feuille de route et évaluation de la maturité

Utilise des modèles de maturité pour évaluer les capacités actuelles du lac et prioriser les initiatives d'amélioration. Une feuille de route structurée aligne les investissements techniques sur la stratégie métier.

Leçon 4 • Gestion des coûts et FinOps pour les lacs de données

Applique l'étiquetage, le showback, le chargeback et le rightsizing pour maîtriser les dépenses du lac. La visibilité sur les coûts favorise la responsabilisation et empêche la croissance incontrôlée du stockage et du calcul.