Cours Azure Data Lake

Leçon 1 • Configuration de votre premier Data Lake

Guide la création d'un compte ADL Storage Gen2 avec une configuration correcte. Renforce les compétences sur le portail et l'interface CLI tout en présentant les paramètres du compte de stockage.

Leçon 2 • Notions de base sur le portail Azure et l'interface CLI Azure

Enseigne la navigation dans le portail Azure et l'interface CLI Azure pour la gestion des ressources. Fournit les compétences pratiques nécessaires tout au long du cours.

Leçon 3 • Fondamentaux du stockage de données cloud

Couvre les concepts de stockage distribué et les principes de gestion des données cloud. Établit la base nécessaire pour comprendre la logique de conception d'Azure Data Lake.

Leçon 1 • Stratégies de gestion du cycle de vie

Enseigne les règles automatisées de hiérarchisation et de suppression pour maîtriser les coûts de stockage. Lie les stratégies de cycle de vie aux exigences de conservation des données et de conformité.

Leçon 2 • Métadonnées et étiquetage

Présente les métadonnées des objets blob, les index des balises et les propriétés personnalisées pour la découvrabilité. Soutient l'intégration du catalogue de données abordée dans les chapitres suivants.

Leçon 3 • Conteneurs, répertoires et fichiers

Explique la hiérarchie conteneur-répertoire-fichier dans ADL Storage Gen2. Relie la conception de l'espace de noms aux performances des requêtes en aval et à la gouvernance.

Leçon 4 • Formats de fichier pour les big data

Compare CSV, JSON, Parquet, ORC et Avro pour les charges de travail ADL. Guide la sélection du format en fonction de la compression, de l'évolution du schéma et de la vitesse d'interrogation.

Leçon 1 • Identité et authentification Azure

Couvre les identités Azure Active Directory, les principaux de service et les identités gérées. Établit les fondations d'authentification nécessaires à toutes les configurations de contrôle d'accès.

Leçon 2 • Sécurité réseau et pare-feu

Configure les points de terminaison de service de réseau virtuel, les points de terminaison privés et les règles de pare-feu. Limite l'accès à ADL aux réseaux de confiance et aux services Azure.

Leçon 3 • Contrôle d'accès basé sur les rôles pour ADL

Explique les rôles RBAC intégrés et personnalisés limités aux comptes de stockage et aux conteneurs. Montre l'attribution du moindre privilège pour les équipes d'analyse.

Leçon 4 • ACL POSIX sur l'espace de noms hiérarchique

Enseigne les autorisations fines sur les fichiers et répertoires à l'aide d'ACL de style POSIX. Relie l'héritage des ACL à la conception sécurisée de lacs de données multi-équipes.

Leçon 1 • Ingestion avec Azure IoT Hub

Achemine les données de télémétrie des appareils IoT vers ADL via les règles de routage des messages d'IoT Hub. Montre les modèles d'arrivée des données de séries temporelles pour les charges de travail de capteurs.

Leçon 2 • Ingestion tierce et sur site

Couvre le runtime d'intégration auto-hébergé d'ADF et les connecteurs partenaires pour l'ingestion hybride. Aborde les défis de connectivité courants pour les systèmes sources sur site.

Leçon 3 • Ingestion par lots avec ADF

Utilise les pipelines Azure Data Factory et les activités de copie pour charger des données dans ADL. S'appuie sur les connaissances en matière de sécurité pour configurer des services liés avec des identités gérées.

Leçon 4 • Surveillance de l'ingestion et gestion des erreurs

Implémente la surveillance des pipelines, les alertes et la logique de nouvelle tentative pour une ingestion de données fiable. Se connecte à Azure Monitor et Log Analytics pour la visibilité opérationnelle.

Leçon 1 • Transformation basée sur SQL avec Synapse SQL

Applique T-SQL CETAS et les tables externes pour transformer les fichiers ADL sans déplacement de données. Relie les compétences SQL aux modèles de requête serverless présentés plus tard.

Leçon 2 • Conception d'architecture en médaillon

Présente les modèles de couches bronze, argent et or pour l'organisation du lac de données. Fournit le cadre structurel appliqué dans toutes les sections de transformation.

Leçon 3 • Orchestration de pipelines multi-étapes

Enchaîne les étapes d'ingestion et de transformation dans des pipelines ADF ou Synapse de bout en bout. Implémente la gestion des dépendances et la logique d'exécution conditionnelle.

Leçon 4 • Transformation avec Azure Synapse Pipelines

Exploite les flux de données de mappage Synapse Analytics pour les transformations sans code. Montre l'intégration avec ADL Gen2 comme source et comme destination.

Leçon 1 • Requêtes SQL serverless sur ADL

Utilise le pool SQL serverless Synapse pour interroger les fichiers Parquet, CSV et JSON dans ADL. Montre la syntaxe OPENROWSET et la création de tables externes pour l'analyse ad hoc.

Leçon 2 • Interrogation avec Azure Databricks SQL

Exécute des analyses SQL sur les tables Delta basées sur ADL à l'aide des entrepôts SQL Databricks. Relie les concepts Delta Lake introduits dans la transformation à l'optimisation des requêtes.

Leçon 3 • Connexion des outils BI à ADL

Intègre Power BI et d'autres outils BI aux points de terminaison Synapse et Databricks. Permet l'analyse en libre-service sur les jeux de données ADL organisés pour les utilisateurs métier.

Leçon 1 • Stratégies de conformité et de conservation

Configure les stratégies d'immuabilité, les verrous légaux et les verrous de conservation sur les conteneurs ADL. Répond fonctionnellement aux exigences réglementaires de conservation et de suppression des données.

Leçon 2 • Microsoft Purview pour ADL

Enregistre ADL Storage Gen2 comme source de données Purview et exécute des analyses automatisées. Établit la base du catalogue pour toutes les activités de gouvernance de ce chapitre.

Leçon 3 • Classification des données et étiquettes de sensibilité

Applique les règles de classification intégrées et personnalisées pour étiqueter les données ADL sensibles. Lie les résultats de classification au contrôle d'accès et aux rapports de conformité.

Leçon 4 • Traçage de la lignée des données

Capture la lignée de bout en bout, de l'ingestion à la consommation en passant par la transformation. Utilise les graphes de lignée Purview pour soutenir l'analyse d'impact et l'audit.

Leçon 1 • Analyse des coûts et budgétisation

Utilise Azure Cost Management pour analyser les coûts de stockage et de transaction ADL. Définit des budgets et des alertes pour éviter les dépenses imprévues dans les environnements de production.

Leçon 2 • Reprise après sinistre et haute disponibilité

Configure la réplication géo-redondante et le basculement pour les comptes de stockage ADL. Conçoit les objectifs de point de reprise et de temps de reprise pour les charges de travail critiques du lac de données.

Leçon 3 • Azure Monitor et diagnostics pour ADL

Active les paramètres de diagnostic pour envoyer les métriques et les journaux ADL vers Log Analytics. Établit la base d'observabilité pour toutes les tâches de surveillance de ce chapitre.

Leçon 4 • Techniques d'optimisation du stockage

Réduit les coûts grâce à la compaction, à l'automatisation de la hiérarchisation et à la suppression des données redondantes. Relie les stratégies de cycle de vie du chapitre 2 aux décisions d'optimisation axées sur les coûts.