Cours Apache Atlas

Leçon 1 • Fondamentaux de la gouvernance des données

Couvre les concepts fondamentaux de la gouvernance des données, y compris les métadonnées, la lignée des données et le catalogage. Établit le contexte métier qui motive l'adoption d'Atlas.

Leçon 2 • Présentation d'Apache Atlas

Présente Atlas comme une plateforme de gouvernance open source, son historique et sa position dans l'écosystème Hadoop. Relie les besoins de gouvernance aux capacités d'Atlas.

Leçon 3 • Cas d'utilisation clés et avantages

Passe en revue les déploiements réels d'Atlas dans différents secteurs pour illustrer les résultats tangibles de la gouvernance. Aide les apprenants à aligner les fonctionnalités d'Atlas sur les objectifs organisationnels.

Leçon 1 • Fichiers de configuration principaux

Explique atlas-application.properties et les fichiers de configuration associés en détail. Permet aux apprenants d'ajuster le comportement d'Atlas pour des exigences de déploiement spécifiques.

Leçon 2 • Installation autonome

Guide le téléchargement, la construction et le lancement d'Atlas en mode autonome pour une utilisation en développement. Fournit un environnement sandbox sûr pour explorer les fonctionnalités sans la complexité d'un cluster.

Leçon 3 • Mise à niveau et dépannage des installations

Traite des chemins de migration de version et des erreurs d'installation courantes avec des étapes de diagnostic. Prépare les apprenants à maintenir les déploiements d'Atlas dans le temps.

Leçon 4 • Déploiement en mode cluster

Couvre le déploiement d'Atlas dans un cluster distribué aux côtés de HBase, Solr et Kafka. Développe des compétences pour la production sur la base des connaissances en mode autonome.

Leçon 1 • Compréhension du système de types

Explique le modèle de métadonnées basé sur les types d'Atlas, y compris les types primitifs, enum, struct et entité. Établit le cadre conceptuel pour tout travail de modélisation des métadonnées.

Leçon 2 • Classifications et métadonnées métier

Couvre la création et l'application de classifications et d'attributs de métadonnées métier aux entités. Relie la modélisation des types au marquage pratique et à l'application des politiques.

Leçon 3 • Types de relations et modélisation de la lignée

Explique comment définir des types de relations qui capturent le flux de données et la propriété entre les entités. Fournit la base pour la construction du graphe de lignée.

Leçon 4 • Définitions de types intégrés

Passe en revue les types fournis par Atlas pour Hive, HDFS, Kafka et d'autres systèmes. Réduit la modélisation redondante en tirant parti des définitions existantes.

Leçon 1 • Création et mise à jour d'entités

Couvre la création d'entités via l'interface utilisateur d'Atlas et l'API REST avec des attributs obligatoires et facultatifs. Développe les compétences CRUD de base essentielles aux tâches quotidiennes de gestion des métadonnées.

Leçon 2 • Recherche d'entités avec la recherche de base

Introduit la recherche en texte intégral et basée sur les attributs dans l'interface utilisateur d'Atlas et via REST. Permet aux apprenants de localiser efficacement les actifs dans de grands catalogues de métadonnées.

Leçon 3 • Recherche avancée DSL et Gremlin

Enseigne les langages de requête Atlas DSL et Gremlin pour la récupération complexe d'entités. Étend la capacité de recherche au-delà des filtres de base pour les utilisateurs avancés.

Leçon 4 • Application de classifications aux entités

Montre comment attacher, propager et supprimer des classifications sur les entités. Relie la gestion des entités à l'application des politiques de gouvernance.

Leçon 1 • Création manuelle de la lignée via l'API

Montre comment créer des entités de processus et lier les entrées et sorties via l'API REST. Couvre les scénarios où les hooks automatiques ne sont pas disponibles.

Leçon 2 • Lignée automatique depuis Hive et Spark

Montre comment les hooks Atlas capturent automatiquement la lignée à partir des requêtes Hive et des tâches Spark. Réduit l'effort manuel en tirant parti des intégrations natives.

Leçon 3 • Analyse d'impact et traçage des causes racines

Applique les graphes de lignée pour évaluer l'impact aval des modifications de schéma et tracer les problèmes de qualité des données en amont. Fournit des informations de gouvernance exploitables.

Leçon 4 • Concepts de lignée et modèle de graphe

Définit les entités d'entrée, de sortie et de processus qui forment le graphe de lignée d'Atlas. Établit le modèle conceptuel avant le travail pratique sur la lignée.

Leçon 1 • Intégration Hive et configuration du hook

Configure le hook Atlas Hive pour capturer automatiquement les métadonnées des tables, colonnes et requêtes. Montre l'intégration Atlas la plus courante et la plus impactante.

Leçon 2 • Intégration Sqoop et Falcon

Montre comment utiliser les hooks Sqoop et Falcon pour capturer la lignée d'importation relationnelle et les métadonnées de workflow. Élargit la couverture de la lignée aux pipelines d'ingestion par lots.

Leçon 3 • Intégration Apache Ranger pour les politiques

Relie les classifications Atlas aux politiques d'accès basées sur les tags de Ranger pour une application automatisée. Montre le workflow de la gouvernance à la sécurité.

Leçon 4 • Intégration Kafka pour le streaming d'événements

Configure Atlas pour cataloguer les sujets Kafka et capturer la lignée producteur-consommateur. Traite de la gouvernance des métadonnées pour les pipelines de données en flux.

Leçon 1 • Autorisation et gestion des rôles

Explique les rôles intégrés d'Atlas et comment attribuer des autorisations aux utilisateurs et aux groupes. Établit un contrôle d'accès basé sur le principe du moindre privilège pour les opérations sur les métadonnées.

Leçon 2 • Mécanismes d'authentification

Couvre les options d'authentification basée sur fichier, LDAP, Kerberos et SSO pour Atlas. Permet aux apprenants de faire correspondre l'authentification aux normes de sécurité organisationnelles.

Leçon 3 • Journalisation d'audit et rapports de conformité

Montre comment activer et interroger le journal d'audit d'Atlas pour les opérations sur les entités et l'administration. Soutient les rapports de conformité et les enquêtes médico-légales.

Leçon 4 • Chiffrement TLS et sécurité réseau

Configure TLS pour l'API REST d'Atlas et la communication inter-services. Protège les métadonnées en transit sur les déploiements distribués.

Leçon 1 • Surveillance et alertes pour Atlas

Intègre les métriques Atlas aux plateformes de surveillance et configure des alertes pour la santé du service. Permet une gestion proactive des opérations en production.

Leçon 2 • Configuration de la haute disponibilité

Configure Atlas en mode HA actif-passif avec coordination ZooKeeper. Assure la continuité du service de métadonnées pour les environnements critiques.

Leçon 3 • Sauvegarde, restauration et reprise après sinistre

Couvre les procédures de sauvegarde et de restauration basées sur les snapshots HBase pour les métadonnées Atlas. Protège les données de gouvernance contre la corruption et les défaillances d'infrastructure.

Leçon 4 • Réglage des performances et indexation

Optimise les paramètres JanusGraph, Solr et JVM pour les charges de travail de métadonnées à grande échelle. Réduit la latence des requêtes et améliore le débit d'ingestion.