Cours Apache Atlas

Leçon 1 • Fondamentaux de la gouvernance des données

Couvre les concepts de base de la gouvernance des données, y compris les métadonnées, la traçabilité des données et le catalogage. Établit le contexte métier qui motive l'adoption d'Atlas.

Leçon 2 • Aperçu d'Apache Atlas

Présente Atlas comme une plateforme de gouvernance open source, son historique et sa position dans l'écosystème Hadoop. Relie les besoins de gouvernance aux capacités d'Atlas.

Leçon 3 • Cas d'utilisation clés et avantages

Examine les déploiements réels d'Atlas dans divers secteurs pour illustrer les résultats tangibles de la gouvernance. Aide les apprenants à aligner les fonctionnalités d'Atlas sur les objectifs organisationnels.

Leçon 1 • Fichiers de configuration principaux

Explique en détail le fichier atlas-application.properties et les fichiers de configuration associés. Permet aux apprenants d'adapter le comportement d'Atlas aux exigences spécifiques de déploiement.

Leçon 2 • Installation autonome

Guide le téléchargement, la construction et le lancement d'Atlas en mode autonome pour une utilisation en développement. Fournit un environnement sandbox sûr pour explorer les fonctionnalités sans la complexité du cluster.

Leçon 3 • Mise à niveau et dépannage des installations

Aborde les chemins de migration de version et les erreurs d'installation courantes avec des étapes de diagnostic. Prépare les apprenants à maintenir les déploiements Atlas au fil du temps.

Leçon 4 • Déploiement en mode cluster

Couvre le déploiement d'Atlas dans un cluster distribué aux côtés de HBase, Solr et Kafka. Développe des compétences de préparation à la production sur la base des connaissances en mode autonome.

Leçon 1 • Comprendre le système de types

Explique le modèle de métadonnées basé sur les types d'Atlas, y compris les types primitifs, enum, struct et entité. Établit le cadre conceptuel pour tout travail de modélisation de métadonnées.

Leçon 2 • Classifications et métadonnées métier

Couvre la création et l'application de classifications et d'attributs de métadonnées métier aux entités. Relie la modélisation des types au balisage pratique et à l'application des politiques.

Leçon 3 • Types de relations et modélisation de la traçabilité

Explique comment définir des types de relations qui capturent le flux de données et la propriété entre les entités. Fournit la base pour la construction du graphe de traçabilité.

Leçon 4 • Définitions de types intégrés

Passe en revue les types fournis par Atlas pour Hive, HDFS, Kafka et d'autres systèmes. Réduit la modélisation redondante en tirant parti des définitions existantes.

Leçon 1 • Création et mise à jour d'entités

Couvre la création d'entités via l'interface utilisateur Atlas et l'API REST avec des attributs obligatoires et facultatifs. Développe les compétences CRUD de base essentielles aux tâches quotidiennes de gestion des métadonnées.

Leçon 2 • Recherche d'entités avec la recherche de base

Présente la recherche en texte intégral et par attribut dans l'interface utilisateur Atlas et via REST. Permet aux apprenants de localiser efficacement les actifs dans de grands catalogues de métadonnées.

Leçon 3 • Recherche avancée DSL et Gremlin

Enseigne les langages de requête Atlas DSL et Gremlin pour la récupération complexe d'entités. Étend la capacité de recherche au-delà des filtres de base pour les utilisateurs avancés.

Leçon 4 • Application de classifications aux entités

Montre comment attacher, propager et supprimer des classifications sur les entités. Relie la gestion des entités à l'application des politiques de gouvernance.

Leçon 1 • Création manuelle de traçabilité via l'API

Montre comment créer des entités de processus et lier les entrées et sorties via l'API REST. Couvre les scénarios où les hooks automatiques ne sont pas disponibles.

Leçon 2 • Traçabilité automatique depuis Hive et Spark

Montre comment les hooks Atlas capturent automatiquement la traçabilité à partir des requêtes Hive et des jobs Spark. Réduit l'effort manuel en exploitant les intégrations natives.

Leçon 3 • Analyse d'impact et traçage des causes racines

Applique les graphes de traçabilité pour évaluer l'impact aval des modifications de schéma et retracer les problèmes de qualité des données en amont. Fournit des informations de gouvernance exploitables.

Leçon 4 • Concepts de traçabilité et modèle de graphe

Définit les entités d'entrée, de sortie et de processus qui forment le graphe de traçabilité Atlas. Établit le modèle conceptuel avant le travail pratique sur la traçabilité.

Leçon 1 • Intégration Hive et configuration du hook

Configure le hook Atlas Hive pour capturer automatiquement les métadonnées des tables, des colonnes et des requêtes. Montre l'intégration Atlas la plus courante et la plus impactante.

Leçon 2 • Intégration Sqoop et Falcon

Montre comment utiliser les hooks Sqoop et Falcon pour capturer la traçabilité des importations relationnelles et les métadonnées des workflows. Élargit la couverture de traçabilité aux pipelines d'ingestion par lots.

Leçon 3 • Intégration Apache Ranger pour les politiques

Relie les classifications Atlas aux politiques d'accès basées sur les balises Ranger pour une application automatisée. Montre le flux de travail gouvernance-sécurité.

Leçon 4 • Intégration Kafka pour le streaming d'événements

Configure Atlas pour cataloguer les sujets Kafka et capturer la traçabilité producteur-consommateur. Aborde la gouvernance des métadonnées pour les pipelines de données en streaming.

Leçon 1 • Autorisation et gestion des rôles

Explique les rôles intégrés d'Atlas et comment attribuer des permissions aux utilisateurs et aux groupes. Établit un contrôle d'accès basé sur le moindre privilège pour les opérations sur les métadonnées.

Leçon 2 • Mécanismes d'authentification

Couvre les options d'authentification basées sur fichier, LDAP, Kerberos et SSO pour Atlas. Permet aux apprenants d'adapter l'authentification aux normes de sécurité organisationnelles.

Leçon 3 • Journalisation d'audit et rapports de conformité

Montre comment activer et interroger le journal d'audit Atlas pour les opérations sur les entités et les opérations d'administration. Prend en charge les rapports de conformité et les enquêtes médico-légales.

Leçon 4 • Chiffrement TLS et sécurité réseau

Configure TLS pour l'API REST Atlas et la communication entre services. Protège les métadonnées en transit dans les déploiements distribués.

Leçon 1 • Surveillance et alertes pour Atlas

Intègre les métriques Atlas aux plateformes de surveillance et configure des alertes pour la santé du service. Permet une gestion proactive des opérations en production.

Leçon 2 • Configuration haute disponibilité

Configure Atlas en mode HA actif-passif avec coordination ZooKeeper. Assure la continuité du service de métadonnées pour les environnements critiques.

Leçon 3 • Sauvegarde, restauration et reprise après sinistre

Couvre les procédures de sauvegarde et de restauration basées sur les snapshots HBase pour les métadonnées Atlas. Protège les données de gouvernance contre la corruption et les pannes d'infrastructure.

Leçon 4 • Réglage des performances et indexation

Optimise les paramètres JanusGraph, Solr et JVM pour les charges de travail de métadonnées à grande échelle. Réduit la latence des requêtes et améliore le débit d'ingestion.