Corso su Apache Atlas

Lezione 1 • Fondamenti di Data Governance

Tratta i concetti fondamentali della governance dei dati, inclusi metadati, derivazione dei dati e catalogazione. Stabilisce il contesto di business che motiva l'adozione di Atlas.

Lezione 2 • Panoramica di Apache Atlas

Introduce Atlas come piattaforma di governance open-source, la sua storia e la sua posizione nell'ecosistema Hadoop. Collega le esigenze di governance alle funzionalità di Atlas.

Lezione 3 • Casi d'uso e vantaggi principali

Esamina implementazioni reali di Atlas in diversi settori per illustrare risultati tangibili di governance. Aiuta gli studenti ad allineare le funzionalità di Atlas con gli obiettivi organizzativi.

Lezione 1 • File di configurazione principali

Spiega in dettaglio atlas-application.properties e i file di configurazione correlati. Consente agli studenti di regolare il comportamento di Atlas per requisiti di implementazione specifici.

Lezione 2 • Installazione standalone

Guida attraverso il download, la compilazione e l'avvio di Atlas in modalità standalone per l'uso in sviluppo. Fornisce un sandbox sicuro per esplorare le funzionalità senza la complessità del cluster.

Lezione 3 • Aggiornamento e risoluzione dei problemi di installazione

Affronta i percorsi di migrazione delle versioni e gli errori di installazione comuni con passaggi diagnostici. Prepara gli studenti a mantenere le implementazioni di Atlas nel tempo.

Lezione 4 • Implementazione in modalità cluster

Tratta l'implementazione di Atlas in un cluster distribuito insieme a HBase, Solr e Kafka. Sviluppa competenze di prontezza per la produzione sulla base delle conoscenze standalone.

Lezione 1 • Comprendere il sistema di tipi

Spiega il modello di metadati basato sui tipi di Atlas, inclusi i tipi primitivi, enum, struct ed entità. Stabilisce il quadro concettuale per tutto il lavoro di modellazione dei metadati.

Lezione 2 • Classificazioni e metadati aziendali

Tratta la creazione e l'applicazione di classificazioni e attributi di metadati aziendali alle entità. Collega la modellazione dei tipi all'assegnazione pratica di tag e all'applicazione delle policy.

Lezione 3 • Tipi di relazione e modellazione della derivazione

Spiega come definire i tipi di relazione che catturano il flusso di dati e la proprietà tra le entità. Fornisce le basi per la costruzione del grafo di derivazione.

Lezione 4 • Definizioni di tipo predefinite

Esamina i tipi forniti da Atlas per Hive, HDFS, Kafka e altri sistemi. Riduce la modellazione ridondante sfruttando le definizioni esistenti.

Lezione 1 • Creazione e aggiornamento di entità

Tratta la creazione di entità tramite l'interfaccia utente di Atlas e l'API REST con attributi obbligatori e facoltativi. Sviluppa le competenze CRUD fondamentali per le attività quotidiane di gestione dei metadati.

Lezione 2 • Ricerca di entità con ricerca di base

Introduce la ricerca full-text e basata su attributi nell'interfaccia utente di Atlas e tramite REST. Consente agli studenti di localizzare le risorse in modo efficiente in cataloghi di metadati di grandi dimensioni.

Lezione 3 • Ricerca avanzata con DSL e Gremlin

Insegna i linguaggi di query DSL e Gremlin di Atlas per il recupero complesso di entità. Estende la capacità di ricerca oltre i filtri di base per utenti esperti.

Lezione 4 • Applicazione di classificazioni alle entità

Dimostra come allegare, propagare e rimuovere le classificazioni sulle entità. Collega la gestione delle entità all'applicazione delle policy di governance.

Lezione 1 • Creazione manuale della derivazione tramite API

Mostra come creare entità di processo e collegare input e output tramite l'API REST. Tratta scenari in cui gli hook automatici non sono disponibili.

Lezione 2 • Derivazione automatica da Hive e Spark

Dimostra come gli hook di Atlas acquisiscono automaticamente la derivazione dalle query Hive e dai job Spark. Riduce lo sforzo manuale sfruttando le integrazioni native.

Lezione 3 • Analisi d'impatto e tracciamento della causa radice

Applica i grafi di derivazione per valutare l'impatto a valle delle modifiche allo schema e tracciare i problemi di qualità dei dati a monte. Fornisce approfondimenti di governance attuabili.

Lezione 4 • Concetti di derivazione e modello a grafo

Definisce le entità di input, output e processo che formano il grafo di derivazione di Atlas. Stabilisce il modello concettuale prima del lavoro pratico sulla derivazione.

Lezione 1 • Integrazione con Hive e configurazione dell'hook

Configura l'hook Hive di Atlas per acquisire automaticamente i metadati di tabelle, colonne e query. Dimostra l'integrazione Atlas più comune e impattante.

Lezione 2 • Integrazione con Sqoop e Falcon

Dimostra l'uso degli hook Sqoop e Falcon per acquisire la derivazione dell'importazione relazionale e i metadati del flusso di lavoro. Amplia la copertura della derivazione alle pipeline di inserimento batch.

Lezione 3 • Integrazione con Apache Ranger per le policy

Collega le classificazioni di Atlas alle policy di accesso basate su tag di Ranger per un'applicazione automatizzata. Dimostra il flusso di lavoro dalla governance alla sicurezza.

Lezione 4 • Integrazione con Kafka per lo streaming di eventi

Configura Atlas per catalogare i topic Kafka e acquisire la derivazione produttore-consumatore. Affronta la governance dei metadati per le pipeline di dati in streaming.

Lezione 1 • Autorizzazione e gestione dei ruoli

Spiega i ruoli integrati di Atlas e come assegnare i permessi a utenti e gruppi. Stabilisce il controllo degli accessi con privilegio minimo per le operazioni sui metadati.

Lezione 2 • Meccanismi di autenticazione

Tratta le opzioni di autenticazione basata su file, LDAP, Kerberos e SSO per Atlas. Consente agli studenti di adattare l'autenticazione agli standard di sicurezza organizzativi.

Lezione 3 • Audit logging e report di conformità

Dimostra come abilitare e interrogare il log di audit di Atlas per le operazioni su entità e amministrative. Supporta il reporting di conformità e le indagini forensic.

Lezione 4 • Crittografia TLS e sicurezza di rete

Configura TLS per l'API REST di Atlas e la comunicazione tra servizi. Protegge i metadati in transito attraverso implementazioni distribuite.

Lezione 1 • Monitoraggio e allerta per Atlas

Integra le metriche di Atlas con piattaforme di monitoraggio e configura allerte per lo stato dei servizi. Consente una gestione operativa proattiva in produzione.

Lezione 2 • Configurazione ad alta disponibilità

Configura Atlas in modalità HA attivo-passivo con coordinamento ZooKeeper. Garantisce la continuità del servizio di metadati per ambienti mission-critical.

Lezione 3 • Backup, ripristino e disaster recovery

Tratta le procedure di backup e ripristino basate su snapshot HBase per i metadati di Atlas. Protegge i dati di governance da corruzione e guasti dell'infrastruttura.

Lezione 4 • Ottimizzazione delle prestazioni e indicizzazione

Ottimizza le impostazioni di JanusGraph, Solr e JVM per carichi di lavoro di metadati su larga scala. Riduce la latenza delle query e migliora il throughput di inserimento.