Apache Hive: Design, Query, and Optimize Big Data Course

Lezione 1 • Architettura e Componenti di Hive

Spiega i componenti principali di Hive: metastore, driver, compilatore e motore di esecuzione. Collega l'architettura alla comprensione del ciclo di vita delle query.

Lezione 2 • Fondamenti e Sfide dei Big Data

Tratta le sfide di volume, velocità e varietà che guidano l'adozione dei big data. Stabilisce il contesto del perché esistono strumenti di elaborazione distribuita come Hive.

Lezione 3 • Configurazione di un Ambiente Hive

Guida all'installazione e alla configurazione di un ambiente Hive locale o sandbox. Fornisce la preparazione pratica per tutti i capitoli successivi.

Lezione 1 • Tipi di Dato Primitivi e Complessi

Tratta i tipi primitivi numerici, stringa, booleani e data insieme ai tipi complessi ARRAY, MAP e STRUCT. La scelta corretta del tipo influisce sullo storage e sull'accuratezza delle query.

Lezione 2 • Sintassi HiveQL e Struttura delle Query

Introduce HiveQL come un dialetto SQL con estensioni specifiche di Hive. Tratta le clausole SELECT, FROM, WHERE e ORDER BY come elementi costitutivi.

Lezione 3 • Aggregazione e Raggruppamento

Insegna GROUP BY, HAVING e le funzioni di aggregazione per riassumere i dataset. L'aggregazione è fondamentale per i pattern di query analitiche utilizzati in tutto il corso.

Lezione 4 • Sottoquery ed Espressioni di Tabella Comuni

Introduce viste inline, sottoquery e CTE con clausola WITH per una progettazione modulare delle query. Questi pattern compaiono in query analitiche complesse nei capitoli successivi.

Lezione 1 • Partizionamento delle Tabelle

Insegna il partizionamento statico e dinamico per ridurre le scansioni complete della tabella. Il partizionamento è la tecnica principale per migliorare le prestazioni delle query su tabelle di grandi dimensioni.

Lezione 2 • Creazione e Gestione dei Database

Tratta CREATE DATABASE, DROP DATABASE e le proprietà del database. Un'organizzazione corretta del database supporta la governance dei dati multi-team.

Lezione 3 • Formati di Storage delle Tabelle

Confronta i formati di storage TextFile, SequenceFile, ORC e Parquet. La scelta del formato influisce direttamente sulla velocità delle query e sull'efficienza dello storage.

Lezione 4 • Tabelle Gestite vs. Esterne

Distingue le tabelle gestite (dati di proprietà di Hive) dalle tabelle esterne (dati di proprietà dell'utente). Una scelta corretta previene la perdita accidentale di dati.

Lezione 1 • Caricamento Dati da File

Tratta LOAD DATA LOCAL e LOAD DATA da percorsi HDFS. Il caricamento basato su file è il pattern di inserimento iniziale più comune nei flussi di lavoro Hive.

Lezione 2 • Transazioni ACID e Operazioni CRUD

Spiega il supporto ACID di Hive che abilita UPDATE e DELETE su tabelle ORC. Le operazioni ACID richiedono una configurazione e proprietà della tabella specifiche.

Lezione 3 • Pattern INSERT e INSERT OVERWRITE

Insegna INSERT INTO e INSERT OVERWRITE per il popolamento dei dati basato su query. Questi pattern supportano pipeline ETL costruite interamente in HiveQL.

Lezione 1 • Skew Join e Gestione dello Sbilanciamento dei Dati

Affronta lo sbilanciamento dei join causato da valori chiave ad alta frequenza che sovraccaricano i reducer. L'ottimizzazione skew join distribuisce le chiavi calde su più task.

Lezione 2 • Tipi di Join e Sintassi

Tratta i join INNER, LEFT, RIGHT, FULL OUTER e CROSS con la sintassi HiveQL. Comprendere la semantica dei join previene set di risultati errati.

Lezione 3 • UNION, INTERSECT ed EXCEPT

Insegna le operazioni sugli insiemi per combinare e confrontare set di risultati tra query. Queste operazioni supportano pattern di deduplicazione e analisi differenziale.

Lezione 4 • Join Map-Side e Broadcast

Spiega i join map-side utilizzando l'hint MAPJOIN per l'ottimizzazione con tabelle piccole. I join broadcast eliminano l'overhead di shuffle nei join tra tabelle grandi e piccole.

Lezione 1 • Comprendere il Piano di Esecuzione delle Query

Utilizza EXPLAIN e EXPLAIN EXTENDED per interpretare i piani di esecuzione MapReduce e Tez. Leggere i piani è la competenza prerequisita per tutte le decisioni di ottimizzazione.

Lezione 2 • Ottimizzazione del Motore di Esecuzione Tez

Configura l'esecuzione DAG di Tez per una latenza ridotta rispetto a MapReduce. Tez è il motore consigliato per carichi di lavoro Hive interattivi e iterativi.

Lezione 3 • Partition Pruning e Predicate Pushdown

Assicura che le query analizzino solo le partizioni pertinenti e spingano i filtri il prima possibile. Queste tecniche riducono l'I/O, che è il costo dominante nelle query Hive.

Lezione 4 • Ottimizzazione del Formato File e della Compressione

Seleziona ORC e Parquet con codec di compressione appropriati per minimizzare il tempo di scansione. La compressione riduce sia il costo di storage che l'I/O di rete durante l'esecuzione delle query.

Lezione 1 • Funzioni di Tabella Definite dall'Utente

Costruisce UDTF che emettono più righe da una singola riga di input utilizzando l'interfaccia UDTF. Le UDTF supportano l'esplosione di strutture annidate e la generazione di righe personalizzate.

Lezione 2 • Funzioni di Aggregazione Definite dall'Utente

Implementa UDAF utilizzando le interfacce UDAF e GenericUDAF per aggregazioni personalizzate. Le UDAF operano tra gruppi di reducer e richiedono la gestione del buffer.

Lezione 3 • Fondamenti dello Sviluppo di UDF

Tratta la classe base UDF, il metodo evaluate e il packaging JAR per semplici funzioni scalari. Le UDF colmano le lacune dove le funzioni integrate sono insufficienti.

Lezione 1 • Gestione del Metastore e Alta Disponibilità

Configura un metastore remoto con un backend relazionale e una configurazione ad alta disponibilità. L'affidabilità del metastore è critica per un servizio Hive ininterrotto in produzione.

Lezione 2 • Modelli di Autorizzazione: Standard SQL e Ranger

Confronta l'autorizzazione standard SQL di Hive con il controllo basato su policy di Apache Ranger. L'autorizzazione granulare applica l'accesso con minimo privilegio a livello di colonna.

Lezione 3 • Autenticazione e Integrazione Kerberos

Configura l'autenticazione basata su Kerberos per HiveServer2 e le connessioni client. L'autenticazione previene l'accesso non autorizzato a risorse di dati sensibili.

Lezione 4 • Mascheramento e Cifratura dei Dati

Applica policy dinamiche di mascheramento dei dati e zone di cifratura HDFS per proteggere le colonne sensibili. Il mascheramento consente analisi su dati sensibili senza esporre i valori originali.