Corso per Tecnico ETL

Lezione 1 • Pattern di Architettura ETL

Presenta le architetture di pipeline batch, micro-batch e streaming. Lo studente abbina i pattern di architettura ai requisiti di latenza di business.

Lezione 2 • Predisposizione di un Ambiente di Apprendimento

Guida l'installazione degli strumenti e dei database di esempio utilizzati durante il corso. Garantisce che ogni studente disponga di uno spazio di lavoro locale funzionante prima di iniziare la programmazione.

Lezione 3 • Ruoli e Responsabilità di un Tecnico ETL

Definisce le attività quotidiane, i punti di contatto della collaborazione e i deliverable per un tecnico ETL. Colloca il ruolo all'interno dei team di data engineering.

Lezione 4 • Cosa Significa ETL nella Pratica

Definisce estrazione, trasformazione e caricamento come fasi discrete della pipeline. Stabilisce il vocabolario utilizzato durante tutto il corso.

Lezione 1 • Estrazione Completa vs. Incrementale

Confronta l'estrazione a caricamento completo con le strategie delta e di change data capture. Lo studente sceglie l'approccio corretto in base al volume di dati e alle esigenze di latenza.

Lezione 2 • Gestione degli Errori e Logging nell'Estrazione

Costruisce logica di retry, gestione dei timeout e log di audit dell'estrazione. Garantisce che le estrazioni fallite siano rilevate e recuperabili senza perdita di dati.

Lezione 3 • Estrazione da File Flat e Fogli di Calcolo

Gestisce formati di file CSV, TSV, Excel e a larghezza fissa. Affronta i problemi di codifica e i conflitti di delimitatore comuni nelle sorgenti basate su file.

Lezione 4 • Estrazione da API e Servizi Web

Implementa chiamate ad API REST e SOAP per recuperare payload JSON e XML. Tratta impaginazione, limitazione della frequenza e pattern di autenticazione.

Lezione 1 • Filtraggio e Deduplicazione

Rimuove le righe indesiderate e i record duplicati prima del caricamento. Insegna la logica di filtraggio a livello di riga e le strategie di deduplicazione basate su chiave.

Lezione 2 • Pulizia e Standardizzazione delle Stringhe

Applica trimming, normalizzazione delle maiuscole, sostituzione tramite regex e convalida del pattern ai campi di testo. Produce valori di stringa coerenti in tutti i record.

Lezione 3 • Unione e Fusione di Dataset

Esegue join interni, sinistri, destri e completi per combinare dati da più sorgenti. Affronta le discordanze delle chiavi di join e i rischi delle relazioni molti-a-molti.

Lezione 4 • Conversione e Casting dei Tipi di Dati

Converte stringhe, date, numeri e booleani tra schemi sorgente e destinazione incompatibili. Previene errori di discordanza di tipo in fase di caricamento.

Lezione 1 • Convalida e Profilazione dei Dati

Esegue la profilazione dei dati sorgente per rilevare valori nulli, outlier e violazioni di vincoli prima della trasformazione. Costruisce varchi di convalida che bloccano o contrassegnano i record errati.

Lezione 2 • Arricchimento dei Dati e Integrazione di Lookup

Arricchisce i record con dati di riferimento provenienti da tabelle esterne, API o file statici. Migliora il valore analitico senza alterare i dati del sistema sorgente.

Lezione 3 • Gestione dei Valori Nulli e Mancanti

Applica strategie di imputazione, sostituzione con valore predefinito e scarto per i dati mancanti. Garantisce che le analisi a valle non siano distorte da valori nulli non gestiti.

Lezione 4 • Dimensione a Variazione Lenta

Implementa i Tipi SCD 1, 2 e 3 per tracciare le modifiche storiche nelle tabelle delle dimensioni. Collega la gestione delle dimensioni al reporting storico accurato.

Lezione 1 • Caricamento in Data Warehouse

Applica sequenze di caricamento a schema a stella e a fiocco di neve per tabelle dei fatti e delle dimensioni. Impone l'integrità referenziale durante i caricamenti nel warehouse.

Lezione 2 • Gestione degli Errori di Caricamento e Rollback

Implementa la gestione delle transazioni, l'acquisizione delle violazioni di vincolo e le procedure di rollback. Garantisce l'integrità dei dati di destinazione quando si verificano fallimenti parziali del caricamento.

Lezione 3 • Caricamento in Data Lake

Scrive file Parquet, Avro e JSON partizionati su archivi a oggetti di destinazione. Tratta la strategia di partizionamento e la selezione del formato di file per le prestazioni delle query.

Lezione 4 • Tecniche di Caricamento Bulk

Utilizza utility di inserimento bulk e tabelle di staging per massimizzare la velocità di caricamento. Riduce il sovraccarico transazionale per dataset di grandi volumi.

Lezione 1 • Costruzione di Pipeline con Strumenti Visuali

Costruisce flussi end-to-end di estrazione, trasformazione e caricamento utilizzando componenti drag-and-drop. Rafforza i concetti delle fasi della pipeline attraverso l'uso pratico dello strumento.

Lezione 2 • Configurazione e Parametrizzazione della Pipeline

Esternalizza stringhe di connessione, percorsi di file e intervalli di date in file di configurazione e variabili d'ambiente. Consente il riutilizzo della pipeline tra ambienti diversi.

Lezione 3 • Navigazione negli Strumenti ETL Basati su GUI

Presenta l'area di lavoro, la tavolozza dei componenti e il canvas di job di uno strumento ETL visuale. Aumenta la confidenza nella navigazione delle interfacce dello strumento prima della costruzione della pipeline.

Lezione 4 • Logica di Trasformazione Basata su SQL

Implementa la logica di trasformazione direttamente in SQL utilizzando CTE, viste e stored procedure. Sfrutta le prestazioni del motore di database per carichi di lavoro di trasformazione pesanti.

Lezione 1 • Logica di Retry e Gestione degli SLA

Configura tentativi automatici, soglie di timeout e avvisi di violazione degli SLA all'interno dei flussi di lavoro. Riduce l'intervento manuale per i fallimenti transitori della pipeline.

Lezione 2 • Gestione delle Dipendenze dei Flussi di Lavoro

Definisce le dipendenze tra attività, le strutture DAG e l'ordine di esecuzione all'interno degli strumenti di orchestrazione. Impedisce l'esecuzione di attività a valle in caso di fallimento dei dati a monte.

Lezione 3 • Fondamenti di Schedulazione

Tratta la sintassi cron, i trigger basati sul tempo e la progettazione della schedulazione per i job ETL. Stabilisce la base per tutta l'esecuzione automatizzata delle pipeline.

Lezione 4 • Configurazione dello Strumento di Orchestrazione

Configura connessioni, variabili e pool in una piattaforma di orchestrazione. Traduce i progetti di pipeline in definizioni di flusso di lavoro distribuibili.

Lezione 1 • Ottimizzazione delle Prestazioni di Query e Trasformazioni

Identifica query SQL lente, join inefficienti e trasformazioni che consumano molta memoria. Applica indicizzazione, partizionamento e riscrittura delle query per ridurre il tempo di esecuzione.

Lezione 2 • Monitoraggio e Allerta della Pipeline

Costruisce dashboard e regole di allerta per tracciare lo stato del job, il conteggio delle righe e la latenza. Abilita il rilevamento proattivo del degrado della pipeline prima dell'impatto sul business.

Lezione 3 • Riconciliazione dei Dati e Audit

Confronta i conteggi dei record, i checksum e gli aggregati tra sorgente e destinazione per verificare l'accuratezza del caricamento. Fornisce un audit trail per conformità e risoluzione dei problemi.

Lezione 4 • Ottimizzazione della Velocità di Elaborazione della Pipeline

Aumenta la velocità di elaborazione dei dati utilizzando parallelismo, suddivisione in blocchi e pool di connessioni. Bilancia il consumo di risorse rispetto ai requisiti di velocità della pipeline.