Corso Big Data Integration

Lezione 1 • Metadati e cataloghi di dati

Spiega i ruoli dei metadati tecnici, di business e operativi. Stabilisce la gestione dei metadati come preoccupazione trasversale per tutto il lavoro di integrazione.

Lezione 2 • Panoramica del panorama dei big data

Definisce le caratteristiche dei big data e lo spazio problematico dell'integrazione. Ancora i successivi argomenti tecnici in un contesto di business reale.

Lezione 3 • Stili architetturali di integrazione dei dati

Esamina pattern ETL, ELT, di virtualizzazione dei dati e guidati dagli eventi. Fornisce un framework decisionale utilizzato in tutto il corso.

Lezione 1 • File system distribuiti

Copre i principi di archiviazione distribuita a livello di blocco e la semantica del file system. Collega l'architettura di archiviazione alle decisioni di ingestione ed elaborazione prese in seguito.

Lezione 2 • Selezione del formato di archiviazione

Confronta formati basati su righe, colonnari e annidati per carichi di lavoro di integrazione. Informa direttamente le decisioni di progettazione dello schema e trasformazione successive.

Lezione 3 • Object storage e tier cloud

Spiega la semantica dell'object storage e il tiering cloud-native. Prepara gli studenti per architetture di integrazione cloud-based nei capitoli successivi.

Lezione 4 • Data warehouse e data lake

Contrasta i warehouse schema-on-write con i lake schema-on-read. Guida la selezione dello storage in base ai pattern di query e ai requisiti di integrazione.

Lezione 1 • Fondamenti di trasformazione dei dati

Copre le trasformazioni di filtraggio, aggregazione, join e arricchimento. Costruisce l'insieme di competenze di trasformazione esteso nei capitoli avanzati.

Lezione 2 • Caricamento dati e pattern di destinazione

Spiega le strategie di caricamento upsert, merge e a dimensione a modifica lenta. Collega la logica di caricamento all'archiviazione in warehouse e lake trattata nel Capitolo 2.

Lezione 3 • Pattern di progettazione dell'ingestione batch

Copre le strategie di ingestione a caricamento completo, incrementale e change-data-capture. Stabilisce il livello di ingestione che alimenta tutto il successivo lavoro di trasformazione.

Lezione 4 • Tecniche di estrazione dei dati

Insegna l'estrazione su larga scala da database relazionali, file e API. Fornisce pattern di estrazione riutilizzabili applicati nei laboratori sulle pipeline.

Lezione 1 • Elaborazione di flussi stateful e stateless

Insegna filtraggio, mappatura, finestratura e aggregazione su flussi live. Costruisce la logica di elaborazione che alimenta dashboard in tempo reale e sistemi a valle.

Lezione 2 • Concetti di streaming e sistemi di messaggistica

Definisce flussi di eventi, topic, partizioni e gruppi di consumatori. Stabilisce le basi di messaggistica per tutto il lavoro sulle pipeline di streaming.

Lezione 3 • Architetture Lambda e Kappa

Contrasta architetture di integrazione batch-più-streaming e solo-streaming. Guida le decisioni architetturali per carichi di lavoro ibridi incontrati nella pratica.

Lezione 4 • Consegna flusso-a-storage

Spiega connettori sink, atterraggio micro-batch e strategie di compattazione. Collega l'output dello streaming ai sistemi di archiviazione trattati nel Capitolo 2.

Lezione 1 • Gestione dei dati master e di riferimento

Definisce domini di dati master, golden record e governance dei dati di riferimento. Fornisce le basi di consistenza dei dati per scenari di integrazione multi-fonte.

Lezione 2 • Progettazione dello schema per data lake

Spiega schema-on-read, architettura a zone e convenzioni di cartelle per i lake. Estende i concetti di storage lake del Capitolo 2 con una guida pratica alla progettazione.

Lezione 3 • Modellazione concettuale e logica dei dati

Copre la modellazione entità-relazione e la normalizzazione per contesti di integrazione. Fornisce le basi di modellazione per la progettazione dello schema fisico successiva.

Lezione 4 • Evoluzione dello schema e compatibilità

Copre strategie di compatibilità backward, forward e completa per schemi in evoluzione. Previene i guasti della pipeline causati dalla deriva dello schema nei sistemi di produzione.

Lezione 1 • Regole di qualità e framework di convalida

Spiega la convalida basata su regole, le suite di aspettative e i pattern di quarantena. Integra i quality gate nelle pipeline batch e di streaming costruite in precedenza.

Lezione 2 • Monitoraggio della qualità dei dati e SLA

Copre il monitoraggio continuo della qualità, l'alerting e il tracciamento degli accordi sul livello di servizio. Collega le metriche di qualità a dashboard operative e processi di governance.

Lezione 3 • Profilazione e rilevamento delle anomalie

Copre la profilazione statistica, l'analisi dei pattern e le tecniche di rilevamento degli outlier. Fornisce strumenti diagnostici utilizzati prima e durante l'esecuzione della pipeline.

Lezione 4 • Tecniche di pulizia dei dati

Insegna standardizzazione, deduplicazione, imputazione e trasformazioni di parsing. Estende le competenze di trasformazione del Capitolo 3 con logica focalizzata sulla qualità.

Lezione 1 • Osservabilità e logging della pipeline

Insegna logging strutturato, tracciamento distribuito e raccolta di metriche per le pipeline. Fornisce la visibilità necessaria per diagnosticare i guasti in flussi di integrazione complessi.

Lezione 2 • Orchestrazione avanzata del flusso di lavoro

Copre DAG dinamici, dipendenze tra pipeline e scheduling basato su SLA. Estende l'orchestrazione di base del Capitolo 3 a flussi di lavoro su scala enterprise.

Lezione 3 • Testing della pipeline e CI/CD

Spiega strategie di testing unitario, di integrazione ed end-to-end per le pipeline di dati. Incorpora la garanzia di qualità nel ciclo di vita del deployment del codice di integrazione.

Lezione 4 • Ottimizzazione delle prestazioni e pianificazione della capacità

Copre l'identificazione dei colli di bottiglia, il dimensionamento delle risorse e le strategie di scalabilità per le pipeline. Assicura che i sistemi di integrazione soddisfino gli SLA di throughput e latenza sotto carico.

Lezione 1 • Conformità normativa e audit trail

Spiega la retention dei dati, il diritto alla cancellazione, la gestione del consenso e il logging di audit. Allinea le pipeline di integrazione con gli obblighi di protezione dei dati intersettoriali.

Lezione 2 • Controllo degli accessi e gestione delle identità

Copre il controllo degli accessi basato su ruoli e attributi per le piattaforme di dati. Protegge le risorse di dati attraverso i livelli di storage e pipeline costruiti nei capitoli precedenti.

Lezione 3 • Crittografia e trasporto sicuro dei dati

Copre la crittografia a riposo, in transito e la gestione delle chiavi per i sistemi di integrazione. Protegge i dati in tutte le operazioni di movimento e archiviazione nella pipeline.

Lezione 4 • Framework di governance dei dati per l'integrazione

Definisce ruoli di governance, politiche e modelli di stewardship per risorse di dati integrate. Fornisce la struttura organizzativa che supporta tutti i controlli tecnici di governance.