Formazione Databricks

Lezione 1 • Navigare nell'area di lavoro di Databricks

Illustra l'interfaccia utente dell'area di lavoro, l'organizzazione delle risorse e i ruoli utente. I partecipanti acquisiscono familiarità pratica con l'ambiente prima di scrivere qualsiasi codice.

Lezione 2 • Connessione alle sorgenti dati

Dimostra come montare l'archiviazione cloud e connettersi a database esterni. Stabilisce i modelli di accesso ai dati necessari per tutte le attività di data engineering e analytics.

Lezione 3 • Cos'è l'architettura Lakehouse

Definisce il paradigma lakehouse e lo contrappone ai data warehouse e ai data lake. Stabilisce il contesto architetturale per tutto il lavoro successivo con Databricks.

Lezione 4 • Lavorare con i notebook di Databricks

Introduce la creazione di notebook, i comandi magici e il supporto multi-linguaggio. I notebook sono l'interfaccia di sviluppo principale utilizzata in tutti i capitoli successivi.

Lezione 1 • Lettura e scrittura di formati di dati

Illustra la lettura e la scrittura dei formati Parquet, JSON, CSV e Delta con le relative opzioni. Una corretta gestione dei formati è fondamentale per tutte le pipeline di ingestione e output.

Lezione 2 • DataFrame e l'API DataFrame

Illustra la creazione di DataFrame, l'inferenza dello schema e le trasformazioni principali. I DataFrame sono l'astrazione primaria utilizzata in tutti i capitoli sull'elaborazione dei dati.

Lezione 3 • Basi delle prestazioni di Spark

Introduce il partizionamento, la caching e i broadcast join per l'ottimizzazione delle prestazioni. Queste tecniche vengono applicate nei capitoli avanzati sull'ottimizzazione più avanti nel corso.

Lezione 4 • Architettura e modello di esecuzione di Spark

Spiega driver, executor, DAG e lazy evaluation. Comprendere il flusso di esecuzione è fondamentale per scrivere codice Spark efficiente nei capitoli successivi.

Lezione 1 • Operazioni DML su tabelle Delta

Insegna le operazioni INSERT, UPDATE, DELETE e MERGE sulle tabelle Delta. Consente ai partecipanti di implementare pattern di upsert essenziali per le pipeline di dati incrementali.

Lezione 2 • Ottimizzare le tabelle Delta

Illustra i comandi OPTIMIZE, ZORDER e VACUUM per la gestione delle prestazioni e dell'archiviazione. Queste operazioni sono fondamentali per mantenere tabelle Delta di livello produttivo.

Lezione 3 • Time Travel e versionamento dei dati

Dimostra come interrogare versioni storiche delle tabelle e ripristinare stati precedenti. Il time travel supporta l'auditing e il ripristino degli errori nelle pipeline di dati in produzione.

Lezione 4 • Creare e gestire tabelle Delta

Illustra le operazioni DDL, le proprietà delle tabelle e le tabelle gestite rispetto a quelle esterne. Queste competenze sono necessarie per costruire livelli di dati strutturati nei capitoli successivi sulle pipeline.

Lezione 1 • Auto Loader per l'ingestione incrementale

Introduce le modalità di notifica dei file e di elenco delle directory di Auto Loader per un'ingestione scalabile. Auto Loader è il pattern Databricks consigliato per l'ingestione continua basata su file.

Lezione 2 • Pattern di ingestione batch

Illustra le strategie di caricamento batch completo e incrementale utilizzando Spark e Delta. Stabilisce i pattern di ingestione che sono alla base di tutte le architetture di pipeline in questo capitolo.

Lezione 3 • Costruire la logica di trasformazione

Illustra i pattern di trasformazione multi-step, tra cui pulizia, arricchimento e deduplicazione. La logica di trasformazione è il livello di valore aggiunto principale in qualsiasi pipeline ETL.

Lezione 4 • Delta Live Tables per l'orchestrazione delle pipeline

Introduce Delta Live Tables (DLT) per la definizione dichiarativa delle pipeline e l'applicazione della qualità. DLT semplifica la gestione delle pipeline e si integra con l'architettura medaglione.

Lezione 1 • Principi dell'architettura Medaglione

Definisce le responsabilità dei livelli Bronze, Silver e Gold e i contratti di dati. Fornisce il quadro strutturale applicato in ogni sezione successiva di modellazione e pipeline.

Lezione 2 • Progettare il livello Bronze

Illustra l'atterraggio dei dati grezzi, lo schema-on-read e la preservazione della fedeltà alla sorgente. Un livello Bronze ben progettato garantisce la piena verificabilità e la capacità di rielaborazione.

Lezione 3 • Costruire gli aggregati del livello Gold

Illustra la costruzione di tabelle pre-aggregate e denormalizzate ottimizzate per BI e reportistica. Le tabelle Gold riducono la complessità delle query e migliorano le prestazioni dei dashboard.

Lezione 4 • Costruire il livello Silver

Insegna la pulizia, il cast dei tipi, la deduplicazione e la conformazione dei dati a uno schema unificato. Il livello Silver è la sorgente primaria per i carichi di lavoro analitici e di ML.

Lezione 1 • Ottimizzazione delle query per l'analisi

Insegna l'analisi dei piani di query, le strategie di caching e il caching dei risultati per i carichi di lavoro SQL. Query ottimizzate riducono i costi del warehouse e migliorano l'esperienza utente.

Lezione 2 • Creare dashboard e visualizzazioni

Illustra la creazione di grafici, dashboard e avvisi all'interno di Databricks SQL. I dashboard consentono agli stakeholder aziendali di fruire dei dati senza scrivere codice.

Lezione 3 • Unity Catalog per la governance dei dati

Introduce lo spazio dei nomi a tre livelli, il controllo degli accessi e la tracciabilità dei dati di Unity Catalog. La governance è fondamentale per un'analisi sicura e conforme tra i team.

Lezione 4 • Tecniche SQL avanzate in Databricks

Insegna le funzioni finestra, le CTE e le funzioni di ordine superiore per query analitiche complesse. Queste tecniche consentono analisi sofisticate direttamente all'interno di Databricks SQL.

Lezione 1 • Registro modelli di MLflow

Introduce la registrazione dei modelli, le transizioni di fase e la gestione delle versioni nel Model Registry. Il registro fornisce governance e tracciabilità per i modelli in produzione.

Lezione 2 • Pubblicazione del modello e inferenza batch

Illustra gli endpoint per la pubblicazione di modelli in tempo reale e l'inferenza batch con Spark. Distribuire i modelli in entrambe le modalità garantisce flessibilità per diverse esigenze aziendali.

Lezione 3 • Addestrare modelli su larga scala con Spark

Illustra l'addestramento distribuito utilizzando pandas UDF, Spark ML e Hyperopt per l'ottimizzazione. L'addestramento distribuito riduce il tempo per ottenere insight su grandi set di dati.

Lezione 4 • Monitoraggio degli esperimenti con MLflow

Insegna a registrare parametri, metriche e artefatti con MLflow Tracking. Il monitoraggio sistematico degli esperimenti consente la riproducibilità e una selezione informata dei modelli.

Lezione 1 • Monitoraggio, logging e gestione dei costi

Illustra i log degli eventi del cluster, le metriche dei job, i log di audit e il monitoraggio dei costi in DBU. L'osservabilità e il controllo dei costi sono essenziali per operazioni di produzione sostenibili.

Lezione 2 • Pianificazione e attivazione dei flussi di lavoro

Insegna la pianificazione basata su cron, gli attivatori all'arrivo di file e gli attivatori API esterni. L'attivazione flessibile garantisce che le pipeline vengano eseguite al momento giusto con un intervento manuale minimo.

Lezione 3 • Infrastructure as Code con Terraform

Introduce il provisioning delle risorse Databricks utilizzando il provider Terraform. L'infrastructure as code garantisce una configurazione dell'ambiente riproducibile e verificabile tra le aree di lavoro.

Lezione 4 • Job Databricks e orchestrazione dei task

Illustra la creazione di job multi-task, l'impostazione delle dipendenze e la configurazione del calcolo per ogni task. I job sono il meccanismo principale per eseguire carichi di lavoro di produzione secondo una pianificazione.