Corso pratico di Databricks ML

Lezione 1 • Notebook e Sviluppo Collaborativo

Introduce la creazione di notebook, i comandi magici e le funzionalità di co-authoring. Stabilisce abitudini di sviluppo riproducibili utilizzate in tutti gli esperimenti di ML successivi.

Lezione 2 • Architettura dell'Area di Lavoro e Navigazione

Tratta il piano di controllo, il piano dati e l'interfaccia utente dell'area di lavoro Databricks. Fornisce agli studenti le basi sull'ambiente che utilizzeranno in tutti i capitoli successivi.

Lezione 3 • Accesso ai Dati e Integrazione dello Storage

Spiega i punti di montaggio, Unity Catalog e la gestione delle credenziali per l'archiviazione cloud. Abilita un accesso ai dati sicuro e coerente, necessario per le pipeline di ML.

Lezione 4 • Fondamenti di Databricks CLI e API REST

Introduce il controllo programmatico dell'area di lavoro tramite CLI ed endpoint REST. Prepara gli studenti ad automatizzare le attività e a integrare Databricks in toolchain esterne.

Lezione 1 • Delta Live Tables per l'Orchestrazione delle Pipeline

Introduce definizioni dichiarative di pipeline, aspettative e tracciamento della lineage. Automatizza l'applicazione della qualità dei dati in più fasi prima che le feature raggiungano l'addestramento del modello.

Lezione 2 • Trasformazione dei Dati con Spark SQL

Tratta aggregazioni, funzioni finestra e gestione di tipi complessi in Spark SQL. Trasforma i dati grezzi in feature strutturate utilizzate dai modelli di ML.

Lezione 3 • Concetti Fondamentali di Apache Spark

Tratta RDD, DataFrame e il modello di esecuzione di Spark. Fornisce le basi computazionali per tutte le attività di elaborazione dati nei capitoli successivi di ML.

Lezione 4 • Delta Lake per Carichi di Lavoro di ML

Introduce le transazioni ACID, il time travel e l'ottimizzazione delle tabelle Delta. Garantisce l'affidabilità e la riproducibilità dei dati attraverso esperimenti di ML iterativi.

Lezione 1 • Eliminazione del Training-Serving Skew

Affronta la coerenza tra i dati di addestramento offline e le feature di serving online. Gli studenti implementano set di addestramento basati su lookup che rispecchiano i percorsi di inferenza in produzione.

Lezione 2 • Architettura del Databricks Feature Store

Spiega le tabelle del Feature Store, i metadati e la divisione offline-online. Gli studenti comprendono come le feature vengono archiviate, versionate e recuperate per l'addestramento e il serving.

Lezione 3 • Scrittura e Lettura di Tabelle di Feature

Insegna le API di scrittura e lettura per aggiornamenti di feature batch e in streaming. Collega le pipeline di ingestione del Capitolo 2 ai flussi di lavoro di addestramento del modello a valle.

Lezione 4 • Fondamenti di Feature Engineering

Tratta codifica, ridimensionamento, imputazione e termini di interazione utilizzando Spark. Stabilisce il vocabolario delle feature applicato in tutti i capitoli del Feature Store e dell'addestramento dei modelli.

Lezione 1 • Addestramento di Modelli di Deep Learning

Introduce cicli di addestramento TensorFlow e PyTorch integrati con il logging di MLflow. Prepara gli studenti al deep learning distribuito trattato nel capitolo sull'addestramento avanzato.

Lezione 2 • Ottimizzazione degli Iperparametri con Hyperopt

Insegna l'ottimizzazione bayesiana e la ricerca parallela utilizzando Hyperopt e SparkTrials. Gli studenti migliorano sistematicamente le prestazioni del modello oltre la ricerca a griglia manuale.

Lezione 3 • Fondamenti del Tracciamento con MLflow

Introduce esperimenti, esecuzioni, parametri, metriche e tag in MLflow. Stabilisce la disciplina di registrazione che è alla base del ML riproducibile in tutto il corso.

Lezione 4 • Addestramento di Modelli Scikit-learn e Spark ML

Tratta la costruzione di pipeline, la convalida incrociata e l'autologging di MLflow per entrambi i framework. Gli studenti addestrano e registrano modelli di baseline che fungono da riferimento per le tecniche avanzate.

Lezione 1 • Registrazione e Versionamento dei Modelli

Insegna la registrazione dei modelli da esecuzioni MLflow in modo programmatico e tramite interfaccia utente. Gli studenti stabiliscono una disciplina di versionamento coerente per tutti i modelli addestrati.

Lezione 2 • Transizioni di Fase e Flussi di Lavoro di Approvazione

Tratta le transizioni Staging, Produzione e Archiviato con notifiche basate su webhook. Implementa un processo di promozione controllato che rispecchia gli standard MLOps aziendali.

Lezione 3 • Registro dei Modelli di Unity Catalog

Spiega il Registro dei Modelli basato su Unity Catalog per la governance tra aree di lavoro. Gli studenti migrano dalla gestione dei modelli a livello di area di lavoro a quella a livello di catalogo per una scala aziendale.

Lezione 4 • Firme dei Modelli ed Esempi di Input

Introduce le firme dei modelli MLflow, gli esempi di input e l'imposizione dello schema. Previene gli errori di tipo a runtime e documenta le interfacce previste del modello per i consumatori a valle.

Lezione 1 • Ottimizzazione Distribuita degli Iperparametri su Larga Scala

Estende SparkTrials di Hyperopt e introduce Optuna per la ricerca parallela su larga scala. Gli studenti ottimizzano i modelli di deep learning su centinaia di prove simultanee in modo efficiente.

Lezione 2 • TorchDistributor per l'Addestramento PyTorch

Introduce TorchDistributor come API Databricks nativa per PyTorch distribuito. Gli studenti lanciano job PyTorch multi-GPU e multi-nodo senza configurazione manuale del cluster.

Lezione 3 • Concetti di Addestramento Distribuito

Tratta il parallelismo dei dati, il parallelismo dei modelli e le strategie di sincronizzazione dei gradienti. Fornisce le basi teoriche necessarie prima di implementare framework distribuiti.

Lezione 4 • Horovod per il Deep Learning Distribuito

Insegna l'inizializzazione di Horovod, lo sharding dei dati basato sul rank e HorovodRunner su Databricks. Gli studenti convertono script di addestramento su singolo nodo in job distribuiti multi-nodo.

Lezione 1 • Architettura di Databricks Model Serving

Spiega il model serving serverless, i tipi di endpoint e l'instradamento del traffico. Orienta gli studenti al livello di serving prima di configurare e testare endpoint live.

Lezione 2 • Target di Distribuzione Esterni

Tratta l'esportazione di modelli in formato ONNX, container Docker e piattaforme di serving cloud-native. Prepara gli studenti a distribuire modelli addestrati su Databricks al di fuori dell'ambiente Databricks.

Lezione 3 • Logica di Inferenza Personalizzata con PyFunc

Insegna il flavor PyFunc di MLflow per incapsulare logica Python arbitraria come modello distribuibile. Gli studenti aggiungono logica di pre-elaborazione, post-elaborazione ed ensemble agli endpoint di serving.

Lezione 4 • Distribuzione di Modelli MLflow su Endpoint

Tratta la creazione di endpoint, il blocco delle versioni del modello e l'invocazione dell'API REST. Gli studenti distribuiscono i modelli registrati del Capitolo 5 e convalidano le risposte end-to-end.

Lezione 1 • Audit, Lineage e Conformità

Tratta la lineage di Unity Catalog, i log di audit di MLflow e la governance degli accessi per ambienti regolamentati. Gli studenti documentano la provenienza del modello per soddisfare i requisiti di audit interni ed esterni.

Lezione 2 • Lakehouse Monitoring per ML

Introduce Databricks Lakehouse Monitoring per il calcolo automatico delle metriche sulle tabelle di inferenza. Fornisce dashboard pronte all'uso per la qualità del modello e lo stato dei dati.

Lezione 3 • Principi MLOps e Livelli di Maturità

Definisce la maturità MLOps dalla sperimentazione manuale alle pipeline completamente automatizzate. Inquadra gli obiettivi di governance e automazione che gli studenti implementano nelle sezioni successive.

Lezione 4 • Rilevamento del Drift dei Dati e del Modello

Tratta test statistici per lo spostamento delle covariate, il drift delle etichette e il drift delle previsioni. Gli studenti implementano avvisi di drift che attivano automaticamente le pipeline di riaddestramento.