Corso di Deep Learning Applicato

Lezione 1 • Il Percettrone e le Funzioni di Attivazione

Introduce il modello a singolo neurone e le funzioni di attivazione non lineari che consentono rappresentazioni complesse. Collega l'ispirazione biologica alla formulazione matematica.

Lezione 2 • Architettura di Rete Neurale Feedforward

Illustra come gli strati di neuroni compongono una rete feedforward e come l'informazione fluisce in avanti. Fornisce il vocabolario strutturale per tutte le architetture successive.

Lezione 3 • Funzioni di Perdita e Principi di Ottimizzazione

Definisce le funzioni di perdita per regressione e classificazione e introduce la discesa del gradiente. Collega l'obiettivo di addestramento agli aggiornamenti dei parametri.

Lezione 4 • Matematica per il Deep Learning

Tratta vettori, matrici, derivate e la regola della catena applicati ai calcoli neurali. Stabilisce il linguaggio matematico utilizzato durante l'intero corso.

Lezione 1 • Retropropagazione in Dettaglio

Deriva l'algoritmo di retropropagazione dalla regola della catena e traccia i gradienti attraverso ogni strato. Fornisce la comprensione meccanicistica necessaria per diagnosticare i problemi di addestramento.

Lezione 2 • Valutazione e Diagnosi dei Modelli

Tratta le suddivisioni in addestramento/validazione/test, le matrici di confusione e le curve di apprendimento per la diagnosi dei modelli. Consente agli studenti di identificare underfitting, overfitting e data leakage.

Lezione 3 • Tecniche di Regolarizzazione

Introduce le penalità sui pesi L1/L2, il dropout e la data augmentation per ridurre l'overfitting. Collega ciascuna tecnica al compromesso bias-varianza.

Lezione 4 • Tuning degli Iperparametri

Insegna strategie di ricerca sistematica per tasso di apprendimento, dimensione del batch e scelte architetturali. Collega le decisioni di tuning alle prestazioni del modello sui dati di validazione.

Lezione 1 • Tecniche di Segmentazione delle Immagini

Tratta la segmentazione semantica e di istanza utilizzando architetture encoder-decoder come U-Net. Estende il rilevamento degli oggetti alla comprensione a livello di pixel.

Lezione 2 • Fondamenti di Rilevamento Oggetti

Introduce anchor box, proposte di regione e rilevatori a stadio singolo per localizzare oggetti nelle immagini. Collega le competenze di classificazione a compiti di predizione spaziale.

Lezione 3 • Transfer Learning e Fine-Tuning

Dimostra come i pesi pre-addestrati su ImageNet accelerino l'addestramento su piccoli dataset. Tratta le strategie di congelamento degli strati e le tecniche di adattamento al dominio.

Lezione 4 • Operazioni di Convoluzione e Pooling

Illustra l'operazione di convoluzione, l'apprendimento dei filtri e il pooling spaziale per l'estrazione di feature. Stabilisce i blocchi costitutivi fondamentali di tutte le architetture CNN.

Lezione 1 • Gated Recurrent Unit

Presenta le GRU come alternativa semplificata alle LSTM con meno parametri e prestazioni comparabili. Guida gli studenti nella scelta tra LSTM e GRU per compiti specifici.

Lezione 2 • Fondamenti di Reti Neurali Ricorrenti

Introduce il grafo di calcolo ricorrente, lo stato nascosto e la retropropagazione attraverso il tempo. Stabilisce perché il contesto sequenziale richieda un'architettura diversa rispetto alle reti feedforward.

Lezione 3 • Modelli Sequence-to-Sequence

Costruisce architetture encoder-decoder per compiti come la traduzione automatica e il riassunto di testi. Introduce l'attenzione come soluzione al problema del collo di bottiglia informativo.

Lezione 4 • Reti Long Short-Term Memory

Spiega i gate LSTM — input, forget e output — e come preservino le dipendenze a lungo raggio. Collega la meccanica dei gate ai miglioramenti pratici rispetto alle RNN vanilla.

Lezione 1 • Attenzione Multi-Testa e Codifica Posizionale

Spiega come più teste di attenzione catturino relazioni diverse e come le codifiche posizionali iniettino l'ordine della sequenza. Fornisce la rappresentazione completa dell'input per gli strati Transformer.

Lezione 2 • Meccanismo di Auto-Attenzione

Deriva l'attenzione a prodotto scalare scalato da query, chiavi e valori e ne spiega il ruolo computazionale. Collega l'auto-attenzione ai limiti che supera nei modelli ricorrenti.

Lezione 3 • Modelli Linguistici Pre-addestrati

Tratta gli obiettivi di pre-addestramento di BERT, GPT e T5 e i loro protocolli di fine-tuning per compiti a valle. Collega la scala del pre-addestramento all'efficienza del transfer learning.

Lezione 4 • Vision Transformer e Utilizzo Cross-Dominio

Introduce lo schema di embedding a patch del Vision Transformer e lo confronta con gli approcci basati su CNN. Dimostra come i principi del Transformer si generalizzino oltre il testo.

Lezione 1 • Autoencoder e Rappresentazioni Latenti

Introduce gli autoencoder come modelli di compressione non supervisionata e spiega il concetto di spazio latente. Fornisce le basi per le estensioni variazionali e generative.

Lezione 2 • Autoencoder Variazionali

Deriva l'obiettivo del VAE combinando la perdita di ricostruzione e la divergenza KL per la generazione probabilistica. Consente agli studenti di campionare nuovi punti dati da una distribuzione appresa.

Lezione 3 • Modelli Diffusivi

Tratta il processo di aggiunta di rumore in avanti e la rete di denoising inversa che sono alla base dei moderni modelli diffusivi. Collega la diffusione alla qualità di sintesi di immagini allo stato dell'arte.

Lezione 4 • Valutazione dei Modelli Generativi

Introduce le metriche FID, IS e precision-recall per quantificare la qualità dei modelli generativi. Consente un confronto oggettivo tra gli output di VAE, GAN e modelli diffusivi.

Lezione 1 • Monitoraggio dei Modelli in Produzione

Tratta il rilevamento del data drift, il logging delle predizioni e l'alerting per mantenere l'affidabilità del modello nel tempo. Consente l'identificazione proattiva del degrado delle prestazioni.

Lezione 2 • Esportazione e Serializzazione dei Modelli

Spiega i formati ONNX, TorchScript e SavedModel per una distribuzione indipendente dal framework. Garantisce che i modelli siano portatili tra diversi ambienti di serving.

Lezione 3 • Distribuzione su Edge e Mobile

Introduce TensorFlow Lite e ONNX Runtime per distribuire modelli su dispositivi con risorse limitate. Affronta i vincoli specifici di latenza e memoria dell'inferenza su edge.

Lezione 4 • Servire Modelli con API

Costruisce endpoint di inferenza REST e gRPC utilizzando framework di serving e containerizzazione. Collega gli artefatti del modello ai servizi di predizione rivolti al client.

Lezione 1 • Apprendimento Auto-Supervisionato e Contrastivo

Tratta i framework SimCLR, MoCo e BYOL per l'apprendimento di rappresentazioni senza dati etichettati. Collega gli obiettivi contrastivi all'efficienza del fine-tuning a valle.

Lezione 2 • Addestramento Distribuito su Larga Scala

Tratta il parallelismo dei dati, il parallelismo dei modelli e l'accumulo del gradiente per l'addestramento su larga scala. Consente agli studenti di sfruttare efficacemente cluster multi-GPU e multi-nodo.

Lezione 3 • Graph Neural Network

Introduce la convoluzione su grafi, il message passing e il pooling per l'apprendimento su dati non euclidei. Estende il deep learning ai domini molecolari, sociali e dei grafi di conoscenza.

Lezione 4 • Leggere e Implementare Articoli di Ricerca

Insegna un approccio strutturato per analizzare, criticare e riprodurre la ricerca nel deep learning. Costruisce la capacità di tradurre i contributi degli articoli in codice funzionante.