Corso su Infrastruttura AI e Hypercomputer

Lezione 1 • Che Cos'è l'Infrastruttura AI

Definisce l'infrastruttura AI e la distingue dagli stack IT tradizionali. Ancora il capitolo inquadrando ogni argomento successivo all'interno di una visione di sistema unificata.

Lezione 2 • Componenti Fondamentali dei Sistemi AI

Mappa i livelli hardware, software e di rete che compongono un sistema AI. Fornisce la tassonomia dei componenti utilizzata in tutto il corso.

Lezione 3 • Introduzione al Concetto di Hypercomputer AI

Introduce l'Hypercomputer AI come un sistema strettamente integrato e appositamente progettato per l'AI su larga scala. Stabilisce la visione architetturale verso cui il corso si orienta.

Lezione 1 • Benchmarking delle Prestazioni degli Acceleratori

Introduce benchmark standard e strumenti di profilazione per gli acceleratori AI. Consente agli studenti di interpretare criticamente le specifiche dei fornitori.

Lezione 2 • TPU e Acceleratori Specifici per Dominio

Tratta le unità di elaborazione tensoriale e altri chip appositamente progettati e ottimizzati per operazioni su matrici. Confronta i loro trade-off con le GPU generiche.

Lezione 3 • Architettura GPU per l'AI

Spiega gli elementi della microarchitettura GPU critici per il throughput dell'AI. Fonda le decisioni di selezione hardware sulla comprensione architetturale.

Lezione 4 • Progettazione di Nodi Multi-Acceleratore

Esamina come più acceleratori sono impacchettati all'interno di un singolo nodo server. Collega la progettazione a livello di nodo ai risultati delle prestazioni a livello di cluster.

Lezione 1 • Requisiti di Rete dell'AI Distribuita

Quantifica le richieste di larghezza di banda e latenza imposte dagli algoritmi di addestramento distribuito. Stabilisce perché la rete standard del data center è insufficiente per l'AI.

Lezione 2 • Progettazione della Topologia di Rete

Tratta le topologie fat-tree, dragonfly e torus utilizzate nei grandi cluster AI. Insegna agli studenti a selezionare la topologia in base ai modelli di traffico e alla scala.

Lezione 3 • Calcolo In-Network

Introduce le capacità di scarico del calcolo integrate nei moderni switch di rete. Mostra come la riduzione in-network acceleri le operazioni collettive.

Lezione 4 • RDMA e Fabric ad Alte Prestazioni

Spiega l'Accesso Diretto alla Memoria Remota e il suo ruolo nell'evitare l'overhead della CPU. Collega RDMA alle tecnologie di fabric utilizzate negli Hypercomputer AI.

Lezione 1 • File System Paralleli e Distribuiti

Tratta le architetture dei file system paralleli ad alte prestazioni progettati per HPC e AI. Collega la progettazione del file system al throughput sostenuto su larga scala.

Lezione 2 • Tiering e Caching dello Storage

Introduce gerarchie di storage multilivello che bilanciano costo e prestazioni. Mostra come i livelli di caching riducano la pressione sullo storage primario durante l'addestramento.

Lezione 3 • Requisiti e Modelli di Storage per l'AI

Caratterizza i modelli di I/O dell'ingestione di dataset, del checkpointing e del model serving. Inquadra le scelte di progettazione dello storage in base al comportamento di accesso specifico dell'AI.

Lezione 4 • Object Storage per Dataset AI

Spiega la semantica dell'object storage e la sua idoneità per dataset AI ampi e immutabili. Affronta i modelli di integrazione tra object store e pipeline di addestramento.

Lezione 1 • Debug e Profilazione di Job Distribuiti

Fornisce metodi sistematici per diagnosticare blocchi, ritardatari ed errori di memoria in esecuzioni distribuite. Costruisce la fiducia operativa per la gestione di grandi job di addestramento.

Lezione 2 • Operazioni di Comunicazione Collettiva

Illustra in dettaglio le operazioni all-reduce, all-gather e broadcast utilizzate durante l'addestramento distribuito. Collega le primitive di comunicazione ai flussi di lavoro di sincronizzazione del gradiente.

Lezione 3 • Fondamenti dell'Addestramento Distribuito

Spiega il parallelismo dei dati, il parallelismo dei modelli e il parallelismo a pipeline partendo dai principi fondamentali. Fornisce le basi concettuali per tutte le decisioni a livello di framework.

Lezione 4 • Architettura dei Framework di Addestramento

Esamina i principali framework di addestramento distribuito e le loro filosofie di progettazione. Consente agli studenti di selezionare e configurare i framework per carichi di lavoro specifici.

Lezione 1 • Modellazione delle Prestazioni e Pianificazione della Capacità

Introduce modelli analitici per prevedere il throughput e l'utilizzo del sistema. Consente agli studenti di dimensionare le distribuzioni Hypercomputer per i carichi di lavoro target.

Lezione 2 • Organizzazione di Pod e Cluster

Descrive come pod di acceleratori, rack e cluster sono organizzati gerarchicamente. Collega il layout fisico alla topologia di rete e alla progettazione dei domini di guasto.

Lezione 3 • Principi dell'Architettura Hypercomputer

Definisce i pilastri architetturali di un Hypercomputer AI: co-progettazione, integrazione stretta e co-ottimizzazione software-hardware. Inquadra la visione a livello di sistema per il capitolo.

Lezione 4 • Integrazione della Fabric di Interconnessione

Illustra come le fabric ad alta velocità sono integrate tra i piani di calcolo, storage e gestione. Rafforza la conoscenza della rete nel contesto del sistema completo.

Lezione 1 • Strategie di Schedulazione dei Job

Tratta la gang scheduling, la prelazione e le code di priorità per i job di addestramento AI. Collega la politica di schedulazione all'utilizzo del cluster e ai risultati di equità.

Lezione 2 • Gestione di Cluster Multi-Tenant

Affronta l'isolamento, l'applicazione delle quote e la condivisione delle risorse tra più team. Garantisce che gli studenti possano gestire l'infrastruttura condivisa senza conflitti.

Lezione 3 • Fondamenti di Orchestrazione per l'AI

Introduce i concetti di orchestrazione dei container adattati per carichi di lavoro AI ad alta intensità di GPU. Stabilisce il vocabolario di schedulazione utilizzato in tutto il capitolo.

Lezione 4 • Osservabilità e Alerting del Cluster

Costruisce uno stack di monitoraggio per l'utilizzo della GPU, lo stato dei job e le metriche dell'infrastruttura. Fornisce la visibilità operativa necessaria per gestire i cluster AI in produzione.

Lezione 1 • Gestione della Capacità e dei Cambiamenti

Stabilisce processi per modifiche all'infrastruttura, aggiornamenti del firmware ed espansione della capacità. Garantisce la stabilità operativa man mano che l'Hypercomputer scala nel tempo.

Lezione 2 • Tolleranza ai Guasti e Alta Disponibilità

Tratta i modelli di ridondanza, il rilevamento dei guasti e il ripristino automatico per l'infrastruttura AI. Affronta direttamente i requisiti di affidabilità dei job di addestramento di lunga durata.

Lezione 3 • Sicurezza dei Dati e Controllo degli Accessi

Affronta la cifratura, le politiche di accesso e il logging di audit per i dataset di addestramento e gli artefatti del modello. Collega i requisiti di governance dei dati ai controlli dell'infrastruttura.

Lezione 4 • Architettura di Sicurezza per l'Infrastruttura AI

Definisce il modello di minaccia e i controlli di sicurezza specifici per gli ambienti di calcolo AI. Garantisce che gli studenti possano proteggere i pesi del modello, i dati e le risorse di calcolo.