Corso di Cloud Computing e Big Data

Lezione 1 • Concetti e Storia del Cloud Computing

Traccia l'evoluzione del cloud, dai mainframe ai moderni hyperscaler, e definisce la terminologia essenziale. Fornisce la base concettuale per tutti gli argomenti cloud successivi.

Lezione 2 • Modelli di Servizio Cloud Spiegati

Differenzia IaaS, PaaS e SaaS attraverso confronti funzionali ed esempi reali. Consente agli studenti di mappare i carichi di lavoro sul livello di servizio corretto.

Lezione 3 • Modelli di Deployment Cloud

Esamina le architetture cloud pubbliche, private, ibride e multi-cloud con un'analisi dei compromessi. Collega la scelta del deployment agli obiettivi di conformità organizzativa e di costo.

Lezione 1 • Servizi di Archiviazione Cloud

Tratta i tipi di storage a oggetti, a blocchi e di file, con i compromessi tra durabilità e modello di accesso. Prepara gli studenti a selezionare i livelli di storage per diversi requisiti applicativi.

Lezione 2 • Gestione delle Identità e degli Accessi

Insegna il controllo degli accessi basato sui ruoli, i criteri e i principi del minimo privilegio per gli ambienti cloud. Stabilisce le prassi di sicurezza necessarie prima di distribuire qualsiasi carico di lavoro di produzione.

Lezione 3 • Servizi di Calcolo e Macchine Virtuali

Introduce le macchine virtuali, i tipi di istanza e i gruppi di auto-scaling come primitive di calcolo fondamentali. Applica direttamente la conoscenza dei modelli di servizio cloud al provisioning dell'infrastruttura.

Lezione 4 • Servizi di Database Gestiti

Esamina le offerte di database gestiti relazionali e NoSQL, trattando provisioning e strategie di backup. Collega la conoscenza dello storage all'architettura delle applicazioni stateful.

Lezione 1 • Modelli di Elaborazione Batch e Stream

Confronta l'elaborazione batch con l'elaborazione stream in tempo reale utilizzando le architetture Lambda e Kappa. Prepara gli studenti a progettare pipeline adatte ai requisiti di latenza e throughput.

Lezione 2 • Introduzione all'Ecosistema Hadoop

Spiega HDFS, MapReduce, YARN e gli strumenti chiave dell'ecosistema come base dell'elaborazione batch distribuita. Fornisce il contesto storico e tecnico per i moderni framework di big data.

Lezione 3 • Architetture di Archiviazione per Big Data

Tratta i file system distribuiti, i data lake e i data warehouse come paradigmi di archiviazione complementari. Collega la conoscenza dell'archiviazione cloud alle esigenze di ingestione e conservazione dei big data.

Lezione 4 • Principi di Progettazione delle Pipeline di Big Data

Introduce i livelli di ingestione, trasformazione, archiviazione e distribuzione come framework di pipeline unificato. Fornisce agli studenti un modello di progettazione applicato in tutti i restanti capitoli sui big data.

Lezione 1 • Strategie di Caricamento del Data Warehouse

Tratta la modellazione dimensionale, le dimensioni a cambiamento lento e i modelli di caricamento bulk per archivi analitici. Collega le pipeline di ingestione a strutture di warehouse ottimizzate per le query.

Lezione 2 • Ingestione di Dati in Streaming in Tempo Reale

Insegna le code di messaggi, le piattaforme di streaming di eventi e i modelli produttore-consumatore per dati in tempo reale. Estende la conoscenza dell'ingestione batch a scenari a bassa latenza e alto throughput.

Lezione 3 • Tecniche di Ingestione Batch

Tratta i flussi di lavoro ETL, l'ingestione basata su file e i trasferimenti di dati pianificati per grandi dataset. Applica i principi di progettazione delle pipeline a sorgenti di dati strutturate e semi-strutturate.

Lezione 4 • Qualità e Validazione dei Dati

Introduce la profilazione dei dati, la validazione dello schema e il rilevamento di anomalie come gate di qualità nell'ingestione. Garantisce che l'analisi a valle e i modelli di machine learning ricevano dati affidabili.

Lezione 1 • Ottimizzazione delle Prestazioni di Spark

Affronta il partizionamento, il caching, i broadcast join e la serializzazione come leve chiave per l'ottimizzazione di Spark. Traduce la conoscenza teorica di Spark in efficienza dei job a livello di produzione.

Lezione 2 • Spark Streaming e Structured Streaming

Tratta i modelli di elaborazione micro-batch e continua per dati in tempo reale con Structured Streaming. Estende le competenze Spark batch alle pipeline di streaming a bassa latenza.

Lezione 3 • Architettura e Concetti Fondamentali di Spark

Spiega il driver, l'executor, lo scheduler DAG e il modello RDD come fondamenti dell'esecuzione di Spark. Costruisce il modello mentale necessario per scrivere ed eseguire il debug delle applicazioni Spark in modo efficace.

Lezione 4 • Eseguire Spark su Piattaforme Cloud

Dimostra il provisioning di cluster Spark gestiti, l'auto-scaling e il controllo dei costi sui servizi cloud. Collega le competenze Spark alle pratiche reali di distribuzione e operatività nel cloud.

Lezione 1 • Pipeline Serverless e Guidate dagli Eventi

Tratta i trigger Function-as-a-Service, gli event bus e i servizi di flusso di lavoro cloud-native per pipeline leggere. Complementa Airflow con modelli di automazione a basso overhead e guidati dagli eventi.

Lezione 2 • Monitoraggio e Osservabilità delle Pipeline

Tratta il logging, le metriche, gli avvisi e il tracciamento della derivazione per la visibilità operativa della pipeline. Consente ai team di rilevare, diagnosticare e risolvere rapidamente i guasti della pipeline.

Lezione 3 • Fondamenti dell'Orchestrazione delle Pipeline

Introduce l'orchestrazione dei flussi di lavoro basata su DAG, le dipendenze tra task e i concetti di pianificazione. Fornisce le basi architetturali per automatizzare pipeline di dati a più fasi.

Lezione 4 • Costruire Pipeline con Apache Airflow

Insegna la creazione di DAG, operatori, hook e XCom per la realizzazione di flussi di lavoro Airflow complessi. Applica i concetti di orchestrazione a una piattaforma open-source ampiamente adottata.

Lezione 1 • Principi di Visualizzazione dei Dati

Introduce la selezione dei grafici, la codifica visiva e i principi di storytelling per la comunicazione analitica. Garantisce che le visualizzazioni rappresentino accuratamente i dati e guidino decisioni informate.

Lezione 2 • Ottimizzazione delle Query Analitiche

Insegna la pianificazione delle query, l'indicizzazione, le viste materializzate e l'ottimizzazione basata sui costi per grandi dataset analitici. Si basa sulla conoscenza del caricamento del warehouse per massimizzare le prestazioni delle query.

Lezione 3 • Analisi in Tempo Reale e Cruscotti Streaming

Estende l'analisi batch a casi d'uso in tempo reale utilizzando aggregazioni streaming e cruscotti live. Collega la conoscenza di Spark Streaming e delle pipeline a scenari di analisi operativa.

Lezione 4 • Analisi Esplorativa dei Dati su Larga Scala

Tratta i riepiloghi statistici, l'analisi della distribuzione e le tecniche di correlazione applicate a grandi dataset. Collega l'ingestione di dati grezzi all'indagine analitica guidata da ipotesi.

Lezione 1 • Flusso di Lavoro ML e Fondamenti di MLOps

Mappa il ciclo di vita ML end-to-end, dalla preparazione dei dati alla distribuzione e al monitoraggio del modello. Stabilisce il framework operativo per tutti i successivi argomenti di implementazione ML.

Lezione 2 • Feature Store e Pipeline di Dati per ML

Introduce i feature store come ponte tra le pipeline di dati e l'addestramento e la distribuzione ML. Garantisce feature coerenti e riutilizzabili tra addestramento e inferenza in produzione.

Lezione 3 • Distribuzione e Serving del Modello

Insegna l'inferenza batch, gli endpoint REST in tempo reale e i modelli di distribuzione edge per i modelli ML. Collega i modelli addestrati ai sistemi di produzione che generano valore aziendale.

Lezione 4 • Addestramento Distribuito di Modelli

Tratta il parallelismo dei dati, il parallelismo dei modelli e i framework di addestramento distribuito per ML su larga scala. Applica la conoscenza di Spark e del cloud computing per accelerare l'addestramento dei modelli sui big data.