Corso per Cloud Data Engineer

Lezione 1 • Modelli di Servizio Cloud e Tipi di Deployment

Copre le distinzioni tra IaaS, PaaS e SaaS insieme ai deployment pubblici, privati e ibridi. Fondamenta per tutte le successive decisioni sui servizi dati cloud in un contesto architetturale.

Lezione 2 • Componenti Fondamentali dell'Infrastruttura Cloud

Introduce le primitive di calcolo, archiviazione, rete e identità utilizzate nelle principali piattaforme cloud. Fornisce il vocabolario necessario per progettare e discutere l'infrastruttura dati.

Lezione 3 • Fondamenti di Sicurezza e Conformità Cloud

Copre la crittografia a riposo e in transito, la gestione delle chiavi e i quadri normativi per i dati. Stabilisce le abitudini di sicurezza applicate durante l'intero corso.

Lezione 1 • Scegliere l'Archiviazione Giusta per Ogni Caso d'Uso

Applica un quadro decisionale per abbinare i sistemi di archiviazione a requisiti di latenza, throughput e costo. Sintetizza tutte le opzioni di archiviazione in una guida pratica alla selezione.

Lezione 2 • NoSQL e Opzioni di Archivio Chiave-Valore

Copre i modelli di database documentali, a colonne larghe, chiave-valore e a grafo disponibili come servizi cloud. Guida la selezione in base ai pattern di accesso e ai requisiti di consistenza.

Lezione 3 • Servizi di Database Relazionali nel Cloud

Esamina le offerte di database relazionali gestiti, le configurazioni ad alta disponibilità e le repliche di lettura. Collega i fondamenti SQL ai pattern di deployment cloud gestiti.

Lezione 4 • Data Warehousing come Servizio Cloud

Introduce l'archiviazione a colonne, l'architettura MPP e il provisioning e la scalabilità del data warehouse cloud. Prepara gli studenti per i carichi di lavoro di query analitiche trattati nei capitoli successivi.

Lezione 1 • Pattern e Strumenti di Ingestione Batch

Copre trasferimenti file pianificati, ingestione API in blocco e strategie di caricamento incrementale per pipeline batch. Stabilisce il pattern di ingestione più comune prima di introdurre lo streaming.

Lezione 2 • Tecniche di Change Data Capture

Spiega i metodi CDC basati su log, trigger e timestamp per catturare le modifiche del database. Consente la replica quasi in tempo reale senza scansioni complete della tabella.

Lezione 3 • Fondamenti di Ingestione Streaming

Introduce i concetti di event streaming, produttori, consumatori, topic e partizioni per il flusso dati in tempo reale. Collega la conoscenza dell'ingestione batch all'elaborazione continua dei dati.

Lezione 1 • Orchestrazione dei Flussi di Trasformazione

Applica strumenti di orchestrazione per pianificare, monitorare e versionare i lavori di trasformazione su scala. Estende i fondamenti di orchestrazione delle pipeline a flussi di lavoro di trasformazione complessi in più fasi.

Lezione 2 • Modellazione dei Dati per l'Analisi

Introduce lo schema a stella, a fiocco di neve e la modellazione data vault per carichi di lavoro analitici. Assicura che gli output di trasformazione siano strutturati per un'interrogazione a valle efficiente.

Lezione 3 • Pattern di Trasformazione Basati su SQL

Copre funzioni finestra, CTE, modelli incrementali e ottimizzazione delle query per trasformazioni SQL su larga scala. Collega le competenze SQL ai motori di query per data warehouse cloud e lake.

Lezione 4 • Elaborazione Batch Distribuita con Spark

Insegna le API RDD e DataFrame, il partizionamento, lo shuffling e l'ottimizzazione dei job in Apache Spark. Stabilisce il principale motore di elaborazione distribuita utilizzato durante il corso.

Lezione 1 • Finestre Temporali e Semantica del Tempo

Copre finestre tumbling, sliding e di sessione insieme a tempo evento, tempo elaborazione e watermark. Consente aggregazioni accurate su flussi di eventi fuori ordine e in ritardo.

Lezione 2 • Pattern di Progettazione per Pipeline Streaming

Applica le architetture lambda, kappa e streaming-first a scenari reali di ingegneria dei dati. Collega la conoscenza dei framework alle decisioni di progettazione delle pipeline end-to-end.

Lezione 3 • Elaborazione di Flussi Stateful

Spiega lo stato con chiave, lo stato dell'operatore, il checkpointing e i backend di stato per job di streaming tolleranti ai guasti. Consente il rilevamento di eventi complessi e aggregazioni in esecuzione su flussi illimitati.

Lezione 1 • Contratti di Dati e Gestione degli Schemi

Definisce i contratti di dati tra produttori e consumatori e copre l'uso e l'evoluzione del registro degli schemi. Previene la propagazione di modifiche che causano interruzioni attraverso sistemi di dati dipendenti.

Lezione 2 • Quadri di Validazione della Qualità dei Dati

Copre la validazione dello schema, i controlli di null, l'integrità referenziale e la profilazione statistica per la qualità dei dati. Integra i controlli di qualità direttamente nelle pipeline di ingestione e trasformazione.

Lezione 3 • Lineage dei Dati e Catalogazione

Spiega la lineage a livello di colonna, la catalogazione dei metadati e gli strumenti di data discovery per la conformità della governance. Consente ai team di tracciare le origini dei dati e comprendere l'impatto a valle delle modifiche.

Lezione 4 • Osservabilità e Monitoraggio delle Pipeline

Introduce metriche, log, tracce e monitoraggio degli SLA per la salute delle pipeline end-to-end. Fornisce la visibilità operativa necessaria per mantenere i sistemi di dati in produzione in modo affidabile.

Lezione 1 • Progettare per Ambienti Multi-Cloud e Ibridi

Copre la portabilità dei dati, la rete cross-cloud e gli strumenti vendor-neutral per piattaforme dati multi-cloud. Prepara gli studenti a progettare piattaforme che evitino il lock-in su un singolo fornitore.

Lezione 2 • Pattern di Scalabilità e Affidabilità

Affronta la scalabilità orizzontale, la tolleranza ai guasti, l'idempotenza e il disaster recovery per componenti di piattaforme dati. Garantisce che le architetture progettate soddisfino i requisiti di affidabilità e disponibilità in produzione.

Lezione 3 • Strategie di Ottimizzazione dei Costi della Piattaforma

Applica il dimensionamento corretto, l'uso di istanze spot, la suddivisione in livelli di archiviazione e i controlli dei costi delle query per ridurre la spesa della piattaforma. Collega le decisioni architetturali a risultati di costo misurabili.

Lezione 4 • Architetture di Riferimento per Piattaforme Dati Moderne

Esamina le architetture medallion, data mesh e lakehouse come modelli per piattaforme dati cloud. Fornisce il vocabolario architetturale e i pattern per gli esercizi di progettazione che seguono.

Lezione 1 • Capacity Planning e Gestione delle Prestazioni

Applica test di carico, previsione delle risorse e benchmarking delle prestazioni alle decisioni di capacità della piattaforma dati. Garantisce che le piattaforme scalino in modo proattivo anziché reattivo sotto volumi di dati crescenti.

Lezione 2 • Cultura DataOps e Miglioramento Continuo

Introduce i principi DataOps, i circuiti di feedback, il versionamento delle pipeline e le pratiche di collaborazione di squadra. Incorpora una mentalità di miglioramento continuo nelle operazioni quotidiane di ingegneria dei dati.

Lezione 3 • Gestione degli Ambienti e Configurazione

Copre la parità tra ambienti di sviluppo, staging e produzione, la gestione dei segreti e le configurazioni specifiche per ambiente. Previene il configuration drift e l'esposizione delle credenziali attraverso gli ambienti di deployment.

Lezione 4 • Pipeline CI/CD per Ingegneria dei Dati

Costruisce flussi di lavoro automatizzati di testing, linting, deployment e rollback per il codice delle pipeline di dati. Applica le pratiche di consegna dell'ingegneria del software al ciclo di vita dell'ingegneria dei dati.