Corso di Analytics Engineering

Lezione 1 • Panoramica sullo Stack di Dati Moderno

Mappa le categorie di strumenti che compongono una piattaforma dati contemporanea. Fornisce il vocabolario utilizzato durante tutto il corso.

Lezione 2 • Fondamenti di Controllo di Versione per Team di Dati

Tratta i flussi di lavoro Git adattati alle codebase di analisi. Collega il controllo del codice sorgente al lavoro collaborativo e riproducibile sui dati.

Lezione 3 • Ripasso di SQL per l'Analisi

Rivede i costrutti SQL più critici per le trasformazioni analitiche. Garantisce una base comune prima di introdurre pattern di query avanzati.

Lezione 4 • Fondamenti di Modellazione dei Dati

Introduce i concetti relazionali e i paradigmi di modellazione utilizzati per strutturare i dati analitici. Fornisce agli studenti le basi teoriche prima del lavoro pratico di trasformazione.

Lezione 1 • SQL Avanzato per Warehouse

Estende le competenze SQL alle funzioni specifiche del magazzino e ai modelli di prestazione. Costruisce la fluidità nella scrittura di query richiesta per trasformazioni complesse.

Lezione 2 • Caricamento e Staging dei Dati

Tratta il caricamento bulk, i formati di file e i modelli di area di staging per l'ingestione di dati grezzi. Collega l'ingestione al flusso di lavoro di trasformazione.

Lezione 3 • Fondamenti di Controllo degli Accessi e Governance dei Dati

Introduce l'accesso basato sui ruoli, il mascheramento dei dati e i permessi a livello di schema. Stabilisce abitudini di governance prima che vengano costruite le pipeline di produzione.

Lezione 4 • Architettura del Cloud Warehouse

Spiega la separazione calcolo-storage, i magazzini virtuali e i modelli di esecuzione delle query. Fornisce il contesto architettonico necessario per scrivere SQL efficiente.

Lezione 1 • Documentazione e il DAG di dbt

Insegna descrizioni dei modelli, documentazione a livello di colonna e visualizzazione del DAG. Produce pipeline auto-documentanti che supportano la collaborazione di squadra.

Lezione 2 • Modelli Incrementali e Prestazioni

Approfondisce le strategie incrementali per tabelle di grandi dimensioni. Bilancia aggiornamento, costo e correttezza nelle pipeline di produzione.

Lezione 3 • Costruzione di Modelli e Materializzazioni

Tratta i file dei modelli SQL, la funzione ref() e i tipi di materializzazione. Insegna come dbt compila ed esegue la logica di trasformazione.

Lezione 4 • Macro, Pacchetti e Jinja

Estende dbt con macro Jinja riutilizzabili e pacchetti della comunità. Riduce la duplicazione del codice e accelera lo sviluppo del progetto.

Lezione 5 • Struttura e Configurazione del Progetto dbt

Guida attraverso l'inizializzazione del progetto, la struttura delle directory e la configurazione del profilo. Stabilisce l'impalcatura del progetto utilizzata in tutto il successivo lavoro con dbt.

Lezione 1 • Modelli di Riutilizzabilità e Modularità

Insegna i principi DRY applicati ai modelli di dati attraverso macro e livelli di staging condivisi. Riduce l'onere di manutenzione nei progetti in crescita.

Lezione 2 • Gestire Relazioni di Dati Complesse

Affronta le relazioni molti-a-molti, le tabelle ponte e le gerarchie. Fornisce agli studenti gli strumenti per modellare accuratamente la complessità aziendale reale.

Lezione 3 • Modellazione Dimensionale in Pratica

Applica la progettazione a schema a stella a casi d'uso analitici reali. Traduce la teoria del Capitolo 1 in modelli dbt pronti per la produzione.

Lezione 4 • Un'unica Grande Tabella vs. Data Mart Normalizzati

Confronta ampie tabelle denormalizzate con strutture di data mart normalizzate. Guida gli studenti nella scelta del modello giusto per ogni caso d'uso.

Lezione 1 • Avvisi, Monitoraggio e Rimedio

Costruisce pipeline di avviso e flussi di lavoro di risposta agli incidenti per i fallimenti di qualità dei dati. Chiude il ciclo tra rilevamento e risoluzione.

Lezione 2 • Great Expectations e Quadri Personalizzati

Applica un quadro dedicato alla qualità dei dati insieme ai test dbt. Fornisce capacità di convalida più ricche per requisiti di qualità complessi.

Lezione 3 • Test Statistici e Distribuzionali

Introduce controlli di volume, monitoraggio della distribuzione e rilevamento di anomalie per dati numerici. Rileva derive sottili dei dati che i test strutturali non individuano.

Lezione 4 • Dimensioni della Qualità dei Dati

Definisce completezza, accuratezza, coerenza, tempestività e unicità come dimensioni misurabili della qualità. Inquadra la strategia di test per l'intero capitolo.

Lezione 1 • Costruire Flussi di Lavoro con Airflow

Tratta la creazione di DAG Airflow, operatori e connessioni. Traduce i concetti di orchestrazione in codice di pipeline funzionante.

Lezione 2 • Monitoraggio e Osservabilità per le Pipeline

Introduce i metadati della pipeline, la cronologia delle esecuzioni e le integrazioni di monitoraggio esterno. Fornisce visibilità sullo stato della pipeline su larga scala.

Lezione 3 • Pianificazione e Gestione delle Dipendenze

Insegna espressioni cron, pianificazione consapevole dei dati e dipendenze tra DAG. Garantisce che le pipeline vengano eseguite nell'ordine e con la tempistica corretti.

Lezione 4 • Concetti e Strumenti di Orchestrazione

Introduce l'orchestrazione basata su DAG, le dipendenze dei task e il panorama degli orchestratori. Fornisce le basi concettuali prima del lavoro pratico con gli strumenti.

Lezione 1 • Gestione dei Costi in Produzione

Applica controlli di costo del magazzino, budget di query e assegnazione di tag alle risorse alle pipeline di produzione. Bilancia le prestazioni con il costo operativo.

Lezione 2 • Risposta agli Incidenti per le Pipeline di Dati

Stabilisce runbook, pratiche di reperibilità e processi post-mortem per gli incidenti di dati. Riduce il tempo medio di ripristino per i fallimenti in produzione.

Lezione 3 • Gestione di Segreti e Configurazioni

Tratta l'archiviazione sicura delle credenziali, le variabili d'ambiente e i gestori di segreti. Previene l'esposizione delle credenziali nelle codebase di analisi.

Lezione 4 • CI/CD per Pipeline di Dati

Implementa test automatizzati e pipeline di distribuzione per progetti dbt. Porta la disciplina dell'ingegneria del software nei flussi di lavoro di trasformazione dei dati.

Lezione 1 • Modellazione di Dimensioni ed Entità

Progetta relazioni tra entità e gerarchie dimensionali all'interno del livello semantico. Consente slicing e filtraggio coerenti su tutte le metriche.

Lezione 2 • Il Concetto di Livello delle Metriche

Spiega perché un livello di metriche centralizzato elimina l'incoerenza delle metriche tra gli strumenti. Motiva il lavoro di modellazione semantica che segue.

Lezione 3 • Definire le Metriche con il dbt Semantic Layer

Tratta la sintassi MetricFlow per definire misure, dimensioni e metriche in dbt. Produce definizioni di metriche riutilizzabili e consumabili da qualsiasi strumento di BI.

Lezione 4 • Governance e Versionamento delle Metriche

Stabilisce la proprietà, la gestione delle modifiche e le pratiche di versionamento per le definizioni delle metriche. Mantiene la fiducia nelle metriche man mano che il business evolve.