Corso su dbt (Data Build Tool)

Lezione 1 • DBT Core vs. DBT Cloud

Distingue lo strumento CLI open-source dalla piattaforma cloud gestita. Gli studenti scelgono la modalità di deployment adatta al proprio ambiente.

Lezione 2 • Configurazione dell'ambiente DBT

Guida all'installazione di DBT Core e alla connessione a un data warehouse. Gli studenti completano la configurazione con un ambiente locale funzionante, pronto per la creazione del progetto.

Lezione 3 • Cos'è DBT e perché è importante

Illustra la proposta di valore fondamentale di DBT e come trasforma la trasformazione dei dati basata su SQL. Fornisce agli studenti il contesto del problema che DBT risolve prima di qualsiasi attività pratica.

Lezione 1 • Inizializzare un progetto DBT

Illustra il comando dbt init e la struttura dei file generata. Gli studenti comprendono lo scopo di ogni file generato automaticamente prima di modificare qualsiasi cosa.

Lezione 2 • Controllo di versione e convenzioni di progetto

Stabilisce flussi di lavoro basati su Git e convenzioni di denominazione per progetti DBT scalabili. Gli studenti applicano standard coerenti che supportano la collaborazione del team.

Lezione 3 • Gestione di profili e target

Copre la configurazione di profili multi-ambiente per target di sviluppo, staging e produzione. Gli studenti passano da un contesto all'altro in sicurezza senza inserire le credenziali direttamente nel codice.

Lezione 1 • Organizzare i modelli in livelli

Introduce le convenzioni dei livelli di staging, intermediate e mart per l'organizzazione dei modelli. Gli studenti strutturano un progetto a più livelli che rispecchia la pratica reale dell'analytics engineering.

Lezione 2 • Le materializzazioni in dettaglio

Spiega le materializzazioni table, view, incremental ed ephemeral con i relativi compromessi. Gli studenti selezionano la materializzazione corretta per le esigenze di prestazione di ciascun modello.

Lezione 3 • Selezionare ed eseguire sottoinsiemi di modelli

Copre la sintassi di selezione dei nodi per eseguire sottoinsiemi mirati del DAG. Gli studenti ricostruiscono in modo efficiente solo i modelli di cui hanno bisogno durante lo sviluppo.

Lezione 4 • Scrivere il primo modello DBT

Introduce la sintassi del modello basato su SQL SELECT e la funzione ref(). Gli studenti scrivono ed eseguono un modello funzionante su una tabella reale del warehouse.

Lezione 1 • Freschezza delle sorgenti e data contract

Insegna le soglie di freschezza e come applicare SLA di arrivo dei dati a livello di sorgente. Gli studenti configurano avvisi che segnalano dati non aggiornati prima che raggiungano i mart.

Lezione 2 • Dichiarazione e Utilizzo delle Sorgenti

Copre le dichiarazioni YAML delle sorgenti e la funzione source() per fare riferimento alle tabelle grezze. Gli studenti sostituiscono i nomi tabella cablati nel codice con riferimenti governati alle sorgenti.

Lezione 3 • Catturare la cronologia con gli Snapshots

Introduce gli snapshot DBT per tracciare nel tempo i record delle dimensioni a cambiamento lento. Gli studenti implementano strategie basate su timestamp e check per schemi SCD di Tipo 2.

Lezione 1 • Pacchetti di test di terze parti

Esamina pacchetti diffusi come dbt-expectations e dbt-utils per una copertura di test estesa. Gli studenti installano e applicano test basati su pacchetti per colmare le lacune nella copertura integrata.

Lezione 2 • Scrivere test generici personalizzati

Insegna a creare test generici riutilizzabili basati su Jinja per regole specifiche del progetto. Gli studenti estendono la libreria di test oltre le opzioni integrate.

Lezione 3 • Test singolari per logiche complesse

Introduce i test singolari basati su SQL per asserzioni che non possono essere espresse in modo generico. Gli studenti scrivono test mirati per la validazione delle regole di business.

Lezione 4 • Gravità del test e gestione dei fallimenti

Spiega i livelli di gravità warn ed error e come gestire i fallimenti attesi dei test. Gli studenti configurano test che avvisano senza bloccare l'esecuzione della pipeline.

Lezione 1 • Comprendere e utilizzare il DAG

Spiega la vista del grafo aciclico diretto e come utilizzarla per l'analisi d'impatto. Gli studenti tracciano il lineage dei dati dalla sorgente grezza al modello mart finale.

Lezione 2 • Utilizzo dei blocchi doc() per il riutilizzo

Introduce i blocchi doc Markdown per scrivere descrizioni estese e riutilizzabili. Gli studenti eliminano la documentazione duplicata tra definizioni di colonne condivise.

Lezione 3 • Scrivere descrizioni di modelli e colonne

Copre le descrizioni YAML inline per modelli, colonne e sorgenti. Gli studenti documentano ogni asset in modo che la documentazione generata sia immediatamente utile.

Lezione 1 • Fondamenti di template Jinja

Introduce la sintassi Jinja, incluse variabili, cicli e condizionali, all'interno dei modelli SQL. Gli studenti scrivono SQL dinamico che si adatta al contesto di runtime.

Lezione 2 • Variabili DBT e flag di runtime

Spiega le variabili a livello di progetto e passate da CLI per parametrizzare il comportamento del modello. Gli studenti costruiscono modelli che cambiano comportamento in base agli input di runtime.

Lezione 3 • Scrivere e utilizzare macro

Copre la definizione delle macro, gli argomenti e l'invocazione per una logica SQL riutilizzabile. Gli studenti sostituiscono schemi SQL ripetuti con chiamate a macro a singola sorgente.

Lezione 4 • Hook e operazioni

Introduce gli hook pre-hook, post-hook e on-run-end per eseguire SQL intorno alle esecuzioni dei modelli. Gli studenti automatizzano le attività di manutenzione del warehouse all'interno del ciclo di vita DBT.

Lezione 1 • Continuous integration per progetti DBT

Copre i modelli di CI snella che utilizzano il confronto di stato per testare solo i modelli modificati nelle pull request. Gli studenti configurano una pipeline CI che esegue controlli rapidi e mirati.

Lezione 2 • Orchestrare DBT con strumenti di workflow

Esamina schemi di integrazione con piattaforme di orchestrazione come Airflow e Prefect. Gli studenti attivano esecuzioni DBT da un orchestratore con una corretta gestione delle dipendenze.

Lezione 3 • Monitorare lo stato delle esecuzioni DBT

Copre gli artefatti di esecuzione, l'API dei metadati e gli avvisi per esecuzioni fallite e modelli non aggiornati. Gli studenti costruiscono un livello di osservabilità che evidenzia in modo proattivo i problemi della pipeline.

Lezione 4 • Strategie di promozione degli ambienti

Spiega i flussi di lavoro di promozione da sviluppo a staging a produzione e l'isolamento degli schemi. Gli studenti distribuiscono le modifiche in sicurezza senza sovrascrivere i dati di produzione durante lo sviluppo.