Curso de DBT Data Build Tool

Aula 1 • DBT Core vs. DBT Cloud

Diferencia a ferramenta CLI open-source da plataforma cloud gerida. Os alunos escolhem o modo de implementação adequado para o seu ambiente.

Aula 2 • Configurar o Seu Ambiente DBT

Guia a instalação do DBT Core e a ligação a um armazém de dados. Os alunos terminam com um ambiente local funcional pronto para a criação de projetos.

Aula 3 • O Que É o DBT e Por Que É Importante

Aborda a proposta de valor central do DBT e como ele transforma a transformação de dados baseada em SQL. Fundamenta os alunos no problema que o DBT resolve antes de qualquer trabalho prático.

Aula 1 • Inicializar um Projeto DBT

Explica o dbt init e a estrutura de ficheiros gerada. Os alunos compreendem o propósito de cada ficheiro gerado automaticamente antes de modificar alguma coisa.

Aula 2 • Controlo de Versões e Convenções de Projeto

Estabelece workflows baseados em Git e convenções de nomenclatura para projetos DBT escaláveis. Os alunos aplicam padrões consistentes que apoiam a colaboração em equipa.

Aula 3 • Gerir Profiles e Targets

Aborda a configuração de perfis multi-ambiente para targets de dev, staging e produção. Os alunos alternam contextos de forma segura sem codificar credenciais.

Aula 1 • Organizar Modelos em Camadas

Introduz as convenções de camadas staging, intermédia e mart para organização de modelos. Os alunos estruturam um projeto multi-camada que reflete a prática real de engenharia de análises.

Aula 2 • Materializações em Profundidade

Explica as materializações table, view, incremental e ephemeral com as suas vantagens e desvantagens. Os alunos selecionam a materialização correta para as necessidades de desempenho de cada modelo.

Aula 3 • Selecionar e Executar Subconjuntos de Modelos

Aborda a sintaxe de seleção de nós para executar subconjuntos específicos do DAG. Os alunos reconstroem eficientemente apenas os modelos de que necessitam durante o desenvolvimento.

Aula 4 • Escrever o Seu Primeiro Modelo DBT

Introduz a sintaxe de modelo baseada em SELECT SQL e a função ref(). Os alunos escrevem e executam um modelo funcional contra uma tabela real do armazém de dados.

Aula 1 • Freshness de Sources e Contratos de Dados

Ensina limites de freshness e como impor SLAs de chegada de dados na camada de source. Os alunos configuram alertas que identificam dados desatualizados antes de chegarem aos marts.

Aula 2 • Declarar e Usar Sources

Aborda as declarações YAML de source e a função source() para referenciar tabelas brutas. Os alunos substituem nomes de tabelas codificados por referências de source geridas.

Aula 3 • Capturar Histórico com Snapshots

Apresenta os snapshots do DBT para registar registos de dimensões de variação lenta ao longo do tempo. Os alunos implementam estratégias timestamp e check para padrões SCD Tipo 2.

Aula 1 • Pacotes de Testes de Terceiros

Analisa pacotes populares como dbt-expectations e dbt-utils para cobertura de testes alargada. Os alunos instalam e aplicam testes baseados em pacotes para colmatar lacunas na cobertura integrada.

Aula 2 • Escrever Testes Genéricos Personalizados

Ensina como criar testes genéricos reutilizáveis baseados em Jinja para regras específicas do projeto. Os alunos expandem a biblioteca de testes para além das opções integradas.

Aula 3 • Testes Singulares para Lógica Complexa

Introduz testes singulares baseados em SQL para asserções que não podem ser expressas genericamente. Os alunos escrevem testes direcionados para validação de regras de negócio.

Aula 4 • Severidade de Testes e Tratamento de Falhas

Explica os níveis de severidade warn vs. error e como lidar com falhas de teste esperadas. Os alunos configuram testes que alertam sem bloquear a execução do pipeline.

Aula 1 • Compreender e Usar o DAG

Explica a vista do grafo acíclico dirigido e como usá-la para análise de impacto. Os alunos rastreiam a linhagem de dados desde a source bruta até ao modelo mart final.

Aula 2 • Usar Blocos doc() para Reutilização

Introduz blocos de documentação Markdown para escrever descrições reutilizáveis em formato longo. Os alunos eliminam documentação duplicada em definições de colunas partilhadas.

Aula 3 • Escrever Descrições de Modelos e Colunas

Aborda descrições YAML inline para modelos, colunas e sources. Os alunos documentam cada recurso para que a documentação gerada seja imediatamente útil.

Aula 1 • Fundamentos de Templating Jinja

Introduz a sintaxe Jinja, incluindo variáveis, loops e condicionais dentro de modelos SQL. Os alunos escrevem SQL dinâmico que se adapta ao contexto de tempo de execução.

Aula 2 • Variáveis DBT e Flags de Tempo de Execução

Explica variáveis a nível de projeto e passadas via CLI para parametrizar o comportamento do modelo. Os alunos constroem modelos que alteram o comportamento com base em entradas de tempo de execução.

Aula 3 • Escrever e Usar Macros

Aborda a definição, argumentos e invocação de macros para lógica SQL reutilizável. Os alunos substituem padrões SQL repetidos por chamadas de macro de fonte única.

Aula 4 • Hooks e Operações

Introduz pre-hook, post-hook e hooks on-run-end para executar SQL em torno de execuções de modelo. Os alunos automatizam tarefas de manutenção do armazém de dados dentro do ciclo de vida do DBT.

Aula 1 • Integração Contínua para Projetos DBT

Aborda padrões de CI slim usando comparação de estado para testar apenas modelos modificados em pull requests. Os alunos configuram um pipeline CI que executa verificações rápidas e direcionadas.

Aula 2 • Orquestrar DBT com Ferramentas de Workflow

Analisa padrões de integração com plataformas de orquestração como Airflow e Prefect. Os alunos acionam execuções DBT a partir de um orquestrador com gestão de dependências adequada.

Aula 3 • Monitorizar a Saúde da Execução DBT

Aborda artefactos de execução, API de metadados e alertas para execuções falhadas e modelos desatualizados. Os alunos constroem uma camada de observabilidade que identifica problemas no pipeline de forma proativa.

Aula 4 • Estratégias de Promoção de Ambiente

Explica workflows de promoção dev-para-staging-para-produção e isolamento de schema. Os alunos implementam alterações de forma segura sem substituir dados de produção durante o desenvolvimento.