Curso de Analytics Engineering

Aula 1 • Visão Geral do Modern Data Stack

Mapeia as categorias de ferramentas que compõem uma plataforma de dados contemporânea. Fornece o vocabulário utilizado ao longo do curso.

Aula 2 • Noções Básicas de Controlo de Versões para Equipas de Dados

Aborda fluxos de trabalho Git adaptados para bases de código de análise de dados. Liga o controlo de fontes ao trabalho de dados colaborativo e reprodutível.

Aula 3 • Refrescamento de SQL para Análise de Dados

Revê os construtos SQL mais críticos para transformações analíticas. Garante uma base comum antes de introduzir padrões de consulta avançados.

Aula 4 • Fundamentos de Modelação de Dados

Introduz conceitos relacionais e paradigmas de modelação utilizados para estruturar dados analíticos. Fundamenta os estudantes na teoria antes do trabalho prático de transformação.

Aula 1 • SQL Avançado para Armazéns de Dados

Alarga as competências SQL para funções específicas de armazéns e padrões de desempenho. Desenvolve a fluência na escrita de consultas necessária para transformações complexas.

Aula 2 • Carregamento e Staging de Dados

Aborda o carregamento em massa, formatos de ficheiro e padrões de área de staging para ingestão de dados brutos. Liga a ingestão ao fluxo de trabalho de transformação.

Aula 3 • Noções Básicas de Controlo de Acesso e Governação de Dados

Introduz controlo de acesso baseado em funções, mascaramento de dados e permissões ao nível do esquema. Estabelece hábitos de governação antes de construir pipelines de produção.

Aula 4 • Arquitetura do Armazém na Nuvem

Explica a separação entre computação e armazenamento, armazéns virtuais e modelos de execução de consultas. Fornece o contexto arquitetónico necessário para escrever SQL eficiente.

Aula 1 • Documentação e o DAG do dbt

Ensina descrições de modelos, documentação ao nível da coluna e visualização do DAG. Produz pipelines autodocumentados que apoiam a colaboração em equipa.

Aula 2 • Modelos Incrementais e Desempenho

Aprofunda as estratégias incrementais para tabelas grandes. Equilibra a atualidade, o custo e a correção em pipelines de produção.

Aula 3 • Construção de Modelos e Materializações

Aborda ficheiros de modelo SQL, função ref() e tipos de materialização. Ensina como o dbt compila e executa a lógica de transformação.

Aula 4 • Macros, Pacotes e Jinja

Expande o dbt com macros Jinja reutilizáveis e pacotes comunitários. Reduz a duplicação de código e acelera o desenvolvimento de projetos.

Aula 5 • Estrutura e Configuração do Projeto dbt

Percorre a inicialização do projeto, a estrutura de diretórios e a configuração de perfis. Estabelece o esqueleto do projeto utilizado em todo o trabalho subsequente com dbt.

Aula 1 • Padrões de Reutilização e Modularidade

Ensina princípios DRY aplicados a modelos de dados através de macros e camadas de staging partilhadas. Reduz a carga de manutenção em projetos em crescimento.

Aula 2 • Lidar com Relacionamentos de Dados Complexos

Aborda relacionamentos muitos-para-muitos, tabelas de ponte e hierarquias. Equipa os estudantes para modelar com precisão a complexidade real dos negócios.

Aula 3 • Modelação Dimensional na Prática

Aplica a conceção de esquemas em estrela a casos de uso analíticos reais. Traduz a teoria do Capítulo 1 em modelos dbt prontos para produção.

Aula 4 • One Big Table vs. Marts Normalizados

Compara tabelas desnormalizadas largas com estruturas de mart normalizadas. Orienta os estudantes na escolha do padrão correto para cada caso de uso.

Aula 1 • Alertas, Monitorização e Remediação

Constrói pipelines de alerta e fluxos de trabalho de resposta a incidentes para falhas de qualidade de dados. Fecha o ciclo entre a deteção e a resolução.

Aula 2 • Great Expectations e Frameworks Personalizados

Aplica um framework dedicado de qualidade de dados em conjunto com testes dbt. Fornece capacidades de validação mais ricas para requisitos de qualidade complexos.

Aula 3 • Testes Estatísticos e de Distribuição

Introduz verificações de volume, monitorização de distribuição e deteção de anomalias para dados numéricos. Captura desvios subtis nos dados que os testes estruturais não detetam.

Aula 4 • Dimensões da Qualidade de Dados

Define completude, exatidão, consistência, atualidade e singularidade como dimensões de qualidade mensuráveis. Enquadra a estratégia de testes para todo o capítulo.

Aula 1 • Construção de Fluxos de Trabalho com o Airflow

Aborda a criação de DAGs no Airflow, operadores e conexões. Traduz conceitos de orquestração em código de pipeline funcional.

Aula 2 • Monitorização e Observabilidade para Pipelines

Introduz metadados de pipelines, histórico de execuções e integrações de monitorização externa. Fornece visibilidade sobre a saúde dos pipelines à escala.

Aula 3 • Agendamento e Gestão de Dependências

Ensina expressões cron, agendamento ciente de dados e dependências entre DAGs. Garante que os pipelines são executados na ordem correta com a temporização correta.

Aula 4 • Conceitos e Ferramentas de Orquestração

Introduz orquestração baseada em DAGs, dependências de tarefas e o panorama dos orquestradores. Fornece a base conceptual antes do trabalho prático com ferramentas.

Aula 1 • Gestão de Custos em Produção

Aplica controlos de custos de armazém, orçamentos de consultas e marcação de recursos a pipelines de produção. Equilibra o desempenho com o custo operacional.

Aula 2 • Resposta a Incidentes para Pipelines de Dados

Estabelece runbooks, práticas de on-call e processos de postmortem para incidentes de dados. Reduz o tempo médio de recuperação para falhas de produção.

Aula 3 • Gestão de Segredos e Configuração

Aborda armazenamento seguro de credenciais, variáveis de ambiente e gestores de segredos. Previne a exposição de credenciais em bases de código de análise de dados.

Aula 4 • CI/CD para Pipelines de Dados

Implementa pipelines de teste e implementação automatizados para projetos dbt. Traz a disciplina da engenharia de software para fluxos de trabalho de transformação de dados.

Aula 1 • Modelação de Dimensões e Entidades

Concebe relacionamentos de entidades e hierarquias de dimensões na camada semântica. Permite uma segmentação e filtragem consistentes em todas as métricas.

Aula 2 • O Conceito de Camada de Métricas

Explica por que razão uma camada de métricas centralizada elimina a inconsistência de métricas entre ferramentas. Motiva o trabalho de modelação semântica que se segue.

Aula 3 • Definição de Métricas com a Camada Semântica do dbt

Aborda a sintaxe MetricFlow para definir medidas, dimensões e métricas no dbt. Produz definições de métricas reutilizáveis e consumíveis por qualquer ferramenta de BI.

Aula 4 • Governação e Versionamento de Métricas

Estabelece práticas de propriedade, gestão de alterações e versionamento para definições de métricas. Mantém a confiança nas métricas à medida que o negócio evolui.