Curso de Analytics Engineering

Lección 1 • Panorama general de la pila de datos moderna

Mapea las categorías de herramientas que componen una plataforma de datos contemporánea. Proporciona el vocabulario que se utiliza a lo largo del curso.

Lección 2 • Fundamentos del control de versiones para equipos de datos

Cubre los flujos de trabajo de Git adaptados para bases de código analítico. Conecta el control de código fuente con el trabajo colaborativo y reproducible con datos.

Lección 3 • Repaso de SQL para analítica

Revisa las construcciones SQL más críticas para las transformaciones analíticas. Garantiza una base común antes de introducir patrones de consulta avanzados.

Lección 4 • Fundamentos del modelado de datos

Introduce conceptos relacionales y paradigmas de modelado utilizados para estructurar datos analíticos. Proporciona a los estudiantes la base teórica antes de realizar el trabajo práctico de transformación.

Lección 1 • SQL avanzado para almacenes

Amplía las habilidades de SQL a funciones específicas del almacén y patrones de rendimiento. Desarrolla la fluidez en la escritura de consultas requerida para transformaciones complejas.

Lección 2 • Carga y organización de datos

Cubre la carga masiva, formatos de archivo y patrones de área de organización para la ingesta de datos en bruto. Conecta la ingesta con el flujo de trabajo de transformación.

Lección 3 • Control de acceso y fundamentos de gobernanza de datos

Introduce el acceso basado en roles, el enmascaramiento de datos y los permisos a nivel de esquema. Establece los hábitos de gobernanza antes de construir las canalizaciones de producción.

Lección 4 • Arquitectura del almacén en la nube

Explica la separación de cómputo y almacenamiento, los almacenes virtuales y los modelos de ejecución de consultas. Proporciona el contexto arquitectónico necesario para escribir SQL eficiente.

Lección 1 • Documentación y el DAG de dbt

Enseña descripciones de modelos, documentación a nivel de columna y visualización del DAG. Produce canalizaciones autodocumentadas que apoyan la colaboración en equipo.

Lección 2 • Modelos incrementales y rendimiento

Profundiza en las estrategias incrementales para tablas grandes. Equilibra la frescura, el costo y la precisión en las canalizaciones de producción.

Lección 3 • Construcción de modelos y materializaciones

Cubre los archivos de modelo SQL, la función ref() y los tipos de materialización. Enseña cómo dbt compila y ejecuta la lógica de transformación.

Lección 4 • Macros, paquetes y Jinja

Amplía dbt con macros Jinja reutilizables y paquetes de la comunidad. Reduce la duplicación de código y acelera el desarrollo del proyecto.

Lección 5 • Estructura y configuración del proyecto dbt

Guía a través de la inicialización del proyecto, la estructura de directorios y la configuración del perfil. Establece la base del proyecto utilizada en todo el trabajo posterior con dbt.

Lección 1 • Patrones de reutilización y modularidad

Enseña los principios DRY aplicados a modelos de datos mediante macros y capas de organización compartidas. Reduce la carga de mantenimiento en proyectos en crecimiento.

Lección 2 • Manejo de relaciones de datos complejas

Aborda relaciones de muchos a muchos, tablas puente y jerarquías. Capacita a los estudiantes para modelar con precisión la complejidad del negocio real.

Lección 3 • Modelado dimensional en la práctica

Aplica el diseño de esquema de estrella a casos de uso analítico reales. Traduce la teoría del Capítulo 1 en modelos de dbt listos para producción.

Lección 4 • Una gran tabla vs. marts normalizados

Compara tablas desnormalizadas amplias con estructuras de marts normalizados. Guía a los estudiantes en la elección del patrón correcto para cada caso de uso.

Lección 1 • Alertas, monitoreo y corrección

Construye canalizaciones de alertas y flujos de trabajo de respuesta a incidentes para fallos de calidad de datos. Cierra el ciclo entre la detección y la resolución.

Lección 2 • Great Expectations y marcos personalizados

Aplica un marco dedicado de calidad de datos junto con las pruebas de dbt. Proporciona capacidades de validación más completas para requisitos de calidad complejos.

Lección 3 • Pruebas estadísticas y de distribución

Introduce verificaciones de volumen, monitoreo de distribución y detección de anomalías para datos numéricos. Detecta desviaciones sutiles de datos que las pruebas estructurales pasan por alto.

Lección 4 • Dimensiones de la calidad de datos

Define completitud, exactitud, consistencia, puntualidad y unicidad como dimensiones de calidad medibles. Enmarca la estrategia de pruebas para todo el capítulo.

Lección 1 • Construcción de flujos de trabajo con Airflow

Cubre la creación de DAGs de Airflow, operadores y conexiones. Traduce los conceptos de orquestación en código de canalización funcional.

Lección 2 • Monitoreo y observabilidad para canalizaciones

Introduce los metadatos de canalización, el historial de ejecuciones y las integraciones de monitoreo externo. Proporciona visibilidad del estado de la canalización a escala.

Lección 3 • Programación y gestión de dependencias

Enseña expresiones cron, programación sensible a los datos y dependencias entre DAGs. Garantiza que las canalizaciones se ejecuten en el orden correcto con la temporización adecuada.

Lección 4 • Conceptos y herramientas de orquestación

Introduce la orquestación basada en DAGs, las dependencias de tareas y el panorama de orquestadores. Proporciona la base conceptual antes del trabajo práctico con herramientas.

Lección 1 • Gestión de costos en producción

Aplica controles de costos de almacén, presupuestos de consultas y etiquetado de recursos a las canalizaciones de producción. Equilibra el rendimiento con el costo operativo.

Lección 2 • Respuesta a incidentes para canalizaciones de datos

Establece runbooks, prácticas de guardia y procesos post mortem para incidentes de datos. Reduce el tiempo medio de recuperación para fallos de producción.

Lección 3 • Gestión de secretos y configuración

Cubre el almacenamiento seguro de credenciales, las variables de entorno y los gestores de secretos. Previene la exposición de credenciales en las bases de código analítico.

Lección 4 • CI/CD para canalizaciones de datos

Implementa canalizaciones automatizadas de pruebas y despliegue para proyectos de dbt. Aporta la disciplina de la ingeniería de software a los flujos de trabajo de transformación de datos.

Lección 1 • Modelado de dimensiones y entidades

Diseña las relaciones de entidades y jerarquías de dimensiones dentro de la capa semántica. Permite un filtrado y segmentación consistentes en todas las métricas.

Lección 2 • El concepto de capa de métricas

Explica por qué una capa de métricas centralizada elimina la inconsistencia de métricas entre herramientas. Motiva el trabajo de modelado semántico que sigue.

Lección 3 • Definiendo métricas con la capa semántica de dbt

Cubre la sintaxis de MetricFlow para definir medidas, dimensiones y métricas en dbt. Produce definiciones de métricas reutilizables consumibles por cualquier herramienta de BI.

Lección 4 • Gobernanza y versionado de métricas

Establece la propiedad, la gestión de cambios y las prácticas de versionado para las definiciones de métricas. Mantiene la confianza en las métricas a medida que el negocio evoluciona.