Curso de Data Engineer

Clase 1 • Introducción a los Patrones de Arquitectura de Datos

Releva estilos arquitectónicos fundacionales, incluyendo almacenes de datos, lagos de datos y lakehouses. Conecta las elecciones arquitectónicas con los requisitos de negocio y los objetivos de escalabilidad.

Clase 2 • Conceptos Centrales y Terminología de Datos

Introduce los tipos de datos estructurados, semiestructurados y no estructurados, y las abstracciones clave de almacenamiento. Asegura un vocabulario compartido antes de profundizar en arquitectura y herramientas.

Clase 3 • Visión General del Ciclo de Vida de la Ingeniería de Datos

Mapea el recorrido de extremo a extremo de los datos desde la fuente hasta el consumo. Proporciona un modelo mental que enmarca cada tema técnico cubierto más adelante en el curso.

Clase 1 • SQL Avanzado para Ingeniería de Datos

Introduce funciones de ventana, CTEs y operaciones de conjunto para transformaciones analíticas complejas. Prepara a los estudiantes para escribir SQL de grado de producción usado en pipelines y capas de reporting.

Clase 2 • Modelado Dimensional para Analítica

Aplica patrones de esquema estrella y copo de nieve para diseñar modelos de datos listos para analítica. Habilita directamente el trabajo de almacén de datos y transformación cubierto en capítulos posteriores.

Clase 3 • Técnicas Centrales de Consultas SQL

Enseña SELECT, filtrado, agregación y joins de múltiples tablas para la recuperación de datos. Estas habilidades sustentan cada carga de trabajo de transformación y analítica en el curso.

Clase 1 • Fundamentos de Python para el Trabajo con Datos

Revisa la sintaxis de Python, las estructuras de datos y el flujo de control relevantes para las tareas de manipulación de datos. Establece la base de programación requerida para el scripting de pipelines a lo largo del curso.

Clase 2 • Manejo de Archivos y Formatos de Datos

Enseña a leer y escribir archivos CSV, JSON, Parquet y Avro utilizando librerías de Python. Apoya directamente las tareas de ingesta y serialización en los capítulos de desarrollo de pipelines.

Clase 3 • Automatización y Mejores Prácticas de Scripting

Introduce logging, gestión de configuración y empaquetado para scripts de Python listos para producción. Prepara a los estudiantes para escribir código mantenible que se integre en pipelines orquestados.

Clase 4 • Manipulación de Datos con Pandas

Cubre operaciones con DataFrames, unión, remodelado y limpieza utilizando la librería Pandas. Proporciona el conjunto de herramientas de transformación usado en el procesamiento batch y el trabajo de datos exploratorio.

Clase 1 • Extracción de Datos desde Fuentes Relacionales

Cubre CDC, extracción basada en marcas de tiempo y consultas directas desde bases de datos relacionales. Se basa en las habilidades de SQL para implementar estrategias de extracción confiables y de bajo impacto.

Clase 2 • Principios de Diseño de Pipelines

Introduce la modularidad, idempotencia, manejo de errores y observabilidad como pilares del diseño de pipelines. Establece estándares de ingeniería aplicados a lo largo de todos los capítulos posteriores de pipelines.

Clase 3 • Patrones de Ingesta y Tipos de Fuentes

Releva fuentes de datos comunes, incluyendo bases de datos, APIs, archivos y flujos de eventos. Enmarca las decisiones de diseño de ingesta que impulsan las elecciones de arquitectura de pipelines.

Clase 4 • Ingesta desde APIs y Fuentes de Archivos

Enseña enfoques estructurados para consumir APIs REST, fuentes FTP y archivos de almacenamiento en la nube. Extiende las habilidades de API de Python a patrones de pipelines de ingesta en producción.

Clase 1 • Formatos de Tabla y Estándares de Almacenamiento Abiertos

Introduce formatos de tabla abiertos que permiten transacciones ACID y evolución de esquemas en almacenamiento de objetos. Prepara a los estudiantes para las implementaciones de lakehouse cubiertas en capítulos avanzados.

Clase 2 • Arquitectura de Almacén de Datos en la Nube

Examina el almacenamiento columnar, los motores de consulta MPP y la separación de cómputo y almacenamiento. Conecta los aspectos internos del almacén con las decisiones de rendimiento de consultas y optimización de costos.

Clase 3 • Modelado de Datos en el Almacén

Aplica técnicas de modelado dimensional y Data Vault dentro de entornos de almacén en la nube. Se basa en las habilidades de modelado relacional para producir capas de almacén listas para analítica.

Clase 4 • Fundamentos de Almacenamiento de Objetos en la Nube

Explica conceptos de almacenamiento de objetos, organización de buckets, particionamiento y control de acceso. Proporciona la base de almacenamiento que subyace a las arquitecturas de lago de datos y lakehouse.

Clase 1 • Patrones Avanzados de dbt

Cubre macros, plantillas Jinja, paquetes y estrategias incrementales para casos de uso complejos. Extiende las habilidades centrales de dbt para manejar requisitos de transformación dinámicos y a gran escala.

Clase 2 • Pruebas y Documentación en dbt

Implementa pruebas de esquema, pruebas personalizadas y documentación autogenerada dentro de proyectos dbt. Refuerza los estándares de calidad de datos y mantenibilidad en los pipelines de transformación.

Clase 3 • Arquitectura de la Capa de Transformación

Define las capas de transformación staging, intermedias y de data mart, y sus responsabilidades. Establece el patrón de diseño en capas que estructura todo el trabajo del proyecto dbt en este capítulo.

Clase 1 • Monitoreo y Observabilidad de Pipelines

Establece prácticas de logging, métricas y seguimiento de linaje para la visibilidad de pipelines orquestados. Conecta las herramientas de observabilidad con los temas de calidad de datos y gobernanza del curso.

Clase 2 • Alternativas Modernas de Orquestación

Releva Prefect, Dagster y la orquestación basada en eventos como alternativas a Airflow. Capacita a los estudiantes para evaluar herramientas de orquestación según los requisitos del proyecto y las limitaciones del equipo.

Clase 3 • Manejo de Errores y Estrategias de Reintento

Implementa reintentos, SLAs, alertas y callbacks de fallo dentro de flujos de trabajo orquestados. Asegura que los pipelines cumplan con los estándares de confiabilidad requeridos en entornos de datos de producción.

Clase 4 • Conceptos y Patrones de Orquestación

Introduce la programación basada en DAGs, la resolución de dependencias y la separación entre orquestación y ejecución. Enmarca la capa de orquestación que une la ingesta, el almacenamiento y la transformación.

Clase 1 • Almacenamiento y Servicio de Datos de Streaming

Aborda la escritura de salidas de streaming en lagos de datos, almacenes y almacenes de servicio en tiempo real. Conecta los pipelines de streaming con las capas de almacenamiento y consumo construidas en capítulos anteriores.

Clase 2 • Confiabilidad y Escalado de Pipelines de Streaming

Cubre la contrapresión, el registro de esquemas, los temas de mensajes no procesados y el escalado horizontal para sistemas de streaming. Asegura que los estudiantes puedan operar pipelines de streaming de manera confiable a escala de producción.

Clase 3 • Procesamiento de Flujos con Apache Flink

Enseña el procesamiento de flujos con estado, ventanas y manejo de tiempo de evento usando Apache Flink. Se basa en el conocimiento de Kafka para implementar lógica de transformación y agregación en tiempo real.

Clase 4 • Fundamentos y Casos de Uso del Streaming

Contrasta el streaming con el procesamiento batch e identifica los casos de uso donde se requieren datos en tiempo real. Establece la base conceptual para todas las decisiones de arquitectura y herramientas de streaming.