Curso de cloud data engineer

Lección 1 • Modelos de Servicio en la Nube y Tipos de Despliegue

Abarca las diferencias entre IaaS, PaaS y SaaS, junto con los despliegues públicos, privados e híbridos. Fundamenta todas las decisiones posteriores sobre servicios de datos en la nube en un contexto arquitectónico.

Lección 2 • Componentes Fundamentales de Infraestructura en la Nube

Presenta las primitivas de cómputo, almacenamiento, redes e identidad utilizadas en las principales plataformas de nube. Proporciona el vocabulario necesario para diseñar y discutir infraestructura de datos.

Lección 3 • Fundamentos de Seguridad y Cumplimiento en la Nube

Abarca el cifrado en reposo y en tránsito, la gestión de claves y los marcos de cumplimiento normativo para datos. Establece hábitos de seguridad que se aplican a lo largo de todo el curso.

Lección 1 • Cómo Elegir el Almacenamiento Adecuado para Cada Caso de Uso

Aplica un marco de decisión para hacer coincidir los sistemas de almacenamiento con los requisitos de latencia, rendimiento y costo. Sintetiza todas las opciones de almacenamiento en una guía de selección práctica.

Lección 2 • Opciones de Almacenes NoSQL y Clave-Valor

Abarca los modelos de bases de datos documentales, de columnas anchas, clave-valor y de grafos disponibles como servicios en la nube. Orienta la selección en función de los patrones de acceso y los requisitos de consistencia.

Lección 3 • Servicios de Bases de Datos Relacionales en la Nube

Examina las ofertas de bases de datos relacionales gestionadas, las configuraciones de alta disponibilidad y las réplicas de lectura. Conecta los fundamentos de SQL con los patrones de despliegue gestionados en la nube.

Lección 4 • Data Warehousing como Servicio en la Nube

Presenta el almacenamiento columnar, la arquitectura MPP y el aprovisionamiento y escalado de almacenes de datos en la nube. Prepara a los estudiantes para las cargas de trabajo de consultas analíticas que se abordan en capítulos posteriores.

Lección 1 • Patrones y Herramientas de Ingesta por Lotes

Abarca las transferencias programadas de archivos, la ingesta masiva mediante API y las estrategias de carga incremental para pipelines por lotes. Establece el patrón de ingesta más común antes de introducir el streaming.

Lección 2 • Técnicas de Captura de Datos Modificados (CDC)

Explica los métodos de CDC basados en logs, triggers y marcas de tiempo para capturar cambios en la base de datos. Permite la replicación casi en tiempo real sin escaneos completos de tablas.

Lección 3 • Fundamentos de Ingesta por Streaming

Presenta los conceptos de streaming de eventos, productores, consumidores, tópicos y particiones para el flujo de datos en tiempo real. Conecta los conocimientos de ingesta por lotes con el procesamiento continuo de datos.

Lección 1 • Orquestación de Flujos de Trabajo de Transformación

Aplica herramientas de orquestación para programar, monitorear y versionar trabajos de transformación a escala. Extiende los fundamentos de orquestación de pipelines a flujos de trabajo de transformación complejos de varios pasos.

Lección 2 • Modelado de Datos para Analítica

Presenta el esquema en estrella, el esquema copo de nieve y el modelado Data Vault para cargas de trabajo analíticas. Asegura que los resultados de la transformación estén estructurados para consultas eficientes posteriores.

Lección 3 • Patrones de Transformación Basados en SQL

Abarca funciones de ventana, CTEs, modelos incrementales y optimización de consultas para transformaciones SQL a gran escala. Conecta las habilidades de SQL con los motores de consulta de almacenes de datos y data lakes en la nube.

Lección 4 • Procesamiento Distribuido por Lotes con Spark

Enseña las APIs de RDD y DataFrame, el particionamiento, la redistribución y la optimización de trabajos en Apache Spark. Establece el motor de procesamiento distribuido principal utilizado a lo largo del curso.

Lección 1 • Ventanas y Semántica Temporal

Abarca ventanas de tiempo fijo, deslizantes y de sesión, junto con el tiempo del evento, el tiempo de procesamiento y los watermarks. Permite agregaciones precisas sobre flujos de eventos desordenados y con llegada tardía.

Lección 2 • Patrones de Diseño de Pipelines de Streaming

Aplica las arquitecturas lambda, kappa y streaming-first a escenarios reales de ingeniería de datos. Conecta el conocimiento de los frameworks con las decisiones de diseño de pipelines de extremo a extremo.

Lección 3 • Procesamiento de Streams con Estado

Explica el estado por clave, el estado del operador, los puntos de control y los backends de estado para trabajos de streaming tolerantes a fallos. Permite la detección de eventos complejos y agregaciones continuas en flujos ilimitados.

Lección 1 • Contratos de Datos y Gestión de Esquemas

Define los contratos de datos entre productores y consumidores y cubre el uso y la evolución del registro de esquemas. Evita que los cambios incompatibles se propaguen a través de los sistemas de datos dependientes.

Lección 2 • Marcos de Validación de Calidad de Datos

Abarca la validación de esquemas, las comprobaciones de nulos, la integridad referencial y la elaboración de perfiles estadísticos para la calidad de los datos. Integra compuertas de calidad directamente en los pipelines de ingesta y transformación.

Lección 3 • Linaje y Catalogación de Datos

Explica el linaje a nivel de columna, la catalogación de metadatos y las herramientas de descubrimiento de datos para el cumplimiento de la gobernanza. Permite a los equipos rastrear los orígenes de los datos y comprender el impacto posterior de los cambios.

Lección 4 • Observabilidad y Monitoreo de Pipelines

Presenta métricas, logs, trazas y seguimiento de SLAs para el monitoreo de la salud del pipeline de extremo a extremo. Proporciona la visibilidad operativa necesaria para mantener los sistemas de datos en producción de manera confiable.

Lección 1 • Diseño para Entornos Multi-Cloud e Híbridos

Abarca la portabilidad de datos, las redes entre nubes y las herramientas neutrales respecto al proveedor para plataformas de datos multi-cloud. Prepara a los estudiantes para diseñar plataformas que eviten la dependencia de un único proveedor.

Lección 2 • Patrones de Escalabilidad y Confiabilidad

Aborda el escalado horizontal, la tolerancia a fallos, la idempotencia y la recuperación ante desastres para los componentes de la plataforma de datos. Asegura que los diseños de la plataforma cumplan con los requisitos de confiabilidad y disponibilidad de producción.

Lección 3 • Estrategias de Optimización de Costos de la Plataforma

Aplica el dimensionamiento correcto, el uso de spot, la organización por niveles de almacenamiento y los controles de costos de consultas para reducir el gasto de la plataforma. Conecta las decisiones arquitectónicas directamente con resultados de costos medibles.

Lección 4 • Arquitecturas de Referencia de Plataformas de Datos Modernas

Examina las arquitecturas medallón, data mesh y lakehouse como modelos para plataformas de datos en la nube. Proporciona el vocabulario y los patrones arquitectónicos para los ejercicios de diseño que se presentan a continuación.

Lección 1 • Planificación de Capacidad y Gestión del Rendimiento

Aplica pruebas de carga, previsión de recursos y evaluación comparativa del rendimiento a las decisiones de capacidad de la plataforma de datos. Asegura que las plataformas escalen de manera proactiva en lugar de reactiva frente a volúmenes de datos crecientes.

Lección 2 • Cultura DataOps y Mejora Continua

Presenta los principios de DataOps, los ciclos de retroalimentación, el versionado de pipelines y las prácticas de colaboración en equipo. Incorpora una mentalidad de mejora continua en las operaciones diarias de ingeniería de datos.

Lección 3 • Gestión de Entornos y Configuración

Abarca la paridad entre los entornos de desarrollo, staging y producción, la gestión de secretos y las configuraciones específicas del entorno. Previene la deriva en la configuración y la exposición de credenciales en los entornos de despliegue.

Lección 4 • Pipelines de CI/CD para Ingeniería de Datos

Construye flujos de trabajo automatizados de pruebas, linting, despliegue y rollback para código de pipelines de datos. Aplica las prácticas de entrega de la ingeniería de software al ciclo de vida de la ingeniería de datos.