Curso de cloud data engineer

Lección 1 • Modelos de Servicio en la Nube y Tipos de Despliegue

Cubre las distinciones entre IaaS, PaaS y SaaS junto con despliegues públicos, privados e híbridos. Fundamenta todas las decisiones posteriores sobre servicios de datos en la nube en un contexto arquitectónico.

Lección 2 • Componentes Básicos de Infraestructura en la Nube

Presenta los elementos primitivos de cómputo, almacenamiento, redes e identidad utilizados en las principales plataformas de nube. Proporciona el vocabulario necesario para diseñar y discutir infraestructura de datos.

Lección 3 • Fundamentos de Seguridad y Cumplimiento en la Nube

Cubre el cifrado en reposo y en tránsito, la gestión de claves y los marcos de cumplimiento regulatorio para datos. Establece hábitos de seguridad que se aplican a lo largo del curso.

Lección 1 • Elegir el Almacenamiento Adecuado para Cada Caso de Uso

Aplica un marco de decisión para hacer coincidir los sistemas de almacenamiento con los requisitos de latencia, rendimiento y costo. Sintetiza todas las opciones de almacenamiento en una guía práctica de selección.

Lección 2 • Opciones NoSQL y de Almacén Clave-Valor

Cubre modelos de bases de datos documentales, de columna ancha, clave-valor y de grafos disponibles como servicios en la nube. Orienta la selección según patrones de acceso y requisitos de consistencia.

Lección 3 • Servicios de Bases de Datos Relacionales en la Nube

Examina ofertas de bases de datos relacionales administradas, configuraciones de alta disponibilidad y réplicas de lectura. Conecta los fundamentos de SQL con patrones de despliegue administrados en la nube.

Lección 4 • Bodegas de Datos como Servicio en la Nube

Presenta el almacenamiento columnar, la arquitectura MPP y el aprovisionamiento y escalamiento de bodegas de datos en la nube. Prepara a los estudiantes para las cargas de trabajo de consultas analíticas cubiertas en capítulos posteriores.

Lección 1 • Patrones y Herramientas de Ingesta por Lotes

Cubre transferencias de archivos programadas, ingesta masiva por API y estrategias de carga incremental para pipelines por lotes. Establece el patrón de ingesta más común antes de introducir el flujo continuo.

Lección 2 • Técnicas de Captura de Datos de Cambio

Explica métodos de CDC basados en logs, disparadores y marcas de tiempo para capturar cambios en bases de datos. Permite la replicación casi en tiempo real sin escaneos completos de tabla.

Lección 3 • Fundamentos de Ingesta en Flujo

Presenta conceptos de flujo de eventos, productores, consumidores, temas y particiones para el flujo de datos en tiempo real. Conecta el conocimiento de ingesta por lotes con el procesamiento continuo de datos.

Lección 1 • Orquestación de Flujos de Trabajo de Transformación

Aplica herramientas de orquestación para programar, monitorear y versionar trabajos de transformación a escala. Extiende los fundamentos de orquestación de pipelines a flujos de trabajo de transformación complejos de múltiples pasos.

Lección 2 • Modelado de Datos para Analítica

Presenta el esquema estrella, el esquema copo de nieve y el modelado de bóveda de datos para cargas de trabajo analíticas. Asegura que los resultados de transformación estén estructurados para consultas posteriores eficientes.

Lección 3 • Patrones de Transformación Basados en SQL

Cubre funciones de ventana, CTEs, modelos incrementales y optimización de consultas para transformaciones SQL a gran escala. Conecta las habilidades de SQL con motores de consulta de bodega de datos y lago en la nube.

Lección 4 • Procesamiento Distribuido por Lotes con Spark

Enseña APIs de RDD y DataFrame, particionamiento, barajado y optimización de trabajos en Apache Spark. Establece el motor principal de procesamiento distribuido utilizado a lo largo del curso.

Lección 1 • Ventanas y Semántica de Tiempo

Cubre ventanas saltatorias, deslizantes y de sesión junto con tiempo de evento, tiempo de procesamiento y marcas de agua. Permite agregaciones precisas sobre flujos de eventos fuera de orden y de llegada tardía.

Lección 2 • Patrones de Diseño de Pipelines de Flujo

Aplica arquitecturas lambda, kappa y de flujo prioritario a escenarios de ingeniería de datos del mundo real. Conecta el conocimiento de marcos con decisiones de diseño de pipelines de extremo a extremo.

Lección 3 • Procesamiento de Flujo con Estado

Explica el estado con clave, el estado de operador, la creación de puntos de control y los backends de estado para trabajos de flujo tolerantes a fallos. Permite la detección de eventos complejos y agregaciones continuas en flujos ilimitados.

Lección 1 • Contratos de Datos y Gestión de Esquemas

Define contratos de datos entre productores y consumidores y cubre el uso y evolución del registro de esquemas. Previene que los cambios disruptivos se propaguen a través de los sistemas de datos dependientes.

Lección 2 • Marcos de Validación de Calidad de Datos

Cubre validación de esquemas, comprobaciones de nulos, integridad referencial y perfilamiento estadístico para la calidad de datos. Integra compuertas de calidad directamente en los pipelines de ingesta y transformación.

Lección 3 • Linaje de Datos y Catalogación

Explica el linaje a nivel de columna, la catalogación de metadatos y las herramientas de descubrimiento de datos para el cumplimiento de gobernanza. Permite a los equipos rastrear los orígenes de los datos y comprender el impacto posterior de los cambios.

Lección 4 • Observabilidad y Monitoreo de Pipelines

Presenta métricas, registros, trazas y seguimiento de SLA para el monitoreo integral del estado de los pipelines. Proporciona la visibilidad operativa necesaria para mantener los sistemas de datos en producción de manera confiable.

Lección 1 • Diseño para Entornos Multi-Nube e Híbridos

Cubre la portabilidad de datos, las redes entre nubes y las herramientas neutrales de proveedor para plataformas de datos multi-nube. Prepara a los estudiantes para diseñar plataformas que eviten la dependencia de un solo proveedor.

Lección 2 • Patrones de Escalabilidad y Confiabilidad

Aborda el escalamiento horizontal, la tolerancia a fallos, la idempotencia y la recuperación ante desastres para componentes de plataformas de datos. Asegura que los diseños de plataformas cumplan con los requisitos de confiabilidad y disponibilidad en producción.

Lección 3 • Estrategias de Optimización de Costos de Plataforma

Aplica el dimensionamiento correcto, el uso de instancias spot, la jerarquización de almacenamiento y los controles de costos de consultas para reducir el gasto de la plataforma. Conecta las decisiones arquitectónicas directamente con resultados de costos medibles.

Lección 4 • Arquitecturas de Referencia de Plataformas de Datos Modernas

Examina las arquitecturas medallón, malla de datos y lakehouse como modelos para plataformas de datos en la nube. Proporciona el vocabulario y los patrones arquitectónicos para los ejercicios de diseño que siguen.

Lección 1 • Planificación de Capacidad y Gestión del Rendimiento

Aplica pruebas de carga, previsión de recursos y evaluaciones comparativas de rendimiento a las decisiones de capacidad de la plataforma de datos. Asegura que las plataformas escalen de manera proactiva y no reactiva bajo volúmenes de datos crecientes.

Lección 2 • Cultura DataOps y Mejora Continua

Presenta los principios de DataOps, bucles de retroalimentación, versionamiento de pipelines y prácticas de colaboración en equipo. Integra una mentalidad de mejora continua en las operaciones diarias de ingeniería de datos.

Lección 3 • Gestión de Entornos y Configuración

Cubre la paridad de entornos de desarrollo, pruebas y producción, la gestión de secretos y las configuraciones específicas del entorno. Previene la deriva de configuración y la exposición de credenciales en los entornos de despliegue.

Lección 4 • Pipelines de CI/CD para Ingeniería de Datos

Construye flujos de trabajo de pruebas automatizadas, análisis estático, despliegue y reversión para código de pipelines de datos. Aplica prácticas de entrega de ingeniería de software al ciclo de vida de la ingeniería de datos.