Curso de Cloud Data Engineer

Lección 1 • Modelos de Servicio en la Nube y Tipos de Despliegue

Cubre las distinciones entre IaaS, PaaS y SaaS junto con despliegues públicos, privados e híbridos. Fundamenta todas las decisiones posteriores sobre servicios de datos en la nube en un contexto arquitectónico.

Lección 2 • Componentes Básicos de Infraestructura en la Nube

Introduce los elementos primitivos de cómputo, almacenamiento, red e identidad que se utilizan en las principales plataformas de nube. Proporciona el vocabulario necesario para diseñar y discutir infraestructura de datos.

Lección 3 • Fundamentos de Seguridad y Cumplimiento en la Nube

Cubre la encriptación en reposo y en tránsito, la gestión de llaves y los marcos de cumplimiento regulatorio para datos. Establece hábitos de seguridad que se aplican a lo largo del curso.

Lección 1 • Elegir el Almacenamiento Adecuado para Cada Caso de Uso

Aplica un marco de decisión para hacer coincidir los sistemas de almacenamiento con los requisitos de latencia, rendimiento de transferencia y costo. Sintetiza todas las opciones de almacenamiento en una guía práctica de selección.

Lección 2 • Opciones NoSQL y de Almacén Clave-Valor

Cubre los modelos de bases de datos de documentos, columnas anchas, clave-valor y grafos disponibles como servicios en la nube. Orienta la selección según los patrones de acceso y los requisitos de consistencia.

Lección 3 • Servicios de Base de Datos Relacional en la Nube

Examina las ofertas de bases de datos relacionales administradas, configuraciones de alta disponibilidad y réplicas de lectura. Conecta los fundamentos de SQL con los patrones de despliegue administrados en la nube.

Lección 4 • Almacenamiento de Datos como Servicio en la Nube

Introduce el almacenamiento columnar, la arquitectura MPP y el aprovisionamiento y escalamiento de almacenes de datos en la nube. Prepara a los estudiantes para las cargas de trabajo de consultas analíticas que se cubren en capítulos posteriores.

Lección 1 • Patrones y Herramientas de Ingesta por Lotes

Cubre las transferencias programadas de archivos, la ingesta masiva por API y las estrategias de carga incremental para tuberías por lotes. Establece el patrón de ingesta más común antes de introducir el flujo continuo.

Lección 2 • Técnicas de Captura de Datos Modificados

Explica los métodos de CDC basados en logs, disparadores y marcas de tiempo para capturar cambios en la base de datos. Permite la replicación casi en tiempo real sin escaneos completos de tabla.

Lección 3 • Fundamentos de Ingesta en Flujo Continuo

Introduce los conceptos de flujo de eventos, productores, consumidores, temas y particiones para el flujo de datos en tiempo real. Une el conocimiento de ingesta por lotes con el procesamiento continuo de datos.

Lección 1 • Orquestación de Flujos de Trabajo de Transformación

Aplica herramientas de orquestación para programar, monitorear y versionar trabajos de transformación a escala. Extiende los fundamentos de orquestación de tuberías a flujos de trabajo de transformación complejos de varios pasos.

Lección 2 • Modelado de Datos para Analítica

Introduce el esquema en estrella, copo de nieve y modelado de bóveda de datos para cargas de trabajo analíticas. Asegura que los resultados de la transformación estén estructurados para consultas posteriores eficientes.

Lección 3 • Patrones de Transformación Basados en SQL

Cubre funciones de ventana, CTEs, modelos incrementales y optimización de consultas para transformaciones SQL a gran escala. Conecta las habilidades de SQL con los motores de consulta de almacenes de datos y lagos en la nube.

Lección 4 • Procesamiento Distribuido por Lotes con Spark

Enseña las APIs de RDD y DataFrame, particionamiento, barajado y optimización de trabajos en Apache Spark. Establece el motor de procesamiento distribuido principal utilizado a lo largo del curso.

Lección 1 • Ventanas y Semántica de Tiempo

Cubre ventanas de saltos, deslizantes y de sesión, junto con el tiempo de evento, tiempo de procesamiento y marcas de agua. Permite agregaciones precisas sobre flujos de eventos desordenados y de llegada tardía.

Lección 2 • Patrones de Diseño de Tuberías de Flujo Continuo

Aplica las arquitecturas lambda, kappa y streaming-first a escenarios del mundo real de ingeniería de datos. Conecta el conocimiento del framework con las decisiones de diseño de tuberías de extremo a extremo.

Lección 3 • Procesamiento de Flujo Continuo con Estado

Explica el estado con clave, el estado del operador, los puntos de control y los backends de estado para trabajos de flujo continuo tolerantes a fallos. Permite la detección de eventos complejos y agregaciones en ejecución a través de flujos ilimitados.

Lección 1 • Contratos de Datos y Gestión de Esquemas

Define los contratos de datos entre productores y consumidores, y cubre el uso y la evolución del registro de esquemas. Evita que los cambios disruptivos se propaguen a través de los sistemas de datos dependientes.

Lección 2 • Marcos de Validación de Calidad de Datos

Cubre la validación de esquemas, comprobaciones de nulos, integridad referencial y perfiles estadísticos para la calidad de datos. Integra puertas de calidad directamente en las tuberías de ingesta y transformación.

Lección 3 • Linaje y Catalogación de Datos

Explica el linaje a nivel de columna, la catalogación de metadatos y las herramientas de descubrimiento de datos para el cumplimiento de la gobernanza. Permite a los equipos rastrear los orígenes de los datos y comprender el impacto posterior de los cambios.

Lección 4 • Observabilidad y Monitoreo de Tuberías

Introduce métricas, registros, trazas y seguimiento de SLA para el monitoreo de la salud de las tuberías de extremo a extremo. Proporciona la visibilidad operativa necesaria para mantener los sistemas de datos en producción de manera confiable.

Lección 1 • Diseño para Entornos Multi-Nube e Híbridos

Cubre la portabilidad de datos, las redes entre nubes y las herramientas neutrales de proveedor para plataformas de datos multi-nube. Prepara a los estudiantes para diseñar plataformas que eviten la dependencia de un solo proveedor.

Lección 2 • Patrones de Escalabilidad y Confiabilidad

Aborda el escalamiento horizontal, la tolerancia a fallos, la idempotencia y la recuperación ante desastres para los componentes de la plataforma de datos. Asegura que los diseños de la plataforma cumplan con los requisitos de confiabilidad y disponibilidad en producción.

Lección 3 • Estrategias de Optimización de Costos de la Plataforma

Aplica el dimensionamiento correcto, el uso de spot, la estratificación del almacenamiento y los controles de costos de consultas para reducir el gasto de la plataforma. Conecta las decisiones arquitectónicas directamente con resultados de costos medibles.

Lección 4 • Arquitecturas de Referencia Modernas de Plataformas de Datos

Examina las arquitecturas medallón, malla de datos y lakehouse como planos para plataformas de datos en la nube. Proporciona vocabulario arquitectónico y patrones para los ejercicios de diseño que siguen.

Lección 1 • Planificación de Capacidad y Gestión del Rendimiento

Aplica pruebas de carga, previsión de recursos y evaluaciones comparativas de rendimiento a las decisiones de capacidad de la plataforma de datos. Asegura que las plataformas escalen de manera proactiva en lugar de reactiva bajo volúmenes de datos crecientes.

Lección 2 • Cultura DataOps y Mejora Continua

Introduce los principios de DataOps, ciclos de retroalimentación, versionado de tuberías y prácticas de colaboración en equipo. Integra una mentalidad de mejora continua en las operaciones diarias de ingeniería de datos.

Lección 3 • Gestión de Entornos y Configuración

Cubre la paridad de entornos de desarrollo, staging y producción, la gestión de secretos y las configuraciones específicas del entorno. Previene la desviación de la configuración y la exposición de credenciales en todos los entornos de despliegue.

Lección 4 • Tuberías de CI/CD para Ingeniería de Datos

Construye flujos de trabajo automatizados de pruebas, linting, despliegue y reversión para el código de tuberías de datos. Aplica las prácticas de entrega de ingeniería de software al ciclo de vida de la ingeniería de datos.