Curso de Cloud Computing y Big Data

Lección 1 • Conceptos e historia de la computación en la nube

Traza la evolución de la nube desde los mainframes hasta los hiperescaladores modernos y define la terminología esencial. Proporciona la base conceptual para todos los temas posteriores sobre la nube.

Lección 2 • Explicación de los modelos de servicio en la nube

Diferencia IaaS, PaaS y SaaS mediante comparaciones funcionales y ejemplos del mundo real. Permite a los estudiantes asignar cargas de trabajo a la capa de servicio correcta.

Lección 3 • Modelos de despliegue en la nube

Examina las arquitecturas de nube pública, privada, híbrida y multinube con un análisis de ventajas e inconvenientes. Conecta la elección del despliegue con los objetivos de cumplimiento normativo y costes de la organización.

Lección 1 • Servicios de almacenamiento en la nube

Cubre los tipos de almacenamiento de objetos, bloques y archivos con compensaciones entre durabilidad y patrones de acceso. Prepara a los estudiantes para seleccionar niveles de almacenamiento para diversos requisitos de aplicaciones.

Lección 2 • Gestión de identidades y accesos

Enseña el control de acceso basado en roles, las políticas y los principios de privilegio mínimo para entornos en la nube. Establece la higiene de seguridad necesaria antes de desplegar cualquier carga de trabajo en producción.

Lección 3 • Servicios de computación y máquinas virtuales

Presenta las máquinas virtuales, los tipos de instancia y los grupos de autoescalado como elementos básicos de computación. Aplica directamente el conocimiento del modelo de servicio en la nube al aprovisionamiento de infraestructura.

Lección 4 • Servicios de bases de datos gestionadas

Examina las ofertas de bases de datos gestionadas relacionales y NoSQL, cubriendo estrategias de aprovisionamiento y copia de seguridad. Conecta el conocimiento de almacenamiento con la arquitectura de aplicaciones con estado.

Lección 1 • Modelos de procesamiento por lotes y en streaming

Contrasta el procesamiento por lotes con el procesamiento en streaming en tiempo real utilizando las arquitecturas Lambda y Kappa. Prepara a los estudiantes para diseñar pipelines que cumplan con los requisitos de latencia y rendimiento.

Lección 2 • Introducción al ecosistema Hadoop

Explica HDFS, MapReduce, YARN y las herramientas clave del ecosistema como base del procesamiento distribuido por lotes. Proporciona contexto histórico y técnico para los frameworks modernos de big data.

Lección 3 • Arquitecturas de almacenamiento de Big Data

Cubre los sistemas de archivos distribuidos, los data lakes y los almacenes de datos como paradigmas de almacenamiento complementarios. Conecta el conocimiento del almacenamiento en la nube con las necesidades de ingesta y retención de big data.

Lección 4 • Principios de diseño de pipelines de Big Data

Presenta las capas de ingesta, transformación, almacenamiento y servicio como un framework de pipeline unificado. Proporciona a los estudiantes una plantilla de diseño que se aplica en el resto de capítulos de big data.

Lección 1 • Estrategias de carga de almacenes de datos

Cubre el modelado dimensional, las dimensiones de cambio lento y los patrones de carga masiva para almacenes analíticos. Conecta los pipelines de ingesta con las estructuras de almacén optimizadas para consultas.

Lección 2 • Ingesta de streaming de datos en tiempo real

Enseña colas de mensajes, plataformas de streaming de eventos y patrones productor-consumidor para datos en tiempo real. Amplía el conocimiento de ingesta por lotes a escenarios de baja latencia y alto rendimiento.

Lección 3 • Técnicas de ingesta por lotes

Cubre flujos de trabajo ETL, ingesta basada en archivos y transferencias de datos programadas para grandes conjuntos de datos. Aplica los principios de diseño de pipelines a fuentes de datos estructurados y semiestructurados.

Lección 4 • Calidad y validación de datos

Introduce la creación de perfiles de datos, la validación de esquemas y la detección de anomalías como puntos de control de calidad en la ingesta. Garantiza que los análisis posteriores y los modelos de ML reciban datos fiables.

Lección 1 • Ajuste del rendimiento de Spark

Aborda el particionamiento, el almacenamiento en caché, las uniones broadcast y la serialización como palancas clave para la optimización de Spark. Traduce el conocimiento teórico de Spark en eficiencia de trabajos a nivel de producción.

Lección 2 • Spark Streaming y Structured Streaming

Cubre los modelos de procesamiento en microlotes y continuo para datos en tiempo real con Structured Streaming. Amplía las habilidades de Spark por lotes a pipelines de streaming de baja latencia.

Lección 3 • Arquitectura y conceptos básicos de Spark

Explica el driver, el executor, el planificador DAG y el modelo RDD como base de ejecución de Spark. Construye el modelo mental necesario para escribir y depurar aplicaciones Spark de manera eficaz.

Lección 4 • Ejecución de Spark en plataformas en la nube

Demuestra el aprovisionamiento de clústeres Spark gestionados, el autoescalado y el control de costes en servicios en la nube. Conecta las habilidades de Spark con el despliegue real en la nube y las prácticas operativas.

Lección 1 • Pipelines sin servidor y dirigidos por eventos

Cubre activadores de funciones como servicio, buses de eventos y servicios de flujo de trabajo nativos de la nube para pipelines ligeros. Complementa Airflow con patrones de automatización dirigidos por eventos y de baja sobrecarga.

Lección 2 • Monitorización y observabilidad de pipelines

Cubre el registro, las métricas, las alertas y el seguimiento del linaje para la visibilidad operativa del pipeline. Permite a los equipos detectar, diagnosticar y resolver fallos en los pipelines rápidamente.

Lección 3 • Fundamentos de orquestación de pipelines

Introduce la orquestación de flujos de trabajo basada en DAG, las dependencias de tareas y los conceptos de programación. Proporciona la base arquitectónica para automatizar pipelines de datos de varios pasos.

Lección 4 • Construcción de pipelines con Apache Airflow

Enseña la autoría de DAGs, operadores, hooks y XComs para construir flujos de trabajo complejos en Airflow. Aplica los conceptos de orquestación a una plataforma de código abierto ampliamente adoptada.

Lección 1 • Principios de visualización de datos

Introduce la selección de gráficos, la codificación visual y los principios de narración para la comunicación analítica. Garantiza que las visualizaciones representen los datos con precisión e impulsen decisiones informadas.

Lección 2 • Optimización de consultas analíticas

Enseña la planificación de consultas, la indexación, las vistas materializadas y la optimización basada en costes para grandes conjuntos de datos analíticos. Se basa en el conocimiento de carga de almacenes para maximizar el rendimiento de las consultas.

Lección 3 • Analítica en tiempo real y cuadros de mando de streaming

Amplía la analítica por lotes a casos de uso en tiempo real utilizando agregaciones de streaming y cuadros de mando en vivo. Conecta el conocimiento de Spark Streaming y pipelines con escenarios de analítica operativa.

Lección 4 • Análisis exploratorio de datos a escala

Cubre resúmenes estadísticos, análisis de distribución y técnicas de correlación aplicadas a grandes conjuntos de datos. Conecta la ingesta de datos brutos con la investigación analítica basada en hipótesis.

Lección 1 • Flujo de trabajo de ML y fundamentos de MLOps

Mapea el ciclo de vida del ML de extremo a extremo, desde la preparación de datos hasta el servicio y la monitorización del modelo. Establece el marco operativo para todos los temas posteriores de implementación de ML.

Lección 2 • Feature Stores y pipelines de datos para ML

Presenta los feature stores como un puente entre los pipelines de datos y el entrenamiento y servicio de ML. Garantiza características coherentes y reutilizables en el entrenamiento y la inferencia en producción.

Lección 3 • Despliegue y servicio de modelos

Enseña patrones de inferencia por lotes, endpoints REST en tiempo real y despliegue en el borde para modelos de ML. Conecta los modelos entrenados con los sistemas de producción que aportan valor al negocio.

Lección 4 • Entrenamiento distribuido de modelos

Cubre el paralelismo de datos, el paralelismo de modelos y los frameworks de entrenamiento distribuido para ML a gran escala. Aplica el conocimiento de Spark y computación en la nube para acelerar el entrenamiento de modelos en big data.