Curso de Ingeniería de Datos con Databricks

Lección 1 • Configuración y Gestión de Clústeres

Enseña la creación de clústeres, su dimensionamiento, el autoescalado y las políticas de terminación. Los estudiantes obtienen control sobre los costos y el rendimiento del cómputo desde el principio.

Lección 2 • Descripción General de la Arquitectura de Databricks

Cubre el plano de control, el plano de datos y la arquitectura de clústeres que sustentan Databricks. Fundamenta todo el uso posterior de la plataforma en un modelo mental claro.

Lección 3 • Navegación y Configuración del Espacio de Trabajo

Introduce la interfaz de usuario de Databricks, la estructura de carpetas y la configuración del usuario. Permite a los estudiantes organizar proyectos y gestionar entornos personales de manera efectiva.

Lección 4 • Fundamentos de la CLI y la API REST de Databricks

Introduce el acceso programático a la plataforma a través de la CLI y la API REST. Prepara a los estudiantes para las tareas de automatización que se cubren en capítulos posteriores.

Lección 1 • Transformaciones y Acciones

Distingue transformaciones estrechas vs. anchas y explica los desencadenantes de las acciones. Los estudiantes aprenden a razonar sobre los costos de Shuffle y los límites de ejecución.

Lección 2 • Modelo de Ejecución Distribuida de Spark

Explica los RDD, los DAG, las etapas y las tareas dentro del motor de ejecución de Spark. Proporciona la base conceptual para escribir código distribuido eficiente.

Lección 3 • Fundamentos de la API DataFrame

Cubre la creación de DataFrames, la inferencia de esquemas y las transformaciones principales. Los estudiantes aplican estas operaciones como la interfaz principal de manipulación de datos.

Lección 4 • Fundamentos de Rendimiento en Spark

Introduce la Spark UI, los planes de ejecución y las palancas básicas de ajuste. Capacita a los estudiantes para diagnosticar y abordar cuellos de botella de rendimiento comunes.

Lección 1 • Formato de Almacenamiento de Delta Lake

Explica los archivos Parquet, el registro de transacciones y los archivos de checkpoint que conforman Delta Lake. Los estudiantes entienden por qué Delta ofrece confiabilidad sobre los formatos de archivo en bruto.

Lección 2 • Creación y Gestión de Tablas Delta

Cubre DDL para crear, alterar y eliminar tablas Delta. Establece las habilidades de gestión de tablas necesarias para todo el trabajo de pipeline futuro.

Lección 3 • Transacciones ACID y Concurrencia

Enseña el control de concurrencia optimista, los niveles de aislamiento y la resolución de conflictos en Delta. Los estudiantes pueden diseñar pipelines que gestionen escrituras concurrentes de forma segura.

Lección 4 • Técnicas de Optimización en Delta Lake

Cubre OPTIMIZE, Z-ordering y compactación de archivos para mejorar el rendimiento de las consultas. Los estudiantes aplican estas técnicas a tablas Delta de grado de producción.

Lección 1 • Patrones de Diseño ELT

Presenta la arquitectura Medallion y las estrategias de carga incremental para ELT estructurado. Los estudiantes diseñan pipelines multi-hop que separan las capas en bruto, depurada y curada.

Lección 2 • Ingesta Batch desde Fuentes Comunes

Enseña la lectura desde almacenamiento de objetos en la nube, bases de datos JDBC y formatos de archivo. Proporciona la base de ingesta para todos los patrones de pipeline en este capítulo.

Lección 3 • Aseguramiento de la Calidad de Datos en la Ingesta

Enseña validación basada en restricciones, patrones de cuarentena y marcos de expectativas. Asegura que la calidad de los datos se aplique antes de que los datos lleguen a los consumidores posteriores.

Lección 4 • Fundamentos de Structured Streaming

Cubre Streaming DataFrames, disparadores y modos de salida para el procesamiento continuo de datos. Conecta los conceptos de streaming con el destino Delta Lake utilizado en producción.

Lección 1 • Configuración y Despliegue de Pipelines

Enseña la configuración de pipelines, políticas de clúster y el despliegue a través de la UI y la API. Los estudiantes configuran pipelines listos para producción con los ajustes de cómputo y almacenamiento adecuados.

Lección 2 • Monitorización y Resolución de Problemas en DLT

Explora el log de eventos, las métricas de la UI del pipeline y los patrones de fallo comunes. Los estudiantes diagnostican y resuelven problemas del pipeline utilizando las herramientas de observabilidad integradas.

Lección 3 • Calidad de Datos con Expectativas

Cubre las restricciones EXPECT, EXPECT OR DROP y EXPECT OR FAIL en DLT. Los estudiantes integran reglas de calidad directamente en las definiciones del pipeline para su aplicación automatizada.

Lección 4 • Orquestación de Pipelines con Databricks Workflows

Integra pipelines DLT en Workflows de Databricks de múltiples tareas con dependencias y programación horaria. Los estudiantes construyen productos de datos orquestados de extremo a extremo.

Lección 1 • Gestión de Identidad y Acceso

Cubre usuarios, grupos, service principals y la concesión de privilegios en Unity Catalog. Los estudiantes implementan modelos de acceso con privilegios mínimos para los activos de datos.

Lección 2 • Arquitectura de Unity Catalog

Explica la jerarquía de metastore, catálogo, esquema y tabla en Unity Catalog. Proporciona la comprensión estructural necesaria para diseñar espacios de nombres gobernados.

Lección 3 • Compartición de Datos con Delta Sharing

Introduce el protocolo abierto Delta Sharing para la compartición de datos entre plataformas y organizaciones. Los estudiantes publican y consumen conjuntos de datos compartidos de forma segura.

Lección 4 • Auditoría y Cumplimiento Normativo

Enseña el acceso al log de auditoría, el historial de consultas y los patrones de informes de cumplimiento. Los estudiantes configuran la monitorización para satisfacer los requisitos de auditoría empresarial.

Lección 1 • Optimización Basada en Costos y Estadísticas

Cubre ANALYZE TABLE, estadísticas de columna y el reordenamiento de joins del optimizador basado en costos. Los estudiantes recopilan y aprovechan las estadísticas para mejorar la calidad de los planes de ejecución.

Lección 2 • Gestión de Memoria y Derrame

Cubre las regiones de memoria de Spark, el dimensionamiento de ejecutores y la detección y mitigación de derrames. Los estudiantes configuran los ajustes de memoria para eliminar costosos derrames a disco.

Lección 3 • Photon Engine y Ejecución Vectorizada

Introduce el motor Photon de Databricks y sus beneficios de ejecución vectorizada. Los estudiantes identifican las cargas de trabajo que más se benefician de Photon y lo habilitan adecuadamente.

Lección 4 • Estrategias de Particionamiento y Shuffle

Enseña el número óptimo de particiones, repartition vs. coalesce, y el ajuste de Shuffle. Los estudiantes eliminan el sesgo de datos y reducen la sobrecarga de Shuffle en pipelines complejos.

Lección 1 • Gestión de Costos y FinOps

Cubre el análisis de consumo de DBU, el redimensionamiento adecuado de clústeres y las estrategias de instancias spot. Los estudiantes reducen los costos de cómputo sin sacrificar la confiabilidad del pipeline.

Lección 2 • CI/CD para Proyectos en Databricks

Enseña los Databricks Asset Bundles, la automatización del despliegue y la promoción entre entornos. Los estudiantes implementan un pipeline de CI/CD completo desde desarrollo hasta producción.

Lección 3 • Fortalecimiento de Seguridad y Mejores Prácticas

Enseña el aislamiento de red, la gestión de secretos y el manejo seguro de credenciales. Los estudiantes aplican principios de defensa en profundidad para proteger los activos de datos en producción.

Lección 4 • Pruebas de Pipelines de Datos

Cubre las pruebas unitarias con pytest, estrategias de pruebas de integración y la gestión de datos de prueba. Los estudiantes construyen un conjunto de pruebas que valida la lógica del pipeline antes del despliegue.