Curso de Data Apps en Databricks Lakehouse

Lección 1 • Descripción General de la Plataforma Databricks

Mapea los principales servicios de Databricks: espacio de trabajo, clústeres, trabajos y Unity Catalog. Los estudiantes obtienen orientación antes de configurar cualquier recurso.

Lección 2 • Configuración y Gestión de Clústeres

Cubre clústeres de propósito general vs. de trabajo, autoescalado y selección de runtime. Un diseño correcto del clúster reduce directamente los costos y mejora la confiabilidad del pipeline.

Lección 3 • Notebooks y Desarrollo Colaborativo

Presenta los notebooks multilenguaje, los comandos mágicos y las funciones de coautoría. Establece el entorno de desarrollo principal que se utilizará a lo largo del curso.

Lección 4 • Integración de Almacenamiento y Conectividad en la Nube

Explica cómo Databricks monta y accede al almacenamiento de objetos en la nube de forma segura. Los estudiantes configuran las credenciales de almacenamiento necesarias para todos los ejercicios de datos posteriores.

Lección 1 • Técnicas de Optimización de Tablas

Cubre OPTIMIZE, Z-ORDER y compactación de archivos para mejorar el rendimiento de las consultas. Estas técnicas se aplican a tablas de producción en capítulos avanzados.

Lección 2 • Creación y Modificación de Tablas Delta

Cubre DDL para tablas gestionadas y externas, definición de esquemas y operaciones ALTER. Los estudiantes construyen las tablas utilizadas en todos los ejercicios de pipeline.

Lección 3 • Operaciones DML y Patrones de Merge

Enseña INSERT, UPDATE, DELETE y MERGE INTO con escenarios prácticos de upsert. MERGE es la piedra angular de la carga incremental de datos cubierta en capítulos posteriores.

Lección 4 • Viaje en el Tiempo y Versionado de Datos

Demuestra cómo consultar versiones históricas de tablas y restaurar estados anteriores. Los estudiantes utilizan el viaje en el tiempo para escenarios de auditoría y recuperación.

Lección 1 • Ingesta por Lotes con COPY INTO

Presenta COPY INTO para la carga idempotente de archivos desde el almacenamiento en la nube hacia tablas Delta. Establece el patrón de ingesta más simple antes de introducir alternativas de streaming.

Lección 2 • Arquitectura de Auto Loader

Explica cómo Auto Loader detecta nuevos archivos usando listado de directorios o notificación de archivos. Los estudiantes comprenden la mecánica interna antes de configurar pipelines.

Lección 3 • Ingesta de Datos Semiestructurados

Enseña el análisis de JSON, XML y estructuras anidadas durante la ingesta. Los estudiantes aplanan y normalizan cargas útiles complejas en columnas Delta consultables.

Lección 4 • Ingesta de Streaming desde Agentes de Mensajes

Conecta Databricks a plataformas de streaming de eventos para la ingesta en tiempo real en Delta. Los estudiantes configuran offsets, grupos de consumidores y semántica exactly-once.

Lección 1 • Funciones Definidas por el Usuario y Funciones de Orden Superior

Presenta las UDF de Python, las Pandas UDF y las funciones de orden superior integradas para arrays y maps. Los estudiantes amplían Spark SQL con lógica personalizada de manera eficiente.

Lección 2 • API de DataFrame en Python y Scala

Enseña la creación de DataFrames, operaciones de columna y el encadenamiento de transformaciones mediante programación. Los estudiantes eligen entre los enfoques SQL y API según el caso de uso.

Lección 3 • Fundamentos de Spark SQL

Revisa la sintaxis SQL dentro de Databricks, incluyendo CTEs, funciones de ventana y subconsultas. Proporciona la base de consultas para todo el trabajo de transformación en el curso.

Lección 4 • Agregaciones y Joins

Cubre groupBy, pivot y todas las estrategias de join con sus implicaciones de rendimiento. La selección correcta del join es crítica para evitar el sesgo de datos en grandes conjuntos de datos.

Lección 1 • Delta Live Tables para Orquestación de Pipelines

Presenta los pipelines declarativos de DLT, las expectativas y la resolución automática de dependencias. Los estudiantes migran un pipeline Medallón manual a un pipeline DLT gestionado.

Lección 2 • Implementación de la Capa Bronce

Construye la capa de ingesta cruda utilizando Auto Loader con columnas de metadatos y campos de auditoría. Los estudiantes aplican los patrones de ingesta del Capítulo 3 en un pipeline estructurado.

Lección 3 • Principios de Diseño de la Arquitectura Medallón

Define el propósito y las expectativas de calidad de datos de cada capa Medallón. Un diseño de capas correcto previene que los problemas de calidad de datos se propaguen hacia abajo.

Lección 4 • Limpieza y Conformación de la Capa Plata

Aplica reglas de calidad de datos, deduplicación y conversión de tipos para producir tablas Plata. Los estudiantes usan MERGE para actualizar incrementalmente la capa Plata desde Bronce.

Lección 1 • Compartición de Datos con Delta Sharing

Configura Delta Sharing de protocolo abierto para distribuir datos a destinatarios externos de forma segura. Los estudiantes publican shares y gestionan credenciales de destinatarios sin copiar datos.

Lección 2 • Linaje de Datos y Descubrimiento

Demuestra la captura automática de linaje a nivel de columna y la interfaz de búsqueda del catálogo de datos. El linaje permite el análisis de impacto antes de desplegar cambios en el esquema.

Lección 3 • Gestión de Identidad y Acceso

Cubre usuarios, grupos, service principals y concesión de privilegios en Unity Catalog. Los estudiantes implementan acceso de privilegio mínimo para analistas, ingenieros y trabajos automatizados.

Lección 4 • Modelo de Objetos de Unity Catalog

Explica la jerarquía de metastore, catálogo, esquema y tabla en Unity Catalog. Comprender el modelo de objetos es un requisito previo para asignar cualquier permiso.

Lección 1 • Inferencia de Modelos por Lotes y en Tiempo Real

Despliega modelos registrados para puntuación por lotes en tablas Delta y servicio en tiempo real a través de endpoints. Los estudiantes escriben los resultados de la inferencia de vuelta a las tablas Delta de la capa Oro.

Lección 2 • Entrenamiento de Modelos en Spark DataFrames

Entrena modelos de scikit-learn y Spark MLlib utilizando datos de características respaldados por Delta a escala. Los estudiantes aplican validación cruzada y ajuste de hiperparámetros dentro de Databricks.

Lección 3 • MLflow Model Registry y Ciclo de Vida

Registra modelos, gestiona las transiciones de etapa y aplica flujos de trabajo de aprobación en el Model Registry. Los estudiantes promueven un modelo de staging a producción de forma segura.

Lección 4 • Seguimiento de MLflow y Gestión de Experimentos

Enseña el registro de parámetros, métricas y artefactos en experimentos de MLflow desde notebooks de Databricks. El seguimiento sistemático es la base del aprendizaje automático reproducible.

Lección 1 • Databricks Workflows y Orquestación de Trabajos

Construye trabajos de múltiples tareas con dependencias, ramificación condicional y lógica de reintento en Databricks Workflows. Los estudiantes reemplazan las ejecuciones ad-hoc de notebooks con pipelines gobernados y programados.

Lección 2 • Almacenamiento en Caché, Particionado y Gestión de Archivos

Aplica el almacenamiento en caché de Delta, el almacenamiento en caché de disco y el particionado estratégico para acelerar las consultas repetidas. Los estudiantes equilibran la granularidad de la partición frente a la sobrecarga de archivos pequeños.

Lección 3 • Observabilidad y Alertas

Configura las tablas del sistema de Databricks, las métricas de Ganglia y las alertas externas para la salud del pipeline. Los estudiantes construyen un dashboard de monitoreo que cubre la latencia, los errores y la frescura de los datos.

Lección 4 • Gestión de Costos y Optimización de Clústeres

Analiza el consumo de DBU, aplica estrategias de grupos de instancias y dimensiona correctamente los clústeres. El control de costos es esencial antes de escalar las cargas de trabajo a volúmenes de producción.