Curso de Data Apps con Databricks Lakehouse

Lección 1 • Descripción general de la plataforma Databricks

Mapea los principales servicios de Databricks: workspace, clusters, jobs y Unity Catalog. Los estudiantes se orientan antes de configurar cualquier recurso.

Lección 2 • Configuración y gestión de clusters

Cubre los clusters de uso general vs. job, el autoescalado y la selección del runtime. Un diseño de cluster correcto reduce directamente los costos y mejora la confiabilidad del pipeline.

Lección 3 • Notebooks y desarrollo colaborativo

Presenta notebooks multilingüe, comandos mágicos y funciones de coautoría. Establece el entorno de desarrollo principal que se usa a lo largo del curso.

Lección 4 • Integración de almacenamiento y conectividad en la nube

Explica cómo Databricks monta y accede de forma segura al almacenamiento de objetos en la nube. Los estudiantes configuran las credenciales de almacenamiento necesarias para todos los ejercicios de datos posteriores.

Lección 1 • Técnicas de optimización de tablas

Cubre OPTIMIZE, Z-ORDER y compactación de archivos para mejorar el rendimiento de las consultas. Estas técnicas se aplican a tablas de producción en capítulos avanzados.

Lección 2 • Creación y modificación de tablas Delta

Cubre DDL para tablas gestionadas y externas, definición de esquemas y operaciones ALTER. Los estudiantes construyen las tablas que se usan en todos los ejercicios de pipeline.

Lección 3 • Operaciones DML y patrones de merge

Enseña INSERT, UPDATE, DELETE y MERGE INTO con escenarios prácticos de upsert. MERGE es la piedra angular de la carga incremental de datos que se cubre en capítulos posteriores.

Lección 4 • Time Travel y versionado de datos

Demuestra la consulta de versiones históricas de tablas y la restauración de estados anteriores. Los estudiantes usan Time Travel para escenarios de auditoría y recuperación.

Lección 1 • Ingesta batch con COPY INTO

Presenta COPY INTO para la carga idempotente de archivos desde el almacenamiento en la nube hacia tablas Delta. Establece el patrón de ingesta más simple antes de presentar alternativas de streaming.

Lección 2 • Arquitectura de Auto Loader

Explica cómo Auto Loader detecta archivos nuevos usando listado de directorios o notificación de archivos. Los estudiantes entienden la mecánica interna antes de configurar pipelines.

Lección 3 • Ingesta de datos semiestructurados

Enseña el parseo de JSON, XML y estructuras anidadas durante la ingesta. Los estudiantes aplanan y normalizan cargas útiles complejas en columnas Delta consultables.

Lección 4 • Ingesta de streaming desde brokers de mensajes

Conecta Databricks a plataformas de streaming de eventos para la ingesta en tiempo real en Delta. Los estudiantes configuran offsets, grupos de consumidores y semántica exactly-once.

Lección 1 • Funciones definidas por el usuario y funciones de orden superior

Presenta UDFs en Python, Pandas UDFs y funciones de orden superior integradas para arrays y maps. Los estudiantes extienden Spark SQL con lógica personalizada de manera eficiente.

Lección 2 • API de DataFrames en Python y Scala

Enseña la creación de DataFrames, operaciones con columnas y el encadenamiento de transformaciones de forma programática. Los estudiantes eligen entre enfoques SQL y API según el caso de uso.

Lección 3 • Fundamentos de Spark SQL

Revisa la sintaxis SQL dentro de Databricks, incluyendo CTEs, funciones de ventana y subconsultas. Proporciona la base de consultas para todo el trabajo de transformación en el curso.

Lección 4 • Agregaciones y joins

Cubre groupBy, pivot y todas las estrategias de join con sus implicancias de rendimiento. La selección correcta del join es crítica para evitar el data skew en grandes conjuntos de datos.

Lección 1 • Delta Live Tables para orquestación de pipelines

Presenta los pipelines declarativos de DLT, las expectations y la resolución automática de dependencias. Los estudiantes migran un pipeline Medallion manual a un pipeline DLT gestionado.

Lección 2 • Implementación de la capa Bronze

Construye la capa de ingesta cruda usando Auto Loader con columnas de metadatos y campos de auditoría. Los estudiantes aplican patrones de ingesta del Capítulo 3 en un pipeline estructurado.

Lección 3 • Principios de diseño de arquitectura Medallion

Define el propósito y las expectativas de calidad de datos de cada capa Medallion. Un diseño de capas correcto evita que los problemas de calidad de datos se propaguen hacia adelante.

Lección 4 • Depuración y conformación de la capa Silver

Aplica reglas de calidad de datos, deduplicación y casteo de tipos para producir tablas Silver. Los estudiantes usan MERGE para actualizar incrementalmente Silver desde Bronze.

Lección 1 • Compartición de datos con Delta Sharing

Configura Delta Sharing de protocolo abierto para distribuir datos a destinatarios externos de forma segura. Los estudiantes publican shares y gestionan credenciales de destinatarios sin copiar datos.

Lección 2 • Linaje y descubrimiento de datos

Demuestra la captura automática de linaje a nivel de columna y la interfaz de búsqueda del catálogo de datos. El linaje permite el análisis de impacto antes de desplegar cambios de esquema.

Lección 3 • Gestión de identidad y acceso

Cubre usuarios, grupos, service principals y concesión de privilegios en Unity Catalog. Los estudiantes implementan acceso con privilegios mínimos para analistas, ingenieros y jobs automatizados.

Lección 4 • Modelo de objetos de Unity Catalog

Explica la jerarquía de metastore, catálogo, esquema y tabla en Unity Catalog. Entender el modelo de objetos es un prerrequisito para asignar cualquier permiso.

Lección 1 • Inferencia de modelos batch y en tiempo real

Despliega modelos registrados para scoring batch en tablas Delta y serving en tiempo real vía endpoints. Los estudiantes escriben los resultados de la inferencia de vuelta en tablas Delta de la capa Gold.

Lección 2 • Entrenamiento de modelos en Spark DataFrames

Entrena modelos de scikit-learn y Spark MLlib usando datos de features respaldados por Delta a escala. Los estudiantes aplican validación cruzada y ajuste de hiperparámetros dentro de Databricks.

Lección 3 • MLflow Model Registry y ciclo de vida

Registra modelos, gestiona transiciones de etapa y aplica flujos de trabajo de aprobación en el Model Registry. Los estudiantes promueven un modelo de staging a producción de forma segura.

Lección 4 • MLflow Tracking y gestión de experimentos

Enseña el registro de parámetros, métricas y artefactos en experimentos de MLflow desde notebooks de Databricks. El tracking sistemático es la base del ML reproducible.

Lección 1 • Databricks Workflows y orquestación de jobs

Construye jobs multitarea con dependencias, ramificaciones condicionales y lógica de reintento en Databricks Workflows. Los estudiantes reemplazan las ejecuciones ad-hoc de notebooks con pipelines gobernados y programados.

Lección 2 • Caching, particionamiento y gestión de archivos

Aplica Delta caching, disk caching y particionamiento estratégico para acelerar consultas repetidas. Los estudiantes equilibran la granularidad del particionamiento con la sobrecarga de archivos pequeños.

Lección 3 • Observabilidad y alertas

Configura las tablas de sistema de Databricks, las métricas de Ganglia y las alertas externas para la salud del pipeline. Los estudiantes construyen un dashboard de monitoreo que cubre latencia, errores y frescura de datos.

Lección 4 • Gestión de costos y optimización de clusters

Analiza el consumo de DBU, aplica estrategias de pools de instancias y ajusta el tamaño de los clusters. El control de costos es esencial antes de escalar las cargas de trabajo a volúmenes de producción.