Curso de Databricks ML Aplicado

Lección 1 • Notebooks y Desarrollo Colaborativo

Presenta la creación de notebooks, comandos mágicos y funciones de coautoría. Establece hábitos de desarrollo reproducibles que se usan en todos los experimentos de ML posteriores.

Lección 2 • Arquitectura del Workspace y Navegación

Cubre el plano de control, el plano de datos y la interfaz de usuario del workspace de Databricks. Brinda a los estudiantes una base en el entorno que usarán a lo largo de cada capítulo subsiguiente.

Lección 3 • Acceso a Datos e Integración de Almacenamiento

Explica los puntos de montaje, Unity Catalog y la gestión de credenciales para el almacenamiento en la nube. Permite un acceso a datos seguro y coherente, necesario para los pipelines de ML.

Lección 4 • Conceptos Básicos de CLI y API REST de Databricks

Presenta el control programático del workspace mediante endpoints de CLI y REST. Prepara a los estudiantes para automatizar tareas e integrar Databricks en cadenas de herramientas externas.

Lección 1 • Delta Live Tables para Orquestación de Pipelines

Presenta las definiciones declarativas de pipelines, las expectativas y el seguimiento de linaje. Automatiza la aplicación de calidad de datos en múltiples etapas antes de que las features lleguen al entrenamiento del modelo.

Lección 2 • Transformación de Datos con Spark SQL

Cubre agregaciones, funciones de ventana y manejo de tipos complejos en Spark SQL. Transforma datos en crudo en features estructuradas que consumen los modelos de ML.

Lección 3 • Conceptos Fundamentales de Apache Spark

Cubre RDDs, DataFrames y el modelo de ejecución de Spark. Proporciona la base computacional para todas las tareas de procesamiento de datos en los capítulos posteriores de ML.

Lección 4 • Delta Lake para Cargas de Trabajo de ML

Presenta las transacciones ACID, el viaje en el tiempo y la optimización de tablas Delta. Asegura la confiabilidad y reproducibilidad de los datos en experimentos iterativos de ML.

Lección 1 • Eliminando el Sesgo de Entrenamiento-Producción

Aborda la coherencia entre los datos de entrenamiento offline y las features de inferencia en producción. Los estudiantes implementan conjuntos de entrenamiento basados en búsquedas que reflejan las rutas de inferencia en producción.

Lección 2 • Arquitectura del Feature Store de Databricks

Explica las tablas del Feature Store, los metadatos y la división offline-online. Los estudiantes entienden cómo se almacenan, versionan y recuperan las features para el entrenamiento y la inferencia.

Lección 3 • Escritura y Lectura de Tablas de Features

Enseña las API de escritura y lectura para actualizaciones de features batch y en streaming. Conecta los pipelines de ingesta del Capítulo 2 con los flujos de trabajo de entrenamiento de modelos posteriores.

Lección 4 • Fundamentos de Ingeniería de Features

Cubre codificación, escalado, imputación y términos de interacción usando Spark. Establece el vocabulario de features que se aplica en los capítulos del Feature Store y de entrenamiento de modelos.

Lección 1 • Entrenamiento de Modelos de Aprendizaje Profundo

Presenta bucles de entrenamiento de TensorFlow y PyTorch integrados con el registro de MLflow. Prepara a los estudiantes para el aprendizaje profundo distribuido que se trata en el capítulo de entrenamiento avanzado.

Lección 2 • Ajuste de Hiperparámetros con Hyperopt

Enseña la optimización bayesiana y la búsqueda en paralelo usando Hyperopt y SparkTrials. Los estudiantes mejoran sistemáticamente el rendimiento del modelo más allá de la búsqueda manual en cuadrícula (grid search).

Lección 3 • Fundamentos del Registro en MLflow

Presenta experimentos, ejecuciones (runs), parámetros, métricas y etiquetas en MLflow. Establece la disciplina de registro que sustenta el ML reproducible a lo largo del curso.

Lección 4 • Entrenamiento de Modelos Scikit-learn y Spark ML

Cubre la construcción de pipelines, la validación cruzada y el autologging de MLflow para ambos frameworks. Los estudiantes entrenan y registran modelos de referencia que sirven como benchmarks para técnicas avanzadas.

Lección 1 • Registro y Versionado de Modelos

Enseña el registro de modelos desde ejecuciones de MLflow de manera programática y mediante la interfaz de usuario. Los estudiantes establecen una disciplina de versionado coherente para todos los modelos entrenados.

Lección 2 • Transiciones de Etapa y Flujos de Trabajo de Aprobación

Cubre las transiciones a Staging, Production y Archived con notificaciones basadas en webhooks. Implementa un proceso de promoción controlado que refleja los estándares de MLOps empresariales.

Lección 3 • Registro de Modelos de Unity Catalog

Explica el Registro de Modelos respaldado por Unity Catalog para la gobernanza entre workspaces. Los estudiantes migran de la gestión de modelos a nivel de workspace a la de catálogo para escalar a nivel empresarial.

Lección 4 • Firmas de Modelo y Ejemplos de Entrada

Presenta las firmas de modelo de MLflow, los ejemplos de entrada y la aplicación de esquemas. Previene errores de tipo en tiempo de ejecución y documenta las interfaces de modelo esperadas para los consumidores posteriores.

Lección 1 • Ajuste Distribuido de Hiperparámetros a Gran Escala

Extiende SparkTrials de Hyperopt e introduce Optuna para la búsqueda en paralelo a gran escala. Los estudiantes ajustan modelos de aprendizaje profundo de manera eficiente en cientos de pruebas simultáneas.

Lección 2 • TorchDistributor para Entrenamiento con PyTorch

Presenta TorchDistributor como la API nativa de Databricks para PyTorch distribuido. Los estudiantes lanzan trabajos PyTorch multi-GPU y multi-nodo sin configuración manual del clúster.

Lección 3 • Conceptos de Entrenamiento Distribuido

Cubre el paralelismo de datos, el paralelismo de modelos y las estrategias de sincronización de gradientes. Proporciona la base teórica necesaria antes de implementar frameworks distribuidos.

Lección 4 • Horovod para Aprendizaje Profundo Distribuido

Enseña la inicialización de Horovod, el particionamiento de datos por rango y HorovodRunner en Databricks. Los estudiantes convierten scripts de entrenamiento de un solo nodo en trabajos distribuidos multi-nodo.

Lección 1 • Arquitectura de Model Serving de Databricks

Explica Model Serving sin servidor (serverless), tipos de endpoint y enrutamiento de tráfico. Orienta a los estudiantes en la capa de servicios antes de configurar y probar endpoints activos.

Lección 2 • Destinos de Despliegue Externos

Cubre la exportación de modelos a ONNX, contenedores Docker y plataformas de inferencia nativas de la nube. Prepara a los estudiantes para desplegar modelos entrenados en Databricks fuera del entorno de Databricks.

Lección 3 • Lógica de Inferencia Personalizada con PyFunc

Enseña el flavor PyFunc de MLflow para envolver lógica Python arbitraria como un modelo desplegable. Los estudiantes agregan lógica de preprocesamiento, posprocesamiento y ensamblado a los endpoints de inferencia.

Lección 4 • Despliegue de Modelos de MLflow en Endpoints

Cubre la creación de endpoints, la fijación de versiones de modelo y la invocación de la API REST. Los estudiantes despliegan modelos registrados del Capítulo 5 y validan las respuestas de extremo a extremo.

Lección 1 • Auditoría, Linaje y Cumplimiento

Cubre el linaje de Unity Catalog, los registros de auditoría de MLflow y la gobernanza de acceso para entornos regulados. Los estudiantes documentan la procedencia del modelo para satisfacer los requisitos de auditoría interna y externa.

Lección 2 • Lakehouse Monitoring para ML

Presenta Databricks Lakehouse Monitoring para el cálculo automatizado de métricas en tablas de inferencia. Proporciona dashboards listos para usar sobre la calidad del modelo y la salud de los datos.

Lección 3 • Principios de MLOps y Niveles de Madurez

Define la madurez de MLOps, desde la experimentación manual hasta los pipelines completamente automatizados. Enmarca los objetivos de gobernanza y automatización que los estudiantes implementan en las secciones siguientes.

Lección 4 • Detección de Deriva de Datos y Modelos

Cubre pruebas estadísticas para el cambio de covariables, la deriva de etiquetas y la deriva de predicciones. Los estudiantes implementan alertas de deriva que disparan pipelines de reentrenamiento automáticamente.