Curso de Machine Learning con Databricks

Lección 1 • Notebooks y Desarrollo Colaborativo

Presenta la creación de notebooks, comandos mágicos y funciones de coautoría. Establece hábitos de desarrollo reproducibles que se usarán en todos los experimentos de ML posteriores.

Lección 2 • Arquitectura del Workspace y Navegación

Cubre el plano de control, el plano de datos y la IU del workspace de Databricks. Proporciona a los estudiantes la base sobre el entorno que usarán en cada capítulo subsiguiente.

Lección 3 • Acceso a Datos e Integración de Almacenamiento

Explica los puntos de montaje, Unity Catalog y la gestión de credenciales para el almacenamiento en la nube. Habilita el acceso a datos seguro y consistente requerido para los pipelines de ML.

Lección 4 • Fundamentos de CLI de Databricks y API REST

Presenta el control programático del workspace a través de la CLI y endpoints REST. Prepara a los estudiantes para automatizar tareas e integrar Databricks en cadenas de herramientas externas.

Lección 1 • Delta Live Tables para Orquestación de Pipelines

Presenta definiciones declarativas de pipelines, expectativas y seguimiento de linaje. Automatiza la aplicación de calidad de datos en múltiples etapas antes de que las características lleguen al entrenamiento del modelo.

Lección 2 • Transformación de Datos con Spark SQL

Cubre agregaciones, funciones de ventana y manejo de tipos complejos en Spark SQL. Transforma datos crudos en características estructuradas consumidas por los modelos de ML.

Lección 3 • Conceptos Básicos de Apache Spark

Cubre los RDDs, DataFrames y el modelo de ejecución de Spark. Proporciona la base computacional para todas las tareas de procesamiento de datos en capítulos posteriores de ML.

Lección 4 • Delta Lake para Cargas de Trabajo de ML

Presenta las transacciones ACID, el viaje en el tiempo y la optimización de tablas Delta. Asegura la confiabilidad y reproducibilidad de los datos en experimentos de ML iterativos.

Lección 1 • Eliminación del Sesgo de Entrenamiento-Servicio

Aborda la consistencia entre los datos de entrenamiento offline y las características de servicio online. Los estudiantes implementan conjuntos de entrenamiento basados en búsqueda que reflejan las rutas de inferencia en producción.

Lección 2 • Arquitectura de Databricks Feature Store

Explica las tablas del Feature Store, los metadatos y la división offline-online. Los estudiantes comprenden cómo se almacenan, versionan y recuperan las características para el entrenamiento y el servicio.

Lección 3 • Escritura y Lectura de Tablas de Características

Enseña las API de escritura y lectura para actualizaciones de características por lotes y en streaming. Conecta los pipelines de ingesta del Capítulo 2 con los flujos de trabajo de entrenamiento de modelos posteriores.

Lección 4 • Fundamentos de Ingeniería de Características

Cubre codificación, escalado, imputación y términos de interacción usando Spark. Establece el vocabulario de características aplicado a lo largo de los capítulos del Feature Store y de entrenamiento de modelos.

Lección 1 • Entrenamiento de Modelos de Aprendizaje Profundo

Presenta los bucles de entrenamiento de TensorFlow y PyTorch integrados con el registro de MLflow. Prepara a los estudiantes para el aprendizaje profundo distribuido que se cubre en el capítulo de entrenamiento avanzado.

Lección 2 • Ajuste de Hiperparámetros con Hyperopt

Enseña la optimización bayesiana y la búsqueda paralela usando Hyperopt y SparkTrials. Los estudiantes mejoran sistemáticamente el rendimiento del modelo más allá de la búsqueda manual en cuadrícula.

Lección 3 • Fundamentos de Seguimiento de MLflow

Presenta experimentos, ejecuciones, parámetros, métricas y etiquetas en MLflow. Establece la disciplina de registro que sustenta el ML reproducible a lo largo del curso.

Lección 4 • Entrenamiento de Modelos con Scikit-learn y Spark ML

Cubre la construcción de pipelines, la validación cruzada y el registro automático de MLflow para ambos frameworks. Los estudiantes entrenan y registran modelos de referencia que sirven como punto de comparación para técnicas avanzadas.

Lección 1 • Registro y Versionado de Modelos

Enseña el registro programático y a través de la IU de modelos desde las ejecuciones de MLflow. Los estudiantes establecen una disciplina de versionado consistente para todos los modelos entrenados.

Lección 2 • Transiciones de Etapa y Flujos de Trabajo de Aprobación

Cubre las transiciones a Staging, Production y Archived con notificaciones basadas en webhooks. Implementa un proceso de promoción controlado que refleja los estándares empresariales de MLOps.

Lección 3 • Registro de Modelos de Unity Catalog

Explica el Registro de Modelos respaldado por Unity Catalog para la gobernanza entre workspaces. Los estudiantes migran de la gestión de modelos a nivel de workspace a nivel de catálogo para escala empresarial.

Lección 4 • Firmas de Modelos y Ejemplos de Entrada

Presenta las firmas de modelos de MLflow, los ejemplos de entrada y la aplicación de esquemas. Previene errores de tipo en tiempo de ejecución y documenta las interfaces de modelo esperadas para los consumidores downstream.

Lección 1 • Ajuste de Hiperparámetros Distribuido a Escala

Extiende SparkTrials de Hyperopt e introduce Optuna para la búsqueda paralela a gran escala. Los estudiantes ajustan modelos de aprendizaje profundo a través de cientos de pruebas concurrentes de manera eficiente.

Lección 2 • TorchDistributor para Entrenamiento con PyTorch

Presenta TorchDistributor como la API nativa de Databricks para PyTorch distribuido. Los estudiantes lanzan trabajos de PyTorch multi-GPU y multi-nodo sin configuración manual del clúster.

Lección 3 • Conceptos de Entrenamiento Distribuido

Cubre el paralelismo de datos, el paralelismo de modelos y las estrategias de sincronización de gradientes. Proporciona la base teórica necesaria antes de implementar frameworks distribuidos.

Lección 4 • Horovod para Aprendizaje Profundo Distribuido

Enseña la inicialización de Horovod, la fragmentación de datos por rango y HorovodRunner en Databricks. Los estudiantes convierten scripts de entrenamiento de un solo nodo en trabajos distribuidos multi-nodo.

Lección 1 • Arquitectura de Model Serving de Databricks

Explica el servicio de modelos sin servidor, los tipos de endpoint y el enrutamiento de tráfico. Orienta a los estudiantes sobre la capa de servicio antes de configurar y probar endpoints en vivo.

Lección 2 • Destinos de Despliegue Externos

Cubre la exportación de modelos a formato ONNX, contenedores Docker y plataformas de servicio nativas de la nube. Prepara a los estudiantes para desplegar modelos entrenados en Databricks fuera del entorno de Databricks.

Lección 3 • Lógica de Inferencia Personalizada con PyFunc

Enseña el sabor PyFunc de MLflow para envolver lógica arbitraria de Python como un modelo desplegable. Los estudiantes añaden lógica de preprocesamiento, postprocesamiento y ensamblaje a los endpoints de servicio.

Lección 4 • Despliegue de Modelos de MLflow en Endpoints

Cubre la creación de endpoints, la fijación de versiones de modelo y la invocación de la API REST. Los estudiantes despliegan modelos registrados del Capítulo 5 y validan las respuestas de extremo a extremo.

Lección 1 • Auditoría, Linaje y Cumplimiento

Cubre el linaje de Unity Catalog, los registros de auditoría de MLflow y la gobernanza de acceso para entornos regulados. Los estudiantes documentan la procedencia del modelo para satisfacer los requisitos de auditoría internos y externos.

Lección 2 • Monitoreo Lakehouse para ML

Presenta Databricks Lakehouse Monitoring para el cálculo automatizado de métricas en tablas de inferencia. Proporciona dashboards listos para usar sobre la calidad del modelo y la salud de los datos.

Lección 3 • Principios y Niveles de Madurez de MLOps

Define la madurez de MLOps desde la experimentación manual hasta los pipelines totalmente automatizados. Enmarca los objetivos de gobernanza y automatización que los estudiantes implementan en las secciones siguientes.

Lección 4 • Detección de Deriva de Datos y Modelos

Cubre pruebas estadísticas para el cambio de covariables, la deriva de etiquetas y la deriva de predicción. Los estudiantes implementan alertas de deriva que desencadenan pipelines de reentrenamiento automáticamente.