Curso de Python para ingeniería de datos

Lección 1 • Flujo de Control e Iteración

Aplica condicionales, bucles y comprensiones para procesar secuencias de registros de datos. Se relaciona directamente con la lógica de transformación a nivel de fila utilizada en pipelines de ETL.

Lección 2 • Funciones y Manejo de Errores

Define funciones reutilizables con argumentos, valores predeterminados y valores de retorno; luego maneja excepciones de forma controlada. Permite un código de pipeline modular y tolerante a fallos.

Lección 3 • Sintaxis Básica de Python y Tipos de Datos

Cubre variables, operadores y tipos integrados como cadenas, enteros, flotantes y booleanos. Proporciona la base sintáctica para escribir cualquier lógica de pipeline de datos.

Lección 4 • Colecciones: Listas, Tuplas, Diccionarios, Conjuntos

Explora tipos de colección mutables e inmutables y sus ventajas y desventajas de desempeño. Estas estructuras sustentan la manipulación de datos en memoria a lo largo del curso.

Lección 1 • Formatos Binarios: Parquet y Avro

Lee y escribe archivos columnares Parquet y archivos basados en filas Avro usando bibliotecas de Python. Estos formatos son estándar en las arquitecturas modernas de lago de datos.

Lección 2 • Trabajo con Archivos de Texto y CSV

Abre, lee y escribe archivos de texto usando administradores de contexto; luego analiza CSV con la biblioteca estándar. Cubre el formato de datos sin procesar más común en pipelines por lotes.

Lección 3 • Operaciones de Sistema de Archivos y Rutas

Navega por directorios, busca archivos con glob y gestiona rutas usando los módulos pathlib y os. Automatiza los pasos de descubrimiento de archivos comunes en flujos de trabajo de ingesta por lotes.

Lección 1 • Fundamentos de DataFrames y Series

Crea DataFrames desde diccionarios, CSV y JSON; luego inspecciona la estructura y los tipos de datos. Forma la base para todo el trabajo de transformación basado en Pandas.

Lección 2 • Filtrado, Ordenamiento y Selección

Aplica máscaras booleanas, selectores loc/iloc y operaciones de ordenamiento para aislar subconjuntos de datos relevantes. Apoya directamente el filtrado de calidad de datos en las etapas del pipeline.

Lección 3 • Agregación, Agrupación y Pivotaje

Resume datos con operaciones groupby, agg y pivot para producir resultados analíticos. Permite el cálculo de métricas y la generación de reportes dentro de los flujos de trabajo del pipeline.

Lección 4 • Limpieza de Datos y Coerción de Tipos

Maneja valores faltantes, duplicados y tipos incorrectos para producir conjuntos de datos limpios y consistentes. La limpieza es el paso que más tiempo consume en los pipelines de datos del mundo real.

Lección 1 • Trabajo con Bases de Datos NoSQL

Conéctate a almacenes de documentos y clave-valor, realiza operaciones CRUD y asigna resultados a objetos de Python. Amplía la conectividad del pipeline más allá de los sistemas relacionales.

Lección 2 • Bases de Datos Relacionales con SQLAlchemy

Establece conexiones, refleja esquemas y ejecuta SQL sin procesar usando la API central de SQLAlchemy. Proporciona una capa de acceso independiente de la base de datos para el código del pipeline.

Lección 3 • Agrupación de Conexiones (Pooling) y Mejores Prácticas

Configura grupos de conexiones, gestiona credenciales de forma segura y evita anti-patrones comunes. Asegura la fiabilidad y seguridad de nivel producción en el código de acceso a bases de datos.

Lección 1 • Registro (Logging) y Observabilidad del Pipeline

Instrumenta pipelines con registro estructurado, métricas y alertas para permitir el monitoreo operativo. Transforma scripts en procesos observables y listos para producción.

Lección 2 • Lógica de Transformación y Reglas de Negocio

Implementa mapeos de campos, columnas derivadas y reglas de validación como funciones puras de Python. Encapsula la lógica de negocio en unidades de transformación comprobables y reutilizables.

Lección 3 • Carga de Datos en Sistemas de Destino

Escribe datos transformados en bases de datos, almacenes de datos y almacenamiento de objetos usando conectores de Python. Completa el pipeline entregando datos limpios a su destino.

Lección 4 • Arquitectura ETL y Patrones de Diseño

Comprende las etapas del pipeline, el flujo de datos y los patrones de diseño comunes como ELT y la arquitectura medallón. Establece el marco conceptual para todo el trabajo de implementación de pipelines.

Lección 1 • Infraestructura como Código para Pipelines de Datos

Define recursos en la nube mediante programación usando herramientas de IaC basadas en Python para automatizar la configuración del entorno. Reduce el aprovisionamiento manual y asegura una infraestructura de pipeline reproducible.

Lección 2 • Ingesta Impulsada por Eventos con Colas de Mensajes

Produce y consume mensajes de colas y tópicos de streaming para desencadenar la ejecución del pipeline. Conecta los pipelines de Python con arquitecturas de datos impulsadas por eventos y en tiempo real.

Lección 3 • Interacción con Almacenes de Datos Gestionados

Conéctate a almacenes de datos en la nube mediante conectores de Python, ejecuta consultas y carga datos de manera eficiente. Permite que los pipelines de Python sirvan cargas de trabajo analíticas a escala.

Lección 1 • Estrategias de Manejo de Errores y Reintentos

Configura reintentos, tiempos de espera y alertas de SLA para hacer que los pipelines orquestados sean resistentes a fallos transitorios. Reduce directamente la intervención manual en entornos de producción.

Lección 2 • DAGs Dinámicos y Parametrización

Genera DAGs mediante programación y pasa parámetros de tiempo de ejecución a las tareas para una ejecución de pipeline flexible. Permite la orquestación escalable de muchas variantes de pipelines similares.

Lección 3 • Conceptos de Orquestación y Panorama de Herramientas

Comprende los DAGs, las dependencias de tareas y el rol de los orquestadores en la ingeniería de datos. Proporciona la base conceptual antes de implementar código de orquestación.

Lección 4 • Construcción de DAGs con Apache Airflow

Define DAGs, operadores y dependencias de tareas en Airflow usando Python para programar ejecuciones de pipelines. Airflow es el orquestador más ampliamente implementado en ingeniería de datos.

Lección 1 • Calidad del Código y Empaquetado

Refuerza el estilo con linters, verifica tipos con mypy y empaqueta el código del pipeline como módulos de Python instalables. Eleva la mantenibilidad del código a los estándares profesionales de la ingeniería de software.

Lección 2 • Pruebas Unitarias y de Integración para Pipelines

Escribe pruebas unitarias basadas en pytest para funciones de transformación y pruebas de integración para interacciones con bases de datos. Las pruebas previenen regresiones y validan la corrección del pipeline.

Lección 3 • Procesamiento Paralelo y Concurrente

Aplica patrones de multiprocesamiento, hilos y asincronía para paralelizar tareas de pipeline limitadas por E/S y CPU. Reduce significativamente el tiempo de ejecución del pipeline de extremo a extremo.

Lección 4 • Perfilado y Optimización de Código Python

Identifica cuellos de botella usando herramientas de perfilado y aplica vectorización, procesamiento por fragmentos y almacenamiento en caché para mejorar el rendimiento. La optimización del desempeño es crítica para pipelines de datos a gran escala.