Curso de Python para Data Engineers

Lección 1 • Flujo de Control e Iteración

Aplicá condicionales, bucles y comprensiones para procesar secuencias de registros de datos. Se vincula directamente con la lógica de transformación a nivel de fila usada en pipelines de ETL.

Lección 2 • Funciones y Manejo de Errores

Definí funciones reutilizables con argumentos, valores por defecto y retorno, y luego manejá excepciones correctamente. Permite un código de pipeline modular y tolerante a fallos.

Lección 3 • Sintaxis Central de Python y Tipos de Datos

Cubrí variables, operadores y tipos incorporados, incluyendo strings, enteros, floats y booleanos. Proporciona la base sintáctica para escribir cualquier lógica de pipeline de datos.

Lección 4 • Colecciones: Listas, Tuplas, Diccionarios, Conjuntos

Explorá los tipos de colecciones mutables e inmutables y sus contrapartidas de rendimiento. Estas estructuras sustentan la manipulación de datos en memoria a lo largo del curso.

Lección 1 • Formatos Binarios: Parquet y Avro

Leé y escribí archivos Parquet columnares y Avro basados en filas usando librerías de Python. Estos formatos son estándar en las arquitecturas modernas de lagos de datos.

Lección 2 • Trabajo con Archivos de Texto y CSV

Abrí, leé y escribí archivos de texto usando context managers, y luego parseá CSV con la librería estándar. Cubre el formato de datos crudos más común en pipelines batch.

Lección 3 • Operaciones con el Sistema de Archivos y Rutas

Navegá directorios, buscá archivos con glob y gestioná rutas usando los módulos pathlib y os. Automatiza los pasos de descubrimiento de archivos comunes en flujos de ingesta batch.

Lección 1 • Fundamentos de DataFrames y Series

Creá DataFrames desde diccionarios, CSV y JSON, y luego inspeccioná su estructura y tipos de datos. Forma la base para todo el trabajo de transformación con Pandas.

Lección 2 • Filtrado, Ordenamiento y Selección

Aplicá máscaras booleanas, selectores loc/iloc y operaciones de ordenamiento para aislar subconjuntos de datos relevantes. Soporta directamente el filtrado de calidad de datos en etapas del pipeline.

Lección 3 • Agregación, Agrupamiento y Pivotado

Resumí datos con operaciones groupby, agg y pivot para producir salidas analíticas. Permite el cálculo de métricas y reportes dentro de los flujos de trabajo del pipeline.

Lección 4 • Limpieza de Datos y Coerción de Tipos

Manejá valores faltantes, duplicados y tipos incorrectos para producir datasets limpios y coherentes. La limpieza es el paso que más tiempo consume en los pipelines de datos del mundo real.

Lección 1 • Trabajo con Bases de Datos NoSQL

Conectate a almacenes de documentos y clave-valor, realizá operaciones CRUD y mapeá resultados a objetos Python. Extiende la conectividad del pipeline más allá de los sistemas relacionales.

Lección 2 • Bases de Datos Relacionales con SQLAlchemy

Establecé conexiones, reflejá esquemas y ejecutá SQL crudo usando la API central de SQLAlchemy. Proporciona una capa de acceso agnóstica a la base de datos para el código del pipeline.

Lección 3 • Agrupamiento de Conexiones y Buenas Prácticas

Configurá pools de conexiones, gestioná credenciales de forma segura y evitá antipatrones comunes. Asegura confiabilidad y seguridad de nivel producción en el código de acceso a bases de datos.

Lección 1 • Logging y Observabilidad del Pipeline

Instrumentá pipelines con logging estructurado, métricas y alertas para permitir el monitoreo operacional. Transformá scripts en procesos observables y listos para producción.

Lección 2 • Lógica de Transformación y Reglas de Negocio

Implementá mapeos de campos, columnas derivadas y reglas de validación como funciones Python puras. Encapsulá la lógica de negocio en unidades de transformación testeables y reutilizables.

Lección 3 • Carga de Datos a Sistemas de Destino

Escribí datos transformados en bases de datos, almacenes de datos y almacenamiento de objetos usando conectores Python. Completá el pipeline entregando datos limpios a su destino.

Lección 4 • Arquitectura ETL y Patrones de Diseño

Comprendé las etapas del pipeline, el flujo de datos y patrones de diseño comunes como ELT y la arquitectura medallón. Establecé el marco conceptual para todo el trabajo de implementación de pipelines.

Lección 1 • Infraestructura como Código para Pipelines de Datos

Definí recursos en la nube programáticamente usando herramientas de IaC basadas en Python para automatizar la configuración del entorno. Reducí el aprovisionamiento manual y asegurá una infraestructura de pipeline reproducible.

Lección 2 • Ingesta Basada en Eventos con Colas de Mensajes

Producí y consumí mensajes de colas y tópicos de streaming para disparar la ejecución de pipelines. Conectá los pipelines de Python con arquitecturas de datos basadas en eventos y en tiempo real.

Lección 3 • Interacción con Almacenes de Datos Gestionados

Conectate a almacenes de datos en la nube mediante conectores Python, ejecutá consultas y cargá datos de manera eficiente. Permití que los pipelines de Python sirvan cargas de trabajo analíticas a escala.

Lección 1 • Estrategias de Manejo de Errores y Reintentos

Configurá reintentos, timeouts y alertas de SLA para hacer que los pipelines orquestados sean resilientes a fallos transitorios. Reducí directamente la intervención manual en entornos de producción.

Lección 2 • DAGs Dinámicos y Parametrización

Generá DAGs programáticamente y pasá parámetros de ejecución a las tareas para una ejecución de pipeline flexible. Permití la orquestación escalable de muchas variantes de pipeline similares.

Lección 3 • Conceptos de Orquestación y Panorama de Herramientas

Comprendé los DAGs, las dependencias de tareas y el rol de los orquestadores en la ingeniería de datos. Proporcioná la base conceptual antes de implementar código de orquestación.

Lección 4 • Construcción de DAGs con Apache Airflow

Definí DAGs, operadores y dependencias de tareas en Airflow usando Python para programar ejecuciones de pipelines. Airflow es el orquestador más ampliamente implementado en ingeniería de datos.

Lección 1 • Calidad de Código y Empaquetado

Aplicá estilo con linters, verificá tipos con mypy y empaquetá el código del pipeline como módulos Python instalables. Elevá la mantenibilidad del código a estándares profesionales de ingeniería de software.

Lección 2 • Pruebas Unitarias y de Integración para Pipelines

Escribí pruebas unitarias basadas en pytest para funciones de transformación y pruebas de integración para interacciones con bases de datos. Las pruebas previenen regresiones y validan la corrección del pipeline.

Lección 3 • Procesamiento Paralelo y Concurrente

Aplicá patrones de multiprocessing, threading y async para paralelizar tareas de pipeline limitadas por I/O y CPU. Reducí significativamente el tiempo de ejecución del pipeline de extremo a extremo.

Lección 4 • Perfilado y Optimización de Código Python

Identificá cuellos de botella usando herramientas de perfilado y aplicá vectorización, procesamiento por fragmentos y caché para mejorar el rendimiento. La optimización del rendimiento es crítica para pipelines de datos a gran escala.