Curso de Python para Data Engineers

Lección 1 • Flujo de Control e Iteración

Aplique condicionales, bucles y comprensiones para procesar secuencias de registros de datos. Se relaciona directamente con la lógica de transformación a nivel de fila usada en pipelines de ETL.

Lección 2 • Funciones y Manejo de Errores

Defina funciones reutilizables con argumentos, valores predeterminados y valores de retorno, luego maneje excepciones con elegancia. Habilita código de pipeline modular y tolerante a fallos.

Lección 3 • Sintaxis Básica de Python y Tipos de Datos

Cubra variables, operadores y tipos integrados incluyendo cadenas, enteros, flotantes y booleanos. Proporciona la base sintáctica para escribir cualquier lógica de pipeline de datos.

Lección 4 • Colecciones: Listas, Tuplas, Diccionarios, Conjuntos

Explore tipos de colección mutables e inmutables y sus ventajas y desventajas de rendimiento. Estas estructuras sustentan la manipulación de datos en memoria a lo largo del curso.

Lección 1 • Formatos Binarios: Parquet y Avro

Lea y escriba archivos Parquet columnares y Avro basados en filas usando librerías de Python. Estos formatos son estándar en arquitecturas modernas de lago de datos.

Lección 2 • Trabajo con Archivos de Texto y CSV

Abra, lea y escriba archivos de texto usando context managers, luego analice CSV con la librería estándar. Cubre el formato de datos crudos más común en pipelines por lotes.

Lección 3 • Sistema de Archivos y Operaciones de Ruta

Navegue directorios, busque archivos con glob y gestione rutas usando los módulos pathlib y os. Automatiza los pasos de descubrimiento de archivos comunes en flujos de trabajo de ingesta por lotes.

Lección 1 • Fundamentos de DataFrames y Series

Cree DataFrames desde diccionarios, CSV y JSON, luego inspeccione la estructura y los tipos de datos. Forma la base para todo el trabajo de transformación basado en Pandas.

Lección 2 • Filtrado, Ordenamiento y Selección

Aplique máscaras booleanas, selectores loc/iloc y operaciones de ordenamiento para aislar subconjuntos de datos relevantes. Apoya directamente el filtrado de calidad de datos en etapas del pipeline.

Lección 3 • Agregación, Agrupación y Pivotaje

Resuma datos con operaciones groupby, agg y pivot para producir salidas analíticas. Habilita el cálculo de métricas y la generación de informes dentro de los flujos de trabajo del pipeline.

Lección 4 • Limpieza de Datos y Coerción de Tipos

Maneje valores faltantes, duplicados y tipos incorrectos para producir conjuntos de datos limpios y consistentes. La limpieza es el paso que más tiempo consume en los pipelines de datos del mundo real.

Lección 1 • Trabajo con Bases de Datos NoSQL

Conéctese a almacenes de documentos y clave-valor, realice operaciones CRUD y asigne resultados a objetos de Python. Amplía la conectividad del pipeline más allá de los sistemas relacionales.

Lección 2 • Bases de Datos Relacionales con SQLAlchemy

Establezca conexiones, refleje esquemas y ejecute SQL crudo usando la API central de SQLAlchemy. Proporciona una capa de acceso independiente de la base de datos para el código del pipeline.

Lección 3 • Agrupación de Conexiones y Mejores Prácticas

Configure agrupaciones de conexiones, gestione credenciales de forma segura y evite antipatrones comunes. Garantiza confiabilidad y seguridad de grado de producción en el código de acceso a bases de datos.

Lección 1 • Registro y Observabilidad del Pipeline

Instrumente pipelines con registro estructurado, métricas y alertas para permitir el monitoreo operacional. Transforme scripts en procesos observables y listos para producción.

Lección 2 • Lógica de Transformación y Reglas de Negocio

Implemente mapeos de campos, columnas derivadas y reglas de validación como funciones puras de Python. Encapsule la lógica de negocio en unidades de transformación comprobables y reutilizables.

Lección 3 • Carga de Datos a Sistemas de Destino

Escriba datos transformados en bases de datos, bodegas de datos y almacenamiento de objetos usando conectores de Python. Completa el pipeline entregando datos limpios a su destino.

Lección 4 • Arquitectura ETL y Patrones de Diseño

Comprenda las etapas del pipeline, el flujo de datos y patrones de diseño comunes como ELT y la arquitectura medallón. Establece el marco conceptual para todo el trabajo de implementación de pipelines.

Lección 1 • Infraestructura como Código para Pipelines de Datos

Defina recursos en la nube programáticamente usando herramientas de IaC basadas en Python para automatizar la configuración del entorno. Reduce el aprovisionamiento manual y garantiza una infraestructura de pipeline reproducible.

Lección 2 • Ingesta Impulsada por Eventos con Colas de Mensajes

Produzca y consuma mensajes de colas y temas de streaming para activar la ejecución del pipeline. Conecta los pipelines de Python con arquitecturas de datos impulsadas por eventos y en tiempo real.

Lección 3 • Interacción con Bodegas de Datos Gestionadas

Conéctese a bodegas de datos en la nube mediante conectores Python, ejecute consultas y cargue datos de manera eficiente. Permite que los pipelines de Python sirvan cargas de trabajo analíticas a escala.

Lección 1 • Manejo de Errores y Estrategias de Reintento

Configure reintentos, tiempos de espera y alertas de SLA para hacer que los pipelines orquestados sean resistentes a fallos transitorios. Reduce directamente la intervención manual en entornos de producción.

Lección 2 • DAGs Dinámicos y Parametrización

Genere DAGs programáticamente y pase parámetros de tiempo de ejecución a las tareas para una ejecución flexible del pipeline. Permite la orquestación escalable de muchas variantes de pipeline similares.

Lección 3 • Conceptos de Orquestación y Panorama de Herramientas

Comprenda los DAGs, las dependencias de tareas y el rol de los orquestadores en la ingeniería de datos. Proporciona la base conceptual antes de implementar el código de orquestación.

Lección 4 • Construcción de DAGs con Apache Airflow

Defina DAGs, operadores y dependencias de tareas en Airflow usando Python para programar ejecuciones de pipeline. Airflow es el orquestador más ampliamente desplegado en ingeniería de datos.

Lección 1 • Calidad de Código y Empaquetado

Haga cumplir el estilo con linters, verifique tipos con mypy y empaquete el código del pipeline como módulos Python instalables. Eleva la mantenibilidad del código a los estándares profesionales de ingeniería de software.

Lección 2 • Pruebas Unitarias y de Integración para Pipelines

Escriba pruebas unitarias basadas en pytest para funciones de transformación y pruebas de integración para interacciones con bases de datos. Las pruebas previenen regresiones y validan la corrección del pipeline.

Lección 3 • Procesamiento Paralelo y Concurrente

Aplique patrones de multiprocessing, threading y async para paralelizar tareas de pipeline limitadas por E/S y por CPU. Reduce significativamente el tiempo de ejecución del pipeline de extremo a extremo.

Lección 4 • Perfilamiento y Optimización de Código Python

Identifique cuellos de botella usando herramientas de perfilamiento y aplique vectorización, procesamiento por fragmentos y almacenamiento en caché para mejorar el rendimiento. La optimización del rendimiento es crítica para pipelines de datos a gran escala.