Formation Python pour Data Engineer

Leçon 1 • Flux de contrôle et itération

Appliquez des conditionnelles, des boucles et des compréhensions pour traiter des séquences d'enregistrements de données. Correspond directement à la logique de transformation au niveau des lignes utilisée dans les pipelines ETL.

Leçon 2 • Fonctions et gestion des exceptions

Définissez des fonctions réutilisables avec des arguments, des valeurs par défaut et des valeurs de retour, puis gérez les exceptions avec élégance. Permet un code de pipeline modulaire et tolérant aux pannes.

Leçon 3 • Syntaxe Python de base et types de données

Couvre les variables, les opérateurs et les types intégrés, y compris les chaînes, les entiers, les flottants et les booléens. Fournit la base syntaxique pour écrire toute logique de pipeline de données.

Leçon 4 • Collections : listes, tuples, dictionnaires, ensembles

Explorez les types de collections mutables et immutables ainsi que leurs compromis de rendement. Ces structures sous-tendent la manipulation de données en mémoire tout au long du cours.

Leçon 1 • Formats binaires : Parquet et Avro

Lisez et écrivez des fichiers Parquet columnaires et Avro basés sur des lignes à l'aide de bibliothèques Python. Ces formats sont courants dans les architectures modernes de lacs de données.

Leçon 2 • Travailler avec des fichiers texte et CSV

Ouvrez, lisez et écrivez des fichiers texte à l'aide de gestionnaires de contexte, puis analysez le CSV avec la bibliothèque standard. Couvre le format de données brutes le plus courant dans les pipelines par lots.

Leçon 3 • Opérations sur le système de fichiers et les chemins

Parcourez les répertoires, globez les fichiers et gérez les chemins à l'aide des modules pathlib et os. Automatise les étapes de découverte de fichiers courantes dans les flux d'ingestion par lots.

Leçon 1 • Notions fondamentales sur DataFrames et Series

Créez des DataFrames à partir de dictionnaires, CSV et JSON, puis inspectez la structure et les types de données. Forme la base de tout travail de transformation basé sur Pandas.

Leçon 2 • Filtrage, tri et sélection

Appliquez des masques booléens, des sélecteurs loc/iloc et des opérations de tri pour isoler des sous-ensembles de données pertinents. Soutient directement le filtrage de la qualité des données dans les étapes du pipeline.

Leçon 3 • Agrégation, regroupement et pivotement

Résumez les données avec les opérations groupby, agg et pivot pour produire des résultats analytiques. Permet le calcul de métriques et la génération de rapports dans les flux de pipeline.

Leçon 4 • Nettoyage des données et coercition de types

Gérez les valeurs manquantes, les doublons et les types incorrects pour produire des ensembles de données propres et cohérents. Le nettoyage est l'étape la plus chronophage dans les pipelines de données réels.

Leçon 1 • Travailler avec des bases de données NoSQL

Connectez-vous aux magasins de documents et de clés-valeurs, effectuez des opérations CRUD et mappez les résultats vers des objets Python. Étend la connectivité du pipeline au-delà des systèmes relationnels.

Leçon 2 • Bases de données relationnelles avec SQLAlchemy

Établissez des connexions, reflétez des schémas et exécutez du SQL brut à l'aide de l'API centrale de SQLAlchemy. Fournit une couche d'accès aux bases de données indépendante du système pour le code de pipeline.

Leçon 3 • Gestion de pool de connexions et meilleures pratiques

Configurez des pools de connexions, gérez les identifiants de manière sécurisée et évitez les anti-patrons courants. Assure une fiabilité et une sécurité de qualité production dans le code d'accès aux bases de données.

Leçon 1 • Journalisation et observabilité des pipelines

Instrumentez les pipelines avec une journalisation structurée, des métriques et des alertes pour permettre la surveillance opérationnelle. Transforme les scripts en processus observables et prêts pour la production.

Leçon 2 • Logique de transformation et règles métier

Implémentez des mappages de champs, des colonnes dérivées et des règles de validation sous forme de fonctions Python pures. Encapsule la logique métier dans des unités de transformation testables et réutilisables.

Leçon 3 • Chargement de données vers des systèmes cibles

Écrivez les données transformées vers des bases de données, des entrepôts de données et du stockage d'objets à l'aide de connecteurs Python. Complète le pipeline en livrant les données nettoyées à leur destination.

Leçon 4 • Architecture ETL et patrons de conception

Comprenez les étapes du pipeline, le flux de données et les patrons de conception courants comme ELT et l'architecture médaille d'or. Établit le cadre conceptuel pour tout travail de mise en œuvre de pipeline.

Leçon 1 • Infrastructure en tant que code pour les pipelines de données

Définissez des ressources dans le nuage par programmation à l'aide d'outils IaC basés sur Python pour automatiser la configuration de l'environnement. Réduit le provisionnement manuel et assure une infrastructure de pipeline reproductible.

Leçon 2 • Ingestion pilotée par les événements avec files de messages

Produisez et consommez des messages à partir de files d'attente et de sujets de diffusion en continu pour déclencher l'exécution du pipeline. Connecte les pipelines Python aux architectures de données pilotées par les événements et en temps réel.

Leçon 3 • Interaction avec les entrepôts de données gérés

Connectez-vous aux entrepôts de données dans le nuage via des connecteurs Python, exécutez des requêtes et chargez les données efficacement. Permet aux pipelines Python de servir des charges de travail analytiques à grande échelle.

Leçon 1 • Gestion des erreurs et stratégies de nouvelles tentatives

Configurez les nouvelles tentatives, les délais d'attente et les alertes SLA pour rendre les pipelines orchestrés résilients aux défaillances transitoires. Réduit directement l'intervention manuelle dans les environnements de production.

Leçon 2 • DAG dynamiques et paramétrage

Générez des DAG par programmation et transmettez des paramètres d'exécution aux tâches pour une exécution flexible du pipeline. Permet l'orchestration évolutive de nombreuses variantes de pipeline similaires.

Leçon 3 • Concepts d'orchestration et paysage des outils

Comprenez les DAG, les dépendances de tâches et le rôle des orchestrateurs dans l'ingénierie des données. Fournit la base conceptuelle avant de mettre en œuvre le code d'orchestration.

Leçon 4 • Construction de DAG avec Apache Airflow

Définissez des DAG, des opérateurs et des dépendances de tâches dans Airflow à l'aide de Python pour planifier les exécutions de pipeline. Airflow est l'orchestrateur le plus déployé en ingénierie des données.

Leçon 1 • Qualité du code et empaquetage

Appliquez le style avec des linters, vérifiez les types avec mypy et empaquetez le code du pipeline en modules Python installables. Élève la maintenabilité du code aux normes professionnelles du génie logiciel.

Leçon 2 • Tests unitaires et d'intégration pour les pipelines

Rédigez des tests unitaires basés sur pytest pour les fonctions de transformation et des tests d'intégration pour les interactions avec les bases de données. Les tests préviennent les régressions et valident l'exactitude du pipeline.

Leçon 3 • Traitement parallèle et concurrent

Appliquez les patrons multiprocessing, threading et async pour paralléliser les tâches de pipeline liées aux E/S et au CPU. Réduit considérablement le temps d'exécution de bout en bout du pipeline.

Leçon 4 • Profilage et optimisation du code Python

Identifiez les goulots d'étranglement à l'aide d'outils de profilage et appliquez la vectorisation, le découpage en lots et la mise en cache pour améliorer le débit. L'optimisation du rendement est essentielle pour les pipelines de données à grande échelle.