Formation Python pour Data Engineer

Leçon 1 • Flux de contrôle et itération

Appliquez des conditionnelles, des boucles et des compréhensions pour traiter des séquences d'enregistrements de données. Correspond directement à la logique de transformation au niveau ligne utilisée dans les pipelines ETL.

Leçon 2 • Fonctions et gestion des erreurs

Définissez des fonctions réutilisables avec des arguments, des valeurs par défaut et des valeurs de retour, puis gérez les exceptions avec élégance. Permet d'écrire un code de pipeline modulaire et tolérant aux pannes.

Leçon 3 • Syntaxe Python fondamentale et types de données

Couvre les variables, les opérateurs et les types natifs, y compris les chaînes, les entiers, les flottants et les booléens. Fournit la base syntaxique pour écrire toute logique de pipeline de données.

Leçon 4 • Collections : listes, tuples, dictionnaires, ensembles

Explorez les types de collections mutables et immuables ainsi que leurs compromis de performance. Ces structures sous-tendent la manipulation des données en mémoire tout au long du cours.

Leçon 1 • Formats binaires : Parquet et Avro

Lisez et écrivez des fichiers Parquet columnaires et Avro orientés lignes à l'aide de bibliothèques Python. Ces formats sont standards dans les architectures modernes de lacs de données.

Leçon 2 • Utilisation des fichiers texte et CSV

Ouvrez, lisez et écrivez des fichiers texte à l'aide de gestionnaires de contexte, puis analysez les CSV avec la bibliothèque standard. Couvre le format de données brutes le plus courant dans les pipelines par lots.

Leçon 3 • Opérations sur le système de fichiers et les chemins

Naviguez dans les répertoires, globez les fichiers et gérez les chemins à l'aide des modules pathlib et os. Automatise les étapes de découverte de fichiers courantes dans les workflows d'ingestion par lots.

Leçon 1 • Fondamentaux des DataFrames et des Series

Créez des DataFrames à partir de dictionnaires, de CSV et de JSON, puis inspectez la structure et les types de données. Forme la base de tout travail de transformation basé sur Pandas.

Leçon 2 • Filtrage, tri et sélection

Appliquez des masques booléens, des sélecteurs loc/iloc et des opérations de tri pour isoler des sous-ensembles de données pertinents. Soutient directement le filtrage de la qualité des données dans les étapes du pipeline.

Leçon 3 • Agrégation, regroupement et pivotement

Résumez les données avec les opérations groupby, agg et pivot pour produire des résultats analytiques. Permet le calcul de métriques et le reporting dans les workflows de pipeline.

Leçon 4 • Nettoyage des données et coercition de type

Gérez les valeurs manquantes, les doublons et les types incorrects pour produire des ensembles de données propres et cohérents. Le nettoyage est l'étape la plus chronophage dans les pipelines de données réels.

Leçon 1 • Utilisation des bases de données NoSQL

Connectez-vous aux magasins de documents et de clés-valeurs, effectuez des opérations CRUD et mappez les résultats sur des objets Python. Étend la connectivité des pipelines au-delà des systèmes relationnels.

Leçon 2 • Bases de données relationnelles avec SQLAlchemy

Établissez des connexions, reflétez les schémas et exécutez du SQL brut à l'aide de l'API de base de SQLAlchemy. Fournit une couche d'accès aux bases de données indépendante du système pour le code de pipeline.

Leçon 3 • Gestion de pool de connexions et bonnes pratiques

Configurez les pools de connexions, gérez les identifiants de manière sécurisée et évitez les anti-patrons courants. Garantit la fiabilité et la sécurité de niveau production dans le code d'accès aux bases de données.

Leçon 1 • Journalisation et observabilité des pipelines

Instrumentez les pipelines avec une journalisation structurée, des métriques et des alertes pour permettre une surveillance opérationnelle. Transforme les scripts en processus observables, prêts pour la production.

Leçon 2 • Logique de transformation et règles métier

Implémentez les mappages de champs, les colonnes dérivées et les règles de validation sous forme de fonctions Python pures. Encapsule la logique métier dans des unités de transformation testables et réutilisables.

Leçon 3 • Chargement des données vers les systèmes cibles

Écrivez les données transformées vers des bases de données, des entrepôts de données et un stockage d'objets à l'aide de connecteurs Python. Achève le pipeline en livrant les données nettoyées à leur destination.

Leçon 4 • Architecture ETL et patrons de conception

Comprenez les étapes du pipeline, le flux de données et les patrons de conception courants tels que ELT et l'architecture médaillon. Définit le cadre conceptuel pour tout travail d'implémentation de pipeline.

Leçon 1 • Infrastructure en tant que code pour les pipelines de données

Définissez des ressources cloud par programmation à l'aide d'outils IaC basés sur Python pour automatiser la configuration de l'environnement. Réduit le provisionnement manuel et garantit une infrastructure de pipeline reproductible.

Leçon 2 • Ingestion pilotée par les événements avec les files de messages

Produisez et consommez des messages à partir de files d'attente et de sujets de streaming pour déclencher l'exécution du pipeline. Connecte les pipelines Python aux architectures de données pilotées par les événements et en temps réel.

Leçon 3 • Interaction avec les entrepôts de données gérés

Connectez-vous aux entrepôts de données cloud via des connecteurs Python, exécutez des requêtes et chargez les données efficacement. Permet aux pipelines Python de servir des workloads analytiques à grande échelle.

Leçon 1 • Gestion des erreurs et stratégies de nouvelle tentative

Configurez les nouvelles tentatives, les délais d'attente et les alertes SLA pour rendre les pipelines orchestrés résilients aux pannes transitoires. Réduit directement l'intervention manuelle dans les environnements de production.

Leçon 2 • DAG dynamiques et paramétrage

Générez des DAG par programmation et passez des paramètres d'exécution aux tâches pour une exécution flexible des pipelines. Permet l'orchestration scalable de nombreuses variantes de pipelines similaires.

Leçon 3 • Concepts d'orchestration et paysage des outils

Comprenez les DAG, les dépendances de tâches et le rôle des orchestrateurs dans l'ingénierie des données. Fournit les bases conceptuelles avant de mettre en œuvre le code d'orchestration.

Leçon 4 • Construction de DAG avec Apache Airflow

Définissez des DAG, des opérateurs et des dépendances de tâches dans Airflow à l'aide de Python pour planifier les exécutions de pipeline. Airflow est l'orchestrateur le plus largement déployé dans l'ingénierie des données.

Leçon 1 • Qualité du code et empaquetage

Appliquez le style avec des linters, vérifiez les types avec mypy et empaquetez le code du pipeline sous forme de modules Python installables. Élève la maintenabilité du code aux normes professionnelles du génie logiciel.

Leçon 2 • Tests unitaires et d'intégration pour les pipelines

Écrivez des tests unitaires basés sur pytest pour les fonctions de transformation et des tests d'intégration pour les interactions avec les bases de données. Les tests préviennent les régressions et valident l'exactitude du pipeline.

Leçon 3 • Traitement parallèle et concurrent

Appliquez les modèles multiprocessing, threading et async pour paralléliser les tâches de pipeline liées aux E/S et au CPU. Réduit significativement le temps d'exécution de bout en bout du pipeline.

Leçon 4 • Profilage et optimisation du code Python

Identifiez les goulots d'étranglement à l'aide d'outils de profilage et appliquez la vectorisation, le découpage en morceaux et la mise en cache pour améliorer le débit. L'optimisation des performances est critique pour les pipelines de données à grande échelle.