Formation Web Scraping avec Python et Scrapy

Leçon 1 • Environnements virtuels pour les projets Python

Créez des environnements virtuels isolés pour gérer proprement les dépendances d'un projet. L'isolation empêche les conflits de paquets entre plusieurs projets.

Leçon 2 • Configuration de l'éditeur de code pour les projets Scrapy

Configurez un éditeur de code avec le support Python, le linting et la coloration syntaxique. Un outillage adapté accélère le développement et réduit les erreurs de syntaxe.

Leçon 3 • Installation de Scrapy et de ses dépendances

Installez Scrapy via pip et résolvez les problèmes de dépendances courants. Une installation propre confirme que l'environnement est prêt pour le développement d'araignées.

Leçon 1 • Outils de développement du navigateur pour la recherche de scrapping

Utilisez les outils de développement du navigateur pour inspecter les éléments, surveiller le trafic réseau et copier des sélecteurs. Ce flux de travail de recherche alimente directement la conception des araignées.

Leçon 2 • Expressions XPath pour la sélection avancée

Écrivez des expressions XPath pour naviguer dans le DOM avec une plus grande flexibilité que le CSS seul. XPath gère des modèles de traversée complexes que le CSS ne peut pas exprimer.

Leçon 3 • Fonctionnement des requêtes et réponses HTTP

Tracez le cycle de vie d'une requête HTTP du navigateur au serveur et retour. Ce modèle explique ce que Scrapy reproduit lors de la récupération des pages.

Leçon 4 • Sélecteurs CSS pour le ciblage des données

Utilisez la syntaxe des sélecteurs CSS pour cibler précisément des éléments spécifiques dans un document HTML. Ces sélecteurs sont l'outil de ciblage principal dans les araignées Scrapy.

Leçon 1 • Exécution et débogage des araignées

Exécutez les araignées avec la commande scrapy crawl et interprétez la sortie des logs. Les compétences de débogage réduisent le temps passé sur les araignées défectueuses.

Leçon 2 • Anatomie d'une classe d'araignée Scrapy

Examinez la classe de base Spider ainsi que ses attributs et méthodes requis. Chaque araignée hérite de cette structure, donc sa maîtrise est fondamentale.

Leçon 3 • Extraction de données avec les sélecteurs

Appliquez les sélecteurs CSS et XPath dans la méthode parse pour extraire du texte et des attributs. Une extraction précise est la compétence centrale de toute araignée.

Leçon 1 • Nettoyage des données avec les processeurs

Écrivez des fonctions de processeur personnalisées pour nettoyer, convertir et normaliser les valeurs des champs. Un nettoyage des données au niveau du loader réduit la complexité du pipeline en aval.

Leçon 2 • Définition des éléments Scrapy

Déclarez des classes Item avec des champs typés pour représenter les enregistrements extraits. Les Items imposent un schéma cohérent à travers toutes les araignées d'un projet.

Leçon 3 • Utilisation des ItemLoaders pour des données propres

Appliquez les ItemLoaders pour automatiser le traitement des entrées et des sorties sur les valeurs des champs. Les chargeurs séparent la logique d'extraction de la logique de nettoyage pour une meilleure maintenabilité.

Leçon 1 • Suivi des liens avec les requêtes Scrapy

Générez des objets scrapy.Request depuis les méthodes parse pour ordonner au crawl de récupérer des URL supplémentaires. Le suivi de liens est le mécanisme derrière les crawls de sites complets.

Leçon 2 • Utilisation de CrawlSpider pour le crawl basé sur des règles

Tirez parti de la sous-classe CrawlSpider et des objets Rule pour définir des modèles de suivi de liens de manière déclarative. Les Rules réduisent le code standard pour les sites structurés de grande taille.

Leçon 3 • Gestion de la profondeur et de la portée du crawl

Configurez des limites de profondeur et des filtres d'URL pour que les crawls restent ciblés et efficaces. Le contrôle de la portée empêche les crawls incontrôlés qui gaspillent des ressources.

Leçon 4 • Stratégies de pagination

Détectez et suivez les liens de page suivante à travers les schémas de pagination numérotée et par curseur. La gestion de la pagination permet d'extraire des ensembles de données complets.

Leçon 1 • Exportation de données vers CSV et JSON

Utilisez les exportateurs de flux intégrés de Scrapy pour écrire les éléments dans des fichiers plats. Les exportations en fichiers plats sont le chemin le plus rapide de l'araignée aux données utilisables.

Leçon 2 • Écriture de composants de pipeline personnalisés

Construisez des classes de pipeline qui nettoient, dédupliquent ou enrichissent les éléments avant le stockage. Les pipelines personnalisés gèrent la logique que les exportateurs ne peuvent pas exprimer.

Leçon 3 • Stockage de données dans MongoDB

Écrivez un pipeline qui insère des éléments dans une collection MongoDB à l'aide de PyMongo. Le stockage de documents convient aux données extraites avec des champs variables ou imbriqués.

Leçon 4 • Stockage de données dans une base de données SQL

Connectez un pipeline à une base de données relationnelle et insérez les éléments ligne par ligne. Le stockage en base de données permet d'effectuer des requêtes et une gestion des données à long terme.

Leçon 1 • Compréhension des techniques de détection de bots

Cataloguez les signaux côté serveur utilisés pour identifier le trafic automatisé. Connaître les méthodes de détection éclaire les contre-mesures appliquées dans les sections suivantes.

Leçon 2 • Limitation des requêtes avec AutoThrottle

Activez l'extension AutoThrottle de Scrapy pour adapter le taux de requêtes aux temps de réponse du serveur. Un crawl poli réduit le risque de bannissement pour limitation de débit.

Leçon 3 • Rotation des user-agents et des en-têtes

Configurez un middleware pour randomiser les chaînes user-agent et les en-têtes HTTP par requête. La rotation des en-têtes réduit l'empreinte qui déclenche la détection de bots.

Leçon 4 • Utilisation de la rotation de proxy

Acheminez les requêtes via des pools de proxy rotatifs pour répartir le trafic sur plusieurs adresses IP. La rotation de proxy est la principale défense contre les bannissements basés sur l'IP.

Leçon 1 • Gestion du défilement infini et du chargement différé

Automatisez les actions de défilement et déclenchez les événements de chargement différé pour exposer le contenu caché. Ces techniques complètent l'extraction des ensembles de données sur les pages modernes de type flux.

Leçon 2 • Identification du contenu rendu par JavaScript

Distinguez le HTML rendu par le serveur du contenu rendu par le client avant de choisir une stratégie de scraping. Une identification correcte évite un effort gaspillé sur la mauvaise approche.

Leçon 3 • Compromis de performance de l'automatisation des navigateurs

Comparez la vitesse, le coût en ressources et la fiabilité des navigateurs sans tête par rapport aux requêtes HTTP directes. Des décisions de compromis éclairées maintiennent les projets maintenables et efficaces.

Leçon 4 • Intégration de Scrapy avec Playwright

Utilisez la bibliothèque scrapy-playwright pour effectuer le rendu JavaScript dans le pipeline de requêtes de Scrapy. L'intégration Playwright gère les sites où l'interception d'API n'est pas réalisable.