Cours de Web Scraping avec Scrapy et Python

Leçon 1 • Environnements Virtuels pour les Projets Python

Créez des environnements virtuels isolés pour gérer proprement les dépendances des projets. L'isolement empêche les conflits de paquets entre plusieurs projets.

Leçon 2 • Configuration de l'Éditeur de Code pour les Projets Scrapy

Configurez un éditeur de code avec le support Python, le linting et la coloration syntaxique. Un outillage approprié accélère le développement et réduit les erreurs de syntaxe.

Leçon 3 • Installation de Scrapy et de ses Dépendances

Installez Scrapy via pip et résolvez les problèmes de dépendances courants. Une installation propre confirme que l'environnement est prêt pour le développement d'araignées.

Leçon 1 • Outils de Développement du Navigateur pour la Recherche de Scraper

Utilisez les outils de développement du navigateur pour inspecter les éléments, surveiller le trafic réseau et copier les sélecteurs. Ce flux de travail de recherche informe directement la conception de l'araignée.

Leçon 2 • Expressions XPath pour une Sélection Avancée

Écrivez des expressions XPath pour naviguer dans le DOM avec une plus grande flexibilité que le CSS seul. XPath gère des schémas de parcours complexes que le CSS ne peut pas exprimer.

Leçon 3 • Comment Fonctionnent les Requêtes et Réponses HTTP

Retracez le cycle de vie d'une requête HTTP du navigateur au serveur et retour. Ce modèle explique ce que Scrapy reproduit lors de la récupération des pages.

Leçon 4 • Sélecteurs CSS pour le Ciblage des Données

Utilisez la syntaxe des sélecteurs CSS pour identifier précisément des éléments spécifiques dans un document HTML. Ces sélecteurs sont l'outil de ciblage principal dans les araignées Scrapy.

Leçon 1 • Exécuter et Déboguer les Araignées

Exécutez les araignées avec la commande scrapy crawl et interprétez la sortie des logs. Les compétences de débogage réduisent le temps passé sur les araignées défectueuses.

Leçon 2 • Anatomie d'une Classe d'Araignée Scrapy

Examinez la classe de base Spider et ses attributs et méthodes requis. Chaque araignée hérite de cette structure, donc la maîtriser est fondamental.

Leçon 3 • Extraire des Données avec les Sélecteurs

Appliquez les sélecteurs CSS et XPath à l'intérieur de la méthode parse pour extraire le texte et les attributs. L'extraction précise est la compétence centrale de toute araignée.

Leçon 1 • Nettoyage des Données avec les Processeurs

Écrivez des fonctions de processeur personnalisées pour nettoyer, convertir en type approprié et normaliser les valeurs des champs. Des données propres au niveau du loader réduisent la complexité du pipeline en aval.

Leçon 2 • Définir des Items Scrapy

Déclarez des classes Item avec des champs typés pour représenter les enregistrements extraits. Les Items imposent un schéma cohérent à toutes les araignées d'un projet.

Leçon 3 • Utiliser les ItemLoaders pour des Données Propres

Appliquez les ItemLoaders pour automatiser le traitement d'entrée et de sortie sur les valeurs des champs. Les Loaders séparent la logique d'extraction de la logique de nettoyage pour la maintenabilité.

Leçon 1 • Suivre des Liens avec les Requêtes Scrapy

Générez des objets scrapy.Request yield depuis les méthodes parse pour demander au robot d'exploration de récupérer des URL supplémentaires. Le suivi de liens est le mécanisme derrière les explorations complètes de sites.

Leçon 2 • Utiliser CrawlSpider pour l'Exploration Basée sur des Règles

Exploitez la sous-classe CrawlSpider et les objets Rule pour définir de manière déclarative les schémas de suivi de liens. Les règles réduisent le code passe-partout pour les sites volumineux et structurés.

Leçon 3 • Gérer la Profondeur et la Portée de l'Exploration

Configurez des limites de profondeur et des filtres d'URL pour que les explorations restent ciblées et efficaces. Le contrôle de la portée empêche les explorations incontrôlées qui gaspillent des ressources.

Leçon 4 • Stratégies de Pagination

Détectez et suivez les liens de page suivante à travers les schémas de pagination numérotés et basés sur un curseur. La gestion de la pagination permet d'extraire un ensemble de données complet.

Leçon 1 • Exporter des Données vers CSV et JSON

Utilisez les exportateurs de flux intégrés de Scrapy pour écrire les items dans des fichiers plats. Les exports vers des fichiers plats sont le chemin le plus rapide de l'araignée aux données utilisables.

Leçon 2 • Écrire des Composants de Pipeline Personnalisés

Construisez des classes de pipeline qui nettoient, dédoublonnent ou enrichissent les items avant le stockage. Les pipelines personnalisés gèrent la logique que les exportateurs ne peuvent pas exprimer.

Leçon 3 • Stocker des Données dans MongoDB

Écrivez un pipeline qui insère les items dans une collection MongoDB en utilisant PyMongo. Le stockage de documents convient aux données extraites avec des champs variables ou imbriqués.

Leçon 4 • Stocker des Données dans une Base de Données SQL

Connectez un pipeline à une base de données relationnelle et insérez les items ligne par ligne. Le stockage en base de données permet l'interrogation et la gestion des données à long terme.

Leçon 1 • Comprendre les Techniques de Détection de Robots

Cataloguez les signaux côté serveur utilisés pour identifier le trafic automatisé. Connaître les méthodes de détection éclaire les contre-mesures appliquées dans les sections suivantes.

Leçon 2 • Limiter les Requêtes avec AutoThrottle

Activez l'extension AutoThrottle de Scrapy pour adapter le débit des requêtes aux temps de réponse du serveur. Une exploration polie réduit le risque de bannissement pour limite de débit.

Leçon 3 • Rotation des User-Agents et des En-têtes

Configurez un intergiciel pour randomiser les chaînes user-agent et les en-têtes HTTP par requête. La rotation des en-têtes réduit l'empreinte qui déclenche la détection des robots.

Leçon 4 • Utiliser la Rotation de Proxy

Acheminez les requêtes via des pools de proxy rotatifs pour répartir le trafic sur plusieurs adresses IP. La rotation de proxy est la défense principale contre les bannissements basés sur l'IP.

Leçon 1 • Gérer le Défilement Infini et le Chargement Paresseux Lazy Loading

Automatisez les actions de défilement et déclenchez les événements de chargement paresseux pour exposer le contenu caché. Ces techniques complètent l'extraction d'ensembles de données sur les pages modernes de type flux.

Leçon 2 • Identifier le Contenu Rendu avec JavaScript

Distinguez le HTML rendu côté serveur du contenu rendu côté client avant de choisir une stratégie de scraping. Une identification correcte empêche de gaspiller des efforts sur la mauvaise approche.

Leçon 3 • Compromis de Performance de l'Automatisation du Navigateur

Comparez la vitesse, le coût en ressources et la fiabilité des navigateurs sans tête par rapport aux requêtes HTTP directes. Des décisions éclairées sur les compromis maintiennent les projets maintenables et efficaces.

Leçon 4 • Intégrer Scrapy avec Playwright

Utilisez la bibliothèque scrapy-playwright pour rendre le JavaScript à l'intérieur du pipeline de requêtes de Scrapy. L'intégration Playwright gère les sites où l'interception d'API n'est pas réalisable.