Formation en web scraping

Leçon 1 • Comment le Web livre les données

Couvre les cycles requête-réponse HTTP, les codes d'état et les en-têtes. Établit les connaissances en couche réseau nécessaires pour chaque technique d'extraction du cours.

Leçon 2 • Principes essentiels de la structure HTML et CSS

Présente la structure de l'arbre DOM, les balises HTML et les sélecteurs CSS. Fournit la littératie en balisage nécessaire pour localiser et extraire les données cibles de toute page Web.

Leçon 3 • Considérations éthiques et juridiques

Examine robots.txt, les conditions d'utilisation et les taux d'exploration responsables. Définit les limites éthiques qui guident chaque décision pratique prise tout au long du cours.

Leçon 1 • Travailler avec les formats de réponse

Analyse les réponses JSON, XML et binaires renvoyées par les serveurs. Prépare les étudiants à gérer divers types de contenu au-delà des pages HTML standard.

Leçon 2 • Gestion des en-têtes et des sessions

Enseigne les en-têtes personnalisés, les chaînes user-agent et les objets session pour les connexions persistantes. Permet aux extracteurs d'imiter le comportement d'un navigateur et de maintenir l'état entre les requêtes.

Leçon 3 • Gestion des délais d'attente et des erreurs

Aborde la configuration des délais d'attente, la logique de nouvelle tentative et la gestion des erreurs HTTP. Construit des extracteurs résilients qui se rétablissent gracieusement après des défaillances réseau.

Leçon 1 • Création et navigation dans l'arbre d'analyse

Présente la création d'objets BeautifulSoup, les analyseurs et les méthodes de parcours d'arbre. Établit les compétences de navigation fondamentales utilisées dans chaque tâche d'extraction.

Leçon 2 • Requêtes de sélecteur CSS

Applique select et select_one avec la syntaxe des sélecteurs CSS pour un ciblage concis des éléments. Complète les recherches par balise avec un style de requête plus expressif.

Leçon 3 • Recherche d'éléments par balise et attribut

Couvre find, find_all et les recherches basées sur les attributs. Permet un ciblage précis des éléments, quelle que soit la complexité de la page.

Leçon 4 • Extraction de texte, de liens et d'attributs

Récupère le contenu textuel, les valeurs href, les sources d'images et d'autres attributs des éléments correspondants. Produit les données brutes qui alimentent le stockage et l'analyse en aval.

Leçon 1 • Automatisation du navigateur avec Selenium

Couvre la configuration de WebDriver, l'interaction avec les éléments et la navigation dans les pages avec Selenium. Fournit une base d'automatisation largement adoptée pour les tâches d'extraction dynamique.

Leçon 2 • Pourquoi les extracteurs statiques échouent sur les pages dynamiques

Explique le rendu côté client, les applications à page unique et le chargement différé. Motive le passage à l'automatisation du navigateur pour les cibles JavaScript lourdes.

Leçon 3 • Automatisation moderne avec Playwright

Présente l'API asynchrone de Playwright, l'attente automatique et la prise en charge multi-navigateurs. Offre une alternative plus rapide et plus fiable à Selenium pour les applications Web modernes.

Leçon 4 • Interaction avec des éléments d'interface utilisateur complexes

Gère les listes déroulantes, les fenêtres modales, le défilement infini et la pagination dans les navigateurs automatisés. Étend les compétences d'automatisation aux modèles d'interaction réels avec les pages.

Leçon 1 • Utilisation d'expressions régulières pour le nettoyage des données

Applique des motifs d'expressions régulières pour nettoyer, valider et transformer les chaînes extraites brutes. Fait le pont entre le texte extrait désordonné et les données structurées et utilisables.

Leçon 2 • Extraction de listes et de structures répétées

Extrait des données des motifs ul, ol et div répétés courants dans les listes de produits et d'articles. Construit une logique d'extraction par boucle applicable à toute disposition basée sur des listes.

Leçon 3 • Gestion des données manquantes et incohérentes

Aborde les champs facultatifs, les valeurs nulles et les variations de mise en page entre les pages. Produit des pipelines d'extraction qui restent stables lorsque les pages sources diffèrent.

Leçon 4 • Extraction de données tabulaires

Analyse les tableaux HTML en lignes et colonnes structurées à l'aide de BeautifulSoup et pandas. Produit des DataFrames propres prêts pour l'analyse ou l'exportation.

Leçon 1 • Utilisation de pandas pour la transformation des données

Charge les données extraites dans des DataFrames pour le nettoyage, la déduplication et le remodelage. Prépare les ensembles de données pour l'analyse en aval ou l'exportation vers plusieurs formats.

Leçon 2 • Sauvegarde des données dans des fichiers CSV et JSON

Écrit les enregistrements extraits dans des fichiers plats à l'aide du module csv et de la bibliothèque json de Python. Établit le format de stockage le plus simple et le plus portable pour les ensembles de données extraits.

Leçon 3 • Stockage de données dans des bases de données SQLite

Crée des schémas SQLite, insère des enregistrements et interroge les données stockées avec le module sqlite3 de Python. Introduit le stockage relationnel pour des ensembles de données structurés et interrogeables.

Leçon 1 • Compréhension des mécanismes anti-extraction

Examine les techniques de détection de robots, y compris la prise d'empreintes numériques, les pièges (honeypots) et l'analyse comportementale. Fournit un modèle de menace qui éclaire chaque contre-mesure du chapitre.

Leçon 2 • Résolution et évitement des CAPTCHA

Couvre les types de CAPTCHA, les services de résolution tiers et les stratégies d'évitement. Fournit des options pratiques pour maintenir l'accès de l'extracteur lorsque des CAPTCHA sont rencontrés.

Leçon 3 • Rotation des mandataires et gestion des IP

Configure des pools de mandataires, fait pivoter les IP par requête et gère gracieusement les échecs de mandataire. Empêche les blocages basés sur IP lors des tâches d'extraction à volume élevé.

Leçon 4 • Gestion de la connexion et de l'authentification par session

Automatise la connexion par formulaire, les flux OAuth et la maintenance de session basée sur les cookies. Déverrouille l'accès au contenu authentifié derrière les murs de connexion.

Leçon 1 • Planification et automatisation des exécutions d'extraction

Planifie les extracteurs avec cron, les files d'attente de tâches et les fonctions infonuagiques pour une exécution récurrente. Supprime l'intervention manuelle des flux de travail de collecte de données.

Leçon 2 • Maintenance des extracteurs face aux changements de site

Détecte les changements de mise en page, automatise les tests de régression et documente les sélecteurs pour des mises à jour rapides. Réduit le coût de maintenance lorsque les sites cibles remodèlent leurs pages.

Leçon 3 • Surveillance, journalisation et alertes

Implémente la journalisation structurée, les alertes d'erreur et les tableaux de bord d'état des extracteurs. Assure que les extracteurs de production signalent les échecs avant qu'ils n'affectent les consommateurs de données en aval.

Leçon 4 • Construction d'extracteurs avec le cadriciel Scrapy

Présente les araignées (spiders), les éléments (items), les pipelines et les intergiciels de Scrapy. Fournit un cadriciel de niveau production qui gère la concurrence, les nouvelles tentatives et le stockage automatiquement.