Formation en web scraping

Leçon 1 • Comment le web fournit les données

Couvre les cycles requête-réponse HTTP, les codes d'état et les en-têtes. Établit les connaissances de la couche réseau nécessaires pour chaque technique d'extraction du cours.

Leçon 2 • Éléments essentiels de la structure HTML et CSS

Présente la structure de l'arbre DOM, les balises HTML et les sélecteurs CSS. Fournit la maîtrise du balisage nécessaire pour localiser et extraire les données cibles de n'importe quelle page web.

Leçon 3 • Considérations éthiques et juridiques

Examine robots.txt, les conditions d'utilisation et les taux d'exploration responsables. Encadre les limites éthiques qui guident chaque décision pratique prise tout au long du cours.

Leçon 1 • Travailler avec les formats de réponse

Analyse les réponses JSON, XML et binaires renvoyées par les serveurs. Prépare les étudiants à gérer divers types de contenu au-delà des pages HTML standard.

Leçon 2 • Gestion des en-têtes et des sessions

Enseigne les en-têtes personnalisés, les chaînes user-agent et les objets de session pour les connexions persistantes. Permet aux extracteurs d'imiter le comportement d'un navigateur et de maintenir l'état entre les requêtes.

Leçon 3 • Gestion des délais d'attente et des erreurs

Traite de la configuration des délais d'attente, de la logique de nouvelle tentative et de la gestion des erreurs HTTP. Construit des extracteurs résilients qui récupèrent gracieusement des pannes réseau.

Leçon 1 • Création et navigation dans l'arbre d'analyse

Présente la création d'objets BeautifulSoup, les analyseurs et les méthodes de parcours de l'arbre. Établit les compétences fondamentales de navigation utilisées dans chaque tâche d'extraction.

Leçon 2 • Requêtes de sélecteur CSS

Applique select et select_one avec la syntaxe des sélecteurs CSS pour un ciblage concis des éléments. Complète les recherches par balise avec un style de requête plus expressif.

Leçon 3 • Recherche d'éléments par balise et attribut

Couvre find, find_all et les recherches par attribut. Permet un ciblage précis des éléments quelle que soit la complexité de la page.

Leçon 4 • Extraction de texte, de liens et d'attributs

Récupère le contenu textuel, les valeurs href, les sources d'images et d'autres attributs à partir des éléments correspondants. Produit les données brutes qui alimentent le stockage et l'analyse en aval.

Leçon 1 • Automatisation du navigateur avec Selenium

Couvre la configuration de WebDriver, l'interaction avec les éléments et la navigation dans les pages avec Selenium. Fournit une base d'automatisation largement adoptée pour les tâches d'extraction dynamique.

Leçon 2 • Pourquoi les extracteurs statiques échouent sur les pages dynamiques

Explique le rendu côté client, les applications à page unique et le chargement différé. Justifie le passage à l'automatisation du navigateur pour les cibles JavaScript lourdes.

Leçon 3 • Automatisation moderne avec Playwright

Présente l'API asynchrone de Playwright, l'attente automatique et la prise en charge multi-navigateurs. Offre une alternative plus rapide et plus fiable à Selenium pour les applications web modernes.

Leçon 4 • Interaction avec des éléments d'interface utilisateur complexes

Gère les listes déroulantes, les modales, le défilement infini et la pagination dans les navigateurs automatisés. Étend les compétences d'automatisation aux modèles d'interaction de page du monde réel.

Leçon 1 • Utilisation des expressions régulières pour le nettoyage des données

Applique des motifs regex pour nettoyer, valider et transformer les chaînes brutes extraites. Fait le pont entre le texte extrait désordonné et les données structurées et utilisables.

Leçon 2 • Extraction de listes et de structures répétées

Extrait les données des motifs ul, ol et div répétés courants dans les listes de produits et d'articles. Construit une logique d'extraction en boucle applicable à toute mise en page basée sur des listes.

Leçon 3 • Gestion des données manquantes et incohérentes

Traite les champs facultatifs, les valeurs nulles et les variations de mise en page entre les pages. Produit des pipelines d'extraction qui restent stables lorsque les pages sources diffèrent.

Leçon 4 • Extraction de données tabulaires

Analyse les tableaux HTML en lignes et colonnes structurées à l'aide de BeautifulSoup et pandas. Produit des DataFrames propres prêts pour l'analyse ou l'exportation.

Leçon 1 • Utilisation de pandas pour la transformation des données

Charge les données extraites dans des DataFrames pour le nettoyage, la déduplication et le remodelage. Prépare les ensembles de données pour l'analyse en aval ou l'exportation vers plusieurs formats.

Leçon 2 • Sauvegarde des données dans des fichiers CSV et JSON

Écrit les enregistrements extraits dans des fichiers plats à l'aide du module csv et de la bibliothèque logicielle json de Python. Établit le format de stockage le plus simple et le plus portable pour les ensembles de données extraits.

Leçon 3 • Stockage des données dans des bases de données SQLite

Crée des schémas SQLite, insère des enregistrements et interroge les données stockées avec le module sqlite3 de Python. Introduit le stockage relationnel pour des ensembles de données structurés et interrogeables.

Leçon 1 • Compréhension des mécanismes anti-extraction

Passe en revue les techniques de détection de bots, y compris l'empreinte numérique, les honeypots et l'analyse comportementale. Fournit un modèle de menace qui éclaire chaque contre-mesure du chapitre.

Leçon 2 • Résolution et contournement des CAPTCHA

Couvre les types de CAPTCHA, les services de résolution tiers et les stratégies d'évitement. Fournit des options pratiques pour maintenir l'accès de l'extracteur lorsque des CAPTCHA sont rencontrés.

Leçon 3 • Rotation des proxies et gestion des IP

Configure des pools de proxies, fait tourner les IP par requête et gère gracieusement les pannes de proxy. Prévient les blocages basés sur l'IP lors de tâches d'extraction à volume élevé.

Leçon 4 • Gestion de la connexion et de l'authentification par session

Automatise la connexion basée sur les formulaires, les flux OAuth et la maintenance de session basée sur les cookies. Débloque l'accès au contenu authentifié derrière les murs de connexion.

Leçon 1 • Planification et automatisation des exécutions d'extraction

Planifie les extracteurs avec cron, les files d'attente de tâches et les fonctions cloud pour une exécution récurrente. Supprime l'intervention manuelle des flux de travail de collecte de données.

Leçon 2 • Maintenance des extracteurs face aux changements de site

Détecte les changements de mise en page, automatise les tests de régression et documente les sélecteurs pour des mises à jour rapides. Réduit le coût de maintenance lorsque les sites cibles refont leur mise en page.

Leçon 3 • Surveillance, journalisation et alerte

Implémente la journalisation structurée, les alertes d'erreur et les tableaux de bord d'état de santé des extracteurs. Garantit que les extracteurs de production signalent les défaillances avant qu'elles n'affectent les consommateurs de données en aval.

Leçon 4 • Construction d'extracteurs avec le Framework Scrapy

Présente les spiders, items, pipelines et intergiciels de Scrapy. Fournit un framework de niveau production qui gère la concurrence, les nouvelles tentatives et le stockage automatiquement.