Kurz web scrapingu v Pythonu a Scrapy

Lekce 1 • Virtuální prostředí pro projekty v Pythonu

Vytvářejte izolovaná virtuální prostředí, abyste mohli čistě spravovat závislosti projektu. Izolace zabraňuje konfliktům balíčků mezi více projekty.

Lekce 2 • Nastavení editoru kódu pro Scrapy projekty

Nakonfigurujte editor kódu s podporou Pythonu, lintováním a zvýrazňováním syntaxe. Správné nástroje zrychlují vývoj a snižují počet syntaktických chyb.

Lekce 3 • Instalace Scrapy a jeho závislostí

Nainstalujte Scrapy pomocí pip a vyřešte běžné problémy se závislostmi. Čistá instalace potvrzuje, že prostředí je připraveno na vývoj pavouků.

Lekce 1 • Vývojářské nástroje prohlížeče pro průzkum scraperů

K prozkoumání prvků, sledování síťového provozu a kopírování selektorů používejte vývojářské nástroje prohlížeče. Tento průzkumný pracovní postup přímo ovlivňuje návrh spideru.

Lekce 2 • Výrazy XPath pro pokročilý výběr

Pište XPath výrazy pro procházení DOM s větší flexibilitou, než nabízí samotné CSS. XPath zvládá složité vzory procházení, které CSS nedokáže vyjádřit.

Lekce 3 • Jak fungují HTTP požadavky a odpovědi

Sledujte životní cyklus požadavku HTTP od prohlížeče k serveru a zpět. Tento model vysvětluje, co Scrapy replikuje při načítání stránek.

Lekce 4 • CSS selektory pro cílení na data

Použijte syntaxi CSS selektorů k přesnému zacílení konkrétních prvků v HTML dokumentu. Tyto selektory jsou hlavním nástrojem pro cílení ve spiderch Scrapy.

Lekce 1 • Spouštění a ladění spiderů

Spouštějte spiders příkazem scrapy crawl a interpretujte výstup logů. Dovednosti ladění zkracují čas strávený na rozbitých spiderch.

Lekce 2 • Anatomie třídy Scrapy Spider

Prozkoumejte základní třídu Spider a její požadované atributy a metody. Každý spider tuto strukturu dědí, proto je její zvládnutí základem.

Lekce 3 • Extrakce dat pomocí selektorů

Použijte CSS a XPath selektory uvnitř metody parse k extrakci textu a atributů. Přesná extrakce je základní dovedností každého spideru.

Lekce 1 • Čištění dat pomocí procesorů

Napište vlastní funkce procesoru pro odstranění přebytečných znaků, přetypování a normalizaci hodnot polí. Vyčištění dat na úrovni zavaděče snižuje složitost navazujícího pipeline.

Lekce 2 • Definování položek ve Scrapy

Deklarujte třídy Item s typovanými poli pro reprezentaci scrapovaných záznamů. Třídy Item vynucují konzistentní schéma napříč všemi pavouky v projektu.

Lekce 3 • Použití nástroje ItemLoaders pro čistá data

Použijte ItemLoadery k automatizaci zpracování vstupních a výstupních hodnot polí. Loadery oddělují extrakční logiku od čisticí logiky pro lepší udržovatelnost.

Lekce 1 • Následování odkazů pomocí Scrapy Requests

Z metod parse vracejte objekty scrapy.Request, abyste crawleru dali pokyn k načtení dalších URL. Sledování odkazů je mechanismus, který stojí za procházením celých webů.

Lekce 2 • Použití CrawlSpideru pro procházení na základě pravidel

Využijte podtřídu CrawlSpider a objekty Rule k deklarativnímu definování vzorců pro sledování odkazů. Pravidla snižují množství opakujícího se kódu u rozsáhlých strukturovaných webů.

Lekce 3 • Správa hloubky a rozsahu procházení

Nakonfigurujte hloubkové limity a filtry URL adres, abyste udrželi procházení cílené a efektivní. Řízení rozsahu zabraňuje nekontrolovanému procházení, které plýtvá zdroji.

Lekce 4 • Strategie stránkování

Rozpoznávejte a sledujte odkazy na další stránky napříč číslovanými stránkovacími schématy a schématy založenými na kurzoru. Zpracování stránkování umožňuje úplnou extrakci datových sad.

Lekce 1 • Export dat do CSV a JSON

Používejte vestavěné exportéry feedů v Scrapy k zápisu položek do plochých souborů. Exporty do plochých souborů představují nejrychlejší cestu od spideru k použitelným datům.

Lekce 2 • Psaní vlastních komponent pipeline

Vytvářejte třídy pipeline, které čistí, deduplikují nebo obohacují položky před uložením. Vlastní pipeline zpracovávají logiku, kterou exportéry nedokážou vyjádřit.

Lekce 3 • Ukládání dat v MongoDB

Napište pipeline, který vkládá položky do kolekce MongoDB pomocí PyMonga. Dokumentové úložiště se hodí pro scrapovaná data s proměnlivými nebo zanořenými poli.

Lekce 4 • Ukládání dat v SQL databázi

Připojte pipeline k relační databázi a vkládejte položky řádek po řádku. Databázové úložiště umožňuje dotazování a dlouhodobou správu dat.

Lekce 1 • Porozumění technikám detekce botů

Katalogizujte signály na straně serveru používané k identifikaci automatizovaného provozu. Znalost metod detekce napomáhá protiopatřením uplatňovaným v pozdějších částech.

Lekce 2 • Omezování počtu požadavků pomocí AutoThrottle

Povolte rozšíření AutoThrottle ve Scrapy, aby se rychlost požadavků přizpůsobila době odezvy serveru. Zdvořilé procházení snižuje riziko zákazů kvůli omezení rychlosti.

Lekce 3 • Rotace uživatelských agentů a hlaviček

Nakonfigurujte middleware tak, aby při každém požadavku náhodně měnil řetězce user-agent a HTTP hlavičky. Rotace hlaviček snižuje otisk, který spouští detekci botů.

Lekce 4 • Používání rotace proxy serverů

Směrujte požadavky přes rotující proxy fondy, abyste rozložili provoz mezi více IP adres. Rotace proxy je hlavní obranou proti zákazům založeným na IP adrese.

Lekce 1 • Zpracování nekonečného posouvání a líného načítání

Automatizujte akce posouvání a spouštějte události líného načítání, abyste odhalili skrytý obsah. Tyto techniky dokončí extrakci dat na moderních stránkách se stylem feedu.

Lekce 2 • Identifikace obsahu vykreslovaného JavaScriptem

Před volbou strategie scrapování rozlišujte mezi HTML vykresleným na serveru a obsahem vykresleným na straně klienta. Správná identifikace zabrání zbytečné práci při použití nesprávného přístupu.

Lekce 3 • Kompromisy ve výkonnosti automatizace prohlížeče

Porovnejte rychlost, náročnost na zdroje a spolehlivost bezhlavých prohlížečů oproti přímým HTTP požadavkům. Informovaná rozhodnutí o kompromisech udržují projekty udržovatelné a efektivní.

Lekce 4 • Integrace Scrapy s Playwrightem

Použijte knihovnu scrapy-playwright k vykreslení JavaScriptu v rámci request pipeline nástroje Scrapy. Integrace Playwright zvládá weby, kde není odchytávání API možné.