Curso de Web Scraping com Python e Scrapy

Aula 1 • Ambientes Virtuais para Projetos Python

Crie ambientes virtuais isolados para gerenciar as dependências do projeto de forma limpa. O isolamento impede conflitos de pacotes entre múltiplos projetos.

Aula 2 • Configuração do Editor de Código para Projetos Scrapy

Configure um editor de código com suporte a Python, linting e realce de sintaxe. As ferramentas adequadas aceleram o desenvolvimento e reduzem erros de sintaxe.

Aula 3 • Instalando o Scrapy e Suas Dependências

Instale o Scrapy via pip e resolva problemas comuns de dependência. Uma instalação limpa confirma que o ambiente está pronto para o desenvolvimento de spiders.

Aula 1 • DevTools do Navegador para Pesquisa de Scrapers

Use as ferramentas de desenvolvedor do navegador para inspecionar elementos, monitorar o tráfego de rede de computadores e copiar seletores. Este fluxo de trabalho de pesquisa informa diretamente o design do spider.

Aula 2 • Expressões XPath para Seleção Avançada

Escreva expressões XPath para navegar pelo DOM com mais flexibilidade do que apenas CSS. XPath lida com padrões de travessia complexos que o CSS não consegue expressar.

Aula 3 • Como as requisições HTTP e as respostas funcionam

Rastreie o lifecycle de uma requisição HTTP do navegador ao servidor e de volta. Este modelo explica o que o Scrapy replica ao buscar páginas.

Aula 4 • Seletores CSS para Segmentação de Dados

Use a sintaxe de seletores CSS para identificar elementos específicos dentro de um documento HTML. Esses seletores são a principal ferramenta de segmentação nas spiders do Scrapy.

Aula 1 • Executando e Depurando Spiders

Execute spiders com o comando scrapy crawl e interprete a saída do log. Habilidades de depuração reduzem o tempo gasto com spiders quebrados.

Aula 2 • Anatomia de uma classe Spider do Scrapy

Examine a classe Spider básica e seus atributos e métodos exigidos. Toda spider herda essa estrutura, portanto dominá-la é fundamental.

Aula 3 • Extraindo Dados com Seletores

Aplique seletores CSS e XPath dentro do método de análise para extrair texto e atributos. A extração precisa é a habilidade essencial de qualquer spider.

Aula 1 • Limpeza de Dados com Processadores

Escreva funções de processador personalizadas para extrair, converter e normalizar valores de campos. Limpar dados no nível do carregador reduz a complexidade do pipeline downstream.

Aula 2 • Definindo Ítens do Scrapy

Declare classes de Item com campos tipados para representar registros raspados. Itens impõem um esquema consistente em todas as spiders de um projeto.

Aula 3 • Usando ItemLoaders para Dados Limpos

Aplique ItemLoaders para automatizar o processamento de entrada e saída em valores de campo. Os loaders separam a lógica de extração da lógica de limpeza para facilitar a manutenção.

Aula 1 • Seguindo Links com Requests do Scrapy

Produza objetos scrapy.Request a partir dos métodos de análise para instruir o rastreador a buscar URLs adicionais. O acompanhamento de links é o mecanismo por trás dos rastreamentos completos de sites.

Aula 2 • Usando CrawlSpider para Crawling Baseado em Regras

Aproveite a subclasse CrawlSpider e os objetos Rule para definir padrões de seguimento de links de forma declarativa. As Rules reduzem código repetitivo para sites grandes e estruturados.

Aula 3 • Gerenciando a Profundidade de Crawl e o Escopo

Configure limites de profundidade e filtros de URL para manter os crawls focados e eficientes. O controle de escopo impede crawls descontrolados que desperdiçam recursos.

Aula 4 • Estratégias de Paginação

Detecte e siga links de próxima página em esquemas de paginação numerada e baseada em cursor. Lidar com a paginação permite a extração completa do conjunto de dados.

Aula 1 • Exportando Dados para CSV e JSON

Use os exportadores de feed integrados do Scrapy para escrever itens em arquivos simples. As exportações para arquivos simples são o caminho mais rápido da aranha até os dados utilizáveis.

Aula 2 • Escrevendo Componentes de Pipeline Personalizados

Crie classes de pipeline que limpam, removem duplicatas ou enriquecem itens antes do armazenamento. Pipelines personalizados lidam com lógica que exportadores não conseguem expressar.

Aula 3 • Armazenando Dados no MongoDB

Escreva um pipeline que faça a inserção de itens em uma coleção MongoDB usando PyMongo. O armazenamento em documentos é adequado para dados raspados com campos variáveis ou aninhados.

Aula 4 • Armazenando Dados em um Banco de Dados SQL

Conecte um pipeline a um banco de dados relacional e insira itens linha por linha. O armazenamento de banco de dados permite consultas e gerenciamento de dados a longo prazo.

Aula 1 • Compreendendo Técnicas de Detecção de Bots

Catálogo dos sinais do lado do servidor usados para identificar tráfego automatizado. Conhecer os métodos de detecção informa as contramedidas aplicadas nas seções posteriores.

Aula 2 • Limitando Requests com AutoThrottle

Ative a extensão AutoThrottle do Scrapy para adaptar as taxas de requisição aos tempos de resposta do servidor. Um rastreamento educado reduz o risco de bans por limite de taxa.

Aula 3 • Rotação de Agentes de Usuário e Cabeçalhos

Configure o middleware para randomizar as strings de user-agent e os cabeçalhos HTTP por requisição. A rotação de cabeçalhos reduz a impressão digital que aciona a detecção de bots.

Aula 4 • Usando Rotação de Proxy

Roteie as requisições através de pools de proxy rotativos para distribuir o tráfego entre múltiplos endereços IP. A rotação de proxy é a principal defesa contra bloqueios baseados em IP.

Aula 1 • Manipulando rolagem infinita e carregamento preguiçoso

Automatize ações de rolar e dispare eventos de carregamento sob demanda para expor conteúdo oculto. Essas técnicas completam a extração do conjunto de dados em páginas modernas no estilo feed.

Aula 2 • Identificando Conteúdo Renderizado por JavaScript

Diferencie entre HTML renderizado no servidor e conteúdo renderizado no cliente antes de escolher uma estratégia de raspagem. A identificação correta evita esforço desperdiçado na abordagem errada.

Aula 3 • Trade-offs de Desempenho da Automação de Navegadores

Compare a velocidade, o custo de recursos e a confiabilidade dos navegadores headless com os requests HTTP diretos. Decisões de trade-off informadas mantêm os projetos manuteníveis e eficientes.

Aula 4 • Integrando Scrapy com Playwright

Use a biblioteca scrapy-playwright para renderizar JavaScript dentro do pipeline de requests do Scrapy. A integração com o Playwright lida com sites onde a interceptação da API não é viável.