Python ve Scrapy ile Web Scraping Kursu

Ders 1 • Python Projeleri için Sanal Ortamlar

Proje bağımlılıklarını temiz bir şekilde yönetmek için izole sanal ortamlar oluştur. Yalıtım, birden çok projede paket çakışmalarını önler.

Ders 2 • Scrapy Projeleri için Kod Düzenleyici Kurulumu

Python desteği, linting ve sözdizimi vurgulaması olan bir kod düzenleyici yapılandır. Doğru araçlar, geliştirmeyi hızlandırır ve sözdizimi hatalarını azaltır.

Ders 3 • Scrapy ve Bağımlılıklarını Yükleme

Scrapy'yi pip ile yükle ve yaygın bağımlılık sorunlarını çöz. Temiz bir kurulum, ortamın örümcek geliştirmeye hazır olduğunu onaylar.

Ders 1 • Kazıyıcı Araştırması için Tarayıcı Geliştirici Araçları

Öğeleri incelemek, ağ trafiğini izlemek ve seçicileri kopyalamak için tarayıcı geliştirici araçlarını kullan. Bu araştırma iş akışı, örümcek tasarımını doğrudan şekillendirir.

Ders 2 • Gelişmiş Seçim için XPath İfadeleri

CSS'nin tek başına yapamayacağından daha fazla esneklikle DOM'da gezinmek için XPath ifadeleri yaz. XPath, karmaşık geçiş modellerini işler.

Ders 3 • HTTP İstekleri ve Yanıtları Nasıl Çalışır

Bir HTTP isteğinin tarayıcıdan sunucuya ve geri dönüşünün yaşam döngüsünü izle. Bu model, Scrapy'nin sayfaları getirirken neyi kopyaladığını açıklar.

Ders 4 • Veri Hedefleme için CSS Seçiciler

Bir HTML belgesindeki belirli öğeleri belirlemek için CSS seçici sözdizimini kullan. Bu seçiciler, Scrapy örümceklerinde birincil hedefleme aracıdır.

Ders 1 • Örümcekleri Çalıştırma ve Hata Ayıklama

scrapy crawl komutuyla örümcekleri çalıştır ve günlük çıktısını yorumla. Hata ayıklama becerileri, bozuk örümceklerde harcanan zamanı azaltır.

Ders 2 • Bir Scrapy Örümcek Sınıfının Anatomisi

Spider temel sınıfını ve gerekli özniteliklerini ve yöntemlerini incele. Her örümcek bu yapıyı miras alır, bu nedenle ustalaşmak temeldir.

Ders 3 • Seçicilerle Veri Çıkarma

Metin ve öznitelikleri çıkarmak için parse yöntemi içinde CSS ve XPath seçicilerini uygula. Doğru çıkarma, herhangi bir örümceğin temel becerisidir.

Ders 1 • İşlemcilerle Veri Temizleme

Alan değerlerini temizlemek, dönüştürmek ve normalleştirmek için özel işlemci işlevleri yaz. Yükleyici seviyesinde temiz veri, aşağı akış iş hattı karmaşıklığını azaltır.

Ders 2 • Scrapy Öğelerini Tanımlama

Kazınmış kayıtları temsil etmek için türlenmiş alanlara sahip Item sınıfları bildir. Items, bir projedeki tüm örümceklerde tutarlı bir şema uygular.

Ders 3 • Temiz Veri İçin ItemLoader Kullanma

Alan değerlerinde girdi ve çıktı işlemeyi otomatikleştirmek için ItemLoader'ları uygula. Yükleyiciler, bakım kolaylığı için çıkarma mantığını temizleme mantığından ayırır.

Ders 1 • Scrapy İstekleriyle Bağlantıları Takip Etme

Tarayıcıya ek URL'ler getirmesini söylemek için parse yöntemlerinden scrapy.Request nesneleri ver. Bağlantı takibi, tam site taramalarının arkasındaki mekanizmadır.

Ders 2 • Kural Tabanlı Tarama için CrawlSpider Kullanma

Bağlantı takip kalıplarını bildirimsel olarak tanımlamak için CrawlSpider alt sınıfından ve Rule nesnelerinden yararlan. Rule'lar, büyük, yapılandırılmış siteler için tekrar eden kod miktarını azaltır.

Ders 3 • Tarama Derinliğini ve Kapsamını Yönetme

Taramaları odaklanmış ve verimli tutmak için derinlik sınırları ve URL filtreleri yapılandır. Kapsam kontrolü, kaynakları boşa harcayan kontrolsüz taramaları önler.

Ders 4 • Sayfalama Stratejileri

Numaralandırılmış ve imleç tabanlı sayfalama düzenlerinde sonraki sayfa bağlantılarını algıla ve takip et. Sayfalamayı yönetmek, tam veri kümesi çıkarmanın kilidini açar.

Ders 1 • Verileri CSV ve JSON'a Dışa Aktarma

Öğeleri düz dosyalara yazmak için Scrapy'nin yerleşik besleme dışa aktarıcılarını kullan. Düz dosya dışa aktarımları, örümcekten kullanılabilir veriye giden en hızlı yoldur.

Ders 2 • Özel İş Hattı Bileşenleri Yazma

Depolamadan önce öğeleri temizleyen, yineleme kontrolü yapan veya zenginleştiren iş hattı sınıfları oluştur. Özel iş hatları, dışa aktarıcıların ifade edemediği mantığı işler.

Ders 3 • Verileri MongoDB'de Depolama

PyMongo kullanarak öğeleri bir MongoDB koleksiyonuna ekleyen bir iş hattı yaz. Belge depolama, değişken veya iç içe alanlara sahip kazınmış veriler için uygundur.

Ders 4 • Verileri Bir SQL Veritabanında Depolama

Bir iş hattını ilişkisel bir veritabanına bağla ve öğeleri satır satır ekle. Veritabanı depolama, sorgulama ve uzun vadeli veri yönetimini sağlar.

Ders 1 • Bot Algılama Tekniklerini Anlama

Otomatik trafiği belirlemek için kullanılan sunucu tarafı sinyallerini katalogla. Algılama yöntemlerini bilmek, sonraki bölümlerde uygulanan karşı önlemleri bilgilendirir.

Ders 2 • İstekleri AutoThrottle ile Hız Sınırlama

İstek hızlarını sunucu yanıt sürelerine uyarlamak için Scrapy'nin AutoThrottle uzantısını etkinleştir. Nazik tarama, hız sınırı yasaklama riskini azaltır.

Ders 3 • Kullanıcı Temsilcilerini ve Başlıkları Döndürme

İstek başına kullanıcı temsilcisi dizelerini ve HTTP başlıklarını rastgeleleştiren ara katman yazılımı yapılandır. Başlık döndürme, bot algılamayı tetikleyen parmak izini azaltır.

Ders 4 • Vekil Döndürme Kullanma

Trafiği birden çok IP adresine dağıtmak için istekleri dönen vekil havuzları üzerinden yönlendir. Vekil döndürme, IP tabanlı yasaklamalara karşı birincil savunmadır.

Ders 1 • Sonsuz Kaydırma ve Tembel Yüklemeyi Ele Alma

Kaydırma eylemlerini otomatikleştir ve gizli içeriği ortaya çıkarmak için tembel yükleme olaylarını tetikle. Bu teknikler, modern akış tarzı sayfalarda veri kümesi çıkarmayı tamamlar.

Ders 2 • JavaScript ile İşlenmiş İçeriği Belirleme

Bir kazıma stratejisi seçmeden önce sunucu tarafından işlenmiş HTML ile istemci tarafından işlenmiş içerik arasında ayrım yap. Doğru tanımlama, yanlış yaklaşımda boşa harcanan çabayı önler.

Ders 3 • Tarayıcı Otomasyonunun Performans Ödünleşimleri

Başsız tarayıcıların hızını, kaynak maliyetini ve güvenilirliğini doğrudan HTTP istekleriyle karşılaştır. Bilinçli ödünleşim kararları, projeleri sürdürülebilir ve verimli tutar.

Ders 4 • Scrapy'yi Playwright ile Entegre Etme

JavaScript'i Scrapy'nin istek iş hattı içinde işlemek için scrapy-playwright kütüphanesini kullan. Playwright entegrasyonu, API müdahalesinin mümkün olmadığı siteleri halleder.