Python va Scrapy bilan Web Scraping kursi

Dars 1 • Python loyihalari uchun virtual muhitlar

Loyiha bog'liqliklarini toza boshqarish uchun izolyatsiyalangan virtual muhitlar yarating. Izolyatsiya bir nechta loyihalar bo'ylab paket to'qnashuvlarining oldini oladi.

Dars 2 • Scrapy loyihalari uchun kod muharririni sozlash

Python yordami, linting va sintaksisni ajratib ko'rsatish bilan kod muharririni sozlang. To'g'ri vositalar ishlab chiqishni tezlashtiradi va sintaksis xatolarini kamaytiradi.

Dars 3 • Scrapy va uning bog'liqliklarini o'rnatish

Scrapy ni pip orqali o'rnating va umumiy bog'liqlik muammolarini hal qiling. Toza o'rnatish muhitning o'rgimchak dasturlarini ishlab chiqishga tayyorligini tasdiqlaydi.

Dars 1 • Qirqim tadqiqoti uchun brauzer DevTools vositalari

Elementlarni tekshirish, tarmoq trafigini kuzatish va selektorlardan nusxa olish uchun brauzer ishlab chiquvchi vositalaridan foydalaning. Ushbu tadqiqot jarayoni to'g'ridan-to'g'ri o'rgimchak dasturi dizaynini belgilaydi.

Dars 2 • Kengaytirilgan tanlash uchun XPath ifodalari

DOM da CSS dan ko'ra ko'proq moslashuvchanlik bilan navigatsiya qilish uchun XPath ifodalarini yozing. XPath CSS ifoda eta olmaydigan murakkab o'tish naqshlarini boshqaradi.

Dars 3 • HTTP so'rovlari va javoblari qanday ishlaydi

HTTP so'rovining hayot aylanishini brauzerdan serverga va orqaga kuzating. Ushbu model Scrapy sahifalarni olishda nimani takrorlashini tushuntiradi.

Dars 4 • Ma'lumotlarni nishonga olish uchun CSS selektorlari

HTML hujjatida aniq elementlarni aniqlash uchun CSS selektor sintaksisidan foydalaning. Ushbu selektorlar Scrapy o'rgimchaklarida asosiy nishonga olish vositasidir.

Dars 1 • O'rgimchak dasturlarini ishga tushirish va xatolarni tuzatish

scrapy crawl buyrug'i bilan o'rgimchak dasturlarini ishga tushiring va log chiqishini izohlang. Xatolarni tuzatish ko'nikmalari buzilgan o'rgimchak dasturlariga sarflanadigan vaqtni kamaytiradi.

Dars 2 • Scrapy o'rgimchak sinfining anatomiyasi

Spider asosiy sinfi va uning talab qilinadigan atributlari va metodlarini ko'rib chiqing. Har bir o'rgimchak dasturi bu tuzilmani meros qilib oladi, shuning uchun uni o'zlashtirish asosiy hisoblanadi.

Dars 3 • Selektorlar bilan ma'lumotlarni chiqarish

Parse metodida CSS va XPath selektorlarini matn va atributlarni chiqarish uchun qo'llang. Aniq chiqarish har qanday o'rgimchak dasturining asosiy ko'nikmasidir.

Dars 1 • Protsessorlar bilan ma'lumotlarni tozalash

Maydon qiymatlarini tozalash, o'zgartirish va normallashtirish uchun maxsus protsessor funksiyalarini yozing. Yuklovchi darajasida ma'lumotlarni tozalash quyi oqim quvur murakkabligini kamaytiradi.

Dars 2 • Scrapy elementlarini aniqlash

Qirqilgan yozuvlarni ifodalash uchun tipli maydonlarga ega Item sinflarini e'lon qiling. Elementlar loyihadagi barcha o'rgimchak dasturlari bo'ylab izchil sxemani majbur qiladi.

Dars 3 • Toza ma'lumotlar uchun ItemLoader lardan foydalanish

Maydon qiymatlarida kirish va chiqish jarayonini avtomatlashtirish uchun ItemLoader larni qo'llang. Yuklovchilar texnik xizmat ko'rsatish uchun chiqarish mantiqini tozalash mantiqidan ajratadi.

Dars 1 • Scrapy so'rovlari bilan havolalarga ergashish

Qo'shimcha URL larni olish uchun o'rgimchak dasturiga ko'rsatma berish uchun parse metodlaridan scrapy.Request obyektlarini hosil qiling. Havolaga ergashish to'liq saytni o'rash mexanizmidir.

Dars 2 • Qoidaga asoslangan o'rash uchun CrawlSpider dan foydalanish

Havolaga ergashish naqshlarini deklarativ tarzda aniqlash uchun CrawlSpider osti sinfi va Rule obyektlaridan foydalaning. Qoidalar katta, tuzilgan saytlar uchun keraksiz kodni kamaytiradi.

Dars 3 • O'rash chuqurligi va doirasini boshqarish

O'rashlarni diqqatli va samarali ushlab turish uchun chuqurlik chegaralari va URL filtrlarni sozlang. Doirani nazorat qilish resurslarni isrof qiladigan nazoratsiz o'rashlarning oldini oladi.

Dars 4 • Sahifalash strategiyalari

Raqamlangan va kursor asosidagi sahifalash sxemalari bo'ylab keyingi sahifa havolalarini aniqlang va ergashing. Sahifalashni boshqarish to'liq ma'lumotlar to'plamini chiqarish imkonini beradi.

Dars 1 • Ma'lumotlarni CSV va JSON ga eksport qilish

Elementlarni yassi fayllarga yozish uchun Scrapy ning o'rnatilgan ozuqa eksport qiluvchilaridan foydalaning. Yassi fayl eksporti o'rgimchak dasturidan foydalanish mumkin bo'lgan ma'lumotlarga eng tez yo'ldir.

Dars 2 • Maxsus quvur komponentlarini yozish

Saqlashdan oldin elementlarni tozalaydigan, takrorini yo'qotadigan yoki boyitadigan quvur sinflarini yarating. Maxsus quvurlar eksport qiluvchilar ifoda eta olmaydigan mantiqni boshqaradi.

Dars 3 • MongoDB da ma'lumotlarni saqlash

PyMongo yordamida elementlarni MongoDB kolleksiyasiga kiritadigan quvurni yozing. Hujjat saqlash o'zgaruvchan yoki ichki o'rnatilgan maydonlarga ega qirqilgan ma'lumotlarga mos keladi.

Dars 4 • SQL ma'lumotlar bazasida ma'lumotlarni saqlash

Quvurni relyatsion ma'lumotlar bazasiga ulang va elementlarni qatorma-qator kiriting. Ma'lumotlar bazasi saqlash so'rovlar va uzoq muddatli ma'lumotlarni boshqarish imkonini beradi.

Dars 1 • Bot aniqlash texnikalarini tushunish

Avtomatlashtirilgan trafikni aniqlash uchun ishlatiladigan server tomoni signallarini kataloglashtiring. Aniqlash usullarini bilish keyingi bo'limlarda qo'llaniladigan qarshi choralarni belgilaydi.

Dars 2 • AutoThrottle bilan so'rovlarni tezlikni cheklash

Server javob vaqtlariga so'rov tezligini moslashtirish uchun Scrapy ning AutoThrottle kengaytmasini yoqing. Xushmuomala o'rash tezlik cheklovi taqiqlanishi xavfini kamaytiradi.

Dars 3 • User-agent va sarlavhalarni almashtirish

So'rov uchun user-agent satrlari va HTTP sarlavhalarini tasodifiylashtirish uchun o'rta dasturni sozlang. Sarlavha almashtirish bot aniqlashni qo'zg'atuvchi tarmoq izini kamaytiradi.

Dars 4 • Proksi almashtirishdan foydalanish

Trafikni bir nechta IP manzillar bo'ylab taqsimlash uchun so'rovlarni almashtiriladigan proksi hovuzlari orqali yo'naltiring. Proksi almashtirish IP asosidagi taqiqlarga qarshi asosiy himoyadir.

Dars 1 • Cheksiz aylantirish va dangasa yuklashni boshqarish

Yashirin kontentni ochish uchun aylantirish harakatlarini avtomatlashtiring va dangasa yuklash hodisalarini ishga tushiring. Ushbu texnikalar zamonaviy ozuqa uslubidagi sahifalarda ma'lumotlar to'plamini chiqarishni yakunlaydi.

Dars 2 • JavaScript render qilingan kontentni aniqlash

Qirqish strategiyasini tanlashdan oldin server tomoni render qilingan HTML va mijoz tomoni render qilingan kontentni farqlang. To'g'ri aniqlash noto'g'ri yondashuvga behuda sarflangan kuchning oldini oladi.

Dars 3 • Brauzer avtomatlashtirishning ishlash o'zaro to'lovlari

Boshsiz brauzerlarning tezligi, resurs narxi va ishonchliligini to'g'ridan-to'g'ri HTTP so'rovlari bilan solishtiring. Onagli o'zaro to'lov qarorlari loyihalarni barqaror va samarali ushlab turadi.

Dars 4 • Scrapy ni Playwright bilan integratsiya qilish

JavaScript ni Scrapy ning so'rov quvuri ichida render qilish uchun scrapy-playwright kutubxonasidan foydalaning. Playwright integratsiyasi API ushlash mumkin bo'lmagan saytlarni boshqaradi.