Dedika ni jukwaa la kujifunza kwa vitendo: kuandaa pendekezo la kibiashara, kuwa mtaalamu wa kucha, au kutumia zana mpya, kwa mfano. Haijalishi lengo lako ni lipi, maudhui bora kuhusu mada hiyo tayari yapo. Lakini mara nyingi yapo katika lugha nyingine, ni ghali, yameenea sehemu mbalimbali, hayana shughuli za kufanya mazoezi, au yanapatikana kwenye kozi ndefu mno kwa watu wenye ratiba ngumu. Ndiyo maana Dedika ina mbinu yake maalum: tunatafuta nyenzo hizi popote zilipo, tunapanga kile kinachofaa kwa malengo yako, tunakagua kwa msaada wa wataalamu waliopo kujibu maswali, na tunatengeneza mazoezi ili ujifunze kwa kufanya. Wewe ndiye wa muhimu zaidi kwenye safari yako na hakuna anayekujua vyema zaidi: chagua maudhui na muda wa kozi, kama utajifunza ukiwa na au bila intaneti na kwa aina ipi. Inaweza kuwa video, maandishi, sauti au muhtasari. Kwa njia yako, na kile tu kinachokufaa. Hapa, kila muda unaotumia kujifunza una thamani zaidi na unafika haraka kwenye kile kinachohitajika.

Ndio, kozi zetu zote zina toleo la bure. Kozi za bure zina maudhui yale yale ya hali ya juu kama toleo la Pro, lakini hazina mwalimu wala upimaji wa AI (ingekuwa ghali sana kutoa bure), hazina upatikanaji bila mtandao, wala uwezo wa kuchapisha muhtasari, kuna kikomo cha saa moja ya kujifunza kwa siku, na upatikanaji wa siku 90 (muda wa kutosha kumaliza kozi). Kama unalenga kujifunza, kozi yetu ya bure itatosha kupata maarifa yote unayohitaji. Hata hivyo, kama unahitaji manufaa mengine, ni bora uchague Pro. Fedha zinazopatikana kutokana na kozi za Pro ni muhimu sana ili tuendelee kutoa kozi za bure. Kwa njia hii, tunajaribu kusawazisha dhamira yetu na uendelevu wa mradi.

Kozi zinajumuisha maudhui bora zaidi duniani kuhusu mada husika: video, sauti, makala, na vitabu. Maudhui haya yote yana muhtasari, podikasti (kwa vitabu na makala), na maandishi (kwa video na sauti). Unachagua jinsi unavyopenda kutumia maudhui hayo. Kila nyenzo ina maswali maalum ya kuimarisha maarifa. Zaidi ya hayo, kozi inaundwa na sura unazochagua, hivyo unaweza kusoma kile tu kinachokuhusu. Mwisho wa kila sura, kuna mradi wa vitendo unaohusiana na taaluma yako ili kufanya mazoezi ya ulichokijifunza.

Muda wa kozi utakuwa ule utakaoamua wakati wa kuchagua sura, ukitofautiana kati ya saa 10 hadi 300, kulingana na mahitaji yako.

Kozi zetu zinajumuisha muhtasari mwishoni mwa kila sura, ambao unaweza kupakua kama PDF na kuuchapisha.

Zaidi ya wanafunzi milioni 2 duniani kote

Inapatikana katika nchi zaidi ya 180

Cheti chako cha kuhitimu kinatambuliwa nchini kwako

Ukurasa wa Nyumbani

...

Kozi ya Web Scraping kwa Python na Scrapy

Kozi zote

Uhandisi, Ujenzi na Teknolojia

Teknolojia

Kozi ya Web Scraping kwa Python na Scrapy

Kwa viwango vyote

Kozi ya Web Scraping kwa Python na Scrapy

Jifunze kukusanya data kutoka kwa tovuti yoyote kwa kutumia Python na Scrapy — mojawapo ya mifumo yenye nguvu zaidi ya kutambaa wavuti inayopatikana. Kozi hii inakupeleka kutoka kusanidi mazingira hadi kujenga programu za kutambaa wavuti tayari kwa uzalishaji zinazoshughulikia kurasa, hatua za kuzuia boti, na kurasa zilizotolewa na JavaScript. Mwishoni, utakuwa na mradi wa kwingineko na ujuzi wa vitendo wa kuweka otomatiki ukusanyaji wa data kwa kiwango kikubwa.

Dedika kwa biashara

Unachojifunza:

Sanidi mazingira ya kitaaluma ya uendelezaji ya Python na Scrapy kutoka mwanzo.
Jenga programu za kutambaa wavuti zinazofuata viungo vya kurasa na kutambaa tovuti nzima za kurasa nyingi kiotomatiki.
Toa, safisha, na hifadhi data iliyopangwa katika CSV, JSON, SQLite, na MongoDB.
Tumia mzunguko wa proksi, ubandiaji wa wakala wa mtumiaji, na AutoThrottle ili kukwepa ulinzi wa kawaida dhidi ya kutambaa.
Tambaa kurasa zilizotolewa na JavaScript na programu za ukurasa mmoja kwa kutumia muunganisho wa Playwright.
Sanidi miradi ya kutambaa kutoka mwisho hadi mwisho kwa mifereji inayoweza kutumika tena, mifumo ya vitu, na uratibu wa kiotomatiki.

Jinsi unavyosoma kwa vitendo Kozi ya Web Scraping kwa Python na Scrapy

Jinsi unavyofanya mazoezi Kozi ya Web Scraping kwa Python na Scrapy

Kwa wewe ambaye ni kampuni na unataka kufundisha timu yako

Katika Dedika kwa kampuni, kozi inakuja na mazoezi na mifano inayohusiana na biashara yako na kwa njia ambayo kampuni yako inahitaji.

Bofya hapa

Maudhui ya Kozi

Sura 8 • Masomo 37Muda kati ya saa 4 na 360 (unachagua)

Sura ya 1Angalia maelezo

Python na Mazingira ya Kuanzisha Scrapy

Somo la 1 • Mazingira Pepe kwa Miradi ya Python
Unda mazingira pepe yaliyotengwa ili kusimamia vitegemezi vya mradi kwa usafi. Utengaji huzuia migogoro ya vifurushi katika miradi mingi.
Somo la 2 • Usanidi wa Kihariri cha Misimbo kwa Miradi ya Scrapy
Sanidi kihariri cha misimbo chenye usaidizi wa Python, ukaguzi wa misimbo, na uangaziaji wa sintaksia. Zana sahihi huharakisha uendelezaji na kupunguza makosa ya sintaksia.
Somo la 3 • Kusakinisha Scrapy na Vitegemezi Vyake
Sakinisha Scrapy kupitia pip na utatue matatizo ya kawaida ya vitegemezi. Usakinishaji safi unathibitisha mazingira yako tayari kwa uendelezaji wa programu za kutambaa wavuti.
Somo la 4 • Usakinishaji na Usanidi wa Python
Sakinisha Python na usanidi vigezo vya PATH kwa ufikiaji wa amri ya mstari. Usanidi sahihi hapa unazuia makosa ya mazingira katika kozi yote.

Sura ya 2Angalia maelezo

Misingi ya Wavuti kwa Programu za Kutambaa

Somo la 1 • Zana za Uendelezaji za Kivinjari kwa Utafiti wa Programu za Kutambaa
Tumia zana za uendelezaji za kivinjari kukagua vipengele, kufuatilia trafiki ya mtandao, na kunakili viteuzi. Mfumo huu wa utafiti unaelekeza moja kwa moja muundo wa programu ya kutambaa.
Somo la 2 • Misemo ya XPath kwa Uteuzi wa Hali ya Juu
Andika misemo ya XPath ili kuabiri DOM kwa unyumbufu zaidi kuliko CSS pekee. XPath inashughulikia mifumo changamano ya urambazaji ambayo CSS haiwezi kuelezea.
Somo la 3 • Jinsi Maombi ya HTTP na Majibu Yanavyofanya Kazi
Fuatilia mzunguko wa maisha ya ombi la HTTP kutoka kwa kivinjari hadi seva na kurudi. Mfano huu unaelezea kile Scrapy inachonakili wakati wa kuleta kurasa.
Somo la 4 • Viteuzi vya CSS kwa Ulengeaji wa Data
Tumia sintaksia ya viteuzi vya CSS kubainisha vipengele maalum ndani ya hati ya HTML. Viteuzi hivi ndio nyenzo kuu ya ulengaji katika programu za kutambaa za Scrapy.
Somo la 5 • Muundo wa HTML na DOM
Soma na ufasiri hati za HTML kama miundo ya mti iliyowekwa ndani. Kuelewa DOM ni muhimu kwa kuandika viteuzi sahihi vya CSS na XPath.

Sura ya 3Angalia maelezo

Kuunda Programu Yako ya Kwanza ya Kutambaa Wavuti ya Scrapy

Somo la 1 • Kuendesha na Kutatua Hitilafu za Programu za Kutambaa
Tekeleza programu za kutambaa kwa amri ya scrapy crawl na ufasiri matokeo ya kumbukumbu. Ujuzi wa utatuzi wa hitilafu unapunguza muda unaotumika kwenye programu za kutambaa zilizovunjika.
Somo la 2 • Anatomia ya Darasa la Programu ya Kutambaa ya Scrapy
Chunguza darasa la msingi la Spider na sifa na mbinu zake zinazohitajika. Kila programu ya kutambaa inarithi muundo huu, hivyo kuimudu ni msingi.
Somo la 3 • Kutoa Data kwa Viteuzi
Tumia viteuzi vya CSS na XPath ndani ya mbinu ya parse ili kutoa maandishi na sifa. Utoaji sahihi ni ujuzi wa msingi wa programu yoyote ya kutambaa.
Somo la 4 • Muundo wa Mradi wa Scrapy Umeelezwa
Zalisha mradi wa Scrapy na uelewe jukumu la kila faili iliyozalishwa. Kujua muundo kunazuia makosa ya uwekaji wa misimbo na usanidi.

Sura ya 4Angalia maelezo

Vitu vya Scrapy na Uundaji wa Data

Somo la 1 • Usafishaji wa Data kwa Vishakishi
Andika kazi za kishakishi maalum ili kuondoa nafasi, kubadilisha aina, na kurekebisha thamani za sehemu. Data safi katika kiwango cha kipakiaji inapunguza utata wa bomba la usindikaji wa chini.
Somo la 2 • Kufafanua Vitu vya Scrapy
Tangaza madarasa ya Kitu yenye sehemu zenye aina ili kuwakilisha rekodi zilizotolewa. Vitu vinashurutisha schema thabiti katika programu zote za kutambaa kwenye mradi.
Somo la 3 • Kutumia Vipakiaji vya Vitu kwa Data Safi
Tumia Vipakiaji vya Vitu ili kuotomatisha usindikaji wa pembezo na pato kwenye thamani za sehemu. Vipakiaji vinatenganisha mantiki ya utoaji kutoka kwa mantiki ya usafishaji kwa urahisi wa utunzaji.
Somo la 4 • Kuthibitisha Data Iliyotolewa
Ongeza uthibitishaji wa kiwango cha sehemu ili kukamata rekodi mbaya kabla hazijafika kwenye hifadhi. Uthibitishaji wa mapema unazuia data potofu kuingia kwenye mabomba.

Sura ya 5Angalia maelezo

Kutambaa Kurasa na Tovuti Nyingi

Somo la 1 • Kufuata Viungo na Maombi ya Scrapy
Toa vitu vya scrapy.Request kutoka kwa mbinu za parse ili kuagiza programu ya kutambaa kuleta URL za ziada. Kufuata viungo ni utaratibu nyuma ya utambaa wa tovuti nzima.
Somo la 2 • Kutumia CrawlSpider kwa Utambaa unaotegemea Kanuni
Tumia kikundi cha CrawlSpider na vitu vya Kanuni kufafanua mifumo ya kufuata viungo kwa tamko. Kanuni zinapunguza kazi ya urudiarudia kwa tovuti kubwa, zenye muundo.
Somo la 3 • Kusimamia Kina na Upeo wa Utambaa
Sanidi vikomo vya kina na vichujio vya URL ili kuweka utambaa umelengwa na ufanisi. Udhibiti wa upeo unazuia utambaa usiodhibitiwa unaotumia rasilimali.
Somo la 4 • Mikakati ya Kurasa
Gundua na ufuate viungo vya kurasa zinazofuata katika mifumo ya kurasa zilizo na nambari na zenye msingi wa kiteuzi. Kushughulikia kurasa kunafungua utoaji kamili wa seti za data.
Somo la 5 • Kupitisha Data Kati ya Maombi
Tumia kamusi za cb_kwargs na meta kubeba muktadha kutoka ombi moja hadi jingine. Muktadha ulioshirikiwa unawezesha uundaji wa rekodi za kurasa nyingi.

Sura ya 6Angalia maelezo

Mabomba ya Scrapy na Hifadhi ya Data

Somo la 1 • Kusafirisha Data kwa CSV na JSON
Tumia wasafirishaji wa malisho waliojengwa ndani ya Scrapy kuandika vitu kwa faili za bapa. Usafirishaji wa faili za bapa ndiyo njia ya haraka zaidi kutoka kwa programu ya kutambaa hadi data inayoweza kutumika.
Somo la 2 • Kuunda Vipengele vya Bomba Maalum
Jenga madarasa ya bomba ambayo husafisha, huondoa nakala, au huboresha vitu kabla ya kuhifadhi. Mabomba maalum yanashughulikia mantiki ambayo wasafirishaji hawawezi kuelezea.
Somo la 3 • Kuhifadhi Data kwenye MongoDB
Andika bomba linaloingiza vitu kwenye mkusanyiko wa MongoDB kwa kutumia PyMongo. Hifadhi ya hati inafaa data iliyotolewa yenye sehemu zinazobadilika au zilizowekwa ndani.
Somo la 4 • Kuhifadhi Data kwenye Hifadhidata ya SQL
Unganisha bomba kwenye hifadhidata ya uhusiano na uingize vitu safu kwa safu. Hifadhi ya hifadhidata inawezesha kuhoji na usimamizi wa data wa muda mrefu.
Somo la 5 • Kuelewa Muundo wa Bomba
Fuatilia jinsi vitu vinavyotiririka kutoka kwa programu za kutambaa kupitia vipengele vya bomba vilivyopangwa. Kuelewa mtiririko huu inahitajika ili kubuni mnyororo mzuri wa usindikaji.

Sura ya 7Angalia maelezo

Kushughulikia Hatua za Kuzuia Utambaa

Somo la 1 • Kuelewa Mbinu za Kugundua Roboti
Orodhesha ishara za upande wa seva zinazotumiwa kutambua trafiki ya kiotomatiki. Kujua mbinu za ugunduzi kunajulisha hatua za kukabiliana zinazotumiwa katika sehemu za baadaye.
Somo la 2 • Kupunguza Kasi ya Maombi kwa AutoThrottle
Wezesha kiendelezi cha AutoThrottle cha Scrapy kurekebisha viwango vya maombi kulingana na nyakati za majibu ya seva. Utambaa wa heshima unapunguza hatari ya kupigwa marufuku kwa vikomo vya kasi.
Somo la 3 • Kuzungusha Wakala wa Mtumiaji na Vichwa
Sanidi middleware ili kubahatisha mifuatano ya wakala wa mtumiaji na vichwa vya HTTP kwa kila ombi. Uzungushaji wa vichwa unapunguza alama ya kidole ambayo inawezesha ugunduzi wa roboti.
Somo la 4 • Kutumia Uzungushaji wa Wakala
Elekeza maombi kupitia mabwawa ya wakala yanayozungushwa ili kusambaza trafiki kwenye anwani nyingi za IP. Uzungushaji wa wakala ndio ulinzi mkuu dhidi ya vizuizi vinavyotegemea IP.
Somo la 5 • Kusimamia Kuki na Vipindi
Dhibiti ushughulikiaji wa kuki ili kudumisha vipindi au kutenga maombi inavyohitajika. Usimamizi sahihi wa vipindi unazuia vizuizi vya ukurasa wa kuingia na ugunduzi unaotegemea kipindi.

Sura ya 8Angalia maelezo

Kutambaa Kurasa Zinazotolewa na JavaScript

Somo la 1 • Kushughulikia Utelezaji Usio na Kikomo na Upakiaji wa Uvivu
Otomatisha vitendo vya kutembeza na uanzishe matukio ya upakiaji wa uvivu ili kufichua maudhui yaliyofichwa. Mbinu hizi zinakamilisha utoaji wa seti za data kwenye kurasa za kisasa za mtindo wa malisho.
Somo la 2 • Kutambua Maudhui Yanayotolewa na JavaScript
Tofautisha kati ya HTML inayotolewa na seva na maudhui yanayotolewa na mteja kabla ya kuchagua mkakati wa kutambaa. Utambuzi sahihi unazuia juhudi zisizo na matokeo kwenye mbinu isiyo sahihi.
Somo la 3 • Mafungu ya Utendaji wa Uendeshaji wa Kivinjari kiotomatiki
Linganisha kasi, gharama ya rasilimali, na uaminifu wa vivinjari visivyo na kichwa dhidi ya maombi ya moja kwa moja ya HTTP. Maamuzi sahihi ya mafungu huweka miradi inayoweza kutunzika na yenye ufanisi.
Somo la 4 • Kuunganisha Scrapy na Playwright
Tumia maktaba ya scrapy-playwright kuwasilisha JavaScript ndani ya bomba la maombi la Scrapy. Ushirikiano wa Playwright unashughulikia tovuti ambapo kukatiza API hakunawezekana.
Somo la 5 • Kukatiza Simu za API Moja kwa Moja
Chambua nyuma maombi ya API ya msingi ambayo kivinjari hufanya na uyatie moja kwa moja kwa kutumia Scrapy. Simu za moja kwa moja za API ni za haraka na thabiti zaidi kuliko uendeshaji wa kivinjari kiotomatiki.

Cheti

Cheti chako halali cha kukamilisha

Kozi hii ni kwa ajili yako:

Wachambuzi wa data wanaotaka kufanikiwa: wanahitaji seti halisi za data bila kutegemea watoa huduma wa tatu.
Wapenzi wa Python: tayari kuhamia zaidi ya mafunzo na kujenga kitu muhimu kweli.
Waendelezaji wa kujitegemea: wanataka kutoa ukusanyaji wa data kiotomatiki kama huduma inayolipishwa.
Wabadilishaji wa njia ya kazi: wanalenga majukumu ya data au backend na wanahitaji mradi madhubuti wa kwingineko.
Watafiti na wasomi: wanapaswa kukusanya data za mtandaoni mara kwa mara bila kunakili na kubandika kwa mikono.
Wamiliki wa biashara ndogo: wanataka kufuatilia washindani au kukusanya taarifa za soko kiotomatiki.

Kile wanasema wanafunzi wetu

Madarasa yenu ni kamilifu. Nimenunua kifurushi cha mwaka mmoja na hatimaye nina nafasi ya kufuata mada mbalimbali zinazovutia bila kulazimika kubadilisha majukwaa... Nawashukuru kwa kila kitu mnachofanya, tayari nimewashauri kwa watu wengine...