Dedika ni jukwaa la kujifunza kwa vitendo: kama kuandaa pendekezo la biashara, kuwa mtaalamu wa kucha, au kutumia zana mpya, kwa mfano. Haijalishi lengo lako ni lipi, tayari kuna maudhui bora kuhusu mada hiyo. Changamoto ni kwamba mara nyingi yapo kwa lugha nyingine, ni ghali, yamezagaa mtandaoni, hayana mazoezi ya kujifunza, au yanapatikana kwenye kozi ndefu mno kwa watu wenye ratiba ngumu. Ndiyo maana Dedika ina mbinu yake maalum: tunatafuta hayo maudhui popote yalipo, tunapanga yale yanayokufaa kulingana na malengo yako, tunayapitia kwa msaada wa wataalamu waliopo kujibu maswali, na tunaandaa mazoezi ili ujifunze kwa kufanya. Wewe ndiye wa muhimu zaidi kwenye safari yako ya kujifunza na hakuna anayekujua zaidi: chagua maudhui na muda wa kozi, kama utajifunza ukiwa na au bila intaneti, na kwa mfumo upi. Inaweza kuwa kwa video, maandishi, sauti au muhtasari. Kwa njia yako, na kile tu kinachokufaa. Hapa, kila dakika unayowekeza ina thamani zaidi na unafikia malengo yako haraka.

Ndio, kozi zetu zote zina toleo la bure. Kozi za bure zina maudhui yale yale ya hali ya juu kama za Pro, lakini hazina mwalimu wala upimaji wa AI (ingekuwa ghali sana kutoa bure), hazina upatikanaji bila mtandao, wala uwezo wa kuchapisha muhtasari, kuna kikomo cha saa moja ya kujifunza kwa siku, na upatikanaji wa siku 90 (muda wa kutosha kumaliza kozi). Kama lengo lako ni kujifunza, kozi yetu ya bure itatosha kupata maarifa yote unayohitaji. Hata hivyo, kama unahitaji manufaa mengine, ni bora uchague Pro. Fedha zinazopatikana kutokana na kozi za Pro ni muhimu ili tuendelee kutoa kozi za bure. Kwa njia hii, tunajaribu kusawazisha dhamira yetu na uendelevu wa mradi.

Kozi zinajumuisha maudhui bora zaidi duniani kuhusu mada husika: video, sauti, makala, na vitabu. Maudhui haya yote yanakuja na muhtasari, podcast (kwa vitabu na makala), na maandishi (kwa video na sauti). Unachagua jinsi unavyopenda kutumia maudhui hayo. Kila nyenzo ina maswali maalum ya kuimarisha maarifa. Pia, kozi inaundwa na sura unazochagua, hivyo unaweza kusoma kile tu kinachokuhusu. Mwisho wa kila sura, kuna mradi wa vitendo unaohusiana na taaluma yako ili kufanya mazoezi ya ulichokijifunza.

Kozi zetu zinajumuisha muhtasari mwisho wa kila sura, ambapo unaweza kupakua PDF na kuichapisha.

Zaidi ya wanafunzi milioni 2 duniani kote

Inapatikana katika nchi zaidi ya 180

Cheti chako kitakuja kuwa halali nchini mwako kikamilifu

Ukurasa wa Nyumbani

...

Kozi ya Web Scraping kwa Python na Scrapy

Kozi zote

Uhandisi, Ujenzi na Teknolojia

Teknolojia

Kozi ya Web Scraping kwa Python na Scrapy

Kwa viwango vyote

Kozi ya Web Scraping kwa Python na Scrapy

Jifunze kukusanya data kutoka kwa tovuti yoyote kwa kutumia Python na Scrapy — mojawapo ya mifumo yenye nguvu zaidi ya kutambaa wavuti inayopatikana. Kozi hii inakupeleka kutoka kusanidi mazingira hadi kujenga programu za kutambaa wavuti tayari kwa uzalishaji zinazoshughulikia kurasa, hatua za kuzuia boti, na kurasa zilizotolewa na JavaScript. Mwishoni, utakuwa na mradi wa kwingineko na ujuzi wa vitendo wa kuweka otomatiki ukusanyaji wa data kwa kiwango kikubwa.

Dedika kwa biashara

Utakachojifunza:

Sanidi mazingira ya kitaaluma ya uendelezaji ya Python na Scrapy kutoka mwanzo.
Jenga programu za kutambaa wavuti zinazofuata viungo vya kurasa na kutambaa tovuti nzima za kurasa nyingi kiotomatiki.
Toa, safisha, na hifadhi data iliyopangwa katika CSV, JSON, SQLite, na MongoDB.
Tumia mzunguko wa proksi, ubandiaji wa wakala wa mtumiaji, na AutoThrottle ili kukwepa ulinzi wa kawaida dhidi ya kutambaa.
Tambaa kurasa zilizotolewa na JavaScript na programu za ukurasa mmoja kwa kutumia muunganisho wa Playwright.
Sanidi miradi ya kutambaa kutoka mwisho hadi mwisho kwa mifereji inayoweza kutumika tena, mifumo ya vitu, na uratibu wa kiotomatiki.

Jinsi unavyosoma kwa vitendo Kozi ya Web Scraping kwa Python na Scrapy

Jinsi unavyofanya mazoezi Kozi ya Web Scraping kwa Python na Scrapy

Kwa ajili yako ambaye ni kampuni na unataka kufundisha timu yako

Katika Dedika kwa ajili ya kampuni, kozi inakuja na mazoezi na mifano inayohusiana na biashara yako na jinsi kampuni yako inavyohitaji.

Bofya hapa

Maudhui ya kozi

8 Suras • 37 MasomoMuda kati ya 4 na 360 masaa (wewe unachagua)

Sura 1Tazama maelezo

Python na Mazingira ya Kuanzisha Scrapy

Somo 1 • Mazingira Pepe kwa Miradi ya Python
Unda mazingira pepe yaliyotengwa ili kusimamia vitegemezi vya mradi kwa usafi. Utengaji huzuia migogoro ya vifurushi katika miradi mingi.
Somo 2 • Usanidi wa Kihariri cha Misimbo kwa Miradi ya Scrapy
Sanidi kihariri cha misimbo chenye usaidizi wa Python, ukaguzi wa misimbo, na uangaziaji wa sintaksia. Zana sahihi huharakisha uendelezaji na kupunguza makosa ya sintaksia.
Somo 3 • Kusakinisha Scrapy na Vitegemezi Vyake
Sakinisha Scrapy kupitia pip na utatue matatizo ya kawaida ya vitegemezi. Usakinishaji safi unathibitisha mazingira yako tayari kwa uendelezaji wa programu za kutambaa wavuti.
Somo 4 • Usakinishaji na Usanidi wa Python
Sakinisha Python na usanidi vigezo vya PATH kwa ufikiaji wa amri ya mstari. Usanidi sahihi hapa unazuia makosa ya mazingira katika kozi yote.

Sura 2Tazama maelezo

Misingi ya Wavuti kwa Programu za Kutambaa

Somo 1 • Zana za Uendelezaji za Kivinjari kwa Utafiti wa Programu za Kutambaa
Tumia zana za uendelezaji za kivinjari kukagua vipengele, kufuatilia trafiki ya mtandao, na kunakili viteuzi. Mfumo huu wa utafiti unaelekeza moja kwa moja muundo wa programu ya kutambaa.
Somo 2 • Misemo ya XPath kwa Uteuzi wa Hali ya Juu
Andika misemo ya XPath ili kuabiri DOM kwa unyumbufu zaidi kuliko CSS pekee. XPath inashughulikia mifumo changamano ya urambazaji ambayo CSS haiwezi kuelezea.
Somo 3 • Jinsi Maombi ya HTTP na Majibu Yanavyofanya Kazi
Fuatilia mzunguko wa maisha ya ombi la HTTP kutoka kwa kivinjari hadi seva na kurudi. Mfano huu unaelezea kile Scrapy inachonakili wakati wa kuleta kurasa.
Somo 4 • Viteuzi vya CSS kwa Ulengeaji wa Data
Tumia sintaksia ya viteuzi vya CSS kubainisha vipengele maalum ndani ya hati ya HTML. Viteuzi hivi ndio nyenzo kuu ya ulengaji katika programu za kutambaa za Scrapy.
Somo 5 • Muundo wa HTML na DOM
Soma na ufasiri hati za HTML kama miundo ya mti iliyowekwa ndani. Kuelewa DOM ni muhimu kwa kuandika viteuzi sahihi vya CSS na XPath.

Sura 3Tazama maelezo

Kuunda Programu Yako ya Kwanza ya Kutambaa Wavuti ya Scrapy

Somo 1 • Kuendesha na Kutatua Hitilafu za Programu za Kutambaa
Tekeleza programu za kutambaa kwa amri ya scrapy crawl na ufasiri matokeo ya kumbukumbu. Ujuzi wa utatuzi wa hitilafu unapunguza muda unaotumika kwenye programu za kutambaa zilizovunjika.
Somo 2 • Anatomia ya Darasa la Programu ya Kutambaa ya Scrapy
Chunguza darasa la msingi la Spider na sifa na mbinu zake zinazohitajika. Kila programu ya kutambaa inarithi muundo huu, hivyo kuimudu ni msingi.
Somo 3 • Kutoa Data kwa Viteuzi
Tumia viteuzi vya CSS na XPath ndani ya mbinu ya parse ili kutoa maandishi na sifa. Utoaji sahihi ni ujuzi wa msingi wa programu yoyote ya kutambaa.
Somo 4 • Muundo wa Mradi wa Scrapy Umeelezwa
Zalisha mradi wa Scrapy na uelewe jukumu la kila faili iliyozalishwa. Kujua muundo kunazuia makosa ya uwekaji wa misimbo na usanidi.

Sura 4Tazama maelezo

Vitu vya Scrapy na Uundaji wa Data

Somo 1 • Usafishaji wa Data kwa Vishakishi
Andika kazi za kishakishi maalum ili kuondoa nafasi, kubadilisha aina, na kurekebisha thamani za sehemu. Data safi katika kiwango cha kipakiaji inapunguza utata wa bomba la usindikaji wa chini.
Somo 2 • Kufafanua Vitu vya Scrapy
Tangaza madarasa ya Kitu yenye sehemu zenye aina ili kuwakilisha rekodi zilizotolewa. Vitu vinashurutisha schema thabiti katika programu zote za kutambaa kwenye mradi.
Somo 3 • Kutumia Vipakiaji vya Vitu kwa Data Safi
Tumia Vipakiaji vya Vitu ili kuotomatisha usindikaji wa pembezo na pato kwenye thamani za sehemu. Vipakiaji vinatenganisha mantiki ya utoaji kutoka kwa mantiki ya usafishaji kwa urahisi wa utunzaji.
Somo 4 • Kuthibitisha Data Iliyotolewa
Ongeza uthibitishaji wa kiwango cha sehemu ili kukamata rekodi mbaya kabla hazijafika kwenye hifadhi. Uthibitishaji wa mapema unazuia data potofu kuingia kwenye mabomba.

Sura 5Tazama maelezo

Kutambaa Kurasa na Tovuti Nyingi

Somo 1 • Kufuata Viungo na Maombi ya Scrapy
Toa vitu vya scrapy.Request kutoka kwa mbinu za parse ili kuagiza programu ya kutambaa kuleta URL za ziada. Kufuata viungo ni utaratibu nyuma ya utambaa wa tovuti nzima.
Somo 2 • Kutumia CrawlSpider kwa Utambaa unaotegemea Kanuni
Tumia kikundi cha CrawlSpider na vitu vya Kanuni kufafanua mifumo ya kufuata viungo kwa tamko. Kanuni zinapunguza kazi ya urudiarudia kwa tovuti kubwa, zenye muundo.
Somo 3 • Kusimamia Kina na Upeo wa Utambaa
Sanidi vikomo vya kina na vichujio vya URL ili kuweka utambaa umelengwa na ufanisi. Udhibiti wa upeo unazuia utambaa usiodhibitiwa unaotumia rasilimali.
Somo 4 • Mikakati ya Kurasa
Gundua na ufuate viungo vya kurasa zinazofuata katika mifumo ya kurasa zilizo na nambari na zenye msingi wa kiteuzi. Kushughulikia kurasa kunafungua utoaji kamili wa seti za data.
Somo 5 • Kupitisha Data Kati ya Maombi
Tumia kamusi za cb_kwargs na meta kubeba muktadha kutoka ombi moja hadi jingine. Muktadha ulioshirikiwa unawezesha uundaji wa rekodi za kurasa nyingi.

Sura 6Tazama maelezo

Mabomba ya Scrapy na Hifadhi ya Data

Somo 1 • Kusafirisha Data kwa CSV na JSON
Tumia wasafirishaji wa malisho waliojengwa ndani ya Scrapy kuandika vitu kwa faili za bapa. Usafirishaji wa faili za bapa ndiyo njia ya haraka zaidi kutoka kwa programu ya kutambaa hadi data inayoweza kutumika.
Somo 2 • Kuunda Vipengele vya Bomba Maalum
Jenga madarasa ya bomba ambayo husafisha, huondoa nakala, au huboresha vitu kabla ya kuhifadhi. Mabomba maalum yanashughulikia mantiki ambayo wasafirishaji hawawezi kuelezea.
Somo 3 • Kuhifadhi Data kwenye MongoDB
Andika bomba linaloingiza vitu kwenye mkusanyiko wa MongoDB kwa kutumia PyMongo. Hifadhi ya hati inafaa data iliyotolewa yenye sehemu zinazobadilika au zilizowekwa ndani.
Somo 4 • Kuhifadhi Data kwenye Hifadhidata ya SQL
Unganisha bomba kwenye hifadhidata ya uhusiano na uingize vitu safu kwa safu. Hifadhi ya hifadhidata inawezesha kuhoji na usimamizi wa data wa muda mrefu.
Somo 5 • Kuelewa Muundo wa Bomba
Fuatilia jinsi vitu vinavyotiririka kutoka kwa programu za kutambaa kupitia vipengele vya bomba vilivyopangwa. Kuelewa mtiririko huu inahitajika ili kubuni mnyororo mzuri wa usindikaji.

Sura 7Tazama maelezo

Kushughulikia Hatua za Kuzuia Utambaa

Somo 1 • Kuelewa Mbinu za Kugundua Roboti
Orodhesha ishara za upande wa seva zinazotumiwa kutambua trafiki ya kiotomatiki. Kujua mbinu za ugunduzi kunajulisha hatua za kukabiliana zinazotumiwa katika sehemu za baadaye.
Somo 2 • Kupunguza Kasi ya Maombi kwa AutoThrottle
Wezesha kiendelezi cha AutoThrottle cha Scrapy kurekebisha viwango vya maombi kulingana na nyakati za majibu ya seva. Utambaa wa heshima unapunguza hatari ya kupigwa marufuku kwa vikomo vya kasi.
Somo 3 • Kuzungusha Wakala wa Mtumiaji na Vichwa
Sanidi middleware ili kubahatisha mifuatano ya wakala wa mtumiaji na vichwa vya HTTP kwa kila ombi. Uzungushaji wa vichwa unapunguza alama ya kidole ambayo inawezesha ugunduzi wa roboti.
Somo 4 • Kutumia Uzungushaji wa Wakala
Elekeza maombi kupitia mabwawa ya wakala yanayozungushwa ili kusambaza trafiki kwenye anwani nyingi za IP. Uzungushaji wa wakala ndio ulinzi mkuu dhidi ya vizuizi vinavyotegemea IP.
Somo 5 • Kusimamia Kuki na Vipindi
Dhibiti ushughulikiaji wa kuki ili kudumisha vipindi au kutenga maombi inavyohitajika. Usimamizi sahihi wa vipindi unazuia vizuizi vya ukurasa wa kuingia na ugunduzi unaotegemea kipindi.

Sura 8Tazama maelezo

Kutambaa Kurasa Zinazotolewa na JavaScript

Somo 1 • Kushughulikia Utelezaji Usio na Kikomo na Upakiaji wa Uvivu
Otomatisha vitendo vya kutembeza na uanzishe matukio ya upakiaji wa uvivu ili kufichua maudhui yaliyofichwa. Mbinu hizi zinakamilisha utoaji wa seti za data kwenye kurasa za kisasa za mtindo wa malisho.
Somo 2 • Kutambua Maudhui Yanayotolewa na JavaScript
Tofautisha kati ya HTML inayotolewa na seva na maudhui yanayotolewa na mteja kabla ya kuchagua mkakati wa kutambaa. Utambuzi sahihi unazuia juhudi zisizo na matokeo kwenye mbinu isiyo sahihi.
Somo 3 • Mafungu ya Utendaji wa Uendeshaji wa Kivinjari kiotomatiki
Linganisha kasi, gharama ya rasilimali, na uaminifu wa vivinjari visivyo na kichwa dhidi ya maombi ya moja kwa moja ya HTTP. Maamuzi sahihi ya mafungu huweka miradi inayoweza kutunzika na yenye ufanisi.
Somo 4 • Kuunganisha Scrapy na Playwright
Tumia maktaba ya scrapy-playwright kuwasilisha JavaScript ndani ya bomba la maombi la Scrapy. Ushirikiano wa Playwright unashughulikia tovuti ambapo kukatiza API hakunawezekana.
Somo 5 • Kukatiza Simu za API Moja kwa Moja
Chambua nyuma maombi ya API ya msingi ambayo kivinjari hufanya na uyatie moja kwa moja kwa kutumia Scrapy. Simu za moja kwa moja za API ni za haraka na thabiti zaidi kuliko uendeshaji wa kivinjari kiotomatiki.

Uthibitisho

Cheti chako halali cha kumaliza

Kozi hii ni kwa ajili yako:

Wachambuzi wa data wanaotaka kufanikiwa: wanahitaji seti halisi za data bila kutegemea watoa huduma wa tatu.
Wapenzi wa Python: tayari kuhamia zaidi ya mafunzo na kujenga kitu muhimu kweli.
Waendelezaji wa kujitegemea: wanataka kutoa ukusanyaji wa data kiotomatiki kama huduma inayolipishwa.
Wabadilishaji wa njia ya kazi: wanalenga majukumu ya data au backend na wanahitaji mradi madhubuti wa kwingineko.
Watafiti na wasomi: wanapaswa kukusanya data za mtandaoni mara kwa mara bila kunakili na kubandika kwa mikono.
Wamiliki wa biashara ndogo: wanataka kufuatilia washindani au kukusanya taarifa za soko kiotomatiki.

Kile ambacho wanafunzi wetu wanasema

Masomo yenu ni mazuri sana. Nilinunua kifurushi cha mwaka mmoja na, hatimaye, nina fursa ya kufuata mada mbalimbali za maslahi yangu bila kuhitaji kubadilisha jukwaa... ninashukuru kwa kila kitu mnachofanya, nimeshawapendekeza kwa watu wengine...