Dedika ni jukwaa la kujifunza kwa vitendo: kuandaa pendekezo la kibiashara, kuwa mtaalamu wa kucha, au kutumia zana mpya, kwa mfano. Haijalishi lengo lako ni lipi, maudhui bora kuhusu mada hiyo tayari yapo. Lakini mara nyingi yapo katika lugha nyingine, ni ghali, yameenea sehemu mbalimbali, hayana shughuli za kufanya mazoezi, au yanapatikana kwenye kozi ndefu mno kwa watu wenye ratiba ngumu. Ndiyo maana Dedika ina mbinu yake maalum: tunatafuta nyenzo hizi popote zilipo, tunapanga kile kinachofaa kwa malengo yako, tunakagua kwa msaada wa wataalamu waliopo kujibu maswali, na tunatengeneza mazoezi ili ujifunze kwa kufanya. Wewe ndiye wa muhimu zaidi kwenye safari yako na hakuna anayekujua vyema zaidi: chagua maudhui na muda wa kozi, kama utajifunza ukiwa na au bila intaneti na kwa aina ipi. Inaweza kuwa video, maandishi, sauti au muhtasari. Kwa njia yako, na kile tu kinachokufaa. Hapa, kila muda unaotumia kujifunza una thamani zaidi na unafika haraka kwenye kile kinachohitajika.

Ndio, kozi zetu zote zina toleo la bure. Kozi za bure zina maudhui yale yale ya hali ya juu kama toleo la Pro, lakini hazina mwalimu wala upimaji wa AI (ingekuwa ghali sana kutoa bure), hazina upatikanaji bila mtandao, wala uwezo wa kuchapisha muhtasari, kuna kikomo cha saa moja ya kujifunza kwa siku, na upatikanaji wa siku 90 (muda wa kutosha kumaliza kozi). Kama unalenga kujifunza, kozi yetu ya bure itatosha kupata maarifa yote unayohitaji. Hata hivyo, kama unahitaji manufaa mengine, ni bora uchague Pro. Fedha zinazopatikana kutokana na kozi za Pro ni muhimu sana ili tuendelee kutoa kozi za bure. Kwa njia hii, tunajaribu kusawazisha dhamira yetu na uendelevu wa mradi.

Kozi zinajumuisha maudhui bora zaidi duniani kuhusu mada husika: video, sauti, makala, na vitabu. Maudhui haya yote yana muhtasari, podikasti (kwa vitabu na makala), na maandishi (kwa video na sauti). Unachagua jinsi unavyopenda kutumia maudhui hayo. Kila nyenzo ina maswali maalum ya kuimarisha maarifa. Zaidi ya hayo, kozi inaundwa na sura unazochagua, hivyo unaweza kusoma kile tu kinachokuhusu. Mwisho wa kila sura, kuna mradi wa vitendo unaohusiana na taaluma yako ili kufanya mazoezi ya ulichokijifunza.

Muda wa kozi utakuwa ule utakaoamua wakati wa kuchagua sura, ukitofautiana kati ya saa 10 hadi 300, kulingana na mahitaji yako.

Kozi zetu zinajumuisha muhtasari mwishoni mwa kila sura, ambao unaweza kupakua kama PDF na kuuchapisha.

Zaidi ya wanafunzi milioni 2 duniani kote

Inapatikana katika nchi zaidi ya 180

Cheti chako cha kuhitimu kinatambuliwa nchini kwako

Ukurasa wa Nyumbani

...

Kozi ya Data Engineering

Kozi zote

Uhandisi, Ujenzi na Teknolojia

Teknolojia

Kozi ya Data Engineering

Kwa viwango vyote

Kozi ya Data Engineering

4.4

Fahamu kila safu ya uhandisi wa kisasa wa data, kuanzia ulaji na ubadilishaji hadi uratibu, mkondo, na utawala. Kozi hii inakupa kina cha kiufundi na ujuzi wa vitendo ili kubuni majukwaa ya data ya kiwango cha uzalishaji kwenye wingu. Iwe unaingia kwenye fani au unajiongezea kiwango, utahitimu ukiwa tayari kujenga mifumo ambayo mashirika halisi yanategemea.

Dedika kwa biashara

Unachojifunza:

Utaanza kwa kumudu SQL, uundaji wa mfano wa data ya uhusiano, na muundo wa ghala la data la wingu, kisha uendelee kujenga mifumo ya usafirishaji wa data ya kuaminika kwa vyanzo vya batch na streaming. Utajifunza kubadilisha data ghafi kuwa seti za data tayari kwa uchambuzi kwa kutumia zana za SQL na Python, na kujiendesha kiotomatiki kazi ngumu kwa mifumo ya uratibu ya DAG. Kozi inashughulikia usindikaji wa mkondo wa wakati halisi, utekelezaji wa ubora wa data, na utawala wa jukwaa pamoja na udhibiti wa ufikiaji na kufuata sheria. Pia utachunguza miundombinu kama msimbo, mazoea ya DataOps, mifumo ya usafirishaji wa data ya ujifunzaji wa mashine, na mitindo ibuka kama data mesh na uhandisi unaosaidiwa na AI. Kila mada inaunganishwa moja kwa moja na maamuzi na mchanganyiko utakaokutana nayo katika jukumu la kitaaluma la uhandisi wa data.

Jinsi unavyosoma kwa vitendo Kozi ya Data Engineering

Jinsi unavyofanya mazoezi Kozi ya Data Engineering

Kwa wewe ambaye ni kampuni na unataka kufundisha timu yako

Katika Dedika kwa kampuni, kozi inakuja na mazoezi na mifano inayohusiana na biashara yako na kwa njia ambayo kampuni yako inahitaji.

Bofya hapa

Maudhui ya Kozi

Sura 8 • Masomo 39Muda kati ya saa 4 na 360 (unachagua)

Sura ya 1Angalia maelezo

Misingi ya Uhandisi wa Data

Somo la 1 • Mandhari ya Uhandisi wa Data
Inafafanua wigo wa uhandisi wa data, ikitofautisha na sayansi ya data na uchanganuzi. Inaanzisha msamiati unaotumika katika kozi nzima.
Somo la 2 • Vipengele vya Msingi vya Miundombinu ya Data
Inaanzisha hifadhidata, ghala la data, maziwa ya data, na nyumba za ziwa kama mifumo tofauti ya miundombinu. Inawatayarisha wanafunzi kuchagua usanifu sahihi wa uhifadhi.
Somo la 3 • Dhana za Mfumo wa Usafirishaji wa Data na Mkondo wa Kazi
Inaeleza mfumo wa usafirishaji wa data ni nini, hatua zake, na jinsi uratibu unavyounganisha hatua pamoja. Inawaweka wanafunzi katika mawazo ya mfumo kabla ya utekelezaji wa vitendo.
Somo la 4 • Misingi ya Aina za Data na Uhifadhi
Inashughulikia muundo wa data uliopangwa, ulio na muundo nusu, na usio na muundo na athari zake za uhifadhi. Inaunganisha chaguo za uhifadhi na mahitaji ya usindikaji wa chini.

Sura ya 2Angalia maelezo

Misingi ya SQL na Uundaji wa Mfano wa Data wa Uhusiano

Somo la 1 • Uundaji wa Mfano wa Dimensional kwa Uchanganuzi
Inashughulikia schemas za nyota na theluji, meza za ukweli, na meza za vipimo kwa ajili ya mizigo ya kazi ya uchanganuzi. Inaunganisha nadharia ya uhusiano na muundo wa ghala katika sura za baadaye.
Somo la 2 • Mbinu za Juu za SQL
Inafundisha kazi za dirisha, CTEs, na utendakazi wa seti kwa ajili ya maswali changamano ya uchanganuzi. Inawawezesha wanafunzi kushughulikia mantiki halisi ya kuripoti na mabadiliko.
Somo la 3 • Utendaji wa SQL na Uboreshaji
Inachunguza mipango ya utekelezaji wa maswali, upangaji kwa sehemu, na mikakati ya uorodheshaji ili kuboresha kasi ya maswali. Inawatayarisha wanafunzi kuandika SQL ya kiwango cha uzalishaji kwa kiwango kikubwa.
Somo la 4 • Kanuni za Uundaji wa Mfano wa Data wa Uhusiano
Inaanzisha aina za urekebishaji na uundaji wa mfano wa uhusiano-huluki kwa ajili ya mifumo ya miamala. Inatoa msingi wa muundo wa schema unaohitajika kabla ya uundaji wa mfano wa uchanganuzi.
Somo la 5 • Misingi ya Maswali ya SQL
Inashughulikia SELECT, uchujaji, ujumlishaji, na uunganishaji kama vipande vya ujenzi vya urejeshaji data. Inasaidia moja kwa moja kazi zote za mabadiliko zinazofuata katika kozi.

Sura ya 3Angalia maelezo

Kumeza Data na Mifumo ya Chanzo

Somo la 1 • Misingi ya Kumeza kwa Mtiririshaji
Inaanzisha dhana za utiririshaji wa matukio, wazalishaji, watumiaji, na mada kwa ajili ya kumeza kwa wakati halisi. Inaweka msingi wa sura ya usindikaji wa utiririshaji inayofuata.
Somo la 2 • Mbinu za Kumeza kwa Kundi
Inashughulikia mifumo ya upakiaji kamili, upakiaji nyongeza, na kukamata mabadiliko ya data (CDC) kwa ajili ya uchimbaji wa kundi. Inawafundisha wanafunzi kusawazisha ukamilifu na gharama ya kumeza.
Somo la 3 • Kumeza Data kutoka API na Wavuti
Inaonyesha kutoa data kutoka kwa API za REST, kushughulikia upagawaji, uthibitishaji, na vikomo vya kasi. Inaunganisha na hali halisi za ujumuishaji wa data za SaaS na wahusika wengine.
Somo la 4 • Kuelewa Mifumo ya Chanzo
Inachunguza hifadhidata za OLTP, API, mitiririko ya matukio, na faili bapa kama vyanzo vya kawaida vya data. Inaweka mazingira ya kuchagua mkakati sahihi wa kumeza kwa kila aina ya chanzo.
Somo la 5 • Kuegemea kwa Mfumo wa Kumeza
Inashughulikia ushughulikiaji wa makosa, mageuzi ya schema, na ufuatiliaji kwa ajili ya mifumo ya kumeza ya uzalishaji. Inahakikisha wanafunzi wanaweza kujenga mifumo ya kumeza inayostahimili na inayoonekana.

Sura ya 4Angalia maelezo

Muundo wa Ghala la Data na Hifadhi ya Wingu

Somo la 1 • Usanifu wa Ghala la Data la Wingu
Inachunguza utengano wa kompyuta na uhifadhi, injini za maswali za MPP, na upanuzi wa ushirikiano. Inatoa mazingira ya usanifu kwa maamuzi yote ya muundo wa ghala.
Somo la 2 • Muundo wa Ziwa la Data na Hifadhi ya Vitu
Inashughulikia safu za folda, uteuzi wa umbizo la faili, na kupunguza kwa sehemu katika mazingira ya uhifadhi wa vitu. Inawatayarisha wanafunzi kusimamia maeneo ghafi na yaliyosafishwa katika ziwa la data.
Somo la 3 • Mifumo ya Muundo wa Schema ya Ghala
Inatumia uundaji wa mfano wa dimensional kutoka Sura ya 2 kwa muundo wa schema halisi ya ghala kwa kutumia upangaji kwa sehemu na upangaji kwa makundi. Inaunganisha nadharia na utekelezaji wa ghala la uzalishaji.
Somo la 4 • Miundo ya Jedwali na Viwango Wazi
Inaanzisha miundo wazi ya jedwali inayoongeza miamala ya ACID na mageuzi ya schema kwenye maziwa ya data. Inawawezesha wanafunzi kutekeleza mifumo ya nyumba ya ziwa kwenye uhifadhi wa vitu wingu.
Somo la 5 • Uhifadhi wa Data na Usimamizi wa Mzunguko wa Maisha
Inashughulikia uhifadhi wa tabaka, sera za kuhifadhi kumbukumbu, na sheria za kumalizika kwa data kwa gharama na utii. Inaunganisha muundo wa uhifadhi na mahitaji ya kiutendaji na kisheria.

Sura ya 5Angalia maelezo

Mabadiliko na Usindikaji wa Data

Somo la 1 • Mabadiliko ya Data kwa Kujengwa juu ya Python
Inaanzisha pandas na PySpark kwa mabadiliko ya programu ya seti kubwa za data. Inapanua mkusanyiko wa zana za wanafunzi zaidi ya SQL kwa mabadiliko changamano au yasiyo ya uhusiano.
Somo la 2 • Mabadiliko kwa kutumia Zana za SQL
Inafundisha mabadiliko ya SQL yenye moduli kwa kutumia makubaliano ya uundaji wa mfano wa tabaka kama vile tabaka za kuweka, za kati, na za mwisho. Inaunganisha ujuzi wa SQL kutoka Sura ya 2 na mikondo ya kazi ya uzalishaji.
Somo la 3 • Usafishaji wa Data na Utekelezaji wa Ubora
Inashughulikia uondoaji wa nakala rudufu, ushughulikiaji wa thamani tupu, usimbaji wa aina, na uthibitishaji wa vizuizi wakati wa mabadiliko. Inaboresha moja kwa moja kuegemea kwa matokeo ya uchanganuzi wa chini.
Somo la 4 • Mifumo ya ETL dhidi ya ELT
Inalinganisha usanifu wa extract-transform-load na extract-load-transform na maelewano yao. Inawaongoza wanafunzi kuchagua mfumo sahihi kwa jukwaa fulani.
Somo la 5 • Kupima na Kuthibitisha Mabadiliko
Inaanzisha upimaji wa kitengo, uthibitishaji wa mkataba wa data, na upatanishi wa hesabu ya safu mlalo kwa mantiki ya mabadiliko. Inahakikisha msimbo wa mabadiliko unaweza kuthibitishwa na kudumishwa.

Sura ya 6Angalia maelezo

Uratibu wa Mfumo na Uendeshaji otomatiki wa Mkondo wa Kazi

Somo la 1 • Kujenga na Kusanidi DAGs
Inashughulikia uandishi wa DAGs kwa kutumia waendeshaji, sensorer, na ndoano kwa ajili ya kazi za kawaida za data. Inatafsiri dhana za uratibu kuwa msimbo wa mfumo unaofanya kazi.
Somo la 2 • Dhana na Mifumo ya Uratibu
Inafafanua DAGs, utegemezi wa kazi, vivutio, na vipindi vya upangaji ratiba kama viambishi awali vya uratibu. Inaanzisha mfano wa akili kwa kazi zote za uratibu za vitendo.
Somo la 3 • Ufuatiliaji na Uonekanaji wa Mfumo
Inaanzisha mikakati ya uandishi wa kumbukumbu, ukusanyaji wa vipimo, na arifa kwa ajili ya mifumo iliyoratibiwa. Inawatayarisha wanafunzi kudumisha afya ya mfumo katika uzalishaji.
Somo la 4 • Upangaji Ratiba na Usimamizi wa Utegemezi
Inafundisha upangaji ratiba wa cron, utegemezi wa DAG mtambuka, na mifumo ya upangaji ratiba inayofahamu data. Inawawezesha wanafunzi kuratibu mikondo ya kazi changamano ya mifumo mingi.
Somo la 5 • Ushughulikiaji wa Makosa na Mantiki ya Kurudia
Inatekeleza sera za kurudia, usanidi wa muda wa kuisha, na kwa nyuma za hitilafu kwa ajili ya mifumo inayostahimili. Inapunguza moja kwa moja uingiliaji wa mikono katika mazingira ya uzalishaji.

Sura ya 7Angalia maelezo

Uhandisi wa Data Mtiririshaji

Somo la 1 • Uendeshaji wa Usindikaji wa Mtiririko
Inafundisha uchujaji, uchoraji ramani, ujumlishaji, na uunganishaji kwenye mitiririko ya matukio isiyo na kikomo. Inawawezesha wanafunzi kutekeleza mantiki ya msingi ya mabadiliko katika muktadha wa utiririshaji.
Somo la 2 • Misingi ya Usanifu wa Utiririshaji
Inalinganisha usindikaji wa utiririshaji na usindikaji wa kundi na inaanzisha mifumo ya usanifu ya Lambda na Kappa. Inatoa msamiati wa muundo kwa kazi zote za utekelezaji wa utiririshaji.
Somo la 3 • Ujumuishaji na Pato la Mfumo wa Utiririshaji
Inashughulikia kuzamisha mitiririko iliyosindikwa kwenye hifadhidata, maghala, na mada za chini. Inaunganisha matokeo ya utiririshaji na jukwaa pana la data lililojengwa katika sura za awali.
Somo la 4 • Utiririshaji wenye Hali na Uvumilivu wa Hitilafu
Inashughulikia hifadhi za hali, uwekaji alama ya kuangalia, na alama za maji kwa ajili ya usindikaji wa utiririshaji wenye hali unaotegemeka. Inahakikisha wanafunzi wanaweza kujenga mifumo ya utiririshaji inayostahimili hitilafu.
Somo la 5 • Wapeperushaji Ujumbe na Foleni za Matukio
Inashughulikia dhana za wapeperushaji ujumbe waliosambazwa ikijumuisha mada, sehemu, ofseti, na vikundi vya watumiaji. Inajenga juu ya dhana za kumeza kutoka Sura ya 3 kwa maelezo zaidi ya kiutendaji.

Sura ya 8Angalia maelezo

Ubora wa Data, Utawala, na Usalama

Somo la 1 • Utii wa Udhibiti na Faragha ya Data
Inashughulikia makazi ya data, majukumu ya uhifadhi, usimamizi wa idhini, na haki ya kufutwa. Inawatayarisha wanafunzi kujenga majukwaa yanayokidhi mahitaji ya faragha na utii.
Somo la 2 • Katalogi ya Data na Usimamizi wa Metadata
Inashughulikia ugunduzi wa data, ufuatiliaji wa asili, na usimamizi wa kamusi ya biashara katika katalogi ya data. Inawawezesha timu kupata, kuelewa, na kuamini rasilimali za data.
Somo la 3 • Udhibiti wa Ufikiaji na Usalama wa Data
Inatekeleza udhibiti wa ufikiaji kulingana na jukumu, ufunikaji wa safu wima, na usalama katika ngazi ya safu mlalo kwenye rasilimali za data. Inalinda data nyeti huku ikiwezesha ufikiaji sahihi wa uchanganuzi.
Somo la 4 • Mikataba ya Data na Matarajio
Inaanzisha mikataba ya schema, matarajio katika ngazi ya safu wima, na malango ya ubora kiotomatiki katika mifumo. Inazuia data mbaya kuenea kwa watumiaji wa chini.
Somo la 5 • Vipimo na Vipimo vya Ubora wa Data
Inafafanua ukamilifu, usahihi, uthabiti, uwakati, na upekee kama vipimo vya ubora vinavyoweza kupimika. Inawapa wanafunzi mfumo wa kutathmini na kuripoti afya ya data.

Cheti

Cheti chako halali cha kukamilisha

Kozi hii ni kwa ajili yako:

Watengenezaji programu waliotayari kutaalamika katika miundombinu na mifumo ya usafirishaji wa data.
Wachambuzi wa data wanaotaka kuondoka kwenye dashibodi na kuingia katika majukumu ya uhandisi.
Wahandisi wa backend wanaotaka kujua jinsi mifumo mikubwa ya data inavyofanya kazi.
Wahitimu wapya wanaotafuta njia iliyopangwa kuingia katika kazi ya kiufundi inayohitajika sana.
Wataalamu wa akili ya biashara wanaokua zaidi ya zana na majukumu yao ya sasa.
Wabadilishaji kazi wenye asili ya kiufundi wanaolenga kuingia kwenye fani ya data.

Kile wanasema wanafunzi wetu

Madarasa yenu ni kamilifu. Nimenunua kifurushi cha mwaka mmoja na hatimaye nina nafasi ya kufuata mada mbalimbali zinazovutia bila kulazimika kubadilisha majukwaa... Nawashukuru kwa kila kitu mnachofanya, tayari nimewashauri kwa watu wengine...