Dedika ni jukwaa la kujifunza kwa vitendo: kama kuandaa pendekezo la biashara, kuwa mtaalamu wa kucha, au kutumia zana mpya, kwa mfano. Haijalishi lengo lako ni lipi, tayari kuna maudhui bora kuhusu mada hiyo. Changamoto ni kwamba mara nyingi yapo kwa lugha nyingine, ni ghali, yamezagaa mtandaoni, hayana mazoezi ya kujifunza, au yanapatikana kwenye kozi ndefu mno kwa watu wenye ratiba ngumu. Ndiyo maana Dedika ina mbinu yake maalum: tunatafuta hayo maudhui popote yalipo, tunapanga yale yanayokufaa kulingana na malengo yako, tunayapitia kwa msaada wa wataalamu waliopo kujibu maswali, na tunaandaa mazoezi ili ujifunze kwa kufanya. Wewe ndiye wa muhimu zaidi kwenye safari yako ya kujifunza na hakuna anayekujua zaidi: chagua maudhui na muda wa kozi, kama utajifunza ukiwa na au bila intaneti, na kwa mfumo upi. Inaweza kuwa kwa video, maandishi, sauti au muhtasari. Kwa njia yako, na kile tu kinachokufaa. Hapa, kila dakika unayowekeza ina thamani zaidi na unafikia malengo yako haraka.

Ndio, kozi zetu zote zina toleo la bure. Kozi za bure zina maudhui yale yale ya hali ya juu kama za Pro, lakini hazina mwalimu wala upimaji wa AI (ingekuwa ghali sana kutoa bure), hazina upatikanaji bila mtandao, wala uwezo wa kuchapisha muhtasari, kuna kikomo cha saa moja ya kujifunza kwa siku, na upatikanaji wa siku 90 (muda wa kutosha kumaliza kozi). Kama lengo lako ni kujifunza, kozi yetu ya bure itatosha kupata maarifa yote unayohitaji. Hata hivyo, kama unahitaji manufaa mengine, ni bora uchague Pro. Fedha zinazopatikana kutokana na kozi za Pro ni muhimu ili tuendelee kutoa kozi za bure. Kwa njia hii, tunajaribu kusawazisha dhamira yetu na uendelevu wa mradi.

Kozi zinajumuisha maudhui bora zaidi duniani kuhusu mada husika: video, sauti, makala, na vitabu. Maudhui haya yote yanakuja na muhtasari, podcast (kwa vitabu na makala), na maandishi (kwa video na sauti). Unachagua jinsi unavyopenda kutumia maudhui hayo. Kila nyenzo ina maswali maalum ya kuimarisha maarifa. Pia, kozi inaundwa na sura unazochagua, hivyo unaweza kusoma kile tu kinachokuhusu. Mwisho wa kila sura, kuna mradi wa vitendo unaohusiana na taaluma yako ili kufanya mazoezi ya ulichokijifunza.

Kozi zetu zinajumuisha muhtasari mwisho wa kila sura, ambapo unaweza kupakua PDF na kuichapisha.

Zaidi ya wanafunzi milioni 2 duniani kote

Inapatikana katika nchi zaidi ya 180

Cheti chako kitakuja kuwa halali nchini mwako kikamilifu

Ukurasa wa Nyumbani

...

Apache Hive: Design, Query, and Optimize Big Data Course

Kozi zote

Uhandisi, Ujenzi na Teknolojia

Teknolojia

Apache Hive: Design, Query, and Optimize Big Data Course

Kwa viwango vyote

Apache Hive: Design, Query, and Optimize Big Data Course

Jua Apache Hive tangu mwanzo — kubuni schemu, kuandika maswali madhubuti ya HiveQL, na kuboresha utendaji kwenye hifadhidata kubwa. Kozi hii inashughulikia kila kitu kuanzia misingi ya HDFS na miamala ya ACID hadi usambazaji wingu, usalama, na uratibu wa mtiririko wa kazi. Iwe unajenga mifumo ya bomba la data ya biashara au unaboresha nyumba ya ziwa la data, utapata ujuzi wa vitendo unaohitajika katika mazingira ya uzalishaji.

Dedika kwa biashara

Utakachojifunza:

Sanifu jedwali za Hive zinazosimamiwa na za nje kwa kutumia ugawaji, kuweka kwenye ndoo, na umbizo la uhifadhi wa safuwima.
Andika maswali ya juu ya HiveQL kwa kutumia vitendaji vya dirisha, CTE, maswali tanzu, na uunganisho wa jedwali nyingi.
Boresha utekelezaji wa maswali kwa kutumia upunguzaji wa vipashio, uvekta, na marekebisho ya kiboreshaji cha gharama.
Tekeleza usalama wa Hive kwa kutumia uthibitishaji wa Kerberos, sera za Apache Ranger, na ufichaji wa data unaobadilika.
Unganisha Hive na Apache Spark, hifadhi ya vitu wingu, na umbizo wazi za jedwali kama Apache Iceberg.
Ota mifumo ya bomba la data kwa Apache Airflow na Oozie, ikijumuisha upakiaji wa nyongeza na ukaguzi wa ubora.

Jinsi unavyosoma kwa vitendo Apache Hive: Design, Query, and Optimize Big Data Course

Jinsi unavyofanya mazoezi Apache Hive: Design, Query, and Optimize Big Data Course

Kwa ajili yako ambaye ni kampuni na unataka kufundisha timu yako

Katika Dedika kwa ajili ya kampuni, kozi inakuja na mazoezi na mifano inayohusiana na biashara yako na jinsi kampuni yako inavyohitaji.

Bofya hapa

Maudhui ya kozi

8 Suras • 37 MasomoMuda kati ya 4 na 360 masaa (wewe unachagua)

Sura 1Tazama maelezo

Utangulizi wa Data Kubwa na Hive

Somo 1 • Usanifu na Vipengele vya Hive
Anaeleza vipengele vya msingi vya Hive: hifadhi ya metadata, dereva, mkusanyaji, na injini ya utekelezaji. Inaunganisha usanifu na uelewa wa mzunguko wa maisha ya hoja.
Somo 2 • Misingi ya Data Kubwa na Changamoto Zake
Inashughulikia changamoto za ujazo, kasi, na aina mbalimbali zinazoendesha upitishaji wa data kubwa. Inaweka mazingira ya kwa nini zana za usindikaji uliosambazwa kama Hive zipo.
Somo 3 • Kusanidi Mazingira ya Hive
Inaongoza usakinishaji na usanidi wa mazingira ya ndani au mazingira ya majaribio ya Hive. Inatoa utayari wa vitendo kwa sura zote zinazofuata.
Somo 4 • Hive dhidi ya Hifadhidata za Jadi
Inalinganisha mtindo wa schema-on-read wa Hive na mtindo wa schema-on-write wa RDBMS. Wanafunzi wanaelewa ni wakati gani Hive inafaa dhidi ya mbadala za uhusiano.

Sura 2Tazama maelezo

Misingi ya HiveQL na Aina za Data

Somo 1 • Aina za Data za Msingi na Changamano
Inashughulikia aina za msingi za namba, mfuatano, boolean, na tarehe pamoja na aina changamano za ARRAY, MAP, na STRUCT. Uchaguzi sahihi wa aina huathiri uhifadhi na usahihi wa hoja.
Somo 2 • Sarufi ya HiveQL na Muundo wa Hoja
Inatanguliza HiveQL kama lahaja ya SQL yenye viendelezo maalum vya Hive. Inashughulikia vifungu vya SELECT, FROM, WHERE, na ORDER BY kama misingi.
Somo 3 • Ujumlishaji na Upangaji
Inafundisha GROUP BY, HAVING, na utendakazi wa ujumlishaji kwa muhtasari wa seti za data. Ujumlishaji ni msingi wa mifumo ya hoja za uchambuzi zinazotumika katika kozi nzima.
Somo 4 • Subqueries na Expressions za Jedwali la Kawaida
Inatanguliza maoni ya ndani, subqueries, na vifungu vya WITH CTE kwa muundo wa hoja unaoweza kugawanywa. Mifumo hii inaonekana katika hoja tata za uchambuzi katika sura za baadaye.
Somo 5 • Utendakazi uliojengewa Ndani na Waendeshaji
Inachunguza utendakazi uliojengewa ndani wa mfuatano, hesabu, tarehe, na masharti. Wanafunzi wanatumia utendakazi kubadilisha na kutathmini data ndani ya hoja.

Sura 3Tazama maelezo

Usanifu wa Hifadhidata na Jedwali katika Hive

Somo 1 • Kugawanya Majedwali
Inafundisha ugawaji tuli na unaobadilika ili kupunguza uchanganuzi kamili wa jedwali. Ugawaji ndio mbinu kuu ya kuboresha utendaji wa hoja kwenye majedwali makubwa.
Somo 2 • Kuunda na Kusimamia Hifadhidata
Inashughulikia CREATE DATABASE, DROP DATABASE, na sifa za hifadhidata. Upangaji sahihi wa hifadhidata unaunga mkono usimamizi wa data wa timu nyingi.
Somo 3 • Miundo ya Uhifadhi ya Jedwali
Inalinganisha miundo ya uhifadhi ya TextFile, SequenceFile, ORC, na Parquet. Uchaguzi wa muundo huathiri moja kwa moja kasi ya hoja na ufanisi wa uhifadhi.
Somo 4 • Majedwali Yanayosimamiwa dhidi ya Nje
Inatofautisha majedwali yanayosimamiwa (data inayomilikiwa na Hive) kutoka kwa majedwali ya nje (data inayomilikiwa na mtumiaji). Kuchagua kwa usahihi kunazuia upotevu wa data usiotarajiwa.
Somo 5 • Kupanga Katika Vikapu na Kuweka katika Vikundi
Inatanguliza kupanga katika vikapu kama nyongeza ya ugawaji kwa usambazaji sawa wa data. Majedwali yaliyopangwa katika vikapu yanawezesha sampuli bora na uboreshaji wa uunganishaji.

Sura 4Tazama maelezo

Kupakia, Kuingiza, na Kusimamia Data

Somo 1 • Kupakia Data kutoka kwa Faili
Inashughulikia LOAD DATA LOCAL na LOAD DATA kutoka kwa njia za HDFS. Upakiaji kulingana na faili ndio mfumo wa kawaida wa uingizaji wa awali katika utiririsho wa kazi wa Hive.
Somo 2 • Miamala ya ACID na Shughuli za CRUD
Inaelezea usaidizi wa ACID wa Hive unaowezesha UPDATE na DELETE kwenye majedwali ya ORC. Shughuli za ACID zinahitaji usanidi maalum na sifa za jedwali.
Somo 3 • Mifumo ya INSERT na INSERT OVERWRITE
Inafundisha INSERT INTO na INSERT OVERWRITE kwa ujazaji wa data unaoendeshwa na hoja. Mifumo hii inasaidia mifereji ya ETL iliyojengwa kabisa ndani ya HiveQL.
Somo 4 • Kusafirisha na Kuhifadhi Kumbukumbu za Data
Inashughulikia amri za INSERT OVERWRITE DIRECTORY na EXPORT/IMPORT. Usafirishaji wa data unasaidia matumizi ya mwisho na uhamishaji kati ya nguzo.

Sura 5Tazama maelezo

Uunganishaji, Muungano, na Uhojaji wa Juu

Somo 1 • Uunganishaji wa Mgeuko na Kushughulikia Mgeuko wa Data
Inashughulikia mgeuko wa uunganishaji unaosababishwa na thamani za funguo za mzunguko wa juu zinazozidisha vipunguzi. Uboreshaji wa uunganishaji wa mgeuko husambaza funguo moto katika kazi nyingi.
Somo 2 • Aina za Uunganishaji na Sarufi
Inashughulikia uunganishaji wa INNER, LEFT, RIGHT, FULL OUTER, na CROSS kwa sarufi ya HiveQL. Kuelewa semantiki za uunganishaji kunazuia seti za matokeo zisizo sahihi.
Somo 3 • UNION, INTERSECT, na EXCEPT
Inafundisha shughuli za seti za kuchanganya na kulinganisha seti za matokeo kwenye hoja. Shughuli hizi zinasaidia mifumo ya kuondoa nakala na uchambuzi wa tofauti.
Somo 4 • Uunganishaji wa Upande wa Ramani na Matangazo
Inaelezea uunganishaji wa upande wa ramani kwa kutumia kidokezo cha MAPJOIN kwa uboreshaji wa jedwali dogo. Uunganishaji wa matangazo huondoa mzigo wa kuchanganya katika uunganishaji wa jedwali kubwa hadi dogo.
Somo 5 • Utendakazi wa Dirisha na Uchambuzi
Inatanguliza OVER, PARTITION BY, na ORDER BY kwa cheo na ujumlishaji unaoendelea. Utendakazi wa dirisha huwezesha uchambuzi wa hali ya juu bila kuporomoka usahihi wa safu.

Sura 6Tazama maelezo

Mbinu za Uboreshaji wa Hoja

Somo 1 • Kuelewa Mpango wa Utekelezaji wa Hoja
Inatumia EXPLAIN na EXPLAIN EXTENDED kutafsiri mipango ya utekelezaji ya MapReduce na Tez. Kusoma mipango ni ujuzi wa sharti kwa maamuzi yote ya uboreshaji.
Somo 2 • Urekebishaji wa Injini ya Utekelezaji ya Tez
Inasanidi utekelezaji wa DAG ya Tez kwa muda wa kuchelewa uliopunguzwa ikilinganishwa na MapReduce. Tez ndiyo injini inayopendekezwa kwa mizigo ya kazi ya mwingiliano na ya kurudiarudia ya Hive.
Somo 3 • Uchoraji wa Ugawaji na Kusukumwa kwa Kihusishi
Inahakikisha hoja zinachanganua tu ugawaji unaofaa na kusukuma vichujio mapema iwezekanavyo. Mbinu hizi hupunguza I/O, ambayo ndio gharama kubwa katika hoja za Hive.
Somo 4 • Uboreshaji wa Muundo wa Faili na Ukandamizaji
Huchagua ORC na Parquet kwa misimbo inayofaa ya ukandamizaji ili kupunguza muda wa uchanganuzi. Ukandamizaji hupunguza gharama ya uhifadhi na I/O ya mtandao wakati wa utekelezaji wa hoja.
Somo 5 • Utekelezaji wa Vekta na Kiboreshaji cha Gharama
Inawezesha utekelezaji wa hoja ulio na vekta na kiboreshaji cha gharama kwa uboreshaji wa mpango kiotomatiki. Zote mbili zinahitaji ukusanyaji wa takwimu ili kufanya kazi kwa usahihi.

Sura 7Tazama maelezo

Utendakazi Unaofafanuliwa na Mtumiaji na Upanuzi

Somo 1 • Utendakazi wa Jedwali Unaofafanuliwa na Mtumiaji
Hujenga UDTF zinazotoa safu nyingi kutoka kwa safu moja ya ingizo kwa kutumia kiolesura cha UDTF. UDTF zinasaidia kupasua miundo tata na uundaji wa safu maalum.
Somo 2 • Utendakazi wa Ujumlishaji Unaofafanuliwa na Mtumiaji
Inatekeleza UDAF kwa kutumia violesura vya UDAF na GenericUDAF kwa ujumlishaji maalum. UDAF hufanya kazi katika vikundi vya vipunguzi na zinahitaji usimamizi wa bafa.
Somo 3 • Misingi ya Uendelezaji wa UDF
Inashughulikia darasa la msingi la UDF, mbinu ya evaluate, na upakiaji wa JAR kwa utendakazi rahisi wa scalar. UDF hujaza mapengo ambapo utendakazi uliojengewa ndani hautoshi.
Somo 4 • Mabadiliko ya Python na Hati
Inatumia TRANSFORM na hati za utiririshaji kutumia mantiki ya Python au shell ndani ya HiveQL. Mabadiliko ya hati huwezesha uundaji wa mfano wa haraka bila ukusanyaji wa Java.

Sura 8Tazama maelezo

Hive katika Uzalishaji: Usalama na Utawala

Somo 1 • Usimamizi wa Hifadhi ya Metadata na Upatikanaji wa Juu
Inasanidi hifadhi ya metadata ya mbali yenye utendaji wa uhusiano na usanidi wa upatikanaji wa juu. Kuegemea kwa hifadhi ya metadata ni muhimu kwa huduma isiyokatizwa ya Hive katika uzalishaji.
Somo 2 • Miundo ya Idhini: Viwango vya SQL na Ranger
Inalinganisha idhini ya kiwango cha SQL cha Hive na udhibiti unaozingatia sera wa Apache Ranger. Idhini ya kina inatekeleza ufikiaji wa upendeleo mdogo katika kiwango cha safu wima.
Somo 3 • Uthibitishaji na Ushirikiano wa Kerberos
Inasanidi uthibitishaji unaozingatia Kerberos kwa HiveServer2 na miunganisho ya mteja. Uthibitishaji unazuia ufikiaji usioidhinishwa wa nyenzo nyeti za data.
Somo 4 • Ufunikaji wa Data na Usimbaji Fiche
Inatumia sera za ufunikaji wa data unaobadilika na kanda za usimbaji fiche za HDFS kulinda safu wima nyeti. Ufunikaji huwezesha uchambuzi kwenye data nyeti bila kufichua thamani halisi.
Somo 5 • Ukaguzi na Kurekodi Kumbukumbu za Uzingatiaji
Inawezesha kumbukumbu za ukaguzi wa hoja kupitia HiveServer2 na nyayo za ukaguzi za Apache Ranger. Kumbukumbu za ukaguzi zinakidhi mahitaji ya udhibiti wa uzingatiaji kwa ufuatiliaji wa ufikiaji wa data.

Uthibitisho

Cheti chako halali cha kumaliza

Kozi hii ni kwa ajili yako:

Wachambuzi wa data walio tayari kuongeza ujuzi wao zaidi ya lahajedwali na SQL.
Wahandisi wa programu wanaohamia kwenye majukumu ya data kubwa na mifumo iliyosambazwa.
Waendelezaji wa ETL wanaotaka kuboresha mstari wa kazi kwa kutumia zana za msingi wa Hadoop.
Wasimamizi wa hifadhidata wanaochunguza uhifadhi wa safu na urekebishaji wa maswali kwa kiwango kikubwa.
Wataalamu wa biashara wenye akili ambao seti zao za data zimezidi uwezo wa hifadhidata za uhusiano.
Wahandisi wa wingu la kompyuta walio na jukumu la kujenga au kuhamisha miundombinu ya ghala la data.

Kile ambacho wanafunzi wetu wanasema

Masomo yenu ni mazuri sana. Nilinunua kifurushi cha mwaka mmoja na, hatimaye, nina fursa ya kufuata mada mbalimbali za maslahi yangu bila kuhitaji kubadilisha jukwaa... ninashukuru kwa kila kitu mnachofanya, nimeshawapendekeza kwa watu wengine...