
Kozi ya Parallel Programming
Boresha safu kamili ya uprogramu sambamba — kutoka nyuzi za CPU na OpenMP hadi makundi ya MPI na GPU za CUDA. Kozi hii inakupa zana, nadharia, na mazoezi ya vitendo ili kuandika programu ya haraka na inayopangika kwenye maunzi ya kisasa. Iwe unalenga CPU zenye viini vingi au GPU za NVIDIA, utajifunza kupima, kuboresha, na kutoa faida halisi za utendaji.
Unachojifunza:
Utajenga uelewa wa kina wa kompyuta sambamba katika usanifu wa kumbukumbu-shirikishi, kumbukumbu-iliyosambazwa, na GPU. Kozi inashughulikia nyuzi za mtindo wa POSIX, maagizo ya OpenMP, ruwaza za mawasiliano za MPI, na uprogramu wa kiini cha CUDA kutoka mwanzo. Utajifunza algorithm sambamba ikiwemo upangaji, uchanganuzi, na utembeaji wa grafu, pamoja na miundo ya data isiyo na kufuli. Zana za uchambuzi wa utendaji na mikakati ya uboreshaji — ikijumuisha kuzuia kashe, kusawazisha mzigo, na uundaji wa roofline — zinashughulikiwa kwa kina. Mada za juu zinajumuisha uprogramu mseto wa MPI na OpenMP, mbinu za nambari sambamba, na mifumo ya kiwango cha juu kama Dask na TBB. Mwishoni, utakuwa na vifaa vya kusanifu, kutekeleza, na kusawazisha programu kamili sambamba kwa mizigo ya kazi ya ulimwengu halisi.
Jinsi unavyosoma kwa vitendo Kozi ya Parallel Programming
Jinsi unavyofanya mazoezi Kozi ya Parallel Programming
Kwa wewe ambaye ni kampuni na unataka kufundisha timu yako
Katika Dedika kwa kampuni, kozi inakuja na mazoezi na mifano inayohusiana na biashara yako na kwa njia ambayo kampuni yako inahitaji.
Maudhui ya Kozi
Sura 8 • Masomo 40Muda kati ya saa 4 na 360 (unachagua)
Sura ya 1FichaFicha maelezoAngalia maelezoMisingi ya Kompyuta Sambamba
Misingi ya Kompyuta Sambamba
Somo la 1 • Muhtasari wa Usanifu wa Maunzi
Inakagua viini vya CPU, akiba, mabasi ya kumbukumbu, na vizidishi vya mitiririko vya GPU. Inaunganisha topolojia ya maunzi na maamuzi ya usanifu wa programu katika kozi nzima.
Somo la 2 • Kupima Utendaji Sambamba
Inafundisha Sheria ya Amdahl, Sheria ya Gustafson, na vipimo vya ufanisi. Wanafunzi wanapata nyenzo za kiasi zinazotumika kutathmini kila programu wanayoandika.
Somo la 3 • Ushirikiano wa Utekelezaji dhidi ya Usambamba
Inatofautisha muingiliano wa ushirikiano wa utekelezaji kutoka utekelezaji sambamba halisi. Inafafanua istilahi inayotumika katika sura zote zinazofuata.
Somo la 4 • Mifano ya Uprogramu Sambamba
Inawasilisha mifano ya kumbukumbu-shirikishi, upitishaji wa ujumbe, na data-sambamba. Inatoa uainishaji ambao wanafunzi wanatumia wakati wa kuchagua nyenzo katika sura za baadaye.
Somo la 5 • Kwa Nini Usambamba Ni Muhimu
Inashughulikia mipaka ya utendaji ya utekelezaji wa mfuatano na sababu za kiuchumi za maunzi sambamba. Inaweka motisha kwa kila mbinu itakayoletwa baadaye.
Sura ya 2FichaFicha maelezoAngalia maelezoMnyororo wa Utekelezaji na Uprogramu wa Kumbukumbu-Shirikishi
Mnyororo wa Utekelezaji na Uprogramu wa Kumbukumbu-Shirikishi
Somo la 1 • Operesheni za Atomu na Mifano ya Kumbukumbu
Inaeleza atomiki za maunzi, linganisha-na-badilisha, na dhamana za mpangilio wa kumbukumbu. Inawatayarisha wanafunzi kwa miundo ya data isiyo na kufuli katika sura za baadaye.
Somo la 2 • Kutengwa kwa Ushirikiano na Kufuli
Inafundisha mutex, spinlock, na upeo wa kufuli ili kulinda hali shirikishi. Inashughulikia moja kwa moja hatari za mashindano ya data zilizoletwa katika Sura ya 1.
Somo la 3 • Misingi ya Mnyororo wa Utekelezaji
Inashughulikia uundaji wa mnyororo, kujiunga, na kutengwa kwa kutumia APIs za mtindo wa POSIX. Inamweka mwanafunzi katika mfano wa utekelezaji kabla ya kuanzisha usawazishaji.
Somo la 4 • Vigezo vya Hali na Vikwazo
Inaanzisha vigezo vya hali kwa uratibu wa mzalishaji-mtumiaji na vikwazo kwa usawazishaji wa wingi. Inapanua kufuli hadi uratibu wa mnyororo unaoendeshwa na matukio.
Somo la 5 • Mabwawa ya Mnyororo na Foleni za Kazi
Inashughulikia usanifu wa bwawa la mnyororo ili kuweka gharama ya uundaji na kusawazisha mzigo. Inaunganisha APIs ghafi za mnyororo na mifumo ya kazi ya kiwango cha juu itakayoletwa baadaye.
Sura ya 3FichaFicha maelezoAngalia maelezoOpenMP kwa Usambamba wa Kumbukumbu-Shirikishi
OpenMP kwa Usambamba wa Kumbukumbu-Shirikishi
Somo la 1 • Upeo wa Data na Upunguzaji
Inafundisha vifungu vya faragha, shirikishi, kwanza-faragha, na upunguzaji ili kudhibiti mwonekano wa vigeu. Huzuia mashindano ya data bila kufuli kwa mikono.
Somo la 2 • Vitanzi Sambamba na Ugawaji wa Kazi
Inashughulikia maelekezo ya sambamba-kwa, sehemu, na moja kwa kusambaza marudio ya vitanzi. Inatumia moja kwa moja mfano wa data-sambamba kutoka Sura ya 1.
Somo la 3 • Miundo ya Usawazishaji ya OpenMP
Inashughulikia maelekezo ya kizuizi, muhimu, atomiki, na kusafisha kwa udhibiti mzuri. Inakamilisha maarifa ya mutex na atomiki kutoka Sura ya 2.
Somo la 4 • Mfano wa Uprogramu wa OpenMP
Inaanzisha mfano wa utekelezaji wa fork-jiunge na sintaksia ya maelekezo ya mkusanyaji. Inaweka mfano wa akili unaotumiwa na wanafunzi kwa miundo yote ya OpenMP.
Somo la 5 • Usambamba wa Kazi za OpenMP
Inaanzisha maelekezo ya kazi na kazi-subiri kwa usambamba usio wa kawaida na wa kujirudia. Inapanua ugawaji wa kazi hadi mitiririko isiyo ya vitanzi.
Sura ya 4FichaFicha maelezoAngalia maelezoUprogramu wa Kumbukumbu-Sambamba na MPI
Uprogramu wa Kumbukumbu-Sambamba na MPI
Somo la 1 • Mfano wa Utekelezaji wa MPI
Inashughulikia mfano wa SPMD, wawezeshaji mawasiliano, na utambulisho wa cheo. Inaweka mazingira ya utekelezaji yaliyosambazwa kwa programu zote za MPI.
Somo la 2 • Mawasiliano ya Nukta-kwa-Nukta
Inafundisha shughuli za kutuma na kupokea zinazozuia na zisizo na kizuizi kwa kutumia ulinganifu wa lebo. Hujenga nyenzo za mawasiliano msingi kwa mifumo yote ya kiwango cha juu.
Somo la 3 • Operesheni za Mawasiliano ya Pamoja
Inashughulikia utangazaji, kutawanya, kukusanya, kupunguza, na pamoja-kwa-wote. Inachukua nafasi ya mifumo ya nukta-kwa-nukta iliyofanywa kwa mikono na simu za maktaba zilizoboreshwa.
Somo la 4 • Utendaji na Uwezo wa Kupanuka wa MPI
Inachambua mikakati ya muda wa kuchelewa wa mtandao, upana wa bendi ya data, na mwingiliano wa mawasiliano na hesabu. Inatumia Sheria ya Amdahl na Gustafson kutoka Sura ya 1 kwa programu zilizosambazwa.
Somo la 5 • Aina za Data Zinazotokana na Wawezeshaji Mawasiliano
Inaanzisha aina maalum za data za MPI kwa data isiyo mwendelezo na mgawanyiko wa wawezeshaji mawasiliano. Inawezesha mawasiliano bora ya miundo tata ya data.
Sura ya 5FichaFicha maelezoAngalia maelezoUprogramu wa GPU kwa kutumia CUDA
Uprogramu wa GPU kwa kutumia CUDA
Somo la 1 • Kukagua na Kutatua Hitilafu za Programu za CUDA
Inashughulikia mifumo ya kazi ya uboreshaji inayoendeshwa na kikagua na mifumo ya kawaida ya hitilafu za GPU. Inawapa wanafunzi ujuzi wa kutambua na kurekebisha matatizo ya utendaji na usahihi.
Somo la 2 • Daraja la Kumbukumbu la CUDA
Inashughulikia kumbukumbu ya kimataifa, shirikishi, thabiti, na rejista pamoja na mifumo ya ufikiaji. Matumizi bora ya kumbukumbu ndio njia kuu ya utendaji wa GPU.
Somo la 3 • Mbinu za Kuboresha Kiini
Inafundisha ufikiaji wa kumbukumbu ulioshikamana, urekebishaji wa kukaa, na kupunguza mtengano wa vitanzi. Huboresha moja kwa moja kiwango cha uwasilishaji wa data cha viini vilivyoandikwa katika sehemu za awali.
Somo la 4 • Mfano wa Uprogramu wa CUDA
Inaanzisha gridi, vizuizi, mnyororo, na mfano wa utekelezaji wa SIMT. Inaunganisha maunzi ya GPU kutoka Sura ya 1 na uondoaji wa programu ya CUDA.
Somo la 5 • Mitiririko ya CUDA na Ushirikiano wa Utekelezaji
Inaanzisha mitiririko, matukio, na utekelezaji sambamba wa kiini kwa kazi inayoingiliana. Inapanua mikakati ya mwingiliano iliyoletwa katika sura ya MPI hadi GPU.
Sura ya 6FichaFicha maelezoAngalia maelezoAlgorithm Sambamba na Miundo ya Data
Algorithm Sambamba na Miundo ya Data
Somo la 1 • Miundo ya Data Isiyo na Kufuli
Inasanifu mrundiko, foleni, na ramani ya hashi isiyo na kufuli kwa kutumia operesheni za CAS. Inatumia nyenzo za atomiki kutoka Sura ya 2 kwa miundo ya data yenye ushirikiano wa hali ya juu.
Somo la 2 • Algorithm Sambamba za Grafu
Inashughulikia BFS, SSSP, na vipengele vilivyounganishwa kwa kutumia mifumo sambamba ya grafu. Inatumia mawasiliano ya pamoja na usambamba wa kazi kwa mizigo ya kazi isiyo ya kawaida.
Somo la 3 • Uchambuzi wa Kazi na Upana
Inaanzisha mfano wa kazi-upana, uwiano wa usambamba, na nadharia ya Brent. Inatoa mfumo wa uchambuzi wa kutathmini algorithm zote katika sura hii.
Somo la 4 • Kiambishi Sambamba na Scan
Inashughulikia algorithm za scan jumuishi na zisizojumuisha na matumizi yake. Scan ni nyenzo ya msingi inayotumika katika kupanga, kubana, na algorithm za grafu.
Somo la 5 • Algorithm Sambamba za Kupanga
Inafundisha mtandao wa kupanga bitonic, kupanga muunganiko, na kupanga radix zilizobadilishwa kwa utekelezaji sambamba. Inajenga juu ya nyenzo za scan na uchambuzi wa kazi-upana kutoka sehemu za awali.
Sura ya 7FichaFicha maelezoAngalia maelezoUchambuzi na Uboreshaji wa Utendaji
Uchambuzi na Uboreshaji wa Utendaji
Somo la 1 • Kukagua Programu Sambamba
Inashughulikia vikagua vya utendaji vya maunzi, vikagua vya sampuli, na nyenzo za msingi za ufuatiliaji. Inaweka msingi wa kipimo kwa maamuzi yote ya uboreshaji.
Somo la 2 • Mfano wa Roofline na Uchambuzi wa Vizuizi
Inatumia mfano wa roofline kuainisha viini vilivyofungwa na hesabu dhidi ya kumbukumbu. Inawaongoza wanafunzi kwa uboreshaji wenye athari kubwa zaidi kwa programu yoyote.
Somo la 3 • Kupunguza Mzigo wa Ziada wa Mawasiliano
Inafundisha ujumlishaji wa ujumbe, mwingiliano, na uelekezaji unaozingatia topolojia kwa programu za MPI. Inapanua dhana za utendaji za MPI kutoka Sura ya 4 na mbinu za uboreshaji.
Somo la 4 • Mikakati ya Usawazishaji wa Mzigo
Inashughulikia ugawaji wa tuli, unyakuzi wa kazi wa badilika, na upangaji wa elekezwa. Inasuluhisha usawazishaji wa mzigo unaozuia uwezo wa kupanuka katika programu halisi.
Somo la 5 • Uboreshaji wa Daraja la Kumbukumbu
Inafundisha kuzuia akiba, kuleta mapema, na kuondoa ugawaji wa uwongo. Inashughulikia moja kwa moja akiba na topolojia ya NUMA iliyoletwa katika Sura ya 1.
Sura ya 8FichaFicha maelezoAngalia maelezoMifumo ya Juu Sambamba na Matumizi
Mifumo ya Juu Sambamba na Matumizi
Somo la 1 • Usanifu wa Programu Sambamba ya Mwisho hadi Mwisho
Inawaongoza wanafunzi kupitia uchambuzi wa mahitaji, uteuzi wa algorithm, na uthibitishaji wa utendaji kwa programu kamili sambamba. Inajumuisha uwezo wote wa kozi.
Somo la 2 • Mifumo ya Bomba na Mawimbi ya Mbele
Inashughulikia hatua za bomba la programu, hesabu ya mawimbi ya mbele, na uchambuzi wa kiwango cha uwasilishaji wa data. Inapanua dhana za mfumo wa bomba kutoka Sura ya 1 hadi programu sambamba za hatua nyingi.
Somo la 3 • Uprogramu Mseto wa MPI na OpenMP
Inasanifu programu mseto zinazochanganya vyeo vya MPI na nyororo za OpenMP kwa kila nodi. Inajumuisha Sura ya 3 na 4 katika mkakati wa usambamba wa viwango vingi ulio na umoja.
Somo la 4 • Usambamba wa Gawanya-na-Tawala
Inafundisha utengano wa kazi wa kujirudia, vizingiti vya kukata, na uboreshaji wa upana. Inajenga juu ya kazi za OpenMP na uchambuzi wa kazi-upana kutoka sura za awali.
Somo la 5 • Stenseli na Aljebra ya Mistari Mbili
Inashughulikia hesabu za stenseli zenye vigae na shughuli sambamba za matrix kwa kutumia mtengano wa mtindo BLAS. Inatumia kuzuia akiba na viini vya GPU kwa mizigo ya kazi ya namba.
Cheti chako halali cha kukamilisha
Kozi hii ni kwa ajili yako:
Wahandisi wa programu wanaotaka kupata kasi zaidi kutoka kwa misingi ya programu iliyopo.
Wanafunzi wa sayansi ya kompyuta wanaojiandaa kwa majukumu ya utafiti ya kompyuta ya utendaji wa juu.
Wanasayansi wa data ambao mifereji yao ya Python iko polepole kwa mizigo ya kazi ya uzalishaji.
Watengenezaji wa michezo wanaotaka kutumia kikamilifu CPU za viini vingi na maunzi ya GPU.
Watafiti wanaoendesha uigaji ambao wanahitaji kupanuka zaidi ya mashine moja.
Wahandisi wa upande wa nyuma wanaohamia katika majukumu ya mifumo au utendaji wa miundombinu.
Kile wanasema wanafunzi wetu
Madarasa yenu ni kamilifu. Nimenunua kifurushi cha mwaka mmoja na hatimaye nina nafasi ya kufuata mada mbalimbali zinazovutia bila kulazimika kubadilisha majukwaa... Nawashukuru kwa kila kitu mnachofanya, tayari nimewashauri kwa watu wengine...

Ninapenda jinsi masomo yanavyokwenda moja kwa moja kwenye hoja na jinsi ninavyoweza kubadilisha sura na kuruka maudhui nisiyohitaji.

Ninapenda maudhui na mtindo wa uwasilishaji na maandishi ya video, ambayo yanaharakisha mchakato!

Jukwaa ni la haraka, rahisi kutumia. Utofauti wa maudhui na video za ziada zinasaidia sana katika kujifunza.

Mafunzo muhimu
Maswali Yanayoulizwa Mara kwa Mara
Dedika ni nani?
Je, cheti kinatumika nchini Tanzania?
Je, kozi ni bure?
Mzigo wa masomo wa kozi ni upi?
Kozi zikoje?
Kozi zinafanyaje kazi?
Muda wa kozi ni upi?
Gharama au bei ya kozi ni ipi?
Kozi ya EAD au mtandaoni ni nini na inafanyaje kazi?
Kozi ya PDF




















