Kurz Parallel Programming

Lekce 1 • Přehled hardwarové architektury

Poskytuje přehled jader CPU, mezipamětí, paměťových sběrnic a streamovacích multiprocesorů GPU. Propojuje hardwarovou topologii s návrhovými rozhodnutími v softwaru napříč celým kurzem.

Lekce 2 • Měření paralelního výkonu

Vysvětluje Amdahlův zákon, Gustafsonův zákon a metriky efektivity. Studenti získají kvantitativní nástroje pro hodnocení každého programu, který napíší.

Lekce 3 • Souběžnost versus paralelismus

Rozlišuje mezi souběžným prokládáním a skutečným současným prováděním. Vyjasňuje terminologii používanou ve všech navazujících kapitolách.

Lekce 4 • Modely paralelního programování

Představuje modely se sdílenou pamětí, předáváním zpráv a datově paralelní modely. Poskytuje taxonomii, kterou studenti využijí při výběru nástrojů v pozdějších kapitolách.

Lekce 1 • Atomické operace a paměťové modely

Vysvětluje hardwarové atomické operace, porovnání-a-výměnu a záruky uspořádání paměti. Připravuje studenty na bezzámkové datové struktury v pozdějších kapitolách.

Lekce 2 • Vzájemné vyloučení a zámky

Učí použití mutexů, spinlocků a rozsahu zámků pro ochranu sdíleného stavu. Přímo řeší rizika datových souběhů představená v kapitole 1.

Lekce 3 • Základy vláken

Pokrývá tvorbu, připojování a oddělování vláken pomocí API ve stylu POSIX. Seznamuje studenty s modelem provádění před zavedením synchronizace.

Lekce 4 • Podmíněné proměnné a bariéry

Představuje podmíněné proměnné pro koordinaci producent-konzument a bariéry pro hromadnou synchronizaci. Rozšiřuje zamykání na událostmi řízenou koordinaci vláken.

Lekce 1 • Vymezení viditelnosti dat a redukce

Vysvětluje klauzule private, shared, firstprivate a reduction pro řízení viditelnosti proměnných. Zabraňuje datovým souběhům bez ručního zamykání.

Lekce 2 • Paralelní smyčky a sdílení práce

Pokrývá konstrukce parallel-for, sections a single pro distribuci iterací smyček. Přímo aplikuje datově paralelní model z kapitoly 1.

Lekce 3 • Synchronizační konstrukce v OpenMP

Pokrývá direktivy barrier, critical, atomic a flush pro jemné řízení. Doplňuje znalosti o mutextu a atomičnosti z kapitoly 2.

Lekce 4 • Programovací model OpenMP

Představuje model provádění fork-join a syntaxi direktiv kompilátoru. Vytváří mentální model, který studenti používají pro všechny konstrukce OpenMP.

Lekce 1 • Model provádění MPI

Pokrývá model SPMD, komunikátory a identifikaci ranků. Vytváří kontext distribuovaného provádění pro všechny programy MPI.

Lekce 2 • Komunikace bod-bod

Učí blokující a neblokující operace odeslání a příjmu s párováním značek. Buduje komunikační primitiva, která jsou základem všech vzorů na vyšší úrovni.

Lekce 3 • Operace kolektivní komunikace

Pokrývá kolektivní operace broadcast, scatter, gather, reduce a all-to-all. Nahrazuje ruční vzory bod-bod optimalizovanými knihovními voláními.

Lekce 4 • Výkon a škálovatelnost MPI

Analyzuje latenci, šířku pásma a strategie překrývání komunikace a výpočtu. Aplikuje Amdahlův a Gustafsonův zákon z kapitoly 1 na distribuované programy.

Lekce 1 • Profilování a ladění programů CUDA

Pokrývá postupy optimalizace řízené profilerem a běžné vzory chyb na GPU. Vybavuje studenty k diagnostice a opravě problémů s výkonem a správností.

Lekce 2 • Hierarchie paměti CUDA

Pokrývá globální, sdílenou, konstantní a registrovou paměť s přístupovými vzory. Efektivní využití paměti je primární pákou pro výkon GPU.

Lekce 3 • Techniky optimalizace jader

Učí sloučený přístup do paměti COALES, ladění obsazenosti a redukci divergence warpu. Přímo zlepšuje propustnost jader napsaných v předchozích částech.

Lekce 4 • Programovací model CUDA

Představuje mřížky, bloky, vlákna a model provádění SIMT. Propojuje hardwarové GPU z kapitoly 1 s abstrakcí softwaru CUDA.

Lekce 1 • Bezzámkové datové struktury

Navrhuje bezzámkové zásobníky, fronty a hashovací mapy pomocí operací CAS. Aplikuje atomická primitiva z kapitoly 2 na datové struktury s vysokou souběžností.

Lekce 2 • Paralelní grafové algoritmy

Pokrývá BFS, SSSP a souvislé komponenty pomocí paralelních grafových rámců. Aplikuje kolektivní komunikaci a úlohový paralelismus na nepravidelné úlohy.

Lekce 3 • Analýza práce a rozpětí

Představuje model práce a rozpětí, poměr paralelismu a Brentův teorém. Poskytuje analytický rámec pro hodnocení všech algoritmů v této kapitole.

Lekce 4 • Paralelní prefix a scan

Pokrývá algoritmy inkluzivního a exkluzivního scanu a jejich aplikace. Scan je základní primitivum používané v algoritmech pro třídění, kompakci a grafy.

Lekce 1 • Profilování paralelních aplikací

Pokrývá hardwarové čítače výkonu, vzorkovací profilery a nástroje založené na trasování. Vytváří základ měření pro všechna optimalizační rozhodnutí.

Lekce 2 • Model roofline a analýza úzkých hrdel

Aplikuje model roofline pro klasifikaci jader omezených výpočtem versus pamětí. Navádí studenty k nejúčinnější optimalizaci pro daný program.

Lekce 3 • Snížení komunikační režie

Učí agregaci zpráv, jejich překrývání a směrování s ohledem na topologii pro programy MPI. Rozšiřuje koncepty výkonu MPI z kapitoly 4 o optimalizační techniky.

Lekce 4 • Strategie vyrovnávání zátěže

Pokrývá statické rozdělení, dynamické kradení práce a plánování guided. Řeší nerovnováhu v zátěži, která omezuje škálovatelnost v reálných aplikacích.

Lekce 1 • Návrh komplexní paralelní aplikace

Vede studenty skrze analýzu požadavků, výběr algoritmu a ověření výkonu pro kompletní paralelní aplikaci. Syntetizuje všechny kompetence z kurzu.

Lekce 2 • Vzory pipeline a wavefront

Pokrývá fáze softwarové pipeline, výpočty wavefront a analýzu propustnosti. Rozšiřuje koncepty zřetězení z kapitoly 1 na vícestupňové paralelní programy.

Lekce 3 • Hybridní programování MPI a OpenMP

Navrhuje hybridní programy kombinující ranky MPI s vlákny OpenMP na uzel. Integruje kapitoly 3 a 4 do jednotné strategie víceúrovňového paralelismu.

Lekce 4 • Paralelismus rozděl-a-panuj

Učí rekurzivní rozklad na úlohy, mezní prahy a optimalizaci rozpětí. Staví na úlohách OpenMP a analýze práce a rozpětí z předchozích kapitol.