Cours de programmation parallèle

Leçon 1 • Aperçu de l'architecture matérielle

Passe en revue les cœurs de CPU, les caches, les bus mémoire et les multiprocesseurs de streaming GPU. Relie la topologie matérielle aux décisions de conception logicielle tout au long du cours.

Leçon 2 • Mesure des performances parallèles

Enseigne la loi d'Amdahl, la loi de Gustafson et les métriques d'efficacité. Les étudiants acquièrent des outils quantitatifs utilisés pour évaluer chaque programme qu'ils écrivent.

Leçon 3 • Concurrence vs. parallélisme

Distingue l'entrelacement concurrent de l'exécution simultanée réelle. Clarifie la terminologie utilisée dans tous les chapitres suivants.

Leçon 4 • Modèles de programmation parallèle

Présente les modèles à mémoire partagée, à passage de messages et parallèles de données. Fournit une taxonomie que les étudiants appliquent lors du choix des outils dans les chapitres ultérieurs.

Leçon 1 • Opérations atomiques et modèles mémoire

Explique les opérations atomiques matérielles, le comparer-échanger et les garanties d'ordonnancement mémoire. Prépare les étudiants aux structures de données sans verrou dans les chapitres ultérieurs.

Leçon 2 • Exclusion mutuelle et verrous

Enseigne les mutex, les spinlocks et le cadrage des verrous pour protéger l'état partagé. Adresse directement les risques de courses aux données introduits au Chapitre 1.

Leçon 3 • Fondamentaux des threads

Couvre la création, la jonction et le détachement de threads à l'aide d'API de style POSIX. Ancre les étudiants dans le modèle d'exécution avant d'introduire la synchronisation.

Leçon 4 • Variables de condition et barrières

Introduit les variables de condition pour la coordination producteur-consommateur et les barrières pour la synchronisation en masse. Étend le verrouillage à la coordination de threads basée sur les événements.

Leçon 1 • Cadrage des données et réduction

Enseigne les clauses private, shared, firstprivate et reduction pour contrôler la visibilité des variables. Empêche les courses aux données sans verrouillage manuel.

Leçon 2 • Boucles parallèles et partage de travail

Couvre les constructions parallel-for, sections et single pour distribuer les itérations de boucle. Applique directement le modèle parallèle de données du Chapitre 1.

Leçon 3 • Constructions de synchronisation OpenMP

Couvre les directives barrier, critical, atomic et flush pour un contrôle fin. Complète les connaissances sur les mutex et les opérations atomiques du Chapitre 2.

Leçon 4 • Modèle de programmation OpenMP

Introduit le modèle d'exécution fork-join et la syntaxe des directives du compilateur. Établit le modèle mental que les étudiants utilisent pour toutes les constructions OpenMP.

Leçon 1 • Modèle d'exécution MPI

Couvre le modèle SPMD, les communicateurs et l'identification de rang. Établit le contexte d'exécution distribué pour tous les programmes MPI.

Leçon 2 • Communication point-à-point

Enseigne les opérations d'envoi et de réception bloquantes et non bloquantes avec correspondance d'étiquettes. Construit les primitives de communication sous-jacentes à tous les motifs de plus haut niveau.

Leçon 3 • Opérations de communication collective

Couvre la diffusion, la dispersion, la collecte, la réduction et le tout-à-tout collectifs. Remplace les motifs point-à-point manuels par des appels de bibliothèque optimisés.

Leçon 4 • Performance et passage à l'échelle MPI

Analyse les stratégies de latence, de bande passante et de chevauchement communication-calcul. Applique les lois d'Amdahl et de Gustafson du Chapitre 1 aux programmes distribués.

Leçon 1 • Profilage et débogage de programmes CUDA

Couvre les workflows d'optimisation guidés par le profileur et les motifs de bogues GPU courants. Équipe les étudiants pour diagnostiquer et corriger les problèmes de performance et d'exactitude.

Leçon 2 • Hiérarchie mémoire CUDA

Couvre la mémoire globale, partagée, constante et les registres avec les modèles d'accès. Une utilisation efficace de la mémoire est le levier principal pour la performance GPU.

Leçon 3 • Techniques d'optimisation des noyaux

Enseigne l'accès mémoire coalescé, le réglage de l'occupation et la réduction de la divergence de warp. Améliore directement le débit des noyaux écrits dans les sections précédentes.

Leçon 4 • Modèle de programmation CUDA

Introduit les grilles, les blocs, les threads et le modèle d'exécution SIMT. Relie le matériel GPU du Chapitre 1 à l'abstraction logicielle CUDA.

Leçon 1 • Structures de données sans verrou

Conçoit des piles, des files d'attente et des tables de hachage sans verrou à l'aide d'opérations CAS. Applique les primitives atomiques du Chapitre 2 aux structures de données à haute concurrence.

Leçon 2 • Algorithmes de graphes parallèles

Couvre le BFS, le SSSP et les composantes connexes à l'aide de frameworks de graphes parallèles. Applique la communication collective et le parallélisme de tâches aux charges de travail irrégulières.

Leçon 3 • Analyse du travail et de l'envergure

Introduit le modèle travail-envergure, le rapport de parallélisme et le théorème de Brent. Fournit le cadre analytique pour évaluer tous les algorithmes de ce chapitre.

Leçon 4 • Préfixe et scan parallèles

Couvre les algorithmes de scan inclusif et exclusif et leurs applications. Le scan est une primitive fondamentale utilisée dans le tri, la compaction et les algorithmes de graphes.

Leçon 1 • Profilage d'applications parallèles

Couvre les compteurs de performance matériels, les profileurs d'échantillonnage et les outils basés sur les traces. Établit la base de mesure pour toutes les décisions d'optimisation.

Leçon 2 • Modèle de toit et analyse des goulots d'étranglement

Applique le modèle de toit pour classer les noyaux liés au calcul vs. liés à la mémoire. Guide les étudiants vers l'optimisation à plus fort impact pour un programme donné.

Leçon 3 • Réduction de la surcharge de communication

Enseigne l'agrégation de messages, le chevauchement et le routage conscient de la topologie pour les programmes MPI. Étend les concepts de performance MPI du Chapitre 4 avec des techniques d'optimisation.

Leçon 4 • Stratégies d'équilibrage de charge

Couvre le partitionnement statique, le vol de travail dynamique et l'ordonnancement guidé. Résout le déséquilibre de charge qui limite le passage à l'échelle dans les applications réelles.

Leçon 1 • Conception d'application parallèle de bout en bout

Guide les étudiants à travers l'analyse des exigences, la sélection d'algorithmes et la validation des performances pour une application parallèle complète. Synthétise toutes les compétences du cours.

Leçon 2 • Motifs de pipeline et de front d'onde

Couvre les étages de pipeline logiciel, le calcul par front d'onde et l'analyse du débit. Étend les concepts de pipeline du Chapitre 1 aux programmes parallèles multi-étages.

Leçon 3 • Programmation hybride MPI et OpenMP

Conçoit des programmes hybrides combinant les rangs MPI avec les threads OpenMP par nœud. Intègre les Chapitres 3 et 4 dans une stratégie de parallélisme multi-niveaux unifiée.

Leçon 4 • Parallélisme diviser-pour-régner

Enseigne la décomposition récursive des tâches, les seuils de coupure et l'optimisation de l'envergure. Repose sur les tâches OpenMP et l'analyse travail-envergure des chapitres précédents.