Cours de programmation parallèle

Leçon 1 • Aperçu de l'architecture matérielle

Passe en revue les cœurs de CPU, les caches, les bus mémoire et les multiprocesseurs en flux des GPU. Établit un lien entre la topologie matérielle et les décisions de conception logicielle tout au long du cours.

Leçon 2 • Mesure du rendement parallèle

Enseigne la loi d'Amdahl, la loi de Gustafson et les mesures d'efficacité. Les étudiants acquièrent des outils quantitatifs pour évaluer chaque programme qu'ils écrivent.

Leçon 3 • Concurrence et parallélisme

Fait la distinction entre l'entrelacement concurrent et l'exécution simultanée réelle. Clarifie la terminologie utilisée dans tous les chapitres suivants.

Leçon 4 • Modèles de programmation parallèle

Présente les modèles à mémoire partagée, à passage de messages et à parallélisme de données. Fournit une taxonomie que les étudiants appliquent lors du choix d'outils dans les chapitres suivants.

Leçon 1 • Opérations atomiques et modèles mémoire

Explique les opérations atomiques matérielles, la comparaison-échange et les garanties d'ordonnancement mémoire. Prépare les étudiants aux structures de données sans verrou dans les chapitres suivants.

Leçon 2 • Exclusion mutuelle et verrous

Enseigne les mutex, les spinlocks et la portée des verrous pour protéger l'état partagé. Aborde directement les risques de situation de compétition introduits au chapitre 1.

Leçon 3 • Notions fondamentales sur les fils d'exécution

Couvre la création, la jonction et le détachement de fils d'exécution à l'aide d'API de type POSIX. Ancre les étudiants dans le modèle d'exécution avant d'introduire la synchronisation.

Leçon 4 • Variables conditionnelles et barrières

Introduit les variables conditionnelles pour la coordination producteur-consommateur et les barrières pour la synchronisation en masse. Étend le verrouillage à la coordination de fils d'exécution basée sur des événements.

Leçon 1 • Portée des données et réduction

Enseigne les clauses private, shared, firstprivate et reduction pour contrôler la visibilité des variables. Empêche les situations de compétition sans verrouillage manuel.

Leçon 2 • Boucles parallèles et répartition du travail

Couvre les constructions parallel-for, sections et single pour distribuer les itérations de boucle. Applique directement le modèle de parallélisme de données du chapitre 1.

Leçon 3 • Constructions de synchronisation OpenMP

Couvre les directives barrier, critical, atomic et flush pour un contrôle fin. Complète les connaissances sur les mutex et les opérations atomiques du chapitre 2.

Leçon 4 • Modèle de programmation OpenMP

Introduit le modèle d'exécution fork-join et la syntaxe des directives du compilateur. Établit le modèle mental que les étudiants utiliseront pour toutes les constructions OpenMP.

Leçon 1 • Modèle d'exécution MPI

Couvre le modèle de programmation SPMD, les communicateurs et l'identification des rangs. Établit le contexte d'exécution distribué pour tous les programmes MPI.

Leçon 2 • Communication point à point

Enseigne les opérations d'envoi et de réception bloquantes et non bloquantes avec correspondance d'étiquettes. Construit les primitives de communication qui sous-tendent tous les patrons de plus haut niveau.

Leçon 3 • Opérations de communication collective

Couvre les opérations collectives broadcast, scatter, gather, reduce et all-to-all. Remplace les patrons point à point manuels par des appels de bibliothèque optimisés.

Leçon 4 • Rendement et évolutivité MPI

Analyse les stratégies de latence, de bande passante et de chevauchement communication-calcul. Applique les lois d'Amdahl et de Gustafson du chapitre 1 aux programmes distribués.

Leçon 1 • Profilage et débogage de programmes CUDA

Couvre les flux de travail d'optimisation basés sur le profileur et les patrons de bogues GPU courants. Équipe les étudiants pour diagnostiquer et corriger les problèmes de rendement et d'exactitude.

Leçon 2 • Hiérarchie mémoire CUDA

Couvre la mémoire globale, partagée, constante et les registres avec les motifs d'accès. Une utilisation efficace de la mémoire est le principal levier pour le rendement du GPU.

Leçon 3 • Techniques d'optimisation des noyaux

Enseigne l'accès coalescé à la mémoire, le réglage de l'occupation et la réduction de la divergence de warp. Améliore directement le débit des noyaux écrits dans les sections précédentes.

Leçon 4 • Modèle de programmation CUDA

Introduit les grilles, les blocs, les fils d'exécution et le modèle d'exécution SIMT. Établit un lien entre le matériel GPU du chapitre 1 et l'abstraction logicielle CUDA.

Leçon 1 • Structures de données sans verrou

Conçoit des piles, des files et des tables de hachage sans verrou à l'aide d'opérations CAS. Applique les primitives atomiques du chapitre 2 aux structures de données à forte concurrence.

Leçon 2 • Algorithmes de graphes parallèles

Couvre le BFS, le SSSP et les composantes connexes à l'aide de cadriciels de graphes parallèles. Applique la communication collective et le parallélisme de tâche à des charges de travail irrégulières.

Leçon 3 • Analyse du travail et de l'envergure

Introduit le modèle travail-envergure, le taux de parallélisme et le théorème de Brent. Fournit le cadre analytique pour évaluer tous les algorithmes de ce chapitre.

Leçon 4 • Préfixe parallèle et balayage

Couvre les algorithmes de balayage inclusif et exclusif et leurs applications. Le balayage est une primitive fondamentale utilisée dans le tri, la compaction et les algorithmes de graphes.

Leçon 1 • Profilage d'applications parallèles

Couvre les compteurs de rendement matériel, les profileurs par échantillonnage et les outils basés sur les traces. Établit la base de mesure pour toutes les décisions d'optimisation.

Leçon 2 • Modèle roofline et analyse des goulots d'étranglement

Applique le modèle roofline pour classer les noyaux comme limités par le calcul ou par la mémoire. Guide les étudiants vers l'optimisation la plus percutante pour un programme donné.

Leçon 3 • Réduction de la surcharge de communication

Enseigne l'agrégation de messages, le chevauchement et le routage sensible à la topologie pour les programmes MPI. Étend les concepts de rendement MPI du chapitre 4 avec des techniques d'optimisation.

Leçon 4 • Stratégies de répartition de charge

Couvre le partitionnement statique, le vol de travail dynamique et l'ordonnancement guidé. Résout le déséquilibre de charge qui limite l'évolutivité dans les applications réelles.

Leçon 1 • Conception d'applications parallèles de bout en bout

Guide les étudiants à travers l'analyse des exigences, la sélection d'algorithmes et la validation du rendement pour une application parallèle complète. Synthétise toutes les compétences du cours.

Leçon 2 • Patrons de pipeline et de front d'onde

Couvre les étages de pipeline logiciel, le calcul par front d'onde et l'analyse du débit. Étend les concepts de pipelinage du chapitre 1 aux programmes parallèles à plusieurs étages.

Leçon 3 • Programmation hybride MPI et OpenMP

Conçoit des programmes hybrides combinant des rangs MPI avec des fils d'exécution OpenMP par nœud. Intègre les chapitres 3 et 4 dans une stratégie de parallélisme multiniveau unifiée.

Leçon 4 • Parallélisme diviser-pour-régner

Enseigne la décomposition récursive de tâches, les seuils de coupure et l'optimisation de l'envergure. S'appuie sur les tâches OpenMP et l'analyse travail-envergure des chapitres précédents.