Cours de programmation parallèle

Leçon 1 • Présentation de l'architecture matérielle

Passe en revue les cœurs CPU, les caches, les bus mémoire et les multiprocesseurs de streaming GPU. Relie la topologie matérielle aux décisions de conception logicielle tout au long du cours.

Leçon 2 • Mesure des performances parallèles

Enseigne les lois d'Amdahl et de Gustafson, ainsi que les métriques d'efficacité. Les étudiants acquièrent des outils quantitatifs pour évaluer chaque programme qu'ils écrivent.

Leçon 3 • Concurrence vs parallélisme

Distingue l'entrelacement concurrent de l'exécution simultanée réelle. Clarifie la terminologie utilisée dans tous les chapitres suivants.

Leçon 4 • Modèles de programmation parallèle

Présente les modèles à mémoire partagée, à passage de messages et parallèles de données. Fournit une taxonomie que les étudiants appliquent lors du choix des outils dans les chapitres suivants.

Leçon 1 • Opérations atomiques et modèles mémoire

Explique les opérations atomiques matérielles, le compare-and-swap et les garanties d'ordonnancement mémoire. Prépare les étudiants aux structures de données sans verrou dans les chapitres suivants.

Leçon 2 • Exclusion mutuelle et verrous

Enseigne les mutex, les spinlocks et le scoping de verrou pour protéger l'état partagé. Traite directement les risques de conditions de course introduits au chapitre 1.

Leçon 3 • Fondamentaux des threads

Aborde la création, la jointure et le détachement de threads à l'aide d'API de style POSIX. Ancre les étudiants dans le modèle d'exécution avant d'introduire la synchronisation.

Leçon 4 • Variables de condition et barrières

Présente les variables de condition pour la coordination producteur-consommateur et les barrières pour la synchronisation en masse. Étend le verrouillage à la coordination de threads basée sur des événements.

Leçon 1 • Portée des données et réduction

Enseigne les clauses private, shared, firstprivate et reduction pour contrôler la visibilité des variables. Prévient les conditions de course sans verrouillage manuel.

Leçon 2 • Boucles parallèles et partage de travail

Aborde les constructions parallel-for, sections et single pour distribuer les itérations de boucle. Applique directement le modèle parallèle de données du chapitre 1.

Leçon 3 • Constructions de synchronisation OpenMP

Aborde les directives barrier, critical, atomic et flush pour un contrôle fin. Complète les connaissances sur les mutex et les opérations atomiques du chapitre 2.

Leçon 4 • Modèle de programmation OpenMP

Présente le modèle d'exécution fork-join et la syntaxe des directives du compilateur. Établit le modèle mental que les étudiants utiliseront pour toutes les constructions OpenMP.

Leçon 1 • Modèle d'exécution MPI

Aborde le modèle SPMD, les communicateurs et l'identification de rang. Établit le contexte d'exécution distribué pour tous les programmes MPI.

Leçon 2 • Communication point à point

Enseigne les opérations d'envoi et de réception bloquantes et non bloquantes avec correspondance d'étiquettes. Construit les primitives de communication sous-jacentes à tous les motifs de plus haut niveau.

Leçon 3 • Opérations de communication collective

Aborde les collectives broadcast, scatter, gather, reduce et all-to-all. Remplace les motifs point à point manuels par des appels de bibliothèque optimisés.

Leçon 4 • Performances et scalabilité MPI

Analyse les stratégies de latence, de bande passante et de recouvrement communication-calcul. Applique les lois d'Amdahl et de Gustafson du chapitre 1 aux programmes distribués.

Leçon 1 • Profilage et débogage de programmes CUDA

Aborde les workflows d'optimisation pilotés par profileur et les motifs de bugs GPU courants. Équipe les étudiants pour diagnostiquer et corriger les problèmes de performance et de correction.

Leçon 2 • Hiérarchie mémoire CUDA

Aborde la mémoire globale, partagée, constante et les registres avec des motifs d'accès. L'utilisation efficace de la mémoire est le levier principal pour les performances GPU.

Leçon 3 • Techniques d'optimisation de kernel

Enseigne l'accès mémoire coalescé, le réglage de l'occupation et la réduction de la divergence de warp. Améliore directement le débit des kernels écrits dans les sections précédentes.

Leçon 4 • Modèle de programmation CUDA

Présente les grilles, blocs, threads et le modèle d'exécution SIMT. Relie le matériel GPU du chapitre 1 à l'abstraction logicielle CUDA.

Leçon 1 • Structures de données sans verrou

Conçoit des piles, files d'attente et tables de hachage sans verrou en utilisant les opérations CAS. Applique les primitives atomiques du chapitre 2 aux structures de données à haute concurrence.

Leçon 2 • Algorithmes de graphes parallèles

Aborde le BFS, le SSSP et les composantes connexes en utilisant des frameworks de graphes parallèles. Applique la communication collective et le parallélisme de tâches à des charges de travail irrégulières.

Leçon 3 • Analyse du travail et de l'envergure

Présente le modèle travail-envergure, le rapport de parallélisme et le théorème de Brent. Fournit le cadre analytique pour évaluer tous les algorithmes de ce chapitre.

Leçon 4 • Préfixe parallèle et scan

Aborde les algorithmes de scan inclusif et exclusif et leurs applications. Le scan est une primitive fondamentale utilisée dans le tri, le compactage et les algorithmes de graphes.

Leçon 1 • Profilage d'applications parallèles

Aborde les compteurs de performance matérielle, les profileurs d'échantillonnage et les outils basés sur les traces. Établit la base de mesure pour toutes les décisions d'optimisation.

Leçon 2 • Modèle Roofline et analyse des goulots d'étranglement

Applique le modèle roofline pour classer les kernels liés au calcul vs liés à la mémoire. Guide les étudiants vers l'optimisation à plus fort impact pour un programme donné.

Leçon 3 • Réduction du surcoût de communication

Enseigne l'agrégation de messages, le recouvrement et le routage sensible à la topologie pour les programmes MPI. Étend les concepts de performance MPI du chapitre 4 avec des techniques d'optimisation.

Leçon 4 • Stratégies d'équilibrage de charge

Aborde le partitionnement statique, le vol de travail dynamique et l'ordonnancement guidé. Résout le déséquilibre de charge qui limite la scalabilité dans les applications réelles.

Leçon 1 • Conception d'applications parallèles de bout en bout

Guide les étudiants à travers l'analyse des besoins, la sélection d'algorithmes et la validation des performances pour une application parallèle complète. Synthétise toutes les compétences du cours.

Leçon 2 • Motifs pipeline et wavefront

Aborde les étages de pipeline logiciel, le calcul wavefront et l'analyse de débit. Étend les concepts de pipeline du chapitre 1 aux programmes parallèles multi-étages.

Leçon 3 • Programmation hybride MPI et OpenMP

Conçoit des programmes hybrides combinant des rangs MPI avec des threads OpenMP par nœud. Intègre les chapitres 3 et 4 en une stratégie de parallélisme multi-niveaux unifiée.

Leçon 4 • Parallélisme diviser-pour-régner

Enseigne la décomposition récursive de tâches, les seuils de coupure et l'optimisation de l'envergure. S'appuie sur les tâches OpenMP et l'analyse travail-envergure des chapitres précédents.