Formation modèles d'IA générative et systèmes GPU

Leçon 1 • Notions de base sur l'architecture des réseaux de neurones

Introduit les neurones, les couches et les fonctions d'activation. Relie la théorie du perceptron aux réseaux multicouches modernes.

Leçon 2 • Évaluation des performances du modèle

Couvre les métriques standard pour les tâches de classification et de régression. Permet aux étudiants d'interpréter les résultats et de diagnostiquer les faiblesses du modèle.

Leçon 3 • Concepts fondamentaux de l'apprentissage supervisé

Couvre les ensembles de données étiquetés, les fonctions de perte et la descente de gradient. Fournit l'intuition mathématique sous-jacente à tout entraînement de réseau de neurones.

Leçon 4 • Hiérarchie de l'IA, du ML et de l'apprentissage profond

Définit la relation imbriquée entre l'IA, le ML et l'apprentissage profond. Établit le vocabulaire utilisé tout au long du cours.

Leçon 1 • Sélection de GPU pour les charges de travail d'IA

Fournit un framework pour faire correspondre les spécifications du GPU à la taille du modèle et au budget d'entraînement. Les étudiants peuvent justifier les décisions d'approvisionnement en matériel.

Leçon 2 • Interconnexions GPU et systèmes multi-GPU

Couvre les interconnexions à large bande passante et la communication GPU peer-to-peer. Prépare les étudiants à concevoir des clusters d'entraînement multi-GPU.

Leçon 3 • Modèles de calcul CPU vs. GPU

Contraste l'exécution CPU séquentielle avec l'exécution GPU massivement parallèle. Établit pourquoi les GPU accélèrent les charges de travail d'IA riches en matrices.

Leçon 4 • Architecture interne du GPU

Examine les multiprocesseurs de streaming, les cœurs CUDA et les cœurs tensoriels. Relie les unités matérielles à des opérations spécifiques d'apprentissage profond.

Leçon 1 • Écrire des kernels CUDA efficaces

Se concentre sur la divergence warp, l'occupation et l'utilisation de la mémoire partagée. Les étudiants apprennent à écrire des kernels qui maximisent l'utilisation du GPU.

Leçon 2 • Notions essentielles du modèle de programmation CUDA

Introduit le modèle hôte-périphérique, les kernels et la hiérarchie des threads. Fournit le cadre conceptuel pour tout le codage CUDA ultérieur.

Leçon 3 • Profilage et débogage du code GPU

Introduit les outils de profilage et les techniques courantes de débogage GPU. Permet aux étudiants d'identifier et de résoudre les goulots d'étranglement de performance.

Leçon 4 • Bibliothèques CUDA pour l'apprentissage profond

Présente cuBLAS, cuDNN et cuFFT pour les primitives d'IA accélérées. Relie les appels de bibliothèque aux implémentations de couches de réseaux de neurones.

Leçon 1 • Entraînement distribué avec les frameworks

Introduit les stratégies de parallélisme des données et de parallélisme des modèles dans les frameworks. Prépare les étudiants aux exécutions d'entraînement multi-GPU à grande échelle.

Leçon 2 • Aperçu des frameworks et backend GPU

Compare les frameworks leaders et leurs backends d'exécution GPU. Les étudiants comprennent comment les frameworks abstrayent CUDA pour le développement de modèles.

Leçon 3 • Opérations sur les tenseurs et autograd

Couvre la création de tenseurs, le placement sur périphérique et la différenciation automatique. Relie le calcul tensoriel au calcul du gradient dans les boucles d'entraînement.

Leçon 4 • Construction de modèles avec les API du framework

Enseigne l'empilement de couches, les modules personnalisés et la sérialisation de modèles. Les étudiants construisent des composants de modèle réutilisables pour les architectures génératives.

Leçon 1 • Modèles de diffusion et appariement de score

Introduit le bruitage direct, le débruitage inverse et la génération basée sur le score. Les étudiants comprennent pourquoi les modèles de diffusion atteignent des sorties de haute fidélité.

Leçon 2 • Modèles génératifs vs. discriminatifs

Distingue les objectifs de modélisation générative et discriminative. Établit les bases conceptuelles pour toutes les architectures génératives couvertes par la suite.

Leçon 3 • Réseaux adverses génératifs

Couvre la dynamique générateur-discriminateur, les fonctions de perte et l'instabilité d'entraînement. Les étudiants comprennent les variantes de GAN et leurs limitations pratiques.

Leçon 4 • Autoencodeurs variationnels

Explique la structure encodeur-décodeur, l'astuce de reparamétrisation et la perte ELBO. Relie les espaces latents probabilistes à la génération contrôlée.

Leçon 1 • Précision mixte et quantification dans l'entraînement

Applique les formats FP16, BF16 et INT8 pour réduire la mémoire et augmenter le débit. Les étudiants implémentent l'entraînement en précision mixte avec mise à l'échelle de la perte.

Leçon 2 • Lois d'échelle et planification de la taille du modèle

Couvre les lois d'échelle empiriques reliant le calcul, les données et la taille du modèle. Les étudiants utilisent ces lois pour planifier les budgets d'entraînement avant l'exécution.

Leçon 3 • Stratégies avancées de parallélisme

Étend le parallélisme des données au parallélisme tensoriel et pipeline pour les modèles massifs. Les étudiants configurent un parallélisme multidimensionnel pour l'entraînement des transformeurs.

Leçon 4 • Techniques d'optimisation mémoire

Enseigne le point de contrôle de gradient, le recalcul d'activation et le déchargement. Permet l'entraînement de modèles dépassant la capacité VRAM d'un seul GPU.

Leçon 1 • Apprentissage par transfert pour l'IA générative

Explique la réutilisation des modèles pré-entraînés, l'extraction de caractéristiques et le décalage de domaine. Motive le réglage fin comme une alternative économe en calcul à l'entraînement à partir de zéro.

Leçon 2 • Pipelines de réglage fin spécifiques à un domaine

Construit des pipelines de bout en bout pour l'adaptation de domaine textuelle, image et multimodale. Les étudiants appliquent le réglage fin à des ensembles de données réels par domaine.

Leçon 3 • Prévention de l'oubli catastrophique

Couvre la consolidation pondérée élastique, les tampons de relecture et l'apprentissage continu. Les étudiants préservent les connaissances pré-entraînées tout en acquérant de nouvelles capacités pour les tâches.

Leçon 4 • Méthodes de réglage fin efficaces en paramètres

Couvre LoRA, le réglage de préfixe et les couches d'adaptateur pour une adaptation à faible coût. Les étudiants implémentent des méthodes PEFT qui mettent à jour une fraction des paramètres du modèle.

Leçon 1 • Déploiement GPU cloud et sur site

Compare les instances GPU cloud avec les clusters sur site pour le coût et le contrôle. Les étudiants sélectionnent et configurent des environnements de déploiement pour les charges de travail de production.

Leçon 2 • Frameworks de service d'inférence

Présente les frameworks de service optimisés GPU et les stratégies de traitement par lots. Les étudiants configurent des piles de service pour les charges de travail génératives à haute concurrence.

Leçon 3 • Conteneurisation et orchestration

Empaquète les charges de travail GPU dans des conteneurs et les déploie avec des outils d'orchestration. Les étudiants automatisent la mise à l'échelle et les mises à jour progressives pour les services d'inférence.

Leçon 4 • Optimisation du modèle pour l'inférence

Applique la quantification, l'élagage et l'optimisation de graphe pour réduire le coût d'inférence. Les étudiants produisent des modèles prêts pour le déploiement avec une perte de précision minimale.