Formation avancée en IA générative

Leçon 1 • Ce qui rend l'IA générative

Distingue les modèles génératifs des modèles discriminatifs et explique l'objectif principal de l'apprentissage des distributions de données. Positionne l'IA générative comme un paradigme distinct.

Leçon 2 • Représentation des données et prétraitement

Explique comment le texte, les images et l'audio sont encodés pour les réseaux de neurones. Une préparation adéquate des données affecte directement la qualité du modèle génératif.

Leçon 3 • Principes fondamentaux de l'IA et de l'apprentissage automatique

Couvre la hiérarchie de l'IA à l'apprentissage profond et les différences entre l'apprentissage supervisé, non supervisé et par renforcement. Établit le vocabulaire utilisé tout au long du cours.

Leçon 4 • Principes fondamentaux des réseaux de neurones

Présente les perceptrons, les fonctions d'activation, la rétropropagation et la descente de gradient. Fournit l'intuition mathématique nécessaire à la compréhension des architectures génératives.

Leçon 1 • Comparaison et sélection d'architectures

Fournit un cadre structuré pour évaluer les architectures selon la qualité, la diversité, la vitesse et la contrôlabilité. Prépare les étudiants et étudiantes à prendre des décisions de conception éclairées.

Leçon 2 • Réseaux antagonistes génératifs

Couvre le jeu entre le générateur et le discriminateur, la dynamique d'entraînement et les modes de défaillance courants comme l'effondrement modal. Développe l'intuition pour l'entraînement antagoniste utilisé en synthèse d'images.

Leçon 3 • Autoencodeurs variationnels

Explique la structure encodeur-décodeur, l'astuce de reparamétrisation et la perte ELBO. Fait le lien entre la théorie des VAE et les tâches pratiques de génération d'images et de données.

Leçon 4 • Modèles de diffusion

Présente les processus de bruitage avant et de débruitage inverse, l'appariement de score et les DDPM. Explique pourquoi les modèles de diffusion atteignent une qualité d'image de pointe.

Leçon 1 • Tokenisation et conception de vocabulaire

Explique le codage par paires d'octets, WordPiece et SentencePiece ainsi que leur effet sur le rendement du modèle. Les choix de tokenisation affectent directement la qualité multilingue et de génération de code.

Leçon 2 • Lois de mise à l'échelle et capacités émergentes

Examine comment la taille du modèle, les données et le calcul interagissent pour produire des comportements prévisibles et émergents. Aide les étudiants et étudiantes à raisonner sur les seuils de capacité.

Leçon 3 • Modes de défaillance et limites des LLM

Analyse les hallucinations, la sycophancie, les limites de fenêtre de contexte et les dates limites de connaissance. Comprendre les défaillances est essentiel avant d'appliquer les LLM en production.

Leçon 4 • Architecture des transformeurs expliquée

Décompose l'auto-attention, l'attention multi-têtes, l'encodage positionnel et les couches feed-forward. Cette architecture sous-tend chaque grand LLM abordé plus tard.

Leçon 1 • Stratégies avancées d'ingénierie des prompts

Explore les cadriciels d'arbre de pensée, ReAct et de méta-prompting pour la résolution de problèmes en plusieurs étapes. Étend le prompting de base aux flux de travail agentiques et itératifs.

Leçon 2 • Techniques de prompts pour images et multimodal

Couvre l'anatomie des prompts texte vers image, les prompts négatifs, les jetons de style et les entrées des modèles vision-langage. Étend les compétences en prompting au-delà des modèles textuels seulement.

Leçon 3 • Évaluation et test des prompts

Présente les tests systématiques de prompts, les suites de régression et les mesures d'évaluation automatisées. Garantit que la qualité des prompts est mesurable et reproductible.

Leçon 4 • Prompting few-shot et par chaîne de pensée

Couvre l'apprentissage en contexte avec des exemples et l'incitation au raisonnement étape par étape. Ces techniques améliorent considérablement la précision sur les tâches de raisonnement complexes.

Leçon 1 • Mise au point par instructions et alignement

Couvre la mise au point supervisée par instructions, le RLHF et le DPO pour aligner les sorties du modèle sur les préférences humaines. Directement pertinent pour la création d'assistants IA sécuritaires et utiles.

Leçon 2 • Stratégies d'adaptation au domaine

Explique le préentraînement continu, l'extension du vocabulaire spécifique au domaine et les ratios de mélange de données. Prépare les étudiants et étudiantes à adapter des modèles généraux à des domaines spécialisés.

Leçon 3 • Mise au point pour la génération d'images

Couvre DreamBooth, l'inversion textuelle et LoRA pour les modèles de diffusion afin de personnaliser la génération d'images. Étend les compétences en mise au point aux modèles génératifs visuels.

Leçon 4 • Principes fondamentaux de la mise au point complète

Couvre la préparation des ensembles de données, la planification du taux d'apprentissage et l'atténuation de l'oubli catastrophique pour les mises à jour complètes du modèle. Établit la base de référence avant les méthodes efficaces en termes de paramètres.

Leçon 1 • Construction de pipelines RAG

Explique le découpage en segments de documents, les stratégies de récupération, l'injection de contexte et la génération de réponses. Relie les composants de récupération en un système de génération ancrée de bout en bout.

Leçon 2 • Systèmes multi-agents et orchestration

Couvre les rôles des agents, les protocoles de communication et les cadriciels d'orchestration pour coordonner plusieurs agents. Permet aux étudiants et étudiantes de construire des flux de travail automatisés complexes.

Leçon 3 • Bases de données vectorielles et plongements

Couvre les plongements vectoriels denses, les algorithmes de recherche par similarité et l'indexation des bases de données vectorielles. Ces composants forment l'épine dorsale de la récupération des systèmes RAG.

Leçon 4 • Principes fondamentaux des agents IA

Présente la boucle agent, l'utilisation d'outils, les types de mémoire et les stratégies de planification. Établit le modèle conceptuel des systèmes IA autonomes.

Leçon 1 • Conception de l'évaluation humaine

Explique la conception des tâches d'annotation, l'accord inter-annotateurs et les meilleures pratiques en matière de crowdsourcing. L'évaluation humaine demeure la référence absolue pour une évaluation nuancée de la qualité.

Leçon 2 • Évaluation des images et du multimodal

Couvre le FID, le score CLIP et les études de préférence humaine pour évaluer les sorties d'images et multimodales. Étend les compétences en évaluation au-delà des systèmes textuels seulement.

Leçon 3 • Évaluation de la sécurité et des biais

Présente les méthodologies d'équipe rouge, les repères de toxicité et les audits d'équité pour les modèles génératifs. Garantit que l'évaluation couvre les préjudices, et pas seulement la qualité.

Leçon 4 • Mesures automatiques pour la génération de texte

Couvre BLEU, ROUGE, BERTScore et la perplexité, et explique quand chaque mesure est appropriée. Fournit une boîte à outils pour la mesure automatisée de la qualité.

Leçon 1 • Optimisation des modèles pour l'inférence

Couvre la quantification, l'élagage, la distillation et le décodage spéculatif pour réduire la latence et les coûts. L'optimisation est essentielle avant tout déploiement en production.

Leçon 2 • MLOps pour l'IA générative

Couvre le versionnement, les pipelines CI/CD, le suivi des expériences et les registres de modèles adaptés aux charges de travail génératives. Opérationnalise le cycle de vie complet du modèle.

Leçon 3 • Garde-fous et filtrage des sorties

Couvre la validation des entrées, les classificateurs de sorties, les couches de modération de contenu et les stratégies de repli. Les garde-fous empêchent les sorties nuisibles ou contraires aux politiques dans les systèmes en direct.

Leçon 4 • Surveillance et observabilité

Présente le suivi de la latence, la détection de la dérive des sorties, la surveillance des coûts et les pipelines d'alerte. Une observabilité continue garantit la fiabilité des systèmes de production.