Formation Tests et Optimisation d'Applications LLM

Leçon 1 • Anatomie d'une application LLM

Décompose les composants d'une application LLM typique : prompt, modèle, récupération et sortie. Clarifie ce que chaque couche apporte au comportement testable.

Leçon 2 • Dimensions qualité fondamentales pour les LLM

Présente la justesse, la pertinence, la sécurité et la latence comme axes qualité principaux. Fournit un vocabulaire d'évaluation partagé utilisé tout au long du cours.

Leçon 3 • Mentalité de test et taxonomie des défaillances

Construit une approche structurée pour anticiper et catégoriser les défaillances des LLM avant d'écrire le moindre test. Prépare les étudiants à concevoir des tests avec des hypothèses de défaillance claires.

Leçon 1 • Anatomie et structure d'un cas de test

Définit les composants d'un cas de test LLM bien formé : intrant, contexte, comportement attendu et critères de réussite. Établit un format cohérent pour le cours.

Leçon 2 • Conception de tests adversarial et de stress

Présente l'injection de prompt, les tentatives de jailbreak et les entrées surchargées comme stratégies de test délibérées. Prépare les étudiants à renforcer les applications contre les mauvais usages.

Leçon 3 • Partitionnement d'équivalence pour les prompts

Adapte le partitionnement d'équivalence classique à la conception de prompts, en regroupant les entrées par classe de comportement. Réduit les tests redondants tout en maximisant la couverture.

Leçon 4 • Tests basés sur des scénarios et des parcours utilisateur

Conçoit des scénarios multi-tours et d'achèvement de tâche qui reflètent les flux de travail réels des utilisateurs. Relie les tests de prompt unitaires au comportement de bout en bout de l'application.

Leçon 1 • Agrégation de métriques et tableaux de bord

Combine plusieurs métriques en scores composites et visualise les tendances dans le temps. Permet aux équipes de suivre les régressions de qualité à travers les changements de modèle ou de prompt.

Leçon 2 • Métriques de chaîne de caractères basées sur une référence

Couvre les métriques BLEU, ROUGE et de correspondance exacte pour les sorties avec des réponses correctes connues. Explique quand ces métriques sont fiables et quand elles induisent en erreur.

Leçon 3 • Métriques de similarité sémantique

Présente les scores de similarité basés sur les embeddings qui capturent le sens au-delà des jetons de surface. Fait le pont entre le chevauchement de chaînes et le jugement humain.

Leçon 1 • Principes du LLM en tant que juge

Explique pourquoi les juges LLM fonctionnent, où ils échouent et comment encadrer leur utilisation de manière responsable. Ancre la technique dans ses forces théoriques et ses biais connus.

Leçon 2 • Calibrage et validation des juges

Mesure l'accord du juge avec les évaluateurs humains à l'aide de statistiques de corrélation et de kappa. Garantit que les prompts des juges sont fiables avant de les déployer à grande échelle.

Leçon 3 • Évaluation pairwise et sans référence

Couvre la comparaison tête-à-tête et le scoring absolu sans réponses de référence. Étend l'évaluation aux tâches ouvertes où la vérité terrain n'est pas disponible.

Leçon 4 • Conception des prompts du juge

Enseigne la construction de rubriques, la conception d'échelles de notation et l'élicitation de chaîne de pensée pour les prompts du juge. Détermine directement la fiabilité des jugements automatisés.

Leçon 1 • Mesure de la fiabilité inter-évaluateurs

Applique le kappa de Cohen, l'alpha de Krippendorff et le pourcentage d'accord aux données d'annotation. Quantifie la cohérence des étiquettes et identifie les critères ambigus.

Leçon 2 • Développement de directives d'annotation

Construit des schémas d'annotation détaillés avec des exemples, des règles pour les cas limites et des arbres de décision. Réduit la confusion des annotateurs et améliore la cohérence des étiquettes.

Leçon 3 • Crowdsourcing vs annotation experte

Compare les plateformes de crowdsourcing avec les panels d'experts pour différentes tâches d'évaluation. Guide le choix du type d'annotateur en fonction de la complexité de la tâche et du budget.

Leçon 1 • Suivi et gestion de versions des modifications de prompt

Établit un registre de prompts avec l'historique des versions, les scores d'évaluation et la justification des changements. Empêche les régressions et permet un retour en arrière lorsque les nouveaux prompts sont moins performants.

Leçon 2 • Diagnostic des défaillances de prompt

Utilise les sorties d'évaluation pour classer les défaillances de prompt par cause racine. Relie la taxonomie des défaillances du chapitre un à des modifications exploitables du prompt.

Leçon 3 • Critères de convergence et règles d'arrêt

Définit quand un prompt est suffisamment bon en utilisant des seuils statistiques et des objectifs métier. Empêche l'itération sans fin et concentre les efforts sur les améliorations à forte valeur ajoutée.

Leçon 4 • Techniques d'ingénierie de prompt

Couvre les exemples few-shot, la chaîne de pensée, l'attribution de rôles et le formatage de la sortie. Fournit une boîte à outils de techniques à appliquer pendant les cycles d'affinement.

Leçon 1 • Surveillance de la qualité post-déploiement

Étend les tests en production avec l'échantillonnage, l'évaluation en miroir et la détection de dérive. Boucle la boucle de rétroaction entre l'utilisation en direct et la suite de tests.

Leçon 2 • Architecture de pipeline CI/CD pour les LLM

Mappe les étapes d'évaluation des LLM sur les étapes CI/CD standard : lint, test, évaluer, déployer. Adapte les pipelines de livraison de logiciels pour gérer les résultats de test probabilistes.

Leçon 3 • Conception de la suite de tests de régression

Sélectionne et maintient un ensemble de régression curaté qui capture efficacement les modes de défaillance connus. Équilibre la couverture avec le coût d'exécution pour des boucles de rétroaction rapides.

Leçon 1 • Détection de sorties nuisibles

Couvre les classifieurs de toxicité, les filtres de mots-clés et les juges de sécurité basés sur LLM pour détecter les contenus nuisibles. Établit une stratégie de détection en couches pour les systèmes de production.

Leçon 2 • Rapport d'évaluation de la sécurité

Structure les résultats dans un rapport de sécurité avec des niveaux de gravité, des preuves et des étapes de correction. Communique clairement les risques aux parties prenantes techniques et non techniques.

Leçon 3 • Mesure des biais entre les groupes démographiques

Applique les tests d'intrants contrefactuels et les métriques de disparité pour faire apparaître les biais démographiques. Quantifie le traitement différentiel entre les groupes d'attributs protégés.

Leçon 4 • Critères d'équité et compromis

Présente l'équité de groupe, l'équité individuelle et l'étalonnage comme critères concurrents. Aide les étudiants à choisir et justifier les définitions d'équité pour leur contexte applicatif.