Cours de tests et optimisation d'applications LLM

Leçon 1 • Anatomie d'une application LLM

Décompose les composants d'une application typique propulsée par un LLM : invite, modèle, récupération et sortie. Clarifie ce que chaque couche apporte au comportement testable.

Leçon 2 • Dimensions fondamentales de la qualité pour les LLM

Présente l'exactitude, la pertinence, la sécurité et la latence comme axes principaux de la qualité. Fournit un vocabulaire d'évaluation commun utilisé tout au long du cours.

Leçon 3 • Mentalité de test et taxonomie des défaillances

Construit une façon structurée d'anticiper et de catégoriser les défaillances des LLM avant même d'écrire un seul test. Prépare les étudiants à concevoir des tests avec des hypothèses de défaillance claires.

Leçon 1 • Anatomie et structure d'un cas de test

Définit les composants d'un cas de test de LLM bien formé : entrée, contexte, comportement attendu et critères de réussite. Établit un format cohérent pour le cours.

Leçon 2 • Conception de tests adverses et de tests de résistance

Présente l'injection d'invites, les tentatives de contournement des garde-fous et les entrées de surcharge comme stratégies de test délibérées. Prépare les étudiants à renforcer les applications contre les mauvais usages.

Leçon 3 • Partitionnement d'équivalence pour les invites

Adapte le partitionnement d'équivalence classique à la conception d'invites, en regroupant les entrées par classe de comportement. Réduit les tests redondants tout en maximisant la couverture.

Leçon 4 • Tests basés sur des scénarios et des parcours utilisateurs

Conçoit des scénarios multitours et d'achèvement de tâches qui reflètent les flux de travail réels des utilisateurs. Relie les tests d'invite au niveau unitaire au comportement de l'application de bout en bout.

Leçon 1 • Agrégation de métriques et tableaux de bord

Combine plusieurs métriques en scores composites et visualise les tendances au fil du temps. Permet aux équipes de suivre les régressions de qualité à travers les changements de modèle ou d'invite.

Leçon 2 • Métriques de chaîne basées sur des références

Couvre les métriques BLEU, ROUGE et de correspondance exacte pour les sorties avec des réponses correctes connues. Explique quand ces métriques sont fiables et quand elles induisent en erreur.

Leçon 3 • Métriques de similarité sémantique

Présente les scores de similarité basés sur les plongements qui capturent le sens au-delà des jetons de surface. Fait le pont entre le chevauchement de chaînes et le jugement humain.

Leçon 1 • Principes du LLM-en-tant-que-juge

Explique pourquoi les juges LLM fonctionnent, où ils échouent et comment limiter leur utilisation de manière responsable. Ancre la technique dans ses forces théoriques et ses biais connus.

Leçon 2 • Calibration et validation des juges

Mesure l'accord des juges avec les évaluateurs humains à l'aide de statistiques de corrélation et de kappa. Garantit que les invites des juges sont dignes de confiance avant de les déployer à grande échelle.

Leçon 3 • Évaluation par paires et sans référence

Couvre la comparaison en tête-à-tête et la notation absolue sans réponses de référence. Élargit l'évaluation aux tâches ouvertes où la vérité terrain n'est pas disponible.

Leçon 4 • Conception d'invites de juges

Enseigne la construction de grilles d'évaluation, la conception d'échelles de notation et la sollicitation du raisonnement en chaîne de pensée pour les invites des juges. Détermine directement la fiabilité des jugements automatisés.

Leçon 1 • Mesure de la fiabilité inter-évaluateurs

Applique le kappa de Cohen, l'alpha de Krippendorff et le pourcentage d'accord aux données d'annotation. Quantifie la cohérence des étiquettes et identifie les critères ambigus.

Leçon 2 • Élaboration de directives d'annotation

Construit des schémas d'annotation détaillés avec des exemples, des règles pour les cas limites et des arbres de décision. Réduit la confusion des annotateurs et améliore la cohérence des étiquettes.

Leçon 3 • Crowdsourcing ou annotation par des experts

Compare les plateformes de crowdsourcing avec les panels d'experts du domaine pour différentes tâches d'évaluation. Guide le choix du type d'annotateur en fonction de la complexité de la tâche et du budget.

Leçon 1 • Suivi et gestion de versions des modifications d'invites

Établit un registre d'invites avec l'historique des versions, les scores d'évaluation et la justification des changements. Empêche les régressions et permet le retour arrière lorsque les nouvelles invites sont moins performantes.

Leçon 2 • Diagnostic des défaillances d'invites

Utilise les sorties d'évaluation pour classer les défaillances d'invites par cause racine. Relie la taxonomie des défaillances du chapitre un à des modifications exploitables des invites.

Leçon 3 • Critères de convergence et règles d'arrêt

Définit quand une invite est suffisamment bonne à l'aide de seuils statistiques et d'objectifs commerciaux. Empêche l'itération sans fin et concentre les efforts sur les améliorations à forte valeur ajoutée.

Leçon 4 • Techniques d'ingénierie d'invites

Couvre les exemples à quelques tirés, le raisonnement en chaîne de pensée, l'attribution de rôles et le formatage des sorties. Fournit une trousse à outils de techniques à appliquer lors des cycles d'amélioration.

Leçon 1 • Surveillance de la qualité post-déploiement

Étend les tests à la production avec l'échantillonnage, l'évaluation en parallèle et la détection de dérive. Ferme la boucle de rétroaction entre l'utilisation en direct et la suite de tests.

Leçon 2 • Architecture du pipeline CI/CD pour les LLM

Mappe les étapes d'évaluation des LLM sur les étapes standard du CI/CD : lint, test, évaluer, déployer. Adapte les pipelines de livraison de logiciels pour gérer les résultats de test probabilistes.

Leçon 3 • Conception de la suite de tests de régression

Sélectionne et maintient un ensemble de régression organisé qui détecte efficacement les modes de défaillance connus. Équilibre la couverture avec le coût d'exécution pour des boucles de rétroaction rapides.

Leçon 1 • Détection de sorties nuisibles

Couvre les classifieurs de toxicité, les filtres de mots-clés et les juges de sécurité basés sur les LLM pour détecter le contenu nuisible. Établit une stratégie de détection à plusieurs niveaux pour les systèmes de production.

Leçon 2 • Rapport d'évaluation de la sécurité

Structure les résultats dans un rapport de sécurité avec des niveaux de gravité, des preuves et des étapes de correction. Communique clairement les risques aux parties prenantes techniques et non techniques.

Leçon 3 • Mesure des biais à travers les données démographiques

Applique des tests d'entrée contrefactuels et des métriques de disparité pour révéler les biais démographiques. Quantifie le traitement différencié entre les groupes d'attributs protégés.

Leçon 4 • Critères d'équité et compromis

Présente l'équité de groupe, l'équité individuelle et la calibration comme des critères concurrents. Aide les étudiants à choisir et à justifier les définitions de l'équité pour leur contexte d'application.