Formation en test et optimisation d'applications LLM

Leçon 1 • Anatomie d'une Application LLM

Décompose les composants d'une application typique basée sur un LLM : prompt, modèle, récupération et sortie. Clarifie la contribution de chaque couche au comportement testable.

Leçon 2 • Dimensions Qualité Fondamentales pour les LLM

Présente la précision, la pertinence, la sécurité et la latence comme axes qualité principaux. Fournit un vocabulaire d'évaluation partagé utilisé tout au long du cours.

Leçon 3 • Mentalité de Test et Taxonomie des Échecs

Construit une manière structurée d'anticiper et de catégoriser les échecs des LLM avant d'écrire un seul test. Prépare les étudiants à concevoir des tests avec des hypothèses d'échec claires.

Leçon 1 • Anatomie et Structure d'un Cas de Test

Définit les composants d'un cas de test LLM bien formé : entrée, contexte, comportement attendu et critères de réussite. Établit un format cohérent pour le cours.

Leçon 2 • Conception de Tests Adversariaux et de Stress

Présente l'injection de prompt, les tentatives de jailbreak et les entrées de surcharge comme stratégies de test délibérées. Prépare les étudiants à renforcer les applications contre les mauvais usages.

Leçon 3 • Partitionnement d'Équivalence pour les Prompts

Adapte le partitionnement d'équivalence classique à la conception de prompts, regroupant les entrées par classe de comportement. Réduit les tests redondants tout en maximisant la couverture.

Leçon 4 • Tests Basés sur des Scénarios et des Parcours Utilisateur

Conçoit des scénarios multi-tours et d'accomplissement de tâche qui reflètent les flux de travail réels des utilisateurs. Relie les tests de prompt au niveau unitaire au comportement de l'application de bout en bout.

Leçon 1 • Agrégation de Métriques et Tableaux de Bord

Combine plusieurs métriques en scores composites et visualise les tendances dans le temps. Permet aux équipes de suivre les régressions de qualité lors des changements de modèle ou de prompt.

Leçon 2 • Métriques de Chaîne de Caractères Basées sur une Référence

Couvre BLEU, ROUGE et les métriques de correspondance exacte pour les sorties avec des réponses correctes connues. Explique quand ces métriques sont fiables et quand elles induisent en erreur.

Leçon 3 • Métriques de Similarité Sémantique

Présente les scores de similarité basés sur les plongements qui capturent le sens au-delà des jetons de surface. Comble le fossé entre le chevauchement de chaînes et le jugement humain.

Leçon 1 • Principes du LLM en Tant que Juge

Explique pourquoi les juges LLM fonctionnent, où ils échouent et comment limiter leur utilisation de manière responsable. Ancre la technique dans ses forces théoriques et ses biais connus.

Leçon 2 • Calibrage et Validation des Juges

Mesure la concordance du juge avec les évaluateurs humains à l'aide de statistiques de corrélation et de kappa. Garantit que les prompts des juges sont fiables avant de les déployer à grande échelle.

Leçon 3 • Évaluation Par Paire et Sans Référence

Couvre la comparaison tête-à-tête et la notation absolue sans réponses de référence. Étend l'évaluation à des tâches ouvertes où la vérité terrain n'est pas disponible.

Leçon 4 • Conception de Prompts de Juge

Enseigne la construction de grilles d'évaluation, la conception d'échelles de notation et l'élaboration de chaînes de raisonnement pour les prompts de juge. Détermine directement la fiabilité des jugements automatisés.

Leçon 1 • Mesure de la Fiabilité Inter-Évaluateurs

Applique le kappa de Cohen, l'alpha de Krippendorff et le pourcentage d'accord aux données d'annotation. Quantifie la cohérence des étiquettes et identifie les critères ambigus.

Leçon 2 • Développement de Directives d'Annotation

Construit des schémas d'annotation détaillés avec des exemples, des règles pour les cas limites et des arbres de décision. Réduit la confusion des annotateurs et améliore la cohérence des étiquettes.

Leçon 3 • Crowdsourcing vs Annotation par des Experts

Compare les plateformes de crowdsourcing avec les panels d'experts de domaine pour différentes tâches d'évaluation. Guide le choix du type d'annotateur en fonction de la complexité de la tâche et du budget.

Leçon 1 • Suivi et Gestion de Versions des Modifications de Prompts

Établit un registre de prompts avec un historique des versions, des scores d'évaluation et une justification des modifications. Empêche la régression et permet le retour en arrière lorsque de nouveaux prompts sont moins performants.

Leçon 2 • Diagnostic des Échecs de Prompts

Utilise les sorties d'évaluation pour classer les échecs de prompts par cause racine. Relie la taxonomie des échecs du Chapitre 1 à des modifications de prompt exploitables.

Leçon 3 • Critères de Convergence et Règles d'Arrêt

Définit quand un prompt est suffisamment bon à l'aide de seuils statistiques et d'objectifs métier. Empêche l'itération sans fin et concentre l'effort sur les améliorations à forte valeur ajoutée.

Leçon 4 • Techniques d'Ingénierie de Prompts

Couvre les exemples few-shot, la chaîne de pensée, l'attribution de rôles et le formatage de la sortie. Fournit une boîte à outils de techniques à appliquer lors des cycles de raffinement.

Leçon 1 • Surveillance de la Qualité Post-Déploiement

Étend les tests en production avec l'échantillonnage, l'évaluation fantôme et la détection de dérive. Ferme la boucle de rétroaction entre l'utilisation en direct et la suite de tests.

Leçon 2 • Architecture de Pipeline CI/CD pour les LLM

Mappe les étapes d'évaluation LLM sur les étapes CI/CD standard : lint, test, évaluer, déployer. Adapte les pipelines de livraison de logiciels pour gérer les résultats de test probabilistes.

Leçon 3 • Conception d'une Suite de Tests de Régression

Sélectionne et maintient un ensemble de régression organisé qui capture efficacement les modes de défaillance connus. Équilibre la couverture avec le coût d'exécution pour des boucles de rétroaction rapides.

Leçon 1 • Détection de Sorties Nuisibles

Couvre les classifieurs de toxicité, les filtres de mots-clés et les juges de sécurité basés sur LLM pour détecter les contenus nuisibles. Établit une stratégie de détection en couches pour les systèmes de production.

Leçon 2 • Rapport d'Évaluation de Sécurité

Structure les résultats dans un rapport de sécurité avec des niveaux de gravité, des preuves et des mesures correctives. Communique clairement les risques aux parties prenantes techniques et non techniques.

Leçon 3 • Mesure des Biais à Travers les Données Démographiques

Applique des tests d'entrée contrefactuels et des métriques de disparité pour faire surface des biais démographiques. Quantifie le traitement différentiel entre les groupes d'attributs protégés.

Leçon 4 • Critères d'Équité et Compromis

Présente l'équité de groupe, l'équité individuelle et l'étalonnage comme des critères concurrents. Aide les étudiants à choisir et à justifier les définitions d'équité pour leur contexte d'application.