Formation Évaluation et Optimisation LLM

Leçon 1 • Objectifs d'évaluation et parties prenantes

Établit la correspondance entre les objectifs d'évaluation et les besoins des parties prenantes métier, de recherche et de conformité. Clarifie la manière dont l'alignement des objectifs façonne la sélection des métriques et le reporting.

Leçon 2 • Taxonomie des méthodes d'évaluation

Passe en revue les approches d'évaluation humaine, automatisée et hybride à un niveau élevé. Prépare le terrain pour des analyses approfondies dans les chapitres suivants.

Leçon 3 • Comment les LLM génèrent du texte

Couvre la prédiction de jetons, les stratégies d'échantillonnage et les effets de la température sur la variabilité des sorties. Ancre tout le travail d'évaluation ultérieur dans les mécaniques du comportement du modèle.

Leçon 1 • Workflows d'annotation et d'étiquetage

Couvre les consignes d'annotation, l'accord inter-annotateurs et les processus de contrôle qualité. Produit des données de vérité terrain annotées requises pour les métriques d'évaluation supervisées.

Leçon 2 • Gestion des versions et gouvernance des jeux de données

Établit des pratiques pour versionner, documenter et auditer les jeux de données d'évaluation dans le temps. Assure la reproductibilité et la traçabilité à travers les itérations de modèle.

Leçon 3 • Tests adverses et de résistance

Introduit l'injection de prompts, les tentatives de jailbreak et les entrées de condition limite comme tests de résistance. Prépare les étudiants à exposer systématiquement les vulnérabilités des modèles.

Leçon 4 • Diversité des entrées et cas limites

Techniques de génération de prompts diversifiés, incluant les domaines rares, les requêtes ambiguës et les entrées multilingues. Garantit que l'évaluation révèle les modes de défaillance réels.

Leçon 1 • Métriques sans référence et basées sur un modèle

Explore la perplexité, les scores de cohérence et les approches LLM-en-tant-que-juge qui ne nécessitent pas de référence en or. Met en évidence les cas où l'évaluation sans référence est nécessaire.

Leçon 2 • Agrégation et reporting des métriques

Enseigne la notation composite, les intervalles de confiance et les tests de signification statistique pour les résultats des métriques. Permet un reporting de performance défendable et reproductible.

Leçon 3 • Métriques de chevauchement lexical

Couvre BLEU, ROUGE, METEOR et CIDEr comme mesures de similarité basées sur les n-grammes. Explique leurs hypothèses, forces et limitations bien documentées.

Leçon 4 • Métriques automatisées spécifiques aux tâches

Couvre l'exactitude, le F1, la correspondance exacte et les taux de réussite d'exécution de code pour les tâches de classification, de QA et de codage. Aligne le choix de la métrique sur la structure de la tâche.

Leçon 1 • Recrutement et formation des annotateurs

Aborde les critères de qualification des annotateurs, l'intégration et les exercices de calibrage. Réduit la variance introduite par l'arrière-plan des annotateurs et les différences d'interprétation.

Leçon 2 • Analyse de la fiabilité inter-évaluateurs

Applique le kappa de Cohen, l'alpha de Krippendorff et le kappa de Fleiss pour mesurer l'accord entre annotateurs. Guide les décisions sur le moment d'arbitrer ou d'écarter les désaccords.

Leçon 3 • Conception d'études d'évaluation humaine

Couvre les échelles de notation, la comparaison par paires et les paradigmes de classement pour recueillir des jugements humains. Relie les choix de conception de l'étude à la puissance statistique et à la fiabilité.

Leçon 4 • Passage à l'échelle de l'évaluation humaine efficacement

Couvre l'échantillonnage par apprentissage actif, l'annotation stratifiée et les pipelines hybrides humain-automatisés pour réduire les coûts. Maintient la qualité tout en passant à l'échelle pour de grands ensembles de sorties.

Leçon 1 • Défaillances liées aux biais et à l'équité

Couvre les biais démographiques, représentationnels et de stéréotypage détectables dans les sorties des modèles. Relie le diagnostic des biais aux préjudices en aval et à la planification des mesures d'atténuation.

Leçon 2 • Défaillances dans le suivi des instructions

Analyse les cas où les modèles ignorent les contraintes, les exigences de format ou les spécifications de la tâche. Développe des suites de tests ciblées pour mesurer l'adhérence aux instructions.

Leçon 3 • Attribution de la cause profonde

Établit la correspondance entre les défaillances observées et les causes liées aux données d'entraînement, à la conception des prompts ou aux paramètres de décodage. Permet des corrections ciblées plutôt que des correctifs par essais-erreurs.

Leçon 4 • Erreurs de raisonnement et de logique

Identifie les défaillances de raisonnement en plusieurs étapes, les erreurs arithmétiques et les incohérences logiques dans les sorties des LLM. Applique le sondage par chaîne de pensée pour révéler les ruptures de raisonnement.

Leçon 1 • Sensibilité et robustesse des prompts

Mesure comment de petites variations de prompt provoquent de grands changements de sortie et applique des tests de robustesse. Produit des prompts stables qui fonctionnent de manière cohérente à travers les paraphrases.

Leçon 2 • Expérimentation systématique des prompts

Applique les tests A/B, les plans factoriels et la recherche automatisée de prompts pour optimiser les variables de prompt. Relie la rigueur expérimentale à des améliorations de performance reproductibles.

Leçon 3 • Structure et anatomie du prompt

Décompose les instructions système, le contexte, les exemples et les directives de format de sortie en tant que composants du prompt. Établit un modèle structuré pour une construction cohérente des prompts.

Leçon 4 • Prompting few-shot et chaîne de pensée

Couvre la sélection d'exemples, les effets d'ordre et l'élicitation du raisonnement via des schémas de chaîne de pensée. Démontre des gains d'exactitude mesurables sur des tâches complexes.

Leçon 1 • Évaluation post-optimisation

Applique des comparaisons d'évaluation pré/post, des tests de régression et des vérifications de préservation des capacités après optimisation. Garantit que les améliorations dans les domaines ciblés ne dégradent pas d'autres capacités.

Leçon 2 • Apprentissage par renforcement à partir du feedback humain

Explique l'entraînement du modèle de récompense, l'optimisation PPO et la collecte de données de préférence pour les pipelines RLHF. Aligne le comportement du modèle avec les jugements humains de qualité à grande échelle.

Leçon 3 • Méthodes de fine-tuning efficaces en paramètres

Introduit LoRA, le préfixe tuning et les couches d'adaptation comme alternatives peu coûteuses au fine-tuning complet. Permet l'optimisation sous contraintes de calcul et de données.

Leçon 4 • Optimisation directe des préférences

Couvre la DPO comme une alternative plus simple au RLHF qui utilise des paires de préférence sans modèle de récompense séparé. Compare la DPO et le RLHF sur la stabilité, le coût et la qualité des sorties.

Leçon 1 • Détection de dérive des données et du concept

Applique des tests statistiques et une surveillance de l'espace de plongement pour détecter la dérive de la distribution d'entrée et de la qualité des sorties. Déclenche un réentraînement ou des mises à jour de prompts en temps utile avant que la dégradation ne s'aggrave.

Leçon 2 • Passerelles qualité automatisées et alertes

Implémente des passerelles qualité basées sur des seuils et la détection d'anomalies qui bloquent ou signalent les sorties dégradées. Réduit le temps moyen de détection des incidents de qualité en production.

Leçon 3 • Workflows d'amélioration continue

Établit des cycles de réentraînement pilotés par l'évaluation, des cadences de mise à jour des prompts et une gouvernance du versionnement des modèles. Opérationnalise une boucle durable allant du signal de surveillance à l'amélioration déployée.

Leçon 4 • Collecte et analyse des retours utilisateurs

Conçoit des mécanismes de feedback par pouce levé/baissé, notation explicite et comportement implicite. Convertit les signaux utilisateurs en données d'évaluation exploitables pour l'amélioration continue.