Formation en évaluation et optimisation des LLM

Leçon 1 • Objectifs de l'Évaluation et Parties Prenantes

Établit une correspondance entre les objectifs d'évaluation et les besoins des parties prenantes métier, de recherche et de conformité. Clarifie comment l'alignement des objectifs façonne la sélection des métriques et le reporting.

Leçon 2 • Taxonomie des Méthodes d'Évaluation

Passe en revue les approches d'évaluation humaine, automatisée et hybride à un haut niveau. Prépare le terrain pour des approfondissements dans les chapitres suivants.

Leçon 3 • Comment les LLM Génèrent du Texte

Couvre la prédiction de jetons, les stratégies d'échantillonnage et les effets de la température sur la variabilité des sorties. Ancre tout le travail d'évaluation ultérieur dans la mécanique du comportement du modèle.

Leçon 1 • Workflows d'Annotation et d'Étiquetage

Couvre les directives d'annotation, l'accord inter-annotateurs et les processus de contrôle qualité. Produit des données de vérité terrain étiquetées requises pour les métriques d'évaluation supervisées.

Leçon 2 • Gestion de Versions et Gouvernance des Jeux de Données

Établit des pratiques pour la gestion de versions, la documentation et l'audit des jeux de données d'évaluation dans le temps. Assure la reproductibilité et la traçabilité à travers les itérations du modèle.

Leçon 3 • Tests Adverses et de Stress

Introduit l'injection d'invites, les tentatives de jailbreak et les entrées de conditions limites comme tests de stress. Prépare les étudiants à exposer systématiquement les vulnérabilités du modèle.

Leçon 4 • Diversité des Entrées et Cas Limites

Techniques pour générer des invites diverses, y compris des domaines rares, des requêtes ambiguës et des entrées multilingues. Assure que l'évaluation fait surface des modes de défaillance du monde réel.

Leçon 1 • Métriques Sans Référence et Basées sur un Modèle

Explore la perplexité, les scores de cohérence et les approches LLM-en-tant-que-juge qui ne nécessitent aucune référence en or. Met en évidence quand l'évaluation sans référence est nécessaire.

Leçon 2 • Agrégation et Reporting des Métriques

Enseigne la notation composite, les intervalles de confiance et les tests de signification statistique pour les résultats des métriques. Permet un reporting de performance défendable et reproductible.

Leçon 3 • Métriques de Chevauchement Lexical

Couvre BLEU, ROUGE, METEOR et CIDEr comme mesures de similarité basées sur les n-grammes. Explique leurs hypothèses, forces et limitations bien documentées.

Leçon 4 • Métriques Automatisées Spécifiques aux Tâches

Couvre la précision, le F1, la correspondance exacte et les taux de réussite d'exécution de code pour les tâches de classification, de QA et de codage. Aligne le choix de la métrique sur la structure de la tâche.

Leçon 1 • Recrutement et Formation des Annotateurs

Aborde les critères de qualification des annotateurs, l'intégration et les exercices de calibrage. Réduit la variance introduite par les différences de parcours et d'interprétation des annotateurs.

Leçon 2 • Analyse de la Fiabilité Inter-Annotateurs

Applique le kappa de Cohen, l'alpha de Krippendorff et le kappa de Fleiss pour mesurer l'accord entre annotateurs. Guide les décisions sur le moment d'arbitrer ou d'écarter les désaccords.

Leçon 3 • Conception d'Étude d'Évaluation Humaine

Couvre les échelles de notation, la comparaison par paires et les paradigmes de classement pour collecter les jugements humains. Relie les choix de conception de l'étude à la puissance statistique et à la fiabilité.

Leçon 4 • Passage à l'échelle de l'évaluation humaine de manière efficace

Couvre l'échantillonnage par apprentissage actif, l'annotation stratifiée et les pipelines hybrides humain-automatisés pour réduire les coûts. Maintient la qualité tout en passant à l'échelle sur de grands ensembles de sorties.

Leçon 1 • Défaillances liées aux biais et à l'équité

Couvre les biais démographiques, représentationnels et de stéréotypage détectables dans les sorties du modèle. Relie le diagnostic des biais aux préjudices en aval et à la planification de l'atténuation.

Leçon 2 • Défaillances de suivi d'instructions

Analyse les cas où les modèles ignorent les contraintes, les exigences de format ou les spécifications de la tâche. Développe des suites de tests ciblées pour mesurer l'adhésion aux instructions.

Leçon 3 • Attribution de la cause racine

Mappe les défaillances observées aux données d'entraînement, à la conception de l'invite ou aux causes liées aux paramètres de décodage. Permet une remédiation ciblée plutôt que des correctifs par essais et erreurs.

Leçon 4 • Erreurs de raisonnement et de logique

Identifie les défaillances de raisonnement en plusieurs étapes, les erreurs arithmétiques et les incohérences logiques dans les sorties des LLM. Applique le sondage par chaîne de pensée pour faire surface des ruptures de raisonnement.

Leçon 1 • Sensibilité et robustesse des invites

Mesure comment de petites variations d'invite provoquent de grands changements de sortie et applique des tests de robustesse. Produit des invites stables qui fonctionnent de manière cohérente à travers les paraphrases.

Leçon 2 • Expérimentation systématique d'invites

Applique les tests A/B, la conception factorielle et la recherche automatisée d'invites pour optimiser les variables d'invite. Relie la rigueur de l'expérimentation à des améliorations de performance reproductibles.

Leçon 3 • Structure et anatomie de l'invite

Décompose les instructions système, le contexte, les exemples et les directives de format de sortie comme composants de l'invite. Établit un modèle structuré pour une construction cohérente d'invite.

Leçon 4 • Invites few-shot et par chaîne de pensée

Couvre la sélection d'exemples, les effets d'ordre et la sollicitation du raisonnement à travers des schémas de chaîne de pensée. Démontre des gains de précision mesurables sur des tâches complexes.

Leçon 1 • Évaluation post-optimisation

Applique des comparaisons d'évaluation pré/post, des tests de régression et des vérifications de préservation des capacités après optimisation. Garantit que les améliorations dans les domaines ciblés ne dégradent pas les autres capacités.

Leçon 2 • Apprentissage par renforcement à partir du retour humain

Explique l'entraînement du modèle de récompense, l'optimisation PPO et la collecte de données de préférence pour les pipelines RLHF. Aligne le comportement du modèle avec les jugements humains de qualité à grande échelle.

Leçon 3 • Méthodes de fine-tuning efficaces en paramètres

Introduit LoRA, le réglage de préfixe et les couches d'adaptateur comme alternatives peu coûteuses au fine-tuning complet. Permet l'optimisation sous contraintes de calcul et de données.

Leçon 4 • Optimisation directe des préférences

Couvre le DPO comme alternative plus simple au RLHF qui utilise des paires de préférence sans modèle de récompense séparé. Compare le DPO et le RLHF sur la stabilité, le coût et la qualité de sortie.

Leçon 1 • Détection de la Dérive des Données et du Concept

Applique des tests statistiques et une surveillance de l'espace de plongement pour détecter la dérive de la distribution d'entrée et de la qualité de sortie. Déclenche un réentraînement ou des mises à jour d'invite en temps opportun avant que la dégradation ne se cumule.

Leçon 2 • Passerelles de Qualité Automatisées et Alertes

Implémente des passerelles de qualité basées sur des seuils et la détection d'anomalies qui bloquent ou signalent les sorties dégradées. Réduit le temps moyen de détection des incidents de qualité en production.

Leçon 3 • Workflows d'Amélioration Continue

Établit des cycles de réentraînement guidés par l'évaluation, des cadences de mise à jour d'invite et une gouvernance de la gestion de versions des modèles. Opérationnalise une boucle durable allant du signal de surveillance à l'amélioration déployée.

Leçon 4 • Collecte et Analyse des Retours Utilisateurs

Conçoit des mécanismes de retour pouce vers le haut/pouce vers le bas, de notation explicite et de retour comportemental implicite. Convertit les signaux utilisateur en données d'évaluation exploitables pour l'amélioration continue.