Formation en évaluation des LLM

Leçon 1 • Comment les LLM Génèrent du Texte

Couvre la prédiction de jetons, la température et l'échantillonnage à un niveau conceptuel. Explique pourquoi ces mécanismes produisent les modes de défaillance que les évaluateurs doivent détecter.

Leçon 2 • Dimensions Clés de la Qualité des Sorties des LLM

Introduit les axes principaux—précision, fluidité, pertinence, cohérence et sécurité—utilisés pour juger toute réponse d'un LLM. Fournit la taxonomie que tous les chapitres suivants appliquent.

Leçon 3 • L'État d'Esprit de l'Évaluateur

Développe la posture critique et sceptique requise pour une évaluation rigoureuse. Distingue l'impression superficielle de la qualité substantielle pour éviter les erreurs courantes des évaluateurs.

Leçon 1 • Rédiger des Critères d'Évaluation Précis

Enseigne l'opérationnalisation : convertir des objectifs vagues en énoncés observables et testables. Permet directement une notation fiable dans les chapitres suivants.

Leçon 2 • Gestion des Versions et Maintien des Critères

Aborde la manière dont les critères doivent évoluer à mesure que les modèles, les tâches et les besoins commerciaux changent. Établit des pratiques de gouvernance qui maintiennent les cadres d'évaluation à jour et vérifiables.

Leçon 3 • Construire des Grilles de Notation

Guide la construction de grilles à plusieurs niveaux avec des descriptions d'ancrage à chaque point de score. Les grilles construites ici sont utilisées tout au long du cours pour la pratique pratique.

Leçon 4 • Aligner les Critères avec les Objectifs Commerciaux

Relie la conception de l'évaluation aux objectifs organisationnels tels que la précision, la voix de la marque et la conformité. Garantit que les critères reflètent le succès dans le monde réel, et pas seulement la qualité technique.

Leçon 1 • Mesurer la Fiabilité Inter-Évaluateurs

Introduit le kappa de Cohen, l'alpha de Krippendorff et le pourcentage d'accord comme métriques de fiabilité. Apprend aux apprenants à diagnostiquer et à résoudre les désaccords entre les évaluateurs.

Leçon 2 • Approches de Notation Par Paire et Absolue

Compare la comparaison côte à côte avec la notation absolue indépendante, en détaillant quand chacune est appropriée. Les apprenants choisissent la bonne approche pour un scénario d'évaluation donné.

Leçon 3 • Conception de Protocole de Notation

Couvre la séquence, l'interface et les instructions qui guident les évaluateurs humains à travers une tâche d'évaluation. Des protocoles bien conçus réduisent la charge cognitive et la dérive de notation.

Leçon 4 • Formation et Calibration des Évaluateurs

Détaille comment intégrer les évaluateurs à l'aide d'exemples de référence et de sessions de calibration. Les évaluateurs calibrés produisent les données fiables dont dépend l'analyse en aval.

Leçon 1 • Sélectionner et Combiner les Métriques

Fournit un cadre de décision pour choisir des combinaisons de métriques qui couvrent plusieurs dimensions de qualité. Les apprenants conçoivent des suites de métriques adaptées à des tâches spécifiques et aux besoins organisationnels.

Leçon 2 • Interpréter et Mal Interpréter les Métriques

Aborde la loi de Goodhart, le contournement des métriques et les écarts de corrélation entre les scores automatisés et le jugement humain. Développe la littératie critique pour que les apprenants évitent de trop se fier à une seule métrique.

Leçon 3 • Métriques Sans Référence et Basées sur un Modèle

Couvre la perplexité, les estimateurs de qualité appris et les approches LLM-comme-juge qui ne nécessitent aucune référence de référence. Élargit la boîte à outils de l'évaluateur pour les tâches de génération ouvertes.

Leçon 4 • Aperçu des Métriques Basées sur une Référence

Explique BLEU, ROUGE, METEOR et BERTScore comme métriques qui comparent les sorties à des références de référence. Établit quand la disponibilité des références rend ces métriques appropriées.

Leçon 1 • Reporter et Suivre les Erreurs Factuelles

Établit une journalisation structurée des erreurs, une classification de la gravité et des boucles de retour d'information vers les développeurs de modèles. Transforme les résultats individuels en données d'amélioration systémique.

Leçon 2 • Outils Automatisés de Détection d'Hallucinations

Passe en revue la vérification augmentée par récupération, les modèles d'inférence en langage naturel et les API spécialisées de vérification des faits. Permet une détection évolutive au-delà de ce que la révision manuelle seule peut atteindre.

Leçon 3 • Flux de Travail de Vérification Manuelle des Faits

Enseigne la décomposition des affirmations, la triangulation des sources et les listes de contrôle de vérification structurées pour les évaluateurs humains. Fournit un processus reproductible applicable à tout domaine.

Leçon 4 • Stratégies de Vérification Spécifiques aux Domaines

Adapte les approches de vérification pour les domaines à enjeux élevés tels que la médecine, le droit et la finance où les erreurs ont des conséquences graves. Calibre la rigueur en fonction du niveau de risque du domaine.

Leçon 1 • Évaluation des Politiques et des Directives de Contenu

Apprend aux évaluateurs à mapper les politiques de contenu organisationnelles aux caractéristiques observables des sorties. Garantit que l'évaluation applique une politique réelle plutôt que des notions vagues de pertinence.

Leçon 2 • Tests d'Intrusion et Tests Adversariaux

Introduit le sondage adversarial structuré pour faire apparaître des sorties nuisibles que les invites standard ne suscitent pas. Les résultats des tests d'intrusion informent directement les critères d'évaluation de la sécurité.

Leçon 3 • Définir le Préjudice dans les Sorties des LLM

Établit une taxonomie des préjudices couvrant les catégories physiques, psychologiques, sociétales et réputationnelles. Une taxonomie précise est un prérequis pour une détection et un signalement cohérents.

Leçon 4 • Construire un Pipeline d'Évaluation de la Sécurité

Intègre les classificateurs automatisés, l'examen humain et les chemins d'escalade dans un flux de travail de sécurité reproductible. Produit un pipeline que les apprenants peuvent adapter à leur contexte organisationnel.

Leçon 1 • Communiquer les Résultats de l'Étude

Enseigne le reporting structuré des résultats d'évaluation à des publics techniques et non techniques. Une communication claire garantit que les résultats se traduisent en actions organisationnelles.

Leçon 2 • Conception Expérimentale pour la Comparaison de Modèles

Applique les tests A/B, les plans intra-sujets et l'isolation des variables contrôlées aux études de comparaison de modèles. Une conception rigoureuse empêche les facteurs de confusion d'invalider les conclusions.

Leçon 3 • Analyse Statistique des Résultats d'Évaluation

Introduit les tests de signification, les intervalles de confiance et le reporting de la taille de l'effet pour les données d'évaluation. Les apprenants distinguent les différences significatives du bruit dans les scores des métriques.

Leçon 4 • Échantillonnage et Construction d'Ensembles de Données

Couvre l'échantillonnage stratifié, l'inclusion de cas limites et l'estimation de la taille de l'ensemble de données pour une évaluation fiable. Un ensemble de données bien construit est le fondement de toute étude valide.

Leçon 1 • Passer à l'Échelle l'Évaluation avec le Crowdsourcing

Aborde la sélection de plateforme, la conception de tâches, le contrôle qualité et la gestion des coûts pour l'annotation à grande échelle par crowdsourcing. Permet un volume d'évaluation que les équipes internes seules ne peuvent pas atteindre.

Leçon 2 • Architecture du Système d'Évaluation

Mappe les composants d'un système d'évaluation de production : ingestion de données, notation, stockage et reporting. Fournit un plan que les apprenants adaptent à leur environnement technique.

Leçon 3 • Surveillance Continue et Détection de Dérive

Établit des tableaux de bord de métriques, des seuils d'alerte et des méthodes de détection de dérive pour une assurance qualité continue. Empêche la dégradation silencieuse de la qualité des sorties du modèle au fil du temps.

Leçon 4 • Intégration Humain-dans-la-Boucle

Conçoit des flux de travail qui acheminent les sorties vers des évaluateurs humains en fonction de seuils de confiance automatisés. Équilibre le coût et la qualité en réservant l'effort humain aux cas à forte incertitude.