Formation Évaluation des Résultats LLM

Leçon 1 • Comment les LLM génèrent du texte

Couvre la prédiction de jetons, la température et l'échantillonnage à un niveau conceptuel. Explique pourquoi ces mécanismes produisent les modes de défaillance que les évaluateurs doivent détecter.

Leçon 2 • Dimensions fondamentales de la qualité des sorties des LLM

Présente les axes principaux — exactitude, fluidité, pertinence, cohérence et sécurité — utilisés pour juger toute réponse d'un LLM. Fournit la taxonomie que tous les chapitres suivants appliquent.

Leçon 3 • L'état d'esprit de l'évaluateur

Construit la posture critique et sceptique requise pour une évaluation rigoureuse. Distingue le caractère impressionnant de surface de la qualité substantielle pour prévenir les erreurs courantes de l'évaluateur.

Leçon 1 • Rédiger des critères d'évaluation précis

Enseigne l'opérationnalisation : convertir des objectifs vagues en déclarations observables et testables. Permet directement une notation fiable dans les chapitres suivants.

Leçon 2 • Gestion de versions et maintien des critères

Aborde la façon dont les critères doivent évoluer à mesure que les modèles, les tâches et les besoins métier changent. Établit des pratiques de gouvernance qui maintiennent les frameworks d'évaluation à jour et audités.

Leçon 3 • Construire des grilles d'évaluation

Guide la construction de grilles à plusieurs niveaux avec des descriptions d'ancrage pour chaque point de score. Les grilles construites ici sont utilisées tout au long du cours pour la pratique.

Leçon 4 • Aligner les critères sur les objectifs métier

Relie la conception de l'évaluation aux objectifs organisationnels tels que l'exactitude, la voix de la marque et la conformité. Garantit que les critères reflètent le succès réel, et non seulement la qualité technique.

Leçon 1 • Mesurer la fiabilité inter-évaluateurs

Présente le kappa de Cohen, l'alpha de Krippendorff et le pourcentage d'accord comme métriques de fiabilité. Apprend aux apprenants à diagnostiquer et à résoudre les désaccords entre évaluateurs.

Leçon 2 • Approches d'évaluation par paires et absolues

Met en contraste la comparaison côte à côte avec la notation absolue indépendante, en détaillant quand chacune est appropriée. Les apprenants sélectionnent l'approche adaptée à un scénario d'évaluation donné.

Leçon 3 • Conception du protocole d'évaluation

Couvre la séquence, l'interface et les instructions qui guident les évaluateurs humains tout au long d'une tâche d'évaluation. Des protocoles bien conçus réduisent la charge cognitive et la dérive d'évaluation.

Leçon 4 • Formation et calibrage des évaluateurs

Explique comment intégrer les évaluateurs à l'aide d'exemples de référence et de sessions de calibrage. Des évaluateurs calibrés produisent les données fiables dont dépend l'analyse en aval.

Leçon 1 • Sélectionner et combiner les métriques

Fournit un cadre décisionnel pour choisir des combinaisons de métriques qui couvrent plusieurs dimensions de la qualité. Les apprenants conçoivent des suites de métriques adaptées à des tâches spécifiques et aux besoins organisationnels.

Leçon 2 • Interpréter et mal interpréter les métriques

Aborde la loi de Goodhart, le contournement des métriques et les écarts de corrélation entre les scores automatisés et le jugement humain. Développe la littératie critique pour que les apprenants évitent de trop se fier à une seule métrique.

Leçon 3 • Métriques sans référence et basées sur un modèle

Couvre la perplexité, les estimateurs de qualité appris et les approches LLM-en-tant-que-juge qui ne nécessitent aucune référence de référence. Élargit la boîte à outils de l'évaluateur pour les tâches de génération à sortie ouverte.

Leçon 4 • Présentation des métriques basées sur une référence

Explique BLEU, ROUGE, METEOR et BERTScore comme métriques qui comparent les sorties à des références de référence. Établit quand la disponibilité de références rend ces métriques appropriées.

Leçon 1 • Rapporter et suivre les erreurs factuelles

Établit une journalisation structurée des erreurs, une classification de la gravité et des boucles de retour d'information vers les développeurs de modèles. Transforme les découvertes individuelles en données d'amélioration systémique.

Leçon 2 • Outils automatisés de détection des hallucinations

Passe en revue la vérification augmentée par récupération, les modèles d'inférence en langage naturel et les API de vérification des faits spécialisées. Permet une détection à grande échelle au-delà de ce que la seule relecture manuelle peut accomplir.

Leçon 3 • Flux de travail de vérification manuelle des faits

Enseigne la décomposition des affirmations, la triangulation des sources et les listes de contrôle structurées pour les évaluateurs humains. Fournit un processus reproductible applicable à tout domaine.

Leçon 4 • Stratégies de vérification spécifiques au domaine

Adapte les approches de vérification pour les domaines à forts enjeux tels que la médecine, le droit et la finance où les erreurs ont des conséquences graves. Calibre la rigueur en fonction du niveau de risque du domaine.

Leçon 1 • Évaluation des règles et des directives de contenu

Apprend aux évaluateurs à mapper les règles de contenu de l'organisation à des caractéristiques observables des sorties. Garantit que l'évaluation applique les règles réelles plutôt que des notions vagues de ce qui est approprié.

Leçon 2 • Tests adverses et équipes rouges

Introduit le sondage adversarial structuré pour faire émerger des sorties nuisibles que les invites standard ne provoquent pas. Les résultats des tests adverses informent directement les critères d'évaluation de la sécurité.

Leçon 3 • Définir le caractère nuisible dans les sorties des LLM

Établit une taxonomie des préjudices couvrant les catégories physique, psychologique, sociétale et réputationnelle. Une taxonomie précise est un prérequis pour une détection et un reporting cohérents.

Leçon 4 • Construire un pipeline d'évaluation de la sécurité

Intègre des classifieurs automatisés, un examen humain et des voies d'escalade dans un flux de travail de sécurité reproductible. Produit un pipeline que les apprenants peuvent adapter à leur contexte organisationnel.

Leçon 1 • Communiquer les résultats de l'étude

Enseigne le reporting structuré des résultats d'évaluation à des publics techniques et non techniques. Une communication claire garantit que les résultats se traduisent en actions organisationnelles.

Leçon 2 • Conception expérimentale pour la comparaison de modèles

Applique les tests A/B, les plans intra-sujets et l'isolement de variables contrôlées aux études de comparaison de modèles. Une conception rigoureuse empêche les facteurs de confusion d'invalider les conclusions.

Leçon 3 • Analyse statistique des résultats d'évaluation

Introduit les tests de significativité, les intervalles de confiance et le reporting de la taille d'effet pour les données d'évaluation. Les apprenants distinguent les différences significatives du bruit dans les scores des métriques.

Leçon 4 • Échantillonnage et construction de jeux de données

Couvre l'échantillonnage stratifié, l'inclusion de cas limites et l'estimation de la taille du jeu de données pour une évaluation fiable. Un jeu de données bien construit est le fondement de toute étude valide.

Leçon 1 • Passer à l'échelle avec le crowdsourcing

Aborde la sélection de plateforme, la conception de tâches, le contrôle qualité et la gestion des coûts pour l'annotation à grande échelle par crowdsourcing. Permet un volume d'évaluation que les équipes internes ne peuvent pas atteindre seules.

Leçon 2 • Architecture du système d'évaluation

Mappe les composants d'un système d'évaluation en production : ingestion de données, notation, stockage et reporting. Fournit un modèle que les apprenants adaptent à leur environnement technique.

Leçon 3 • Surveillance continue et détection de dérive

Établit des tableaux de bord de métriques, des seuils d'alerte et des méthodes de détection de dérive pour l'assurance qualité continue. Empêche la dégradation silencieuse de la qualité des sorties du modèle au fil du temps.

Leçon 4 • Intégration humain-dans-la-boucle

Conçoit des flux de travail qui orientent les sorties vers des examinateurs humains en fonction de seuils de confiance automatisés. Équilibre le coût et la qualité en réservant l'effort humain aux cas à forte incertitude.