Formation en évaluation des performances LLM

Leçon 1 • L’état d’esprit d’évaluation

Introduit la distinction entre capacité, fiabilité et sécurité comme dimensions d’évaluation. Cadre l’évaluation comme un processus scientifique nécessitant des hypothèses et des contrôles.

Leçon 2 • Périmètre et contraintes de l’évaluation

Définit les limites d’un projet d’évaluation, y compris les contraintes budgétaires, temporelles et d’accès. Apprend aux étudiants à cadrer les évaluations de manière réaliste avant de sélectionner les méthodes.

Leçon 3 • Ce que sont les LLM et comment ils fonctionnent

Couvre l’architecture des transformeurs, la génération de jetons et les distributions de probabilités à un niveau accessible. Ancre tous les concepts d’évaluation ultérieurs dans la manière dont les modèles produisent réellement des sorties.

Leçon 4 • Types de tâches et de sorties des LLM

Catalogue les tâches de génération, classification, extraction et raisonnement ainsi que leurs types de sorties distincts. Relie le type de tâche à la stratégie d’évaluation appropriée utilisée dans les chapitres suivants.

Leçon 1 • Maintenance des référentiels dans le temps

Aborde la dégradation des référentiels, la saturation des modèles et la nécessité d’un rafraîchissement continu des ensembles de données. Prépare les étudiants à maintenir la qualité de l’évaluation à mesure que les modèles s’améliorent.

Leçon 2 • Prévention de la contamination des données

Explique comment la fuite de données d’entraînement invalide les référentiels et comment la détecter et la prévenir. Aborde directement une menace critique pour la validité de l’évaluation.

Leçon 3 • Principes de bonne conception des référentiels

Couvre la validité, la fiabilité et la couverture comme les trois piliers de la qualité d’un référentiel. Relie les principes de conception aux modes d’échec identifiés au chapitre 1.

Leçon 4 • Workflows d’annotation et d’étiquetage

Couvre les pipelines d’annotation humaine, l’accord inter-annotateurs et le contrôle qualité des ensembles de données étiquetés. Produit des étiquettes de référence fiables nécessaires pour les métriques automatisées.

Leçon 1 • Sélection et combinaison de métriques

Fournit un cadre décisionnel pour choisir et combiner les métriques en scores d’évaluation composites. Empêche une dépendance excessive à une seule métrique.

Leçon 2 • Évaluation par LLM en tant que juge

Enseigne l’utilisation d’un LLM séparé pour noter les sorties via des invites structurées, y compris les risques de biais et la calibration. Représente une alternative évolutive à l’évaluation humaine.

Leçon 3 • Métriques automatisées spécifiques aux tâches

Couvre la précision, le F1, la correspondance exacte et la perplexité comme métriques appropriées pour les tâches de classification, de questions-réponses et de génération. Relie le choix des métriques au type de tâche du chapitre 1.

Leçon 4 • Métriques lexicales basées sur des références

Couvre BLEU, ROUGE, METEOR et ChrF comme métriques de chevauchement et leurs fondements mathématiques. Établit une littératie de base en matière de métriques avant d’introduire des approches plus complexes.

Leçon 1 • Conception de l’étude d’évaluation

Couvre les plans expérimentaux incluant la comparaison par paires, la notation Likert et les protocoles de classement. Enseigne comment les choix de conception affectent la puissance statistique et le biais.

Leçon 2 • Analyse et rapport des jugements humains

Couvre l’analyse statistique des données de notation, la fiabilité inter-évaluateurs et la communication des résultats. Relie les résultats de l’évaluation humaine aux décisions exploitables d’amélioration du modèle.

Leçon 3 • Quand l’évaluation humaine est nécessaire

Identifie les tâches où les métriques automatisées échouent et où le jugement humain est irremplaçable. Prépare le terrain pour la conception d’études humaines rentables.

Leçon 4 • Biais et facteurs de confusion dans les études humaines

Identifie les effets d’ancrage, d’ordre et de présentation qui faussent les notations humaines. Enseigne des stratégies d’atténuation pour améliorer la validité des études.

Leçon 1 • Tests de débit et de concurrence

Couvre les tests de requêtes par seconde, de jetons par seconde et de charge utilisateur concurrente pour les API LLM. Relie les métriques de débit à la planification de capacité de service réelle.

Leçon 2 • Utilisation de la mémoire et du matériel

Explique l’allocation de mémoire GPU, le dimensionnement du cache KV et les métriques d’utilisation du matériel pendant l’inférence. Permet aux étudiants de diagnostiquer les goulots d’étranglement mémoire et d’optimiser l’utilisation des ressources.

Leçon 3 • Modélisation des coûts pour les déploiements de LLM

Construit des modèles de coûts couvrant la tarification des API, les infrastructures auto-hébergées et le coût total de possession. Équipe les étudiants pour prendre des décisions éclairées entre construire et acheter.

Leçon 4 • Profilage de la latence d’inférence

Enseigne la mesure du temps jusqu’au premier jeton, de la latence inter-jetons et de la latence de bout en bout sous charge réaliste. Fournit des techniques de profilage pratiques applicables à toute pile de service.

Leçon 1 • Évaluation de la robustesse et adversarial

Mesure la sensibilité du modèle aux perturbations d’entrée, aux reformulations et aux invites hors distribution. Révèle la fragilité que les référentiels standard manquent.

Leçon 2 • Définir la sécurité dans les sorties des LLM

Établit une taxonomie des sorties nuisibles incluant la toxicité, la désinformation et les fuites de confidentialité. Fournit la base conceptuelle pour toutes les méthodes d’évaluation de la sécurité dans ce chapitre.

Leçon 3 • Méthodes automatisées de test de sécurité

Couvre la construction d’invites de red-teaming, le sondage adversarial et les classifieurs automatisés pour détecter les sorties non sécurisées. Échelle l’évaluation de la sécurité au-delà de ce que la révision manuelle seule peut atteindre.

Leçon 4 • Rapport des résultats de sécurité et d’équité

Couvre les fiches techniques des modèles, les fiches de données de sécurité et les formats de divulgation structurés pour communiquer les risques. Prépare les étudiants à présenter les résultats à des publics techniques et non techniques.

Leçon 1 • Suivi des expériences et reproductibilité

Couvre la journalisation des hyperparamètres, des invites, des graines et des résultats pour garantir des exécutions d’évaluation reproductibles. Empêche l’échec courant des résultats de référentiels non reproductibles.

Leçon 2 • Passage à l’échelle de l’évaluation entre modèles

Aborde la parallélisation, la mise en cache et l’optimisation des coûts pour évaluer de nombreux modèles ou configurations. Prépare les étudiants à mener efficacement des campagnes d’évaluation à grande échelle.

Leçon 3 • Évaluation continue en CI/CD

Intègre des passerelles d’évaluation dans les pipelines d’intégration continue pour détecter automatiquement les régressions. Déplace l’évaluation vers la gauche dans le cycle de développement.

Leçon 4 • Frameworks d’évaluation open-source

Passe en revue les principales bibliothèques d’évaluation open-source, leurs API et leurs modèles d’intégration. Permet aux étudiants de sélectionner et d’adopter des outils sans dépendance à un fournisseur.

Leçon 1 • Ingénierie d’invite pilotée par l’évaluation

Utilise les métriques d’évaluation comme signaux de retour pour améliorer itérativement les invites et les instructions système. Boucle la boucle entre la mesure et l’amélioration du comportement du modèle.

Leçon 2 • Cadres de sélection et de comparaison de modèles

Construit des cadres décisionnels multi-critères pour comparer les modèles sur les dimensions de qualité, d’efficacité et de risque. Synthétise toutes les compétences d’évaluation antérieures dans un processus de sélection unifié.

Leçon 3 • Construire une culture d’évaluation

Aborde les pratiques organisationnelles, les rôles d’équipe et les structures d’incitation qui soutiennent une évaluation rigoureuse. Transforme l’évaluation d’une activité ponctuelle en une discipline continue.

Leçon 4 • Communication des résultats d’évaluation

Enseigne la structuration des rapports d’évaluation pour les publics d’ingénierie, produit et direction. Garantit que les résultats de l’évaluation se traduisent en actions organisationnelles.