Base de connaissances AIEdAIEd KB
Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Concepts

Référentiel

Création 2026-08-09 · Mise à jour 2026-10-10

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

Un référentiel — des suites de tests standardisés et des cadres d'évaluation utilisés pour mesurer la performance des modèles d'IA sur des tâches éducatives. Les référentiels permettent une comparaison reproductible entre modèles et approches, et sont essentiels pour évaluer la fiabilité, l'équité et la qualité pédagogique des systèmes d'IA en éducation.

Questions à examiner

  • Un référentiel est une suite de tests standardisés servant à mesurer la performance d'un modèle d'IA sur des tâches éducatives. Avant de lire, que pensez-vous que la plupart des référentiels d'IA testent réellement — et en quoi cela pourrait différer de ce dont un bon tuteur a besoin ?
  • Cette page met en avant un Pedagogy Benchmark qui teste les connaissances pédagogiques — les stratégies d'enseignement, les méthodes d'évaluation, la pédagogie de l'éducation spécialisée — plutôt que les connaissances disciplinaires. Pourquoi une IA qui connaît brillamment une matière pourrait-elle néanmoins échouer à l'enseigner, et pourquoi un référentiel qui ignore la pédagogie passerait-il cela à côté ?
  • Une leçon ici est méthodologique : la manière de valider un référentiel change radicalement les résultats, une validation naïve rapportant des performances bien supérieures à des méthodes rigoureuses indépendantes des essais. Comment un développeur ou un fournisseur de modèles pourrait-il être tenté de concevoir la validation pour donner une belle apparence, et comment le repéreriez-vous ?
  • La performance sur un référentiel ne se transpose souvent pas à l'utilité réelle. Pouvez-vous imaginer un scénario où une IA « gagne » un référentiel mais échoue dans une classe réelle — et que vous apprend cet écart sur le fait de s'appuyer sur les seuls scores de référentiel ?
  • La page note que la conception d'un référentiel peut elle-même encoder ou amplifier les biais. Si un référentiel est constitué de certaines tâches, dans certaines langues, issues de certaines populations, l'apprentissage de qui finit-il par mesurer — et celui de qui ignore-t-il ?

Introduction

Les référentiels servent de fondement probant à la recherche en IA et éducation. Ils fournissent des jeux de données, des tâches et des métriques standardisés qui permettent aux chercheurs de comparer les modèles, de suivre les progrès et d'identifier les modes de défaillance. Dans la recherche de la base de connaissances, les référentiels apparaissent dans de multiples domaines :

  • CSTutorBench évalue les petits modèles de langue sur des tâches de tutorat en informatique.
  • ANVIL sert de référentiel aux animations éducatives générées par IA, comparées à des alternatives créées par des humains.
  • Les référentiels de rétroaction à l'enseignement évaluent le transfert interlangues de la classification de l'qualité de la rétroaction.
  • Le Pedagogy Benchmark (CDPK + SEND) teste les connaissances pédagogiques — les stratégies d'enseignement, les méthodes d'évaluation et la pédagogie de l'éducation spécialisée — plutôt que les connaissances disciplinaires, et rapporte une « frontière de valeur » coût–exactitude sur 97 modèles (la plupart des référentiels généraux testent les connaissances disciplinaires ; la pédagogie est une dimension distincte et cruciale pour l'éducation).
  • ISD-Agent-Bench sert de référentiel aux agents de conception pédagogique fondés sur les LLM, sur 25.795 scénarios de conception pédagogique, montrant que les agents hybrides ancrés dans les cadres classiques de conception pédagogique (ADDIE, Dick & Carey, Rapid Prototyping) surpassent la pure théorie comme la pure technique — un résultat de référentiel aux implications directes pour la conception d'IA agentique en éducation.
  • L'adaptation à l'apprenant comme critère explicite du référentiel. Le Teaching Monster Challenge évalue l'adaptation à un persona d'apprenant spécifié, mais son juge LLM automatisé n'a séparé qu'une faible queue de distribution — les meilleurs systèmes ont atteint presque son plafond et son classement était en désaccord avec la préférence de la foule (Spearman ρ = −0.17) (Lin et al. (2026)).

Why benchmarks matter in AIED

Les référentiels rejoignent l'évaluation d'une intervention d'IA en éducation et l'validité de l'évaluation — sans référentiels rigoureux, les affirmations sur l'efficacité du tutorat par IA sont invérifiables. Ils croisent aussi la réduction des biais, car la conception d'un référentiel peut encoder ou amplifier les biais. La tension entre performance sur référentiel et utilité réelle est explorée dans de multiples articles, rejoignant les préoccupations de transfert des apprentissages dans les applications d'IA générative.

  • Quand la métrique, et non le système, est la défaillance : AlgoRAG a obtenu un score BLEU-4 = 0.0000 sur les 179 questions d'examen théoriques de informatique alors qu'une grille pédagogique à six critères donnait 0.7620, parce que des démonstrations logiquement équivalentes diffèrent régulièrement de notation, de noms de variables et de stratégie de preuve. Un score nul en dit plus sur le recouvrement des n-grammes que sur la qualité de la réponse, ce qui constitue le cas général contre le fait de traiter les métriques de surface comme le chiffre phare pour les systèmes d'AIED en domaine formel.
  • Les référentiels contrefactuels au niveau du construit. CFES-P24 exprime les principes de l'apprentissage multimédia sous forme de transformations déterministes et réversibles de diapositives, afin d'auditer si les MLLM réagissent à des construits spécifiques de conception pédagogique plutôt que de produire des évaluations globales plausibles. Un pilote figé a montré une reconnaissance des construits (opération, principe, réparation, localisation des preuves) à 8/8 alors que le jugement comparatif (direction 6/8) et le calibrage de la sévérité (0/8) échouaient — ce qui plaide pour des tableaux de scores à plusieurs niveaux plutôt que pour des scores composites. (Benchmarking Multimodal Large Language Models for Educational Slide Auditing)
  • Ancrer l'hallucination et l'énergie dans l'évaluation, et pas seulement l'exactitude. Shen et al. (2026) ont évalué l'hallucination comme une implication par rapport aux fragments récupérés sous licence ouverte (κ = 0.76 par rapport au jugement d'experts) et ont enregistré 1.8 mWh par requête, et leur ablation plaçait la récupération en premier : un LLM local sans récupération obtenait 52.3%, sous la ligne de base TF-IDF de 55.4%.
  • La vérification peut battre le jugement sur le contenu généré. Kumar et al. (2025) rétrotraduisent des schémas mathématiques générés en une représentation intermédiaire contrainte par un schéma et exécutent des contrôles de règles déterministes, atteignant un accord supérieur avec les évaluateurs humains (κ de Cohen 0.48–0.56) que LLM-as-a-Judge (0.39–0.47) et permettant à un petit modèle d'égaler le meilleur juge à un coût 10 fois plus faible.
  • L'évaluation indépendante des essais dans les référentiels physiologiques. Nanayakkara et Halloluwa (2026) évaluent 15 modèles d'apprentissage automatique et d'apprentissage profond pour la prédiction de familiarité à partir d'EEG et montrent que le choix du schéma de validation change radicalement les résultats phares : la validation croisée stratifiée standard permet une fuite temporelle et rapporte jusqu'à 0.9853 de F1, alors que la validation Group K-Fold indépendante des essais fait chuter le pic à 0.6038 de F1. La leçon — l'évaluation tenant compte de la temporalité et des fuites est essentielle pour des référentiels éducatifs crédibles — s'étend au-delà de l'EEG à tout référentiel utilisant des données séquentielles ou structurées dans le temps.
  • Le décalage de distribution est un deuxième axe des référentiels, au-delà de la fuite. Un référentiel qui rapporte le score en distribution d'un classificateur et son score de transfert rapporte deux quantités différentes : un classificateur de niveau de Bloom maintenu à un macro F1 de 0.88 sur sa banque curatée tombait à 0.48 et 0.20 sur deux ensembles de questions générées par IA, et le réentraînement sur des données hors distribution étiquetées récupérait jusqu'à 0.82, si bien qu'un seul chiffre de classement en distribution surestime ce que fera un instrument déployé (Castanares et al., 2026)).
  • Un corpus construit pour tester le transfert entre corpus. ICLE++ annote des dissertations persuasives avec des scores globaux et des scores au niveau de dix traits, afin d'exposer la dépendance de la recherche sur l'AES à l'égard d'ASAP, dont les dissertations chronométrées de locuteurs natifs uniquement confondent longueur et qualité ; les modèles entraînés sur les annotations de traits se transféraient mieux entre corpus que ceux entraînés sur les seuls scores globaux (Li et Ng, 2026).
  • Un référentiel normé sur l'humain ne mesure peut-être pas le même construit pour un LLM. Strugatski et al. (2026) ont comparé les structures de réponse des humains et des LLM multimodaux sur un diagnostic de chimie et un examen de raisonnement quantitatif ; la congruence factorielle entre les LLM et les humains restait sous la ligne de base humain–humain et l'analyse parallèle retenait des nombres de facteurs différents.
  • La multimodalité n'a pas amélioré le calibrage des preuves. Sur MathCog, 3.036 verdicts annotés par des enseignants sur 639 réponses de mathématiques manuscrites, aucun des 18 LLM n'a atteint un macro F1 de 0.5 — le meilleur, GPT-4o-img, obtenait 0.448 — et les modèles multimodaux se dégradaient davantage que les modèles à texte seul lorsque la preuve était vague, attribuant excessivement des preuves et fabriquant des citations (Kim et al. (2025)).
  • Les référentiels synthétiques pour le tutorat par IA. Les jeux de données ouverts et reproductibles pour évaluer le tutorat par IA restent rares. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) est un prototype de tutorat multi-agents et un cadre de référentiel pour étudier la programmation collaborative avec des agents socialement différenciés, prenant en charge les configurations tuteur seul, paire de tuteurs et paire multi-agents (N=540 ; 360 sessions ; 1.440 épisodes) avec un schéma prêt à la trace pour une analyse reproductible de l'interaction, de l'équilibre de participation et de la vérification.
  • L'horizon est un axe de référentiel, pas un détail. Lee et al. (2026) placent un agent tuteur dans une relation continue de 30 jours avec un apprenant simulé et constatent que chaque adaptateur a atteint un plateau dès le jour 5–10, qu'aucun adaptateur n'a entraîné de gain d'apprentissage sur plus d'un niveau de modèle de base, et que les cinq axes de notation étaient largement indépendants.
  • Un référentiel de tutorat évalué face à des tuteurs humains plutôt qu'à des classements. StudentBench répartit aléatoirement 2.383 adultes entre tutorat par IA, tutorat humain en direct par un expert et un contrôle vidéo sur des items de GRE nouvellement rédigés, constatant que le tutorat par IA regroupé est statistiquement équivalent au tutorat humain (p=.015) et dépasse de 5.5 à 6.9 points de pourcentage le contrôle ; ses classements de qualité d'enseignement, construits à partir de 2.028 comparaisons par paires d'experts, classent les plans de leçon et le comportement conversationnel plutôt que la quantité apprise par les étudiants (Northcutt et al. (2026)).
  • Auditer les référentiels est désormais une contribution de recherche à part entière. Trois artefacts de 2026 font progresser le travail sur les référentiels au-delà de l'agrégation de classements. EduFair-Bench maintient un étudiant simulé fixe et fait varier les attributs démographiques, transformant un référentiel de tutorat en audit d'équité avec des métriques pédagogiques au niveau du tour de parole (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench diagnostique les constructions visuelles intermédiaires — perception, qualité des tracés auxiliaires, utilisation — plutôt que l'exactitude finale sur 600 problèmes de géométrie (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). La re-notation par des experts de six référentiels de physique a quantifié l'erreur que de tels scores portent : 57.20% des rejets audités étaient des défauts d'items, 38.00% des erreurs de correcteurs et seulement 4.80% de véritables échecs du modèle (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Ensemble, ils soutiennent qu'un score de référentiel devrait toujours être lu avec son propre budget d'erreur audité, ce qui est la même discipline que celle que l'validité de l'évaluation exige des instruments de classe.
  • L'annotation dissociée et la génération de questions comme paradigme de construction. La plupart des référentiels construisent des paires question–réponse spécifiques à la tâche pour chaque item ou image, ce qui rend coûteuse l'extension à de nouvelles tâches, difficile la réutilisation des données entre tâches, et limite le contrôle sur la forme et la complexité des questions. MUSE inverse l'ordre : annoter une fois chaque œuvre en une représentation structurée réutilisable de son contenu visuel et sémantique, puis instancier 12 tâches à partir de règles de génération prédéfinies, si bien qu'une seule image produit une instance d'évaluation multi-vues, la difficulté et le format étant traités comme des variables de conception explicites plutôt que comme des sous-produits (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Ses preuves de corrélation constituent un second argument pour la conception — les 12 tâches mesurent des capacités apparentées mais non redondantes (Jigsaw Puzzle est faiblement corrélé avec la plupart des autres, ρ = 0.25 à −0.10), et sur six référentiels externes les scores multimodaux généraux se transfèrent inégalement à l'imagerie artistique éducative (BLINK Jigsaw contre MUSE Jigsaw ρ = −0.20), ce qui constitue l'argument de couverture de construit contre le fait de lire un score agrégé unique comme un proxy d'une capacité pertinente pour l'éducation (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).
  • La génération de sorties multimodales est l'axe que la plupart des référentiels omettent. Chen et al. (2026) évaluent 15.246 questions de physique et 19.850 images, du collège à l'université, y compris un sous-ensemble d'édition de schémas : synthétiser ou éditer des schémas de physique structurés s'est révélé plus difficile que de répondre, et les modèles de pointe restaient sous les 70% de maîtrise stricte.
  • La couverture scientifique du primaire et du secondaire et le problème de saturation. Un référentiel aligné sur les NGSS pour les sciences du collège et du lycée (1.078 + 1.150 items synthétiques, validés par trois juges) a trouvé neuf modèles ouverts au-dessus de 90% d'exactitude en une seule passe, alors que les statistiques classiques des items montraient des valeurs de difficulté élevées et une faible discrimination : la taille du modèle ne prédisait pas la performance, et les auteurs se demandent si le test n'est pas trop facile (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). C'est le cas spécifique au domaine pour lire les statistiques propres aux items d'un référentiel à côté de son classement.
  • Une ligne de base triviale et la vérité de terrain IRT comme contrôle de l'exactitude phare. Worden et al. (2026) construisent FoundationalASSIST à partir de 1.722.169 interactions ASSISTments en conservant le texte des questions et les réponses réelles des étudiants, évaluent la tâche de traçage des connaissances face à une ligne de base de 51.3% de réponses toujours correctes, et situent la compétence des modèles par rapport à des estimations IRT à deux paramètres ajustées sur les mêmes données. Quatre modèles de pointe dépassent la ligne de base triviale d'environ cinq points (le meilleur à 56.2%), tombent sous le hasard pour juger la discrimination des items, et — c'est la défaillance qu'un référentiel construit à cette fin peut voir — prédisent l'exactitude 85.4% du temps sur les réponses correctes mais seulement 12.6% sur les incorrectes, si bien que leur compétence apparente relève du biais d'optimisme.
  • La configuration d'un correcteur est elle-même une variable. Habibullah et al. (2026) balaient 171 configurations de notation sur un examen à double correction de 570 étudiants et constatent qu'un court préambule de « correcteur strict » fait sortir 14 des 17 modèles ouverts de la bande notée, puis répliquent avec 162 configurations sur un examen indépendant de 1.038 étudiants dont les résultats reproduisent la vulnérabilité mais pas sa direction. La meilleure configuration (MAE 1.64/35, sous les 2.61/35 que les correcteurs humains obtiennent les uns contre les autres) ne constitue donc pas la preuve que la notation par LLM fonctionne — même si un adaptateur LoRA entraîné sur les étiquettes humaines regroupées amène cinq petits modèles à la parité humaine tout en effaçant presque la sensibilité au persona.
  • Contraindre le corpus pour rendre l'affirmation de capacité attribuable. Li et al. (2026) filtrent FineWeb-Edu à 88B de tokens de matériel américain du CM1 au CM2 et entraînent de zéro un modèle de 5B dessus, puis vérifient la suture par des sondes comportementales plutôt que par des scores — rétention quasi nulle sur des passages au-delà du CM1–CM2, effondrement sur les items Jeopardy au-delà du CM1–CM2, et moins de la moitié des problèmes MathCAMPS de 8e résolus même à pass@1024. Parce que l'exposition antérieure est connue, une capacité apparaissant après mise à l'échelle, post-entraînement ou exemples en contexte peut être créditée à l'intervention ; les auteurs rapportent aussi que la frontière n'est pas façonnée à l'humain, puisque le modèle surpasse parfois une compétence en aval tout en échouant à son prérequis.
  • La règle de notation fait partie de l'instrument. Srivastava (2026) fait tourner quatre règles de mise à jour du traçage des connaissances sur les mêmes séquences d'événements ASSISTments 2012–13, ne différant que par la manière de noter les lignes assistées par indices, et pré-enregistre les comparaisons derrière une barrière qui retient la moitié confirmatoire des étudiants jusqu'à présence du fichier d'enregistrement. Créditer toute complétion dépasse à peine une constante de difficulté de compétence (AUC regroupée 0.604 contre 0.595 sur 985.813 événements notés) et déclare 93.9% des paires étudiant–compétence maîtrisées contre 72.8% sous une règle qui lit les lignes assistées comme des premières tentatives échouées (0.658) — la leçon générale étant qu'une étiquette de maîtrise est définie par la règle de preuve, et non par le journal.
  • Rapporter la capacité d'un modèle comme un niveau calibré, et pas seulement comme une exactitude. Min et al. (2026) projettent 624 items annotés par des experts sur des niveaux de compétence nommés en utilisant 2.050 réponses d'apprenants, et constatent que les modèles de pointe dépassent le plafond calibré — une limite qu'un pourcentage masque.
  • Une règle de notation peut être contournée par le modèle qu'elle entraîne. Une métrique d'adaptativité maximisée en répétant une seule meilleure décision montre que la conception d'un référentiel devrait publier l'argmax, noter l'adaptation comme une différence et rapporter des lignes de base au-dessus du hasard (Domínguez Figaredo et Fernández De la Cruz, 2026).

Concepts liés

Articles liés

FAQ liées

Métadonnées

Technologies et techniquesL'IA générative, Grands modèles de langue (LLM)
Évaluation et mesureÉvaluation
Méthodes de recherche et évaluationÉvaluation de l'IA en éducation, Référentiel
Type de pageEvaluation
SourceHistoryEditChat

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.