Concepts
Évaluation de l'IA en éducation
Traduction automatique de la page anglaise, non relue par un locuteur natif.
L'évaluation de l'IA en éducation (AI-ed evaluation) — l'ensemble des méthodes, des référentiels et des critères utilisés pour évaluer si les outils d'IA en éducation (tuteurs fondés sur les Grands modèles de langue (LLM), correcteurs automatisés, systèmes de rétroaction, agents) fonctionnent réellement — pas seulement au regard de la précision affichée, mais de la fiabilité, de la qualité pédagogique, de la validité et de l'impact réel sur l'apprentissage. Un thème récurrent de la recherche de la base de connaissances est que l'évaluation doit être spécifique au domaine, sensible à la fiabilité, et ancrée dans le jugement humain et les résultats éducatifs plutôt que dans des chiffres de précision agrégés uniques.
Questions à examiner
- Comment décideriez-vous qu'un outil de tutorat par IA « fonctionne » ? Quelles preuves — au-delà d'un simple chiffre de précision — vous convaincraient qu'il améliore réellement l'apprentissage ?
- Un constat clé est que la fiabilité ne garantit pas la validité : un système peut être parfaitement cohérent et mal juger ce qui constitue un bon enseignement. Pourquoi une IA stable et reproductible peut-elle encore se tromper ?
- L'évaluation doit être spécifique au domaine : un référentiel qui fonctionne pour une matière peut induire en erreur pour une autre. Face à un résultat de référentiel flatteur pour un outil d'IA, que voudriez-vous vérifier quant au contexte ?
- La « vérité terrain » à laquelle les systèmes sont comparés est souvent contestée : ce qui compte comme une réponse ou une note correcte varie selon les experts et les disciplines. Comment cette incertitude complique-t-elle la confiance accordée à toute évaluation ?
- La recherche montre que les évaluateurs LLM textuels privilégient les comportements explicitement verbalisés et sous-pondèrent le contexte implicite — un « biais d'indices explicites ». Quelles formes de bon enseignement une machine pourrait-elle systématiquement manquer parce qu'elle ne cherche que l'évidence ?
- L'évaluation moderne prend aussi en compte le coût environnemental et infrastructurel — énergie, matériel — et pas seulement la qualité des résultats. La durabilité devrait-elle entrer dans votre jugement de la valeur d'un outil d'IA ?
Introduction
L'évaluation de l'IA en éducation couvre plusieurs objets d'évaluation distincts. Elle peut porter sur les résultats (la réponse, la note ou la rétroaction de l'IA est-elle correcte et fiable ?), sur le processus (l'outil soutient-il une évaluation et un apprentissage valides et défendables ?) et sur l'agent (un tuteur ou un agent IA enseigne-t-il efficacement et se comporte-t-il de manière appropriée ?). Chacun exige des méthodes différentes et soulève des questions de validité différentes.
La trajectoire décennale du champ constitue elle-même un cadre : Xiong et Li (2026) distinguent trois ères — formative (2015–2018), expansion (2019–2022) et générative (2023–aujourd'hui) — à travers 313 articles, et soutiennent que les construits et les arguments de validité doivent être réécrits pour la collaboration humain–IA, puisque les modèles de l'IRT et de la théorie classique des tests ont été conçus pour des performances humaines non assistées.
Comment l'évaluation de l'IA en éducation apparaît dans la recherche
-
Fiabilité des résultats et vérité terrain : Moderniser la vérité terrain soutient que les problèmes de fiabilité dans l'évaluation de l'IA en éducation remontent souvent aux données de référence elles-mêmes — les étiquettes de « vérité terrain » auxquelles les systèmes sont comparés — et propose quatre changements pour améliorer la fiabilité et la validité. Calibrer la fiabilité (Calibrating trustworthiness) co-conçoit les métriques d'évaluation et les visualisations avec les parties prenantes afin que la confiance dans un outil d'IA repose sur des preuves démontrées et interprétables.
-
Notation et correction automatisées : la notation de réponses courtes par LLM, la notation ASAG sensible à la confiance, CoTAL, l'ingénierie d'invites avec humain dans la boucle pour l'évaluation formative, et le diagnostic cognitif de mathématiques manuscrites montrent que les LLM peuvent noter et diagnostiquer, mais que la fiabilité dépend de la supervision humaine, de l'ancrage spécifique au domaine et du calibrage de la confiance plutôt que de la taille brute du modèle.
-
Un référentiel pour les connaissances pédagogiques plutôt que pour le contenu. Lelièvre et al. (2025) notent 97 modèles sur des items d'examens d'enseignants chiliens (CDPK 28–89%), dont beaucoup dépassent une ligne de base humaine estimée à environ 50%, mais les items statiques à choix multiples ne peuvent pas tester la planification de leçons ni l'étayage tour par tour.
-
Valider les items générés par rapport à un référentiel psychométrique. Isley et al. (2025) ont généré des examens adaptés aux cours pour 71 classes et en ont comparé 20 de plus à des items d'AP Statistics rédigés par des humains, en ajustant un modèle IRT bayésien hiérarchique 2PL avec ancrages de pré-test sur 1,686 étudiants ; les items d'IA étaient plus faciles mais plus discriminants (ᾱ = 1.3 vs. 1.2).
-
Qualité pédagogique et alignement : Pourquoi les machines se trompent sur la qualité pédagogique documente le décalage humain–machine dans l'appréciation de ce qui rend un enseignement bon, et le Tutoring Effectiveness Index prédit la qualité d'un tuteur à partir de son comportement d'enseignement. L'évaluation responsable à l'ère de l'IA (Responsible assessment in the AI era) et les processus authentifiés (authenticated processes) soutiennent que l'évaluation doit dépasser les réponses correctes pour se demander si l'évaluation reste authentique, valide et défendable lorsque l'IA peut produire les « produits » de l'apprentissage.
-
Suivi en production et calibrage des juges : Rohlfs et al. (2026) rapportent ce qui se produit lorsque l'évaluation de type LLM-as-judge fonctionne à l'échelle d'un produit, à partir d'une suite K-12 qui traite des millions de messages d'enseignants et d'étudiants chaque mois. À mesure que le programme mûrissait, les faux positifs en vinrent à dominer les signalements des évaluateurs et détournèrent l'attention des analystes des défaillances qui justifiaient un changement de produit. Trois changements — des panneaux d'échec unanimes composés d'exécutions répétées du juge, des choix de modèles juges par évaluateur, et des barèmes assouplis — ont réduit de 99% les faux positifs confirmés et fait passer la précision par signalement de 0.6% à 49% sur 21 évaluateurs déployés, tandis qu'un ensemble de défaillances graves maintenait la détection à 100%. La leçon pour la pratique de l'évaluation est que le point de fonctionnement d'un évaluateur, et non sa précision affichée, décide si un signalement est exploitable.
-
La diversité des juges comme protocole de validité. Un référentiel pour les agents de conception pédagogique a puisé ses juges auprès de différents fournisseurs de modèles plutôt qu'un seul, rapportant une fiabilité inter-juges élevée sur 1,017 scénarios notés (Jeon et al. (2026)).
-
Auditer une explication par rapport à l'attribution qu'elle revendique, et non pour sa fluidité. Pan et al. (2026) conditionnent les narrations d'un modèle à la clôture arithmétique, aux covariables citées, à la fidélité de la décision et au taux de traitement non sûr, car un texte fluide est aussi bien formé que son signal soit exact ou bruité — 98.8% des narrations passaient tandis que la queue négative était tronquée.
-
La sensibilité aux invites est une propriété de premier ordre d'un correcteur LLM. Habibullah et al. (2026) ont noté un examen de vision par ordinateur de 570 étudiants sur 171 configurations et un examen d'apprentissage automatique de 1,038 étudiants sur 162 : un court préambule de « correcteur strict » a fait sortir 14 des 17 modèles à poids ouverts de la plage notée, tandis que la réplique reproduisait la vulnérabilité mais pas sa direction, améliorant sept modèles dont les invites neutres sur-notaient. La précision d'une seule invite ne prouve pas qu'un correcteur est utilisable, et le biais signé doit figurer à côté du chiffre d'erreur absolue moyenne ; le fine-tuning LoRA sur des exemples regroupés à double notation a amené cinq petits modèles à la parité humaine et a presque effacé la sensibilité à la persona.
-
Les preuves notables sont une variable de conception, pas une propriété de la tâche. Globerson et al. (2026) ont laissé un Executive LLM détenir le barème et orienter la conversation vers la compétence évaluée, faisant passer les preuves notables à 92.4% pour la gestion de projet et 85% pour la résolution de conflits, tandis que demander aux participants de prêter attention à la compétence ne changeait rien.
Pourquoi l'évaluation est difficile dans l'IA en éducation
L'évaluation de l'IA en éducation est difficile pour plusieurs raisons. Premièrement, la fiabilité ne suffit pas — un système peut s'accorder avec un barème et mal juger la pédagogie, comme le montre la recherche sur l'alignement humain–machine. Deuxièmement, la vérité terrain est contestée — ce qui compte comme une réponse, une note ou un geste d'enseignement « correct » est lui-même un jugement qui varie selon les disciplines et les experts, selon la modernisation de la vérité terrain. Troisièmement, la validité éducative est multidimensionnelle — l'validité de l'évaluation, l'évaluation formative et l'évaluation authentique imposent chacune des critères différents qu'une simple métrique de précision ne peut capturer. Enfin, la cible se déplace sans cesse — l'IA agentique et les modèles multimodaux exigent des cadres d'évaluation (évaluation indépendante des outils) plutôt que la réutilisation des référentiels conçus pour les modèles de texte. Les résultats d'évaluation sont également soumis aux mêmes limitations transversales qui affectent toute la recherche en AIED — ils vieillissent à mesure que l'IA progresse, dépendent de la reproductibilité et des pratiques FAIR, et peuvent reposer sur des systèmes propriétaires — les résultats d'évaluation doivent donc être lus avec les réserves présentées dans les limites de la recherche en AIED. Une dimension émergente supplémentaire est la durabilité des ressources : les déploiements sur site rapportent de plus en plus la consommation d'énergie et les exigences matérielles (par ex. VRAM, mWh par requête) aux côtés de la précision — voir les assistants de base de connaissances OER durables déployés sur site — de sorte qu'une évaluation complète pèse le coût environnemental et infrastructurel, et pas seulement la qualité des résultats.
La fiabilité ne garantit pas la validité. La validation de l'observation de classe par LLM montre qu'un modèle peut être très stable sur des évaluations répétées tout en restant mal aligné sur le jugement d'experts, et qu'inversement les modèles bien alignés sur les experts sont souvent plus variables — fiabilité et exactitude se découplent, si bien qu'un seul chiffre de précision en une passe peut surestimer la dépendabilité. La même étude documente un biais d'indices explicites : les évaluateurs LLM textuels privilégient les comportements explicitement verbalisés et sous-pondèrent les preuves implicites ou contextuelles (par ex. une autorégulation soutenue de l'étudiant lorsqu'un barème permet des notes élevées sur des critères tolérants à l'absence), produisant un désaccord systématique plutôt qu'aléatoire. Cela souligne que la fiabilité de la mesure est un prérequis — et non un substitut — à une interprétation valide, et que l'évaluation doit inclure des vérifications de stabilité en mesures répétées aux côtés d'une exactitude ancrée sur l'expertise.
Même un modèle de discours validé sur le long terme ne corrèle que faiblement avec des mesures de résultats indépendantes : les scores Student Reasoning et Teacher Uptake de NSPA corrélaient avec les modèles de valeur ajoutée de l'efficacité enseignante à ρ = 0.10, si bien que les construits automatisés ont besoin d'une validation externe sur les résultats avant d'éclairer l'évaluation (Fang et Liu, 2026).
L'évaluation des apprenants simulés est soumise à la même exigence : un simulateur n'est valide que si son comportement est fidèle sur le plan épistémique et non simplement fluide ; il doit donc être noté par rapport à son objectif comportemental déclaré et à son environnement, et non à une humanité générique — et les juges automatisés concordent avec les préférences d'experts humains environ 65% du temps (Yuan et al. (2026)).
La précision agrégée masque ceux qui sont mal servis. Les évaluations de modèles vision-langage sur DrawEduMath montrent que la précision globale occulte une faiblesse systématique : les modèles sous-performent précisément sur les travaux d'étudiants qui ont le plus besoin d'aide pédagogique (travaux erronés, d'étudiants en difficulté) ; désagréger l'évaluation par niveau de compétence des étudiants et par statut d'erreur est donc nécessaire pour éviter de surestimer les capacités et d'élargir les écarts de réussite.
L'exactitude binaire masque les défaillances qui comptent. Sur un référentiel de diagnostic par étapes à trois issues portant sur 10,836 paires simulées, sept tuteurs LLM classaient les étapes optimales presque parfaitement (F1 94–99%) mais les alternatives valides à F1 0–76% et les étapes incorrectes à 4–55% — sur-rejet et sur-validation — et un diagnostic exact ne produisait toujours pas de rétroaction exploitable (Yasir et al. (2026)).
-
Réutiliser des instruments conçus pour l'humain afin d'évaluer les LLM exige une vérification de la structure latente. Strugatski et al. (2026) ont ajusté une analyse factorielle exploratoire séparément pour des humains et six LLM multimodaux : la congruence LLM–humain restait inférieure à la ligne de base humain–humain sur les deux instruments, et l'analyse parallèle retenait des nombres de facteurs différents (cinq pour les humains contre quatre pour les LLM).
-
L'évaluation conjointe fait apparaître des arbitrages qu'un score unique cache. Jiang et al. (2026) notent neuf modèles destinés à l'éducation sur les capacités, la sécurité, l'éducation de base et l'épanouissement de haut niveau selon un protocole unique : les six premiers sont statistiquement indiscernables dans l'ensemble mais diffèrent de 19.5 points sur la sécurité, et la sécurité est fortement anti-corrélée avec l'éducation de base (r = −0.83).
-
Le déséquilibre des classes peut rendre une métrique d'évaluation trompeuse. Csibi et ses collègues (2026) ont classé le niveau de réflexion dans 1,954 essais hongrois de formation d'enseignants dont 68% se situaient à un seul niveau : une configuration superficielle atteignait un ROC-AUC de 0.7131 pour une exactitude de seulement 0.5162, et l'équilibrage des classes abaissait toutes les métriques (exactitude de 0.6672 sans, contre 0.6408 avec). Les modèles superficiels donnaient les meilleurs scores agrégés tandis que les transformers traitaient mieux les niveaux minoritaires ; le chiffre rapporté devrait donc suivre la performance dont dépend réellement la décision.
-
Les erreurs de référentiel et de notation sont prises pour des défaillances du modèle. La re-notation par des experts de six référentiels de physique largement utilisés a audité 250 items rejetés et a attribué 143 (57.20%) à des défauts du référentiel et 95 (38.00%) à des erreurs de notation, ne laissant que 12 (4.80%) d'erreurs authentiques du modèle ; 95.20% de l'écart mesuré n'était donc pas imputable au modèle. La réparation des items a fait passer le mean@4 de HLE-Physics de 47.28% à 78.66% et le mean@5 de CritPt de 32.29% à 87.50% corrigé, transformant une faiblesse apparente des modèles de pointe en quasi-saturation. L'audit soutient qu'un score rapporté est une propriété conjointe du modèle, de la banque d'items et du noteur, et que l'arbitrage par des experts devrait précéder toute affirmation de capacité tirée d'un référentiel. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)
La vélocité des systèmes évalués est une contrainte supplémentaire. Harrison et al. (2026) décrivent directement le problème temporel : au moment où un essai à grande échelle a été conçu, délivré, analysé et publié, la technologie étudiée a pu changer matériellement, ce qui pousse la pratique vers des données observationnelles ou d'usage faibles, précisément au moment où des preuves plus solides sont nécessaires. Leur réponse n'est pas d'accepter des protocoles plus faibles mais de raccourcir la boucle — des micro-essais randomisés menés par des praticiens, qui conservent le contraste causal et le répètent à mesure que la plateforme évolue.
-
La fidélité des données est un problème d'évaluation distinct de la qualité des résultats. Des cohortes éducatives synthétiques qui reproduisent les statistiques descriptives de chaque variable peuvent encore dénaturer la structure des données : un graphe de proximité hebdomadaire sur les apprenants variait 2.6 à 4.9 fois moins sur un semestre dans les versions synthétiques que dans les cohortes réelles ; un score de fidélité ne prédit donc pas quelles analyses survivent sur des données réelles (Inoue et Yasutake, 2026).
-
L'exactitude en distribution n'est pas la déployabilité. Un classifieur de niveaux de Bloom obtenant un macro F1 de 0.88 sur sa banque d'items curatée tombait à 0.48 et 0.20 sur deux ensembles de questions générées par l'IA, une perte qui suivait la quasi-absence de verbes déclencheurs explicites de Bloom plutôt que la taille du modèle ; les LLM non entraînés étaient l'option la plus robuste hors distribution (0.79 et 0.41–0.51) et le réentraînement sur des données étiquetées hors distribution récupérait les plus grands gains (jusqu'à 0.82) ; le transfert devrait donc figurer dans le rapport aux côtés de l'ajustement en distribution (Castanares et al., 2026).
-
Une échelle de difficulté IA est une aide à l'évaluation, pas une note. Les estimations de difficulté de l'IA suivaient fortement le taux de réussite au niveau des problèmes (rho = −0.871 sur 79 problèmes) mais s'affaiblissaient à −0.552 sur un échantillon CS101 de 106 problèmes et approchaient de zéro au niveau de l'examen ; de telles échelles ont donc leur place dans la revue des items, et non dans l'évaluation des étudiants (Yan et al., 2026).
Connexions avec les concepts associés
L'évaluation de l'IA en éducation se situe au cœur des méthodes et des risques de la base de connaissances. Elle opérationnalise l'validité de l'évaluation, la mesure éducative et le référentiel (benchmark) au sein de l'évaluation et de l'évaluation automatisée. Son appel à la supervision humaine la relie à l'IA avec humain dans la boucle et au rôle de l'enseignant, tandis que son accent sur la fiabilité la relie au risque d'hallucination, à l'évaluation IA sensible à la confiance (Confidence Aware AI Assessment) et à la calibration de la confiance. La distinction entre évaluer la performance et évaluer l'apprentissage renvoie à la performance vs. apprentissage et à la modélisation de l'étudiant ; et l'évaluation des agents pédagogiques renvoie aux tuteurs intelligents, à l'entraînement et au fine-tuning des LLM et à la sécurité pédagogique.
Évaluer les gains d'apprentissage
Un objet central de l'évaluation de l'IA en éducation est le gain d'apprentissage — l'amélioration mesurable des connaissances ou des compétences qu'un outil d'IA produit (voir Gains d'apprentissage). Évaluer les gains de façon rigoureuse suppose de choisir la bonne mesure de résultat, car performance et apprentissage divergent : l'IA peut gonfler la performance immédiate des tâches assistées par l'IA tout en laissant l'apprentissage durable, non assisté, inchangé ou réduit (voir la réduction du temps d'étude en mathématiques due à l'IA générative, la pénalité d'apprentissage de l'IA générative dans le secondaire). Une évaluation efficace des gains doit donc :
- Utiliser des mesures de résultats non assistées, résistantes à l'IA. Les preuves sur les garde-fous et la recherche sur l'évaluation sommative montrent que les mesures surveillées, à livre fermé et non assistées — et non les devoirs assistés par l'IA ou le travail à la maison — révèlent les véritables gains d'apprentissage.
- Distinguer la performance assistée de l'apprentissage durable. La méta-analyse montre que l'IA peut produire de grands gains de productivité sans gain d'apprentissage significatif (g ≈ 0) ; les évaluations doivent donc rapporter les deux.
- La génération technologique n'a peut-être pas d'importance, et les données de coût manquent. Burneo et al. (2026) regroupent 14 essais randomisés pour un gain d'apprentissage moyen de 0.125 sd, l'IA générative ne montrant aucun avantage sur les logiciels adaptatifs antérieurs (0.022 sd, SE 0.075) et des coûts par étudiant comparables n'étant rapportés que dans deux ou trois études.
- Associer mesures pré/post et vérifications de validité. L'validité de l'évaluation et la mesure éducative fondent la mesure des gains ; la revue méta-analytique agrège les tailles d'effet entre études pour établir les preuves de gains du champ.
- Désagréger par apprenant et par contexte. Parce que les gains d'apprentissage varient selon la population, le domaine et la configuration de l'IA, l'évaluation devrait rapporter les gains pour différents sous-groupes d'étudiants (par ex. selon le niveau antérieur, comme le révèlent les évaluations de VLM pour le statut d'erreur) plutôt qu'un unique agrégat, et devrait relier les résultats de gains à la méta-analyse et revue systématique pour les situer dans la base de preuves plus large.
Des référentiels conditionnés au contexte sont nécessaires : Zhang et al. (2026) soutiennent que les référentiels de tutorat antérieurs (MathTutorBench, MRBench, LearnLM) récompensent un seul versant du dilemme de l'assistance ou donnent des indications trop peu spécifiées. TutorMoments rejoue plutôt les points de décision pédagogique identifiés par les enseignants, en évaluant si l'aide du tuteur est appropriée au moment d'apprentissage spécifique — étayage vs. rigueur.
- La métrique choisie peut inverser vos conclusions. Zhang et al. (2026), évaluant des agents enseignants IA en formation médicale, ont constaté que les scores agrégés non divulgués d'une plateforme éducative classaient les agents presque à l'opposé d'un barème transparent de qualité d'enseignement à 8 dimensions, validé par des experts (exactitude des connaissances médicales, guidage pédagogique, couverture des connaissances, qualité du jeu de rôle, difficulté adaptative, sécurité médicale, engagement, rétroaction). Les scores de plateforme indexent la performance des étudiants ; le barème indexe le comportement d'enseignement de l'agent — choisir la mauvaise métrique détermine quels agents seront adoptés ou affinés. Ils ont aussi constaté que l'indulgence des évaluateurs LLM diffère selon le modèle (certains trop indulgents pour discriminer) ; la notation automatisée a donc besoin d'un calibrage humain et n'est digne de confiance que sur les dimensions de processus cognitif.
- Un taux d'erreur peut masquer la défaillance qu'il est censé détecter. Stanchev (2026) a envoyé un enregistrement texte-parole d'un passage d'anglais médical à quatre services ASR : les deux services gratuits ont renvoyé 87.96% et 88.34% de la référence, tandis que les deux services payants ont renvoyé des aperçus de 32.76% et 55.35% et ont donc affiché des taux d'erreur par mot de 73.21% et 48.77%. Les taux d'erreur élevés provenaient de tokens jamais renvoyés plutôt que de tokens mal entendus ; classer sur le seul taux d'erreur a donc traité une restriction d'exportation comme un échec de transcription. La couverture doit figurer à côté du taux d'erreur chaque fois qu'une métrique automatisée se substitue à l'artefact que voit l'apprenant.
- Ancrer les suites d'évaluation sur l'apprentissage mesuré, et non sur des substituts. Les référentiels de capacité d'enseignement, les barèmes de pédagogie conversationnelle et la latence des tuteurs devraient être validés par rapport aux gains d'apprentissage réels plutôt que traités comme des substituts, et la latence est elle-même un axe d'évaluation car elle détermine si les étudiants s'engagent ou non (Northcutt et al. (2026)).
- Les évaluations fondées sur le jugement d'experts ont besoin de leur propre comptabilité de fiabilité. Puech et al. (2026) ont fait noter par 25 experts appariés au domaine 92 vidéos de cours générées, selon un barème ancré sur « la qualité d'un cours MOOC standard », jugeant 87% au niveau ou au-dessus du seuil (moyenne 3.42 sur 5). Chaque vidéo n'a été notée qu'une seule fois par un seul évaluateur (k = 1) ; la conception répartit donc le panel sur l'ensemble du corpus au prix d'une statistique d'accord inter-évaluateurs ; un modèle à intercepts aléatoires a attribué environ 35% de la variance résiduelle à l'évaluateur (ICC = 0.35) et l'article rapporte des intervalles groupés par évaluateur plutôt qu'un chiffre de précision unique. Une évaluation fondée sur le jugement d'experts n'est aussi solide que l'analyse de fiabilité qu'elle publie.
Concepts liés
- Interpréter et appliquer la recherche sur l'IA en éducation — Interpréter et appliquer la recherche en AIED
- Recherche éducative assistée par IA — Recherche éducative assistée par l'IA
- Validité de l'évaluation — Validité de l'interprétation dans l'évaluation de l'IA en éducation
- La mesure en éducation — Théorie de la mesure pour évaluer l'apprentissage
- IA psychométriquement informée — Appliquer la psychométrie à l'évaluation fondée sur l'IA
- Référentiel — Référentiels standardisés pour évaluer les systèmes d'IA
- Évaluation automatisée — Systèmes de notation et d'évaluation fondés sur l'IA
- Analytique de l'apprentissage — Analyse fondée sur les données des comportements d'apprentissage
- Les méthodes de recherche en AIED — Méthodes de recherche pour l'IA en éducation
- Gains d'apprentissage — Mesurer les gains d'apprentissage des outils d'IA
- L'évaluation formative — Évaluation continue pour guider l'enseignement
- L'évaluation sommative — Évaluation sommative : formats résistants à l'IA (oral, surveillé, à livre fermé)
- Évaluation authentique — Évaluation des performances réelles et transférables
- Humain dans la boucle — Supervision humaine de l'évaluation par l'IA
- Le calibrage de la confiance — Calibrer la confiance dans les systèmes d'IA
- Risque d'hallucination — Risque de contenu fabriqué dans les sorties de l'IA
- Tutorat intelligent — Évaluer les systèmes de tutorat par l'IA
- IA agentique — Évaluer le comportement des agents d'IA autonomes
Articles liés
- What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — What platform scores miss: multidimensional evaluation of AI teaching agents
- Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
- Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Assessing the quality of AI-generated exams: a large-scale field study
- Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Neuro-symbolic pedagogical alignment (NSPA)
- Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Three-way classification benchmark of LLM tutoring agents (Yasir et al. 2026)
- The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Evaluating VLMs on DrawEduMath: error content hardest (Lucy et al. 2026)
- Benchmarking the Pedagogical Knowledge of Large Language Models — Benchmarking LLM pedagogical knowledge (CDPK + SEND)
- Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — LLM classroom observation validation: reliability vs accuracy (Melo et al. 2026)
- Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — On-premise OER AI knowledge-base assistants: multi-dimensional evaluation
- Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity
- Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Calibrating Trustworthiness: Co-Designing Metrics and Visualizations
- TeachBench - Evaluating LLM Teaching Ability — TeachBench: Evaluating LLM Teaching Ability
- Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Why Machines Misread Pedagogical Quality: Human-Machine Alignment
- Confidence Estimation in Automatic Short Answer Grading with LLMs — Automatic Short Answer Grading With LLMs
- CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: Human-in-the-Loop Prompt Engineering for Formative Assessment
- Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmarking LLMs for Diagnosing Students' Cognitive Skills
- The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality
- ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD Agent Benchmark
- A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — A Tool-Invariant Framework for Teaching and Assessing Computational Methods
- Towards Valid Student Simulation with Large Language Models — Toward Valid Student Simulation With Large Language Models
- From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — From Evaluated Models to Evaluation Aids
- The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — The Theoretical Foundation of Socratic Tests
- Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Responsible Assessment in the AI Era
- From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — From Authentic Products to Authenticated Processes
- Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Meta-analysis of generative AI educational outcomes
- When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — When Help is Unhelpful: evaluating AI tutors for productive struggle
- ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: education LLM benchmark
- Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
- Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Distilling self-explaining LM for learning analytics
- Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Meta-analytic evaluation of adaptive + AI EdTech
- A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — AI's role across scoring, psychometrics, assessment
- Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomized Trials of an AI Tutoring Platform in GCSE Science
- ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Process-Based Math Item Quality Assessment
- Towards Scalable Measurement of Durable Skills — Toward Scalable Measurement of Durable Skills
- From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning
- StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains
- What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data
- Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
- When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI
FAQ liées
- Quels sont les 10 principaux résultats de la recherche sur l'IA en éducation que les enseignants devraient connaître ?
- Quelles lacunes notables existe-t-il dans la littérature de recherche sur l'IA en éducation ?
- Utiliser l'IA aide-t-il réellement mes étudiants à apprendre ?
- Quelles mesures et méthodes de recherche un enseignant peut-il utiliser pour évaluer les interventions liées à l'IA ?
- Quelles sont les bonnes pratiques pour rapporter et interpréter la recherche sur l'IA en éducation ?