Base de connaissances AIEdAIEd KB
Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Concepts

Évaluation automatisée

Création 2026-08-09 · Mise à jour 2026-10-10

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

L'évaluation automatisée — l'usage de l'IA pour évaluer le travail des étudiants, des questionnaires formatifs aux examens à fort enjeu. L'évaluation automatisée couvre de multiples modalités — questions à choix multiples, réponses brèves, dissertations, code et évaluation fondée sur la performance — et va de la notation automatisée directe à des systèmes conscients de la confiance, qui rendent compte d'une incertitude calibrée à côté de leurs scores.

Questions à examiner

  • L'évaluation automatisée va de la notation de questions à choix multiples aux dissertations, au code et à l'évaluation fondée sur la performance. Quelle est la plus grande différence que vous attendriez entre la fiabilité avec laquelle l'IA peut noter un questionnaire à choix multiples et celle avec laquelle elle peut noter une dissertation libre — et pourquoi ?
  • Une idée de conception centrale ici est la « conscience de la confiance » : des notateurs d'IA qui indiquent leur degré de certitude, signalant les cas de faible confiance pour examen humain, au lieu d'émettre un score unique et non qualifié. Comment une note qui dirait « j'en suis sûr à 70% » changerait-elle la manière dont vous utiliseriez un score automatisé ou lui accorderiez votre confiance ?
  • La recherche montre que la notation automatisée peut désavantager systématiquement les locuteurs non natifs — l'IA note la langue plutôt que la compréhension. Pourquoi un notateur automatisé serait-il particulièrement enclin à ce type d'injustice, même lorsqu'il atteint un fort accord avec les évaluateurs humains dans l'ensemble ?
  • Une étude a constaté que la manière dont la validation est conduite peut gonfler la performance rapportée : une méthode naïve de validation croisée a rapporté des résultats quasi parfaits, qui chutaient spectaculairement sous une validation plus rigoureuse, indépendante des essais. Qu'est-ce que cette leçon de prudence suggère quant à la manière dont vous devriez lire toute affirmation selon laquelle un système d'évaluation par l'IA « fonctionne » ?
  • La page soutient qu'une confiance calibrée rend possibles les flux de travail avec intervention humaine, soutient la calibration de la confiance et renforce la validité de la mesure. Si un système automatisé orientait ses cas les plus incertains vers un évaluateur humain, que voudriez-vous savoir sur la manière dont ces cas sont choisis, avant d'accorder votre confiance à cette répartition ?
  • La notation automatisée est décrite comme l'une des applications de l'AIED les plus matures, et pourtant une notation sans rétroaction utile a une valeur éducative limitée. Comment une focalisation purement sur la production de scores — plutôt que sur une rétroaction utilisable — changerait-elle ce que les étudiants retirent réellement d'une évaluation notée par l'IA ?

Introduction

Les modalités d'évaluation

La notation automatisée

La notation automatisée est l'une des applications de l'IA en éducation les plus matures et les plus largement déployées — des systèmes d'IA qui évaluent le travail des étudiants, de la notation de questions à choix multiples à l'évaluation de dissertations et à la revue de code. Ses modalités de notation incluent :

  • Les étudiants distinguent l'utilité de la rétroaction de l'autorité évaluative : AlGhamdi (2026) documente un cas où un score d'IA comptait dans les notes et où les étudiants le savaient — 13 étudiants d'informatique dont les travaux manuscrits scannés avaient été évalués par ChatGPT selon une grille couvrant la clarté, l'organisation, la correction des phrases et la concision. Chaque participant a trouvé la rétroaction utile, mais tous en ont distingué l'utilité de l'autorité, et plusieurs ont rejeté le caractère unidirectionnel et non dialogique de la notation automatisée — « ChatGPT is not like people. You talk to them and explain excuses... I like normal teacher [to] grade my work. » L'étude positionne l'évaluation automatisée comme acceptable pour la révision de surface, mais non comme évaluateur final, avec une confiance conditionnelle médiatisée par la supervision de l'enseignant.
  • Notation des réponses brèves : la notation automatique des réponses brèves consciente de la confiance évalue les réponses en texte libre, la calibration de la confiance étant critique — les systèmes doivent savoir quand la notation est fiable. Une revue de cadrage de la notation automatique des réponses brèves en sciences (2017–début 2024) documente l'histoire du domaine : Morley et al. ont constaté que les modèles de la famille BERT (base, RoBERTa, DistilBERT, SciBERT) dominaient — employés dans 20 des 21 études, avec un pic en 2021 — avant que les approches fondées sur GPT ne soient adoptées par l'ingénierie des invites plutôt que par un ajustement fin, à partir d'environ 2022. Les modèles augmentés de données du domaine (manuels, grilles, pré-entraînement supplémentaire) surpassaient systématiquement ceux qui n'en avaient pas, et pourtant peu pouvaient justifier leurs notes en des termes compréhensibles par un humain, et les biais selon les groupes démographiques et linguistiques étaient rarement examinés — ce qui a conduit les auteurs à soutenir que les notateurs automatiques devraient soutenir plutôt que remplacer les examinateurs humains. Une revue systématique systématique guidée par PRISMA portant sur 42 études empiriques de notation et de rétroaction (2023–2025) généralise cette mise en garde à l'ensemble du domaine : les LLM égalent les évaluateurs humains sur les tâches fermées et les questions à réponse brève, mais ne peuvent pas remplacer entièrement le jugement humain sur les travaux complexes, ouverts ou subjectifs, qui exigent une analyse approfondie ou de la créativité, et l'efficacité de notation la plus élevée est atteinte dans des systèmes hybrides, qui associent une notation pilotée par l'IA à la supervision et à la vérification des enseignants (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Notation de dissertations : les systèmes de notation automatisée de dissertations tels que la notation fondée sur des ancres recourent à des stratégies de rédaction d'invites pour approcher une fiabilité de niveau humain. AIAWE étend l'évaluation automatisée à une évaluation de l'écriture plus large.
  • Revue de code : la notation des examens Linux Bash et la revue de code en CS1 illustrent l'évaluation automatisée dans l'enseignement de l'informatique.
  • Un persona d'invite peut faire s'effondrer un notateur, et un ajustement fin peut le réparer : Habibullah et al. (2026) ont noté un examen pratique de vision artificielle (570 étudiants à double notation) selon 171 configurations, et un second examen de apprentissage automatique (1,038 étudiants) selon 162 autres. Un court préambule de « notateur strict » a fait sortir 14 des 17 modèles à poids ouverts de la bande notée (MAE ≥ 8), trois cessant entièrement de noter ; les dégâts se sont révélés imputables à deux phrases de retenue de points plutôt qu'au ton ou à l'échelle du modèle, et sa direction était spécifique à l'examen, améliorant sept modèles au second examen. Un léger ajustement fin LoRA sur environ 3,900 exemples notés mutualisés a porté cinq petits modèles ouverts à la parité ou au-delà d'un notateur humain, si bien que la vulnérabilité est un artefact de rédaction d'invites plutôt qu'un plafond de capacité.
  • Intégration formative : l'automatisation en sciences de niveau A et CoTAL montrent comment la notation automatisée alimente les cycles d'évaluation formative.
  • La couverture des types de rétroaction n'est pas l'alignement sur les enseignants. Almousa et al. (2026) ont annoté la rétroaction au niveau des paragraphes issue de trois cours d'écriture universitaires en sept types de focus ; la plupart des modèles émettent presque tous les types, et pourtant leurs distributions divergent de la référence des enseignants, LearnLM, ajusté pour l'éducation, étant le plus proche (divergence de Jensen–Shannon 0.1344) et Mistral-7B le plus éloigné (0.2695). Solliciter les modèles par des définitions de catégories ou des exemples résolus a augmenté la divergence pour la plupart d'entre eux.
  • Biais et équité : le biais linguistique dans la notation de physique documente la manière dont la notation automatisée peut désavantager les locuteurs non natifs — ce qui se relie à l'atténuation des biais et à l'équité.
  • Évaluation de repères pour les modèles GenAI dans la notation de questions ouvertes : Pecuchova, Benko & Drlik (2025) ont évalué onze modèles d'IA générative et d'enchâssement de phrases par confrontation à deux évaluateurs humains experts, sur 1,885 réponses ouvertes à 24 questions de génie logiciel. Seul GPTo1 a atteint un accord presque parfait (kappa de Fleiss 0.82, avec peu de faux positifs et de faux négatifs selon les catégories de notes), Claude3 et PaLM2 arrivant peu derrière ; les modèles de IA générative sensibles au contexte traitaient robustement des réponses d'étudiants brèves et diversement formulées, tandis que les modèles d'enchâssement fondés sur une référence (par exemple les 345 faux positifs de BERT) pénalisaient systématiquement les réponses correctes mais formulées différemment — la preuve que le choix du modèle, et pas seulement le format de notation, façonne la fiabilité pour l'évaluation de questions ouvertes en texte libre.
  • Les exemples d'invites décident de l'accord de notation : Takahashi et al. (2026) ont automatisé le raisonnement diagnostique hiérarchique (HDR), une tâche de compétence appliquée dans laquelle les apprenants trouvent et expliquent des erreurs délibérément enfouies dans un court cas. Avec GPT-4o et sans ajustement fin, l'équipe a généré de nouveaux problèmes et noté les descriptions des étudiants : les problèmes générés et ceux rédigés par des humains présentaient la même consistance interne (alpha de Cronbach = 0.78) et ne montraient aucune différence significative de distribution des scores sur 100 participants, et la corrélation du format avec un contrôle de compréhension en lecture restait faible (α = 0.36 et 0.41). L'exactitude de la notation dépendait de l'invite plutôt que du modèle — sans exemples résolus, la précision sur Q2 tombait à 0.42, tandis que l'ajout d'exemples corrects et incorrects notés par des humains élevait l'accord à 98% ou plus sur chaque question (Q1 et Q2 à 100%) — cela pour un coût humain mesuré de 138 minutes de notation experte sur 117 réponses, plus 30 minutes de consensus.

Le propre mode de raisonnement d'un modèle constitue un second levier de configuration : sur 32 soumissions anonymisées d'examen de master en santé publique, le même ChatGPT est passé d'un kappa pondéré de 0.269 en mode rapide à 0.718 en mode de réflexion, tandis que Kimi atteignait 0.571 (Brevik et al. (2026)).

  • Le codage multi-agents des réponses ouvertes des enseignants, où c'est le cadre plutôt que le modèle qui porte la fiabilité : Copur-Gencturk et al. (2026) étendent l'évaluation automatisée au-delà du travail des étudiants, au codage des connaissances disciplinaires (CK) et des connaissances pédagogiques disciplinaires (PCK) propres des enseignants, en demandant si l'IA peut reproduire le codage humain entraîné des réponses écrites de 268 enseignants de mathématiques de collège américains, portant sur les rapports et les relations de proportionnalité. Un LLM multi-agents conçu à cet effet, GradeOpt, attribue trois rôles adossés à GPT-4o — un notateur qui applique le manuel de codage humain, un réflecteur qui diagnostique chaque désaccord avec le code humain, et un affinateur qui réinjecte les points de clarification dans le manuel sur jusqu'à six tours — et a correspondu étroitement aux codeurs humains entraînés sur les CK (κ = .88 et .85), tout en atteignant un accord substantiel sur les items de PCK, bien plus interprétatifs, dans l'ensemble (κ = .68 ; κ pondéré = .79). Deux références de traitement du langage naturel et un modèle GPT-4o à invite unique n'ont jamais dépassé κ = .39 ni κ pondéré = .55 sur les PCK, si bien que les auteurs attribuent la fiabilité à l'affinement des instructions par confrontation au manuel de codage, plutôt qu'à l'échelle du modèle, et recommandent un examen par des experts partout où des niveaux de codage adjacents se brouillent, puisque les erreurs résiduelles de GradeOpt étaient typiquement des codes adjacents plutôt que des manquements grossiers.

  • Notation d'examens à formats mixtes (2026) : Falahat, Das, Bhaumik & Thambi (2026) ont évalué ChatGPT-5 par confrontation à la notation par des enseignants d'un examen de pharmacie à 21 items (16 étudiants), couvrant des items à choix multiples, de type « sélectionner tout ce qui s'applique », à compléter, de listage, à réponse brève et de dissertation. La concordance était substantielle à quasi parfaite pour les types d'items objectifs (CCC 0.935–1.000 — aidée par les réponses correctes fournies pendant la notation), mais s'effondrait pour le listage (0.621–0.708), les réponses brèves (environ 0 à négatif) et les dissertations (0.341–0.854) ; fournir une grille structurée n'améliorait pas systématiquement l'accord sur l'examen complet (71.1% sans contre 68.2% avec). L'étude aiguise un point méthodologique qui revient dans toute l'évaluation automatisée — une exactitude en pourcentage modérée coexiste fréquemment avec une faible concordance — si bien que l'exactitude à elle seule surestime la fiabilité, et elle recommande une notation hybride pour les items complexes, subjectifs ou à fort enjeu.

  • Calibration des bandes de notes entre familles de modèles sur des dissertations authentiques notées (2026) : Kerwat, Donaldson & Mahomed (2026) ont fait passer huit configurations prédéfinies issues de quatre familles de modèles (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B et Llama 3.1 8B, chacune à deux températures) sur la même cohorte verrouillée de 114 dissertations BAWE/Coventry, porteuses des étiquettes institutionnelles Merit et Distinction, avec une invite partagée autorisant quatre bandes. L'accord exact sur les bandes allait de 18.4% à 54.4% : Llama 3.1 8B à température 0.5 arrivait en tête (54.4% d'exactitude, 98.2% à une bande près, MAE 0.474, biais quasi nul), tandis que GPT-OSS 120B était le plus faible (18.4%) et sous-notait systématiquement, de 1.316 bandes en moyenne à température 0.5, l'exactitude sur les Distinction demeurant inférieure à celle sur les Merit sur toute la ligne. La cohorte verrouillée ne comportant aucune référence de Pass ni de Fail, il s'agit d'une discrimination Merit–Distinction plutôt que d'une fiabilité sur l'ensemble de la plage des notes, et la température n'était pas un remède — elle a aidé une famille de manière descriptive, laissé une autre inchangée, et significativement aggravé GPT-OSS 20B (de 39.5% à 29.8% d'exactitude). Deux leçons se transfèrent au-delà de l'étude : la distance entre notes et le biais directionnel révèlent ce que les statistiques d'accord cachent, et la taille du modèle n'est pas un indicateur de la validité de l'évaluation.

  • Ingénierie de grilles pour la notation de questions ouvertes dans l'enseignement médical : Olvet et al. (2026) ont demandé si GPT-4 pouvait noter de manière fiable des questions ouvertes sur des examens médicaux de pré-clinicat. Après trois itérations d'affinement de grilles menées par des humains dans deux écoles américaines, la fiabilité inter-évaluateurs avec le corps professoral a atteint un accord substantiel à presque parfait sur trois des quatre questions, à l'aide de grilles analytiques et holistiques (kappa pondéré allant jusqu'à 0.94), tandis que l'item à grille holistique stagnait à un niveau modéré (κw = 0.54). L'analyse des régularités d'erreur a montré que les écarts étaient imputables aux deux évaluateurs — GPT-4 sur-notait lorsque les étudiants proposaient plusieurs réponses ou employaient un vocabulaire absent de la grille, tandis que les enseignants étaient souvent des notateurs « trop généreux » — ce qui a conduit les auteurs à recommander de garder des humains dans la boucle (par exemple en faisant noter un sous-ensemble par des enseignants pour confirmer l'exactitude). Parce qu'environ 82% des écoles de médecine américaines notent les travaux de pré-clinicat selon un critère de réussite ou d'échec, un accord exact sur les scores de l'IA est souvent inutile pour un usage opérationnel.

  • Notation avec intervention humaine pour une évaluation nationale d'écriture à grande échelle (2026) : Curi et al. (2026) étendent la notation par LLM fondée sur des invites à un véritable examen d'écriture espagnole à fort enjeu (environ 5,000 à 6,000 réponses par an), atteignant 60 à 80% d'exactitude sur les items et plus de 90% de consistance des productions, sur une grille analytique à 15 items, avec un vérificateur déterministe de traitement du langage naturel remplaçant le LLM sur l'item d'orthographe (100% de consistance). Sa contribution distinctive est une validation orientée vers la décision, plutôt que des métriques centrées sur le modèle : le biais systématique de sous-notation de l'IA, converti par la théorie de la réponse à l'item et la méthode Bookmark en niveaux de compétence, produit des écarts de réussite ou d'échec dans 15.3 à 16.5% des cas — tous orientés vers un examen par des experts par le flux de travail avec intervention humaine, ce qui réduit d'au moins 50% les réponses nécessitant une notation humaine complète, tout en préservant la qualité des décisions. Cela ancre la notation hybride dans une évaluation opérationnelle, plutôt que dans des jeux de données de preuve de concept.

  • L'accord par dimension montre là où un évaluateur ne peut pas détecter de changement : SOPHIE 2.0 (Hasan et al., 2026) a validé un juge LLM par confrontation au consensus de toutes les sources de notation humaines — patients standardisés et évaluateurs tiers — sur une grille de communication clinique à trois dimensions, atteignant un coefficient de Pearson de 0.759 et un ICC(A,1) de 0.746 à partir des seules transcriptions, à l'intérieur de la dispersion des évaluateurs humains individuels plutôt qu'à l'extérieur. Sa dimension la plus faible était « Être explicite » (corrélations de 0.414 à 0.598 selon les juges candidats), et c'était aussi la seule dimension dont les scores ne bougeaient pas de manière mesurable entre les deux rencontres (Δ = 0.014, p = 0.1204) — si bien que l'accord par dimension peut indiquer à l'avance les dimensions sur lesquelles un évaluateur automatisé est incapable de montrer une amélioration.

L'évaluation consciente de la confiance

Un objectif de conception central au sein de l'évaluation automatisée est la conscience de la confiance : des systèmes d'évaluation par l'IA qui rendent compte d'une incertitude calibrée à côté de leurs scores, au lieu d'émettre une prédiction unique et non qualifiée. Un notateur conscient de la confiance ne produit pas seulement une note ou une classification, il signale aussi son degré de certitude, de sorte que les cas de faible confiance peuvent être signalés pour examen humain et que les utilisateurs peuvent calibrer leur confiance dans le système. C'est central pour une évaluation automatisée responsable, et cela se relie étroitement à l'IA consciente de la psychométrie et à la calibration de la confiance.

Comment la confiance est modélisée dans la recherche de la base de connaissances :

  • Signaux de confiance fusionnés pour la notation de réponses brèves : la notation automatique des réponses brèves consciente de la confiance fusionne les signaux de confiance fondés sur le modèle (verbalisés, latents et fondés sur la consistance) avec l'incertitude aléatoire dérivée du jeu de données, par régression par forêt aléatoire.
  • La confiance dans le travail multimodal des étudiants : l'évaluation consciente de la confiance des figures scientifiques dessinées par les étudiants étend la modélisation de la confiance aux réponses multimodales des étudiants.
  • Calibration psychométrique des LLM : l'IA consciente de la psychométrie fait progresser le standard d'alignement de la notation par LLM sur la théorie de la mesure, la calibration étant une exigence centrale, aux côtés de l'alignement sur l'théorie de la réponse à l'item.
  • Calibration de la difficulté et du temps de réponse : la calibration de la difficulté des examens de programmation repositionne les LLM comme des sources de preuves auxiliaires, dont les estimations de difficulté corrèlent avec les taux de réussite des étudiants.
  • Notation de dissertations adaptative aux traits : PsyScore montre qu'un cadre conscient de la psychométrie peut adapter la rétroaction sur les dissertations aux traits de l'apprenant.
  • Évaluer le travail visuel des étudiants : DiagramIR rétrotraduit les diagrammes mathématiques générés par LLM (TikZ) en une représentation intermédiaire dotée de vérifications déterministes, battant la méthode du LLM comme juge sur l'accord avec les évaluateurs humains et permettant à de petits modèles d'égaler les grands à un coût environ 10 fois inférieur — une voie extensible pour évaluer la production diagrammatique et non textuelle des étudiants.
  • Inférence conditionnée par la confiance dans l'évaluation automatisée des enseignants : Li, Yang & Fang (2025) placent la calibration par abandon de Monte Carlo directement dans le chemin de notation, de sorte qu'une variance d'abandon supérieure à un seuil appris déclenche une production de rejet et de renvoi, plutôt qu'un score, assortie d'une correction des biais adversariale qui maintient l'écart d'équité à 1.8%, là où les références se situent entre 6.4 et 8.2%, et d'une erreur de calibration attendue de 0.032 sur TeacherEval-2023. Leur ablation est l'argument de calibration en miniature : retirer le module conditionné par la confiance fait chuter la consistance inter-évaluateurs à 78.6%, et les auteurs attribuent une réduction de 41% de la charge de travail d'examen humain au conditionnement — le traitement de l'incertitude comme architecture, plutôt que comme reporting a posteriori.
  • L'explicabilité de la notation fondée sur des grilles : Bueno et al. montrent que les attributions SHAP, indépendantes du modèle, sont plus fidèles et plus transférables que les justifications générées par LLM pour expliquer des scores fondés sur des grilles (par exemple la qualité de la rétroaction en classe), et proposent des tests fondés sur la suppression et intermodèles comme manière fondée d'évaluer les explications de tout modèle de notation.

Pourquoi une confiance calibrée importe :

  • Elle rend possible la délégation avec intervention humaine : les cas de faible confiance sont orientés vers un évaluateur humain — soutenant des flux de travail avec intervention humaine, plutôt qu'une automatisation aveugle.

  • Elle soutient la calibration de la confiance : une confiance calibrée permet aux utilisateurs d'ajuster leur confiance à la fiabilité réelle du système, en évitant tant la confiance excessive que la confiance insuffisante.

  • Elle améliore la validité de la mesure : une notation consciente de la confiance renforce l'mesure en éducation et la validité de l'évaluation, en rendant l'incertitude explicite.

  • Équité et défendabilité : signaler les cas de faible confiance pour examen réduit le risque de scores erronés avec assurance, en particulier pour des réponses atypiques ou sous-représentées.

  • La génération de grilles et les pipelines de notation supervisés par l'enseignant : Mendonça et al. (2026) montrent que des grilles d'évaluation générées par LLM (HARMOGEN-R) peuvent égaler les grilles créées par des humains pour le contenu technique, dans une marge d'équivalence de ±5 points, la génération structurée offrant une plus grande consistance entre modèles. Cruz et al. (2026) évaluent un pipeline de notation GPT-4o de bout en bout, dans lequel les notes de l'IA tombaient à moins de 0.5 point de celles de l'enseignant sur 83% des 362 soumissions (MAE 0.31) — ce qui est mieux présenté comme un supplément extensible au jugement de l'enseignant que comme un remplacement de celui-ci.

Qualité et équité

La qualité de l'évaluation automatisée dépend de l'évaluation et de sa validité et de l'atténuation des biais. La recherche sur les biais linguistiques montre que la notation automatisée peut désavantager systématiquement certaines populations étudiantes. Le critère est lui-même faillible. Bozdag et Qiu (2026) notent des copies de physique de niveau GCSE avec un système d'IA et les comparent à la fois aux notes officielles des commissions d'examen et au jugement d'enseignants expérimentés, traitant l'accord avec la commission comme un indicateur d'exactitude plutôt que comme l'exactitude elle-même.

Les scénarios de déploiement et ce que chacun exige

Le degré d'alignement qu'une institution devrait exiger dépend de ce que le système est autorisé à décider. Dans une étude à méthodes mixtes portant sur 761 dissertations authentiques de premier cycle dans trois universités britanniques, trois modèles de pointe, avec 27 configurations d'invites chacun, n'ont atteint que 35 à 65% d'accord avec les correcteurs humains sur la bande de note, et l'exactitude ne se transposait pas d'une institution à l'autre — si bien que le rapport traite les usages candidats comme des scénarios distincts plutôt que comme une décision unique. L'assurance qualité de la notation humaine, où l'IA note en parallèle et où des différences significatives déclenchent un examen humain, est la plus conservatrice. Un assistant de notation, qui classe ou catégorise les soumissions selon la qualité ou l'incertitude prédites, qui trie les cas complexes, ou qui développe de brefs commentaires humains en une rétroaction plus complète, est un authentique terrain d'entente. L'IA comme notateur principal, avec examen humain d'un échantillon ou des distributions de notes, n'a été jugé acceptable que si la performance du système s'améliore, et aucun groupe de parties prenantes n'a approuvé l'IA comme notateur unique.

Trois exigences en découlent pour chacun d'eux. Parce que l'alignement est propre au modèle et à l'institution, la validation doit être locale et continue — l'exactitude phare obtenue ailleurs ne constitue pas une preuve de disponibilité. Parce que les notes étaient comprimées vers le milieu, l'IA était la moins exacte aux frontières de notes et pour les soumissions les plus fortes et les plus faibles, c'est-à-dire là où les décisions d'évaluation ont le plus de conséquences. Et parce qu'un désaccord entre une note de l'IA et une note humaine reflète des jugements différents plutôt qu'une simple erreur, les écarts devraient déclencher une interprétation humaine plutôt qu'une correction algorithmique, l'autorité finale sur la note demeurant aux mains des personnes. L'adoption porte aussi des obligations de gouvernance que les métriques techniques ne captent pas : un droit à l'explication au titre de l'article 22 du RGPD lorsque des décisions automatisées affectent les étudiants, des obligations au titre de la loi sur l'égalité dès lors qu'il est montré que le niveau de réussite et l'usage de la langue influencent les notes, des procédures d'appel révisées pour des erreurs qui ne sont pas faciles à attraper, et un risque d'irréversibilité — une fois que les effectifs et les investissements se sont déplacés, une institution peut peiner à continuer de collecter la notation humaine dont elle aurait besoin pour y revenir.

Combiner les trois modèles n'a pas supprimé cette erreur : parce que leurs erreurs étaient corrélées — dans le même sens sur 63.4% des travaux — l'ensemble Corsi et al. (2026) était statistiquement indiscernable du meilleur modèle unique, laissant en place la compression de tendance centrale partagée.

Venetsanos (2026) fournit les critères que ces exigences présupposent, soutenant que ce qui rend l'automatisation défendable est le statut épistémique de la tâche, plutôt que ce que la technologie peut techniquement accomplir. Son cadre limite l'IA à une vérification bornée d'affirmations factuelles et procédurales — les quatre conditions suivantes, à savoir des critères documentés sans ambiguïté, une comparaison directe avec un savoir établi, aucune évaluation d'approches alternatives valides, et une réponse correcte unique ou un ensemble acceptable prédéfini, doivent être satisfaites simultanément, l'ambiguïté escaladant par défaut vers un humain — et conditionne l'implication de l'IA à ce niveau à cinq principes non négociables qui doivent tous être satisfaits à la fois : la base de connaissances doit être choisie par l'évaluateur et ancrée dans les matériaux du module par la recherche documentaire, plutôt que dans les connaissances paramétriques du modèle ; les évaluateurs humains examinent chaque production de l'IA avant qu'elle n'atteigne les étudiants et détiennent un droit de veto absolu, avec une responsabilité non partagée ; la rétroaction doit porter une provenance et une attribution claires ; et la sécurité doit être conçue contre l'usage adverse dès le départ, avec assainissement des entrées pour ce qui concerne les instructions cachées en texte blanc ou de petite taille, les encodages, les images ou les métadonnées de documents, puisque le contournement réussi d'un système automatisé se propage au sein des cohortes d'étudiants. Le même article est explicite sur le fait que ses principes ne sont pas testés pour leur faisabilité simultanée, et que le temps d'évaluateur consacré à la sélection, à l'infrastructure de sécurité et à la surveillance à haute fréquence peut déplacer l'effort du personnel plutôt que le réduire — une mise en garde qui se situe aux côtés de l'exigence de validation locale ci-dessus.

La sécurité de la notation médiée par l'IA

Une évaluation par équipe rouge d'un flux de notation quotidien montre la surface d'attaque que la planification d'un usage adverse doit couvrir. Humble (2026) a enfoui cinq injections indirectes d'invites dans une dissertation synthétique que Microsoft Copilot (GPT-5.2) avait notée comme échouée sur six exécutions de référence, en itérant chacune sur des fichiers docx, pdf et htm. Deux stratégies ont changé la note sans avertissement visible — un paragraphe de manipulation d'instructions et de jeu de rôle sur 9 itérations (100%), et le même paragraphe caché derrière une couche d'image sur 17 itérations (94%) — tandis qu'un paragraphe en petit texte blanc à la fin du document échouait lors des neuf itérations, et que les injections dans les métadonnées de fichiers n'ont jamais fonctionné, ce que l'auteur attribue à la désactivation de l'accès aux métadonnées dans la version testée. Le problème de confiance a survécu aux exploits : après qu'une exécution sur pdf eut détecté une instruction enfouie et déclaré qu'elle noterait uniquement selon le devoir officiel, la réexécution du même fichier a élevé la note six fois de plus sans avertissement, et une conversation bloquée par une attaque détectée a été silencieusement désactivée plutôt que signalée à l'utilisateur. L'auteur soutient que les notes qui en résultent n'étayent aucune prétention à la validité, dans un sens comme dans l'autre, qu'un adversaire n'a besoin que d'une seule combinaison efficace face à des garde-fous superposés, et que l'enseignant demeure le seul contrôle réel de la production, tandis que la manipulation est conçue pour ne pas être visible — ce qui se relie directement à l'obligation d'assainissement des entrées et de sécurité adverse que Venetsanos énonce plus haut.

Connexions

L'évaluation automatisée se relie à la validité de l'évaluation (assurance qualité), à l'évaluation formative (contexte d'usage), à l'atténuation des biais et à l'équité (équité de traitement), au rôle de l'enseignant (comment l'automatisation change le travail de l'enseignant), et à l'IA et la qualité de la rétroaction (une notation sans rétroaction utile a une valeur éducative limitée). L'évaluation consciente de la confiance est un mécanisme spécifique au sein du programme plus large de l'IA consciente de la psychométrie, et un contributeur à une confiance calibrée.

  • Notation par l'IA à grande échelle de copies manuscrites de physique (2026) : un modèle multimodal (GPT-5.5) a noté 10,364 pages scannées, réparties sur un examen théorique de l'Olympiade de physique, un camp de sélection et un examen universitaire de mécanique quantique, atteignant des corrélations de score total de 0.91 à 0.97 avec les notes officielles et retrouvant la même équipe des cinq premiers de l'Olympiade. Des instructions révisées, page par page, de localisation des preuves ont amélioré l'accord — la preuve qu'une IA multimodale peut soutenir une notation sommative à fort enjeu, avec une ingénierie soignée des grilles et des invites (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Automatisation sélective pour les copies manuscrites de chimie (2026) : Cvengros & Kortemeyer ont noté une épreuve finale manuscrite de chimie générale réunissant 296 étudiants, page par page, par confrontation à des images de grilles, avec un LLM multimodal et raisonnant, atteignant une forte fiabilité d'une exécution à l'autre sur les scores totaux (ICC(A,1) = 0.967) et un fort accord de score total avec la notation par les assistants d'enseignement (R² = 0.91). Parce que la fiabilité au niveau des items variait fortement selon le format — les réponses textuelles et de réaction chimique étant notées de manière fiable, tandis que le dessin et la réalisation de graphiques obtenaient des scores pires que le hasard — l'accord brut a été jugé inadéquat pour un usage à fort enjeu. Ils opérationnalisent la déférence humaine au moyen de filtres de confiance (seuils de crédit partiel, seuil de risque fondé sur l'IRT, et exclusion par type de problème) qui convertissent les scores bruts de l'IA en une politique d'acceptation ou de déférence, et montrent que les faux positifs (l'IA créditant de réponses réellement fausses) tendent à passer inaperçus, puisque les étudiants les contestent rarement — une voie concrète, fondée sur la psychométrie, vers une automatisation sélective (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Mathématiques manuscrites semi-ouvertes dans un examen universitaire (2026) : Liu et al. ont noté un examen de mathématiques de premier cycle allemand avec GPT-4, selon deux voies d'extraction (cases de réponse prédécoupées contre pages entières), deux voies de reconnaissance optique de caractères et deux formats de grilles, rapportant un alpha de Krippendorff de 0.22 à 0.44 par confrontation aux notes humaines, avec une exactitude de 0.59 à 0.62 sur les meilleurs flux de travail et une exactitude par problème allant de 0.27 à 0.91 — ce qui n'est pas acceptable pour un usage sommatif à fort enjeu. L'itemisation des règles de notation à critères multiples n'a généralement pas amélioré l'accord (elle a aidé sur le problème à crédit partiel), la notation libre sans grille était bien pire (exactitude de 0.50 à 0.51), et un filtre de confiance probabiliste destiné à signaler les notes pour un nouveau contrôle humain n'a pas significativement amélioré l'exactitude, tout en signalant à tort 7 à 41% des réponses comme fiables. La leçon transférable de l'étude est procédurale : scanner et transcrire la feuille d'examen entière avec des repères, plutôt que de recadrer les cases de réponse, parce que les étudiants écrivent à cheval sur les bords des cases ; réécrire les règles de notation écrites pour des assistants d'enseignement, puisque le modèle a tenté des dérivations non demandées à partir d'une règle destinée à un humain ; et noter que les règles de notation humaines elles-mêmes se paraient entre elles à un alpha de 0.88 parmi cinq variantes, si bien que la robustesse aux invites n'est pas le goulot d'étranglement.

  • Jugement comparatif par LLM pour le dépistage en écriture (2026) : Mercer & Reed ont employé sept LLM comme juges comparatifs par paires pour noter l'écriture informationnelle de 1,208 élèves des classes de CE2 à sixième, sur trois occasions de dépistage. Les scores de jugement comparatif par LLM corrélaient fortement avec les scores de grilles analytiques (r = .67 à .73, le plus fort pour Gemini-3.1 Pro), avec une AUC de .82 à .86 pour la compétence ; les constats étaient stables selon les modèles, avec peu de gain de validité provenant de modèles plus coûteux et plus capables, tandis que le fait de moyenner trois échantillons d'écriture améliorait l'exactitude — l'ampleur de l'échantillonnage importait plus que le choix du modèle. Les régularités de biais prédictif pour les apprenants multilingues correspondaient à la notation humaine par grilles, ce qui soutient le jugement comparatif par LLM comme approche de dépistage efficiente et peu coûteuse (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Alignement dépendant de la qualité avec la notation par l'enseignant (2026) : en comparant ChatGPT, les pairs et un enseignant notant les mêmes travaux de groupe de premier cycle, Usher & Faraon ont constaté que l'alignement de ChatGPT sur l'enseignant s'améliorait à mesure que la qualité des projets augmentait — sa plus forte surestimation concernant les travaux de faible qualité (environ +14 points), se réduisant à environ +2.5 points pour les projets de haute qualité. ChatGPT notait aussi plus haut en moyenne que les pairs et que l'enseignant, une tendance à l'inflation des notes qui sape sa fiabilité comme notateur sommatif autonome, en particulier pour les soumissions plus faibles.

  • Les statistiques d'accord sur un petit corpus peuvent induire en erreur les décisions de déploiement. Noter 60 publications marketing (15 étudiants plus 15 ancres de faible qualité rédigées par des chercheurs) par confrontation à deux évaluateurs humains indépendants a donné un accord absolu ICC(2,1) de .435 pour le LLM, .266 pour un hybride à poids égaux associant règles et LLM, et .091 pour des règles déterministes, avec des MAE de 6.28, 10.53 et 17.22 points respectivement sur une échelle de 0 à 100 ; l'hybride était significativement pire que le seul LLM (différence d'ICC appariée de -.169, IC à 95% [-.260, -.106]). L'ajout d'ancres a élevé l'ICC inter-évaluateurs de .338 à .902, et l'accord du LLM de .435 à .846, et une publication quasi vide s'est vu attribuer 75 points contre une moyenne humaine de 30.5, ce qui montre qu'une seule réponse dégénérée peut dominer une petite évaluation. (Agreement and error in automated scoring of student marketing posts)

  • Une notation structurée par LLM peut sembler analytique sans être diagnostique (2026) : en notant 3,041 réponses à 50 questions d'informatique, trois LLM commerciaux ont produit des sous-dimensions de grilles quasi redondantes (r = 0.82 à 0.99, VIF allant jusqu'à 45) et n'ont nommé d'idées fausses que dans 4.8 à 7.4% des commentaires, contre 15.0% pour les enseignants (Zhao et al., 2026)).

Concepts liés

Articles liés

FAQ liées

Métadonnées

Public viséInstructors
Technologies et techniquesGrands modèles de langue (LLM)
Évaluation et mesureÉvaluation, Validité de l'évaluation, Évaluation automatisée, Notation automatisée de dissertations, L'évaluation formative
Équité, éthique et usage responsableRéduction des biais
Fondements de l'IA dans l'éducationL'enseignement
SourceHistoryEditChat

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.