Notation automatisée de dissertations

Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

La notation automatisée de dissertations (AES, Automated Essay Scoring) — l'usage de l'IA pour évaluer et noter des dissertations écrites, englobant les approches statistiques traditionnelles, les modèles de langue ajustés et, de plus en plus, des stratégies accessibles d'interrogation fondées sur les grands modèles de langue (LLM). La recherche sur l'AES dans cette base de connaissances couvre l'exactitude de la notation, l'équité et les biais, la validité psychométrique et l'accessibilité pratique pour les éducateurs.

Questions à examiner

La notation automatisée de dissertations est passée des modèles statistiques traditionnels à l'interrogation fondée sur les LLM. Une tension clé sur cette page oppose l'exactitude à l'accessibilité — les modèles ajustés notent bien mais sont impraticables pour la plupart des éducateurs. Lequel privilégieriez-vous dans votre propre contexte, et pourquoi ?
Un constat majeur est que le simple fait d'inclure des dissertations modèles dans l'interrogation rapproche la concordance LLM-humain de la fiabilité humain-humain — et qu'un modèle moins coûteux peut égaler un modèle plus cher. Qu'est-ce que cela suggère sur la part respective du modèle et de la manière dont il est interrogé dans la qualité de l'AES ?
La page avertit que la notation par IA peut sous-estimer systématiquement les étudiants issus de milieux linguistiquement variés. Avant de lire, si vous aviez vu une IA attribuer une note inférieure à la dissertation d'un locuteur non natif, auriez-vous considéré cela comme un « problème de biais » ou simplement comme « la note » ? Qu'est-ce qui changerait votre réaction ?
Une approche auto-référentielle évalue les rédacteurs de L2 en comparant leurs écrits à leurs propres travaux antérieurs plutôt qu'aux normes des locuteurs natifs. Comment le choix de la référence de comparaison change-t-il la signification d'une note — et quels étudiants pourrait-elle traiter plus équitablement ?
L'AES rejoint l'évaluation formative lorsqu'elle est utilisée pour la rétroaction plutôt que pour la notation. Quand la rétroaction d'une machine sur une dissertation serait-elle réellement utile à un rédacteur en développement, et quand risquerait-elle d'aplatir le type de rétroaction qualitative qu'un éditeur humain donnerait ?

Introduction

La notation automatisée de dissertations possède une longue histoire dans les technologies éducatives, depuis les premiers modèles statistiques jusqu'aux approches modernes fondées sur les LLM, capables d'évaluer des dissertations de façon globale sans grands ensembles de copies pré-notées. La tension centrale de la recherche sur l'AES oppose l'exactitude à l'accessibilité — si les modèles ajustés obtiennent de bons résultats, ils exigent beaucoup de ressources et sont impraticables pour la plupart des éducateurs.

Zhang et al. RACES utilise l'alignement par récompense pour rendre la notation de dissertations par LLM à la fois exacte et cohérente, répondant ainsi à une préoccupation centrale de validité de l'AES.

Key research themes

L'AES par interrogation s'est imposée comme l'approche la plus accessible. L'étude de l'article repère de Choi et al. montre que l'inclusion de dissertations modèles dans les interrogations rapproche la concordance LLM-humain de la fiabilité humain-humain, GPT-4o mini obtenant des résultats comparables à GPT-4o à moindre coût. Cela rejoint la recherche plus large sur l'ingénierie des invites et rend l'AES praticable pour un usage par les enseignants.

La notation psychométrique et au niveau des traits va au-delà des notes globales. PsyScore fournit un cadre conscient de la psychométrie pour une notation adaptative aux traits, avec une rétroaction ancrée dans la ZPD. ICLE++ modélise des traits fins pour la notation globale de dissertations, faisant progresser la précision de l'évaluation automatisée.

La notation au niveau des dimensions est bornée par les données derrière chaque dimension. Firdausi et al. (2026) ont entraîné un classificateur par dimension du cadre de pensée critique FRISCO d'Ennis sur 106 dissertations de physique de terminale indonésienne (83 pour l'entraînement, 23 pour le test, trois enseignants-évaluateurs s'accordant à kappa 0.78–0.84 sur chaque dimension). L'accord s'est concentré sur l'expression plutôt que sur le raisonnement : le kappa quadratique pondéré a atteint 0.763 pour Clarity et 0.728 pour Situation mais seulement 0.374 pour Focus, 0.332 pour Reason et 0.227 pour Inference. Le signal ordinal a été fabriqué plutôt qu'observé — des dissertations synthétiques de niveau 1 (génération par patron, dégradation à 20–40% de la longueur originale, suppression de mots-clés) auxquelles s'ajoute la paraphrase par LLM ont fait grimper Focus de +0.346 kappa par rapport à une base de 0.028 — et une configuration a atteint 0.652 d'exactitude avec un kappa nul ou négatif, si bien que l'exactitude n'est pas un critère de sélection utilisable en AES ordinal.
Les biais et l'équité constituent une préoccupation critique. Feser et Tschisgale ont constaté que la notation par IA sous-estime systématiquement les étudiants issus de milieux linguistiquement variés, soulignant la nécessité de prendre en compte la réduction des biais et l'équité dans le déploiement de l'AES. Un biais linguistique dans la notation est une défaillance directe de validité.

Le désaccord avec les évaluateurs humains est systématique, non aléatoire. Les modèles GPT et Llama prêts à l'emploi ne s'accordaient que faiblement avec les notes humaines (QWK ≈ 0.17–0.28 contre 0.72 entre deux évaluateurs humains) et biaisaient dans une direction dépendante de la qualité — plus élevés pour les dissertations courtes et peu développées, plus bas pour les longues et solides comportant de légères erreurs de surface (Mathew et al. (2026)).

L'évaluation de la L2 et l'approche auto-référentielle explorent les contextes d'écriture non native. L'évaluation de la L2 fondée sur le profil utilise une approche auto-référentielle comparant les écrits des étudiants à leurs propres travaux antérieurs plutôt qu'aux normes des locuteurs natifs.

L'interprétabilité et la pondération des caractéristiques ouvrent la boîte noire de la manière dont les LLM notent réellement. Wang et al. (2026) ont comparé trois LLM (Qwen, GPT, Gemini) à des évaluateurs humains sur des dissertations d'anglais non natif, selon seize caractéristiques textuelles, constatant un fort alignement global mais une pondération distincte : les LLM mettaient l'accent sur l'exactitude grammaticale, la sophistication lexicale et la complexité syntaxique, tandis que les évaluateurs humains privilégiaient la complétude du contenu et la présentation visuelle. Point crucial, les LLM déplaçaient leur pondération selon le niveau de compétence — accordant plus de poids aux erreurs de langue pour les étudiants peu compétents et récompensant de plus en plus la sophistication linguistique pour les étudiants très compétents — alors que les évaluateurs humains maintenaient un cadre plus stable. Liu, Ye et Yan (2026) prolongent ce travail avec un cadre d'évaluation à cinq modèles (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) sur 60 dissertations longues, utilisant la découverte causale pour révéler des heuristiques évaluatives distinctes : la plupart des modèles privilégiaient la précision lexicale et la fluidité, d'autres soulignaient la complexité syntaxique ou l'intégration interdomaines, et certains montraient des incohérences, une compression des notes ou une sous-estimation systématique. Ensemble, ces études établissent que la validité de l'AES ne dépend pas seulement de l'accord global mais de la manière dont les modèles pondèrent les caractéristiques et de la stabilité de cette pondération entre les sous-groupes d'apprenants — ce qui éclaire directement l'audit de l'validité de l'évaluation et de la réduction des biais.

Les frontières liées aux types d'items et les limites de la notation de dissertations. Dans un examen universitaire à formats mixtes, Falahat, Das, Bhaumik et Thambi (2026) ont constaté que la concordance de ChatGPT-5 avec le corps professoral allait de substantielle à quasi parfaite sur les items objectifs (CCC 0.935–1.000) mais chutait nettement sur les réponses ouvertes — de nulle à négative pour les réponses courtes et seulement 0.341–0.854 pour les questions de dissertation — et qu'une grille structurée n'améliorait pas systématiquement l'accord sur les dissertations. Cela borne la validité de l'AES : la fluidité du modèle aide sur les items bien spécifiés mais ne se transpose pas à la notation globale de dissertations, où l'interprétation contextuelle des réponses à crédit partiel continue de favoriser le jugement humain.

Les frontières liées aux types de problèmes dans l'accord diagnostique. Yao et Fan (2026) ont utilisé DeepSeek-R1 pour étiqueter des problèmes d'écriture spécifiques avant révision et ont comparé ses étiquettes au diagnostic des enseignants sur trois cycles (F1 moyen = 0.768, SD = 0.037). L'accord était le plus élevé sur les problèmes à indices locaux comme le choix du mot de vocabulaire (F1 = 0.824) et le plus faible là où le problème repose sur une relation affirmation–preuve (usage des sources et des preuves, 0.579), si bien que l'accord dans un rôle diagnostique dépend du type de problème, et pas seulement du modèle ni de l'interrogation.

Une distribution d'items asymétrique peut fausser les métriques agrégées de notation. L'évaluation automatisée d'une dimension d'une grille peut être une tâche de classification à distribution d'étiquettes déséquilibrée plutôt qu'une note continue : en marquant le niveau de réflexion de 0 à 3 dans 1.954 dissertations d'étudiants hongrois, 68% des dissertations se situaient au niveau 3 et 1.8% au niveau 0, et la meilleure configuration superficielle (SMOTEBoost avec des plongements Qwen3) a atteint un score global de 0.7176 en moyenne sur l'exactitude, le F1 et le ROC-AUC contre 0.6872 pour le meilleur transformeur ajusté — alors qu'une configuration RidgeClassifier a atteint 0.7131 de ROC-AUC avec seulement 0.5162 d'exactitude, et que l'équilibrage des classes a fait baisser toutes les métriques (l'exactitude passant de 0.6672 sans équilibrage à 0.6408 avec), si bien que les auteurs considèrent le choix du modèle comme une question de métrique privilégiée, les transformeurs méritant leur place par la sensibilité aux classes minoritaires davantage que par l'accord agrégé (Csibi et al., 2026).

Les données probantes d'un déploiement à enjeux élevés. Les données de terrain issues d'un déploiement réel à enjeux élevés (l'Acredita EB uruguayen, 2024–2025 ; Curi et al.) montrent que GPT-5, préparé par interrogation, atteint 60–80% d'accord avec des évaluateurs humains formés sur une grille analytique espagnole de 15 items, soit environ cinq points de pourcentage sous l'accord inter-évaluateurs humain pour la plupart des items et jamais plus de 15 points sous, avec une constance d'une exécution à l'autre supérieure à 90% pour presque tous les items. Le vocabulaire, la syntaxe et l'orthographe étaient les dimensions les plus faibles, et l'item d'orthographe a dû être confié à un correcteur grammatical déterministe (LanguageTool, 68% d'exactitude, 100% de constance) parce que l'orthographe au niveau du token est l'endroit où le modèle est le moins stable. Les interrogations conçues pour une édition de l'examen se transposaient à la suivante avec de simples ajustements thématiques, et l'IA était systématiquement plus sévère que les humains — sous-notant plutôt que sur-notant. Pour la conception de l'AES, la leçon est que la notation par interrogation peut approcher l'accord humain même dans un examen national, alors que sa faiblesse résiduelle se situe au niveau des conventions linguistiques de bas niveau plutôt que de la qualité globale de l'écriture.

La confiance au niveau du token, la notation pondérée par les probabilités et l'ensembling ont chacun amélioré l'accord sur la notation de la pensée divergente — les techniques empilées ont atteint r = 0.846 (RMSE = 0.4848), et le fait de n'envoyer que les 20% de réponses les moins confiantes en revue humaine a réduit l'effort manuel d'environ 80% (Organisciak et Acar (2026)).

Le référentiel humain, et ce qu'il peut et ne peut pas autoriser. L'étude OpRaise constitue le test le plus solide de cette base de connaissances quant à la disponibilité de la notation par LLM pour un usage courant, et sa réponse tient au référentiel davantage qu'au modèle. Elle a comparé trois systèmes de pointe (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash), chacun sous 27 configurations d'interrogation croisant la spécificité de la grille, le calibrage et la stratégie de notation, aux notes modérées de 761 dissertations authentiques de psychologie provenant de 125 étudiants dans trois universités britanniques. Les notes humaines ont été adoptées comme vérité de terrain parce que le jugement académique est la norme socialement acceptée, et les auteurs notent que les correcteurs humains ne s'accordent que modérément entre eux — ce qui borne la force qu'on pourrait raisonnablement exiger de l'accord IA–humain. Face à ce référentiel, l'accord sur la mention britannique allait de 35 à 65 pour cent selon l'établissement (63 pour cent à Cambridge, 53 pour cent à Nottingham, 35 pour cent à Manchester Metropolitan) et ne se transposait pas d'un établissement à l'autre, si bien que la recommandation centrale du rapport est une validation locale sur les propres supports d'évaluation d'un établissement. Deux constats se généralisent au-delà de ce corpus. Premièrement, fiabilité et accord se séparent : chaque modèle a re-noté de manière quasi identique (ICC 1.00, 1.00, 0.97) et les modèles s'accordaient entre eux plus étroitement qu'avec les humains (ICC des trois modèles 0.91), et pourtant les trois ne s'accordaient sur la mention que pour 56 pour cent des travaux — la cohérence interne n'est pas la validité. Deuxièmement, les notes de l'IA se comprimaient vers le milieu de l'échelle (un score de compression de 0.47–0.82, le point de croisement où IA et humains s'accordent en moyenne se situant dans les 55 à 62), rendant l'IA la moins exacte précisément aux frontières de mention qui séparent les First des Upper Seconds et les admis des recalés. L'étendue du vocabulaire, les connecteurs, la complexité des phrases et la longueur du texte prédisaient les notes de l'IA avec de petits effets significatifs...

L'AES comme signal d'entraînement plutôt que comme juge. Les modèles de notation sont généralement étudiés comme évaluateurs, mais SWIM en utilise un comme fonction de récompense : Do, Kontak et Sachan (2026) gèlent un vérificateur AES multi-traits et le font noter des dissertations d'étudiants générées, transformant le profil de traits prédit en une récompense dense par dissertation (la distance moyenne normalisée par trait par rapport au profil cible) pour GRPO, et délibérément pas la métrique Quadratic Weighted Kappa elle-même, parce que le QWK est défini sur un lot de paires cible–prédiction et n'est pas un signal par échantillon, alors que les récompenses de correspondance exacte sont trop clairsemées dans un contexte multi-traits. Les gains ont été revérifiés face à un notateur DeBERTa et à un vérificateur d'évaluation seule contre lequel la politique n'a jamais été entraînée (0.598 contre 0.479 pour le SFT, et 0.647 contre 0.501), ce qui constitue le contrôle qui distingue une véritable maîtrise de l'adaptation au modèle de récompense. Pour la recherche sur l'AES, il s'agit d'une deuxième exigence de validité : un notateur utilisé comme cible d'entraînement devient l'objet d'une optimisation, si bien que sa propre pondération des traits et ses biais de langue se propagent à tout ce que le générateur apprend — les mêmes asymétries de pondération des caractéristiques (exactitude grammaticale, sophistication lexicale et complexité syntaxique plus fortement pondérées par les modèles que par les évaluateurs humains) documentées ailleurs sur cette page, façonnant désormais l'entraînement et non plus seulement les notes.

La notation et la rétroaction demandent des méthodes différentes ; un système devrait donc les séparer. Labib et al. (2026) ont construit un système de dissertation argumentative TOEFL en trois modules — notation, rétroaction de surface sur la grammaire et la mécanique, et rétroaction profonde sur l'organisation, la cohérence et l'argumentation — au lieu d'un modèle unique faisant les trois travaux, et ont constaté que ce qui gagne sur un module perd sur un autre : l'ajustement fin supervisé de GPT-4o sur 120 d'un ensemble propriétaire de 480 dissertations notées comme référentiel, testé sur les 360 restantes, a atteint un kappa quadratique pondéré de 0.84 et un RMSE de 0.44 sur l'échelle 0-5, devant la référence de Wang et Gayed (2024) (QWK 0.78, RMSE 0.57), alors que le même ajustement fin produisait des sorties inutilisables pour les modules de rétroaction, où c'est l'interrogation directe de Claude 3.7 qui générait des commentaires approuvés par les enseignants.

Connexions aux concepts apparentés

L'AES se situe à l'intersection de l'évaluation automatisée, de l'enseignement de l'écriture et de l'IA générative. Elle rejoint l'évaluation formative lorsqu'elle sert à la rétroaction plutôt qu'à la notation, la boucle de rétroaction lorsqu'elle est intégrée aux processus d'écriture itératifs, et l'IA literacy lorsque les éducateurs comprennent et calibrent les outils d'AES. Les concepts d'validité de l'évaluation et de mesure en éducation sont essentiels pour garantir que les notes d'AES soient significatives et équitables.

Accord, erreur et ce qu'ajoute un notateur hybride. Dans un petit corpus de textes marketing ouverts, le LLM a dépassé à la fois les règles déterministes et un hybride à poids égaux sur l'accord absolu avec les évaluateurs humains (ICC(2,1) .435 contre .266 et .091), l'hybride étant significativement moins bon que le LLM seul, tandis que la dispersion des notes et une réponse quasi unique et vide montraient à quel point de telles estimations dépendent de la composition du corpus (Agreement and error in automated scoring of student marketing posts).

Les systèmes ouverts font aussi partie de ce tableau : AiAWE note des dissertations argumentatives avec un Gemma-3-27B-it adapté par LoRA, atteignant un QWK de 0.828 et un accord à ±0.5 près de la note humaine sur 90.56% de 360 dissertations d'évaluation — et rapporte que l'échelle du modèle ne prédisait pas de façon fiable la performance en aval sous adaptation LoRA (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Concepts liés

Métadonnées

Discipline	Writing Education
Niveau	Higher Ed, K 12
Technologies et techniques	L'IA générative, Grands modèles de langue (LLM), L'ingénierie des invites
Évaluation et mesure	Évaluation, Évaluation automatisée
Fondements de l'IA dans l'éducation	Littératie en IA

Source History Edit Chat