AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Автоматизированное оценивание эссе

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Автоматизированное оценивание эссе (AES) — использование ИИ для оценивания и выставления оценок письменным эссе, охватывающее традиционные статистические подходы, дообученные языковые модели и всё более доступные стратегии prompting на основе Большие языковые модели (LLM). Исследования AES в этой базе знаний охватывают точность оценивания, справедливость и перекосы, психометрическую валидность и практическую Доступность для преподавателей.

Вопросы для размышления

  • Автоматизированное оценивание эссе прошло путь от традиционных статистических моделей до prompting на основе LLM. Ключевое напряжение на этой странице — между точностью и доступностью: дообученные модели оценивают хорошо, но непрактичны для большинства преподавателей. Чему бы вы отдали приоритет в своём контексте и почему?
  • Важнейший результат: простое включение эссе-примеров в промпт приближает согласие LLM с человеком к надёжности между людьми-оценщиками — причём более дешёвая модель может сравниться с более дорогой. Что это говорит о том, сколько в качестве AES зависит от модели, а сколько от способа prompting?
  • Страница предупреждает, что оценивание с помощью ИИ может систематически занижать оценки студентов из лингвистически разнообразных сред. До чтения: если бы вы увидели, что ИИ поставил более низкую оценку эссе неносителя языка, приняли бы вы это за «проблему перекоса» или просто за «оценку»? Что изменило бы вашу реакцию?
  • Самореференциальный подход оценивает авторов на L2, сравнивая их письмо с их собственными прежними работами, а не с нормами носителей языка. Как выбор базовой линии для сравнения меняет смысл оценки — и по отношению к каким студентам он может оказаться более справедливым?
  • AES пересекается с формирующим оцениванием, когда используется для обратной связи, а не для выставления оценок. Когда обратная связь машины по эссе была бы по-настоящему полезна развивающемуся автору, а когда она могла бы свести к нулю те виды качественной обратной связи, которую дал бы редактор-человек?

Введение

Автоматизированное оценивание эссе имеет долгую историю в образовательных технологиях — от ранних статистических моделей до современных подходов на основе LLM, способных оценивать эссе целостно без больших предварительно размеченных наборов данных. Ключевое напряжение в исследованиях AES — между точностью и доступностью: хотя дообученные модели достигают сильных результатов, они ресурсоёмки и непрактичны для большинства преподавателей.

  • Zhang et al. RACES использует выравнивание по вознаграждению, чтобы сделать оценивание эссе с помощью LLM одновременно точным и согласованным, устраняя ключевое для AES опасение по поводу валидности.

Ключевые темы исследований

Подход к AES на основе prompting стал наиболее доступным. Исследование опорных эссе Choi et al. показывает, что включение эссе-примеров в промпты приближает согласие LLM с человеком к надёжности между людьми-оценщиками, причём GPT-4o mini достигает результатов, сравнимых с GPT-4o, при меньших затратах. Это связано с более широкими исследованиями Промпт-инжиниринг и делает AES применимым в работе преподавателя.

Психометрическое оценивание на уровне черт выходит за рамки целостных оценок. PsyScore предоставляет психометрически осведомлённую систему для адаптивного к чертам оценивания с обратной связью, основанной на ЗБР. ICLE++ моделирует тонкие черты для целостного оценивания эссе, повышая точность автоматизированной оценки.

  • Оценивание черт на уровне измерений ограничено данными, лежащими в основе каждого измерения. Firdausi et al. (2026) обучили по одному классификатору на каждое измерение структуры критического мышления Энниса FRISCO на 106 эссе по физике одиннадцатиклассников из Индонезии (83 для обучения, 23 для тестирования, при согласии трёх преподавателей-оценщиков на каждом измерении kappa 0.78–0.84). Согласие концентрировалось на выражении, а не на рассуждении: квадратичная взвешенная каппа достигла 0.763 для Clarity и 0.728 для Situation, но лишь 0.374 для Focus, 0.332 для Reason и 0.227 для Inference. Порядковый сигнал был сконструирован, а не наблюдён — синтетические эссе уровня 1 (генерация по шаблону, сокращение до 20–40% исходной длины, удаление ключевых слов) плюс парафраз с помощью LLM подняли Focus на +0.346 каппа от базового уровня 0.028 — и одна конфигурация достигла точности 0.652 при околонулевой или отрицательной каппе, так что точность не является пригодным критерием отбора в порядковом AES.

Перекосы и справедливость — критическая проблема. Feser & Tschisgale обнаружили, что оценивание с помощью ИИ систематически занижает оценки студентов из лингвистически разнообразных сред, что подчёркивает необходимость учёта Снижение перекосов (bias mitigation) и Справедливость при внедрении AES.

Расхождение с оценщиками-людьми систематично, а не случайно. Модели GPT и Llama «из коробки» согласовывались с человеческими оценками лишь слабо (QWK ≈ 0.17–0.28 против 0.72 между двумя оценщиками-людьми) и смещались в направлении, зависящем от качества: выше для коротких, недоразвитых эссе и ниже для длинных, сильных, несущих мелкие поверхностные ошибки (Mathew et al. (2026)).

Оценивание L2 и самореференциальное оценивание исследуют контексты письма неносителей языка. Оценивание L2 на основе профиля использует самореференциальный подход, сравнивая письмо студента с его собственными прежними работами, а не с нормами носителей языка.

Интерпретируемость и взвешивание признаков открывают чёрный ящик того, как LLM на самом деле оценивают. Wang et al. (2026) сравнили три LLM (Qwen, GPT, Gemini) с оценщиками-людьми на эссе на английском языке неносителей по шестнадцати текстовым признакам, обнаружив сильное общее соответствие, но различное взвешивание: LLM подчёркивали грамматическую точность, лексическую изощрённость и синтаксическую сложность, тогда как оценщики-люди отдавали приоритет полноте содержания и визуальному представлению. Существенно, что LLM меняли своё взвешивание в зависимости от уровня владения языком — придавая больший вес языковым ошибкам для студентов с низким уровнем и всё более вознаграждая лингвистическую изощрённость для студентов с высоким уровнем — тогда как оценщики-люди сохраняли более стабильную структуру. Liu, Ye and Yan (2026) развивают это системой оценки пяти моделей (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) на 60 длинных эссе, используя причинное открытие для выявления различных оценочных эвристик: большинство моделей отдавало приоритет лексической точности и беглости, другие подчёркивали синтаксическую сложность или междисциплинарную интеграцию, а некоторые демонстрировали непоследовательность, сжатие оценок или систематическое занижение. Вместе эти исследования устанавливают, что валидность AES зависит не только от общего согласия, но и от того, как модели взвешивают признаки и является ли это взвешивание стабильным для подгрупп учащихся — что напрямую относится к Валидность оценивания и аудиту Снижение перекосов (bias mitigation).

Границы типов заданий и пределы оценивания эссе. В университетском экзамене смешанного формата Falahat, Das, Bhaumik & Thambi (2026) обнаружили, что согласие ChatGPT-5 с преподавателями было существенным-почти-идеальным по объективным заданиям (CCC 0.935–1.000), но резко падало по открытым ответам — от околонулевого до отрицательного для кратких ответов и лишь 0.341–0.854 для вопросов-эссе — и структурированная рубрика не улучшала согласие по эссе последовательно. Это ограничивает валидность AES: беглость модели помогает на хорошо специфицированных заданиях, но не переносится на целостное оценивание эссе, где контекстуальная интерпретация ответов с частичным баллом по-прежнему в пользу человеческого суждения.

Границы типов проблем в диагностическом согласии. Yao and Fan (2026) использовали DeepSeek-R1 для разметки конкретных проблем письма до редактирования и сравнили его разметку с диагнозом преподавателя на протяжении трёх циклов (среднее F1 = 0.768, SD = 0.037). Согласие было наивысшим по локально обусловленным проблемам, таким как выбор слова по лексике (F1 = 0.824), и наименьшим там, где проблема опирается на связь «утверждение — доказательство» (использование источников и доказательства, 0.579), так что согласие в диагностической роли зависит от типа проблемы, а не только от модели или промпта.

Перекошенное распределение по рубрике может заставить агрегированные метрики оценивания вводить в заблуждение. Автоматизированная оценка измерения рубрики может быть задачей классификации с несбалансированным распределением меток, а не непрерывной оценкой: при разметке уровня рефлексии 0–3 в 1 954 эссе венгерских студентов 68% эссе находились на уровне 3 и 1.8% — на уровне 0, и лучшая поверхностная конфигурация (SMOTEBoost с эмбеддингами Qwen3) достигла общей оценки 0.7176, усреднённой по accuracy, F1 и ROC-AUC, против 0.6872 для лучшего дообученного трансформера — при этом одна конфигурация RidgeClassifier дала ROC-AUC 0.7131 при accuracy лишь 0.5162, а балансировка классов снизила каждую метрику (accuracy упала с 0.6672 без неё до 0.6408 с ней), так что авторы трактуют выбор модели как вопрос о том, какая метрика важна, причём трансформеры оправдывают себя чувствительностью к классу меньшинства, а не агрегированным согласием (Csibi et al., 2026).

Доказательства внедрения в высоких ставках. Полевые доказательства из реального внедрения с высокими ставками (Уругвайский Acredita EB, 2024–2025; Curi et al.) показывают, что prompt-engineered GPT-5 достигает согласия 60–80% с обученными оценщиками-людьми по аналитической испанской рубрике из 15 пунктов, примерно на пять процентных пунктов ниже согласия между людьми-оценщиками по большинству пунктов и никогда более чем на 15 пунктов ниже, с согласованностью между запусками выше 90% почти по всем пунктам. Лексика, синтаксис и орфография были слабейшими измерениями, и пункт по орфографии пришлось передать детерминированному грамматическому проверяющему (LanguageTool, точность 68%, согласованность 100%), поскольку орфография на уровне токенов — место, где модель наименее стабильна. Промпты, созданные для одного издания экзамена, переносились на следующее лишь с точечными правками по тематике, и ИИ был систематически строже людей — занижал оценки, а не завышал. Для проектирования AES урок состоит в том, что оценивание на основе prompting может приближаться к человеческому согласию даже в национальном экзамене, тогда как его остающаяся слабость находится на уровне низкоуровневых языковых конвенций, а не целостного качества письма.

Токен-уровневая уверенность, взвешенное по вероятности оценивание и ансамблирование каждое по отдельности улучшали согласие при оценивании дивергентного мышления — комбинированные техники достигли r = 0.846 (RMSE = 0.4848), а направление лишь наименее уверенных 20% ответов на человеческую проверку сократило ручной труд примерно на 80% (Organisciak & Acar (2026)).

Человеческий Бенчмарк и то, что он может и чего не может обосновывать. Исследование OpRaise — сильнейшая проверка в этой базе знаний готовности оценивания LLM к рутинному использованию, и её ответ зависит от базовой линии, а не от модели. Оно сравнило три передовые системы (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash), каждую в 27 конфигурациях промптов, варьирующих специфичность рубрики, калибровку и стратегию оценивания, с модерированными оценками 761 аутентичного эссе по психологии от 125 студентов в трёх британских университетах. Человеческие оценки были приняты за эталон, поскольку академическое суждение является социально признанным стандартом, и авторы отмечают, что оценщики-люди соглашаются друг с другом лишь умеренно — что ограничивает то, насколько сильного согласия ИИ с человеком можно было бы обоснованно потребовать. На фоне этого эталона согласие по британской степени варьировалось от 35 до 65 процентов в зависимости от университета (63 процента в Кембридже, 53 процента в Ноттингеме, 35 процентов в Manchester Metropolitan) и не переносилось между ними, так что центральная рекомендация отчёта — локальная валидация на собственных Оценивание материалах университета. Два вывода обобщаются за пределы этого корпуса. Во-первых, надёжность и согласие расходятся: каждая модель переставляла оценки почти идентично (ICC 1.00, 1.00, 0.97), и модели соглашались друг с другом теснее, чем с людьми (ICC трёх моделей 0.91), однако все три согласились по степени лишь по 56 процентам работ — самосогласованность не есть валидность. Во-вторых, оценки ИИ сжимались к середине шкалы (показатель сжатия 0.47–0.82, причём точка пересечения, где ИИ и человек в среднем согласны, находится в верхней части 50-х — начале 60-х), что делает ИИ наименее точным именно на границах оценок, разделяющих Firsts от Upper Seconds и проходные от непроходных. Ширина лексикона, скрепы, сложность предложений и длина текста предсказывали оценки ИИ с небольшими, но значимыми эффектами, тогда как их связь с человеческими оценками была в целом ничтожна — прямое демонстрирование проблемы лингвистического перекоса, и ни одна из проверенных стратегий prompting её не устранила.

AES как сигнал для обучения, а не как судья. Модели оценивания обычно изучаются как оценщики, но SWIM использует одну из них как функцию вознаграждения: Do, Kontak and Sachan (2026) замораживают многочертовый AES-верификатор и оценивают им сгенерированные студенческие эссе, превращая предсказанный профиль черт в плотное пофрагментное вознаграждение (средняя нормированная по чертам дистанция до целевого профиля) для GRPO — намеренно не саму метрику Quadratic Weighted Kappa, поскольку QWK определена на батче пар «цель — предсказание» и не является пофрагментным сигналом, тогда как вознаграждения за точное совпадение слишком разрежены в многочертовой постановке. Полученные выигрыши были перепроверены на оценщике DeBERTa и верификаторе, используемом только для оценки, на котором политика никогда не обучалась (0.598 против 0.479 для SFT и 0.647 против 0.501) — это и есть проверка, отделяющая подлинный контроль владения от адаптации к модели вознаграждения. Для исследований AES это второе требование к валидности: оценщик, используемый как цель обучения, оптимизируется против него самого, так что его собственное взвешивание черт и языковые перекосы распространяются на всё, чему учится генератор, — те же асимметрии взвешивания признаков (грамматическая точность, лексическая изощрённость и синтаксическая сложность, взвешиваемые моделями сильнее, чем оценщиками-людьми), задокументированные в другом месте этой страницы, теперь формируют обучение, а не только оценки.

Оцениванию и обратной связи нужны разные методы, поэтому система должна разделять их. Labib et al. (2026) построили одну систему аргументативного эссе TOEFL как три модуля — оценивание, обратную связь поверхностного уровня по грамматике и механике и обратную связь глубокого уровня по организации, связности и аргументации — вместо одной модели, выполняющей все три задачи, и обнаружили, что то, что выигрывает на одном модуле, проигрывает на другом: контролируемое дообучение GPT-4o на 120 из проприетарного набора из 480 оценённых по бенчмарку эссе с тестированием на остальных 360 достигло квадратичной взвешенной каппы 0.84 и RMSE 0.44 по шкале 0–5, опередив базовую линию Wang and Gayed (2024) (QWK 0.78, RMSE 0.57), однако то же самое дообучение дало непригодный результат для модулей обратной связи, где одобренные преподавателями комментарии генерировал прямой prompting Claude 3.7.

Связи с родственными концепциями

AES находится на пересечении Автоматизированное оценивание, Письменная речь и Генеративный ИИ. Он связан с Формативное оценивание, когда используется для обратной связи, а не для выставления оценок, с Feedback Loop — когда интегрирован в итеративные процессы письма, и с ИИ-грамотность — когда преподаватели понимают инструменты AES и калибруют их использование. Концепции Валидность оценивания и Образовательное измерение существенны для обеспечения осмысленности и справедливости оценок AES.

  • Согласие, ошибка и то, что добавляет гибридный оценщик. В небольшом корпусе маркетинговых текстов открытого формата LLM обошёл и детерминированные правила, и гибрид равного веса по абсолютному согласию с оценщиками-людьми (ICC(2,1) .435 против .266 и .091), причём гибрид был значимо хуже одной лишь LLM, тогда как разброс оценок и единственный почти пустой отклик показали, насколько сильно такие оценки зависят от состава корпуса (Agreement and error in automated scoring of student marketing posts).

Открытые системы — тоже часть этой картины: AiAWE оценивает аргументативные эссе с помощью адаптированной через LoRA Gemma-3-27B-it, достигая QWK 0.828 и согласия в пределах ±0.5 с человеческой оценкой на 90.56% из 360 оценочных эссе — и сообщает, что размер модели не предсказывал надёжно итоговую эффективность при адаптации через LoRA (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Связанные концепции

Связанные статьи

Метаданные

ДисциплинаWriting Education
УровеньHigher Ed, K 12
Технологии и методыГенеративный ИИ, Большие языковые модели (LLM), Промпт-инжиниринг
Оценивание и измерениеОценивание, Автоматизированное оценивание
Основы ИИ в образованииИИ-грамотность
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.