AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Автоматизированное оценивание

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Автоматизированное оценивание — использование ИИ для оценивания работ студентов, от формирующих викторин до экзаменов с высокими ставками. Автоматизированное оценивание охватывает множество модальностей — множественный выбор, краткий ответ, эссе, код и оценивание, основанное на выполнении, — и простирается от прямого автоматизированного выставления оценок до систем, осведомлённых об уверенности, которые сообщают калиброванную неопределённость наряду со своими оценками.

Вопросы для размышления

  • Автоматизированное оценивание простирается от оценивания заданий с множественным выбором до эссе, кода и оценивания, основанного на выполнении. Какова, по вашему ожиданию, наибольшая разница в надёжности, с которой ИИ может оценить викторину с множественным выбором по сравнению со свободным эссе — и почему?
  • Ключевая идея проектирования здесь — «осведомлённость об уверенности»: оценщики ИИ, которые сообщают, насколько они уверены, помечая случаи низкой уверенности для человеческого пересмотра, вместо того чтобы выдавать единственную неконтекстуализированную оценку. Как оценка, которая говорит «я уверен в этом на 70%», изменила бы то, как вы использовали бы автоматизированную оценку или доверяли бы ей?
  • Исследования показывают, что автоматизированное оценивание может систематически ставить в невыгодное положение неносителей языка — ИИ оценивает язык, а не понимание. Почему автоматизированный оценщик может быть особенно склонен к такого рода несправедливости, даже когда он достигает высокого согласия с оценщиками-людьми в целом?
  • Одно исследование обнаружило, что способ проведения валидации может завышать заявленную производительность: наивный метод перекрёстной валидации показал почти идеальные результаты, которые резко упали при более строгой валидации, независимой от испытаний. Какой урок осторожности из этого следует о том, как вы должны читать любое утверждение, что система ИИ-оценивания «работает»?
  • Страница утверждает, что калиброванная уверенность делает возможными рабочие процессы «человек в контуре», поддерживает калибровку доверия и усиливает валидность измерения. Если бы автоматизированная система направляла свои наименее определённые случаи человеческому пересмотрщику, что бы вы захотели знать о том, как эти случаи выбираются, прежде чем довериться этому разделению?
  • Автоматизированное выставление оценок описывается как одно из наиболее зрелых приложений AIED, однако выставление оценок без полезной обратной связи имеет ограниченную образовательную ценность. Как сосредоточенность исключительно на производстве оценок — а не пригодной обратной связи — могла бы изменить то, что студенты фактически получают от оцениваемого ИИ задания?

Введение

Модальности оценивания

Автоматизированное выставление оценок

Автоматизированное выставление оценок — одно из наиболее зрелых и широко внедрённых приложений ИИ в образовании, системы ИИ, которые оценивают работы студентов, от выставления оценок за задания с множественным выбором до оценивания эссе и пересмотра кода. Его модальности выставления оценок включают:

  • Студенты отделяют полезность обратной связи от оценочного авторитета: AlGhamdi (2026) документирует случай, когда оценка ИИ учитывалась в оценках, и студенты знали об этом — 13 студентов вычислительных специальностей, чьи отсканированные рукописные работы оценивались ChatGPT по рубрике, охватывающей ясность, организацию, правильность предложений и краткость. Каждый участник счёл обратную связь полезной, однако все отделяли эту полезность от авторитета, и несколько отвергли односторонний, недиалогический характер автоматизированного выставления оценок — «ChatGPT не такой, как люди. С ними ты разговариваешь и объясняешь извинения... Мне нравится, когда мою работу оценивает обычный преподаватель». Исследование позиционирует автоматизированное оценивание как приемлемое для правки поверхности, но не как итогового оценщика, при условном доверии, опосредованном надзором преподавателя.
  • Выставление оценок за краткие ответы: осведомлённое об уверенности ASAG оценивает ответы в свободной форме, причём калибровка уверенности имеет решающее значение — системы должны знать, когда оценивание надёжно. Обзор сферы по автоматической разметке кратких ответов в естественных науках (2017 — начало 2024) документирует историю области: Morley et al. обнаружили, что модели семейства BERT (base, RoBERTa, DistilBERT, SciBERT) доминировали — использовались в 20 из 21 исследований, с пиком в 2021 году — прежде чем подходы на основе GPT были приняты через Промпт-инжиниринг, а не дообучение, примерно с 2022 года. Модели, дополненные предметными данными (учебниками, рубриками, дополнительным предобучением), последовательно превосходили те, у которых их не было, однако лишь немногие могли обосновать оценки в понятных человеку терминах, а перекосы в отношении демографических и лингвистических групп редко исследовались — что привело авторов к утверждению, что автомаркеры должны поддерживать, а не заменять экспертов-людей. Руководствованный PRISMA систематический обзор 42 эмпирических исследований по выставлению оценок и обратной связи (2023–2025) обобщает это предостережение на всю область: LLM соответствуют оценщикам-людям на закрытых задачах и вопросах с краткими ответами, но не могут полностью заменить человеческое суждение на сложной, открытой или субъективной работе, требующей углублённого анализа или Креативность, и наивысшая эффективность выставления оценок достигается в гибридных системах, соединяющих обусловленное ИИ выставление оценок с надзором и верификацией преподавателя (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Оценивание эссе: системы Автоматизированное оценивание эссе, такие как AES на основе опорных эссе, используют стратегии prompting, чтобы приблизиться к человеческой надёжности. AIAWE распространяет автоматизированное оценивание на более широкое оценивание письма.
  • Пересмотр кода: выставление оценок за Linux Bash и пересмотр кода CS1 демонстрируют автоматизированное оценивание в образовании в области вычислений.
  • Персона-промпт может разрушить оценщика, а дообучение может его восстановить: Habibullah et al. (2026) оценили практический экзамен по компьютерному зрению (570 студентов с двойным оцениванием) в 171 конфигурации и второй экзамен по машинному обучению (1 038 студентов) ещё в 162 конфигурациях. Короткая преамбула «строгого оценщика» вывела 14 из 17 моделей с открытыми весами за пределы оцениваемой полосы (MAE ≥ 8), причём три прекратили выставление оценок совсем; ущерб восходил к двум предложениям об отказе в баллах, а не к тону или размеру модели, и его направление было специфичным для экзамена, улучшая показатели семи моделей на втором экзамене. Лёгкое дообучение LoRA примерно на 3 900 объединённых размеченных примерах привело пять небольших открытых моделей к паритету с оценщиком-человеком или лучше, так что уязвимость является артефактом prompting, а не пределом возможностей.
  • Интеграция в формирующее оценивание: автоматизация A-level по естественным наукам и CoTAL показывают, как автоматизированное выставление оценок встраивается в циклы Формативное оценивание.
  • Охват типов обратной связи — это не согласие с преподавателями. Almousa et al. (2026) разметили обратную связь на уровне абзацев из трёх университетских курсов письма на семь типов фокуса; большинство моделей выдают почти каждый тип, однако их распределения расходятся с эталоном преподавателя, причём ближе всего — настроенная на образование LearnLM (дивергенция Дженсена–Шеннона 0.1344), а дальше всего — Mistral-7B (0.2695). Prompting с определениями категорий или примерами-решениями увеличивал дивергенцию для большинства моделей.
  • Перекосы и справедливость: языковые перекосы в оценивании по физике документируют, как автоматизированное выставление оценок может ставить в невыгодное положение неносителей языка, — что связано с Снижение перекосов (bias mitigation) и Справедливость.
  • Бенчмаркинг моделей генеративного ИИ для оценивания открытых ответов: Pecuchova, Benko & Drlik (2025) бенчмаркировали одиннадцать моделей генеративного ИИ и моделей эмбеддингов предложений на фоне двух экспертных оценщиков-людей на 1 885 ответах в свободной форме на 24 вопроса по разработке программного обеспечения. Только GPTo1 достиг почти идеального согласия (каппа Флейса 0.82, мало ложных положительных и ложных отрицательных срабатываний по категориям оценок), с Claude3 и PaLM2 непосредственно за ним; чувствительные к контексту модели генеративного ИИ надёжно справлялись с краткими, разнообразно сформулированными ответами студентов, тогда как основанные на эталоне модели эмбеддингов (например, 345 ложных положительных срабатываний у BERT) систематически наказывали правильные, но иначе сформулированные ответы — доказательство того, что выбор модели, а не только формат оценивания, формирует надёжность для оценивания открытых ответов в свободной форме.
  • Примеры в промптах определяют согласие оценивания: Takahashi et al. (2026) автоматизировали иерархическое диагностическое рассуждение (HDR) — задачу прикладной компетентности, в которой учащиеся находят и объясняют намеренно внедрённые ошибки в коротком случае. Используя GPT-4o без дообучения, команда сгенерировала новые задачи и оценила описания студентов: сгенерированные и написанные человеком задачи несли ту же внутреннюю согласованность (альфа Кронбаха = 0.78) и не показали значимого различия в распределении оценок на 100 участниках, а корреляция формата с контролем понимания прочитанного оставалась низкой (α = 0.36 и 0.41). Точность оценивания зависела от промпта, а не от модели — без примеров-решений точность по Q2 падала до 0.42, тогда как добавление размеченных человеком правильных и неправильных примеров поднимало согласие до 98% или выше по каждому вопросу (Q1 и Q2 — по 100%) — при измеренных человеческих затратах 138 минут экспертного оценивания на 117 ответов плюс 30 минут на согласование.

Режим собственного рассуждения модели — второй рычаг настройки: на 32 анонимизированных работах магистерского экзамена по общественному здравоохранению тот же ChatGPT перешёл от взвешенной каппы 0.269 в быстром режиме к 0.718 в режиме размышления, тогда как Kimi достиг 0.571 (Brevik et al. (2026)).

  • Мультиагентное кодирование открытых ответов преподавателей, где надёжность несёт система, а не модель: Copur-Gencturk et al. (2026) распространяют автоматизированное оценивание за пределы работ студентов на кодирование собственных знаний преподавателей о содержании (CK) и педагогических знаний о содержании (PCK), спрашивая, может ли ИИ воспроизвести обученное человеческое кодирование письменных ответов 268 американских преподавателей математики средней школы об отношениях и пропорциональных зависимостях. Целевой мультиагентный LLM GradeOpt назначает три роли на базе GPT-4o — «Оценщика», применяющего руководство по человеческому кодированию, «Рефлектора», диагностирующего каждое расхождение с человеческим кодом, и «Уточнителя», вносящего пункты уточнения обратно в руководство на протяжении до шести раундов, — и тесно соответствовал обученным человеческим кодировщикам по CK (κ = .88 и .85), достигая существенного согласия по намного более интерпретативным пунктам PCK в целом (κ = .68; взвешенная κ = .79). Две базовые модели NLP и модель GPT-4o с одним промптом никогда не превышали κ = .39 или взвешенную κ = .55 по PCK, так что авторы приписывают надёжность уточнению инструкций против руководства по кодированию, а не размеру модели, и рекомендуют экспертный пересмотр всюду, где соседние уровни кодирования размываются, поскольку остаточные ошибки GradeOpt были типично соседними кодами, а не грубыми промахами.

  • Выставление оценок за экзамены смешанного формата (2026): Falahat, Das, Bhaumik & Thambi (2026) оценили ChatGPT-5 на фоне оценивания преподавательским составом экзамена по фармации из 21 задания (16 студентов), охватывающего множественный выбор, «выбрать все подходящие», заполнение пропусков, перечисление, краткий ответ и эссе. Согласие было существенным-почти-идеальным для объективных типов заданий (CCC 0.935–1.000 — чему способствовало предоставление правильных ответов во время оценивания), но разрушалось для перечисления (0.621–0.708), краткого ответа (≈0 до отрицательного) и эссе (0.341–0.854); предоставление структурированной рубрики не улучшало согласия по полному экзамену последовательно (71.1% без против 68.2% с ней). Исследование заостряет методологический пункт, повторяющийся во всём автоматизированном оценивании: умеренная процентная точность часто сосуществует с низким согласием — так что точность сама по себе завышает надёжность, и оно рекомендует гибридное выставление оценок для сложных, субъективных заданий или заданий с высокими ставками.

  • Калибровка полос оценок между семействами моделей на аутентичных размеченных эссе (2026): Kerwat, Donaldson & Mahomed (2026) провели восемь заранее заданных конфигураций из четырёх семейств моделей (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B и Llama 3.1 8B, каждое на двух температурах) над одним и тем же фиксированным когортом из 114 эссе BAWE/Coventry с институциональными метками Merit и Distinction, с одним общим промптом, допускавшим четыре полосы. Точное согласие по полосе варьировалось от 18.4% до 54.4%: Llama 3.1 8B при температуре 0.5 лидировала (54.4% точного, 98.2% в пределах одной полосы, MAE 0.474, околонулевой перекос), тогда как GPT-OSS 120B была слабейшей (18.4%) и систематически занижала оценки, в среднем на 1.316 полосы при температуре 0.5, причём точность по Distinction отставала от точности по Merit на протяжении всего исследования. Фиксированная когорта не содержала эталонов Pass или Fail, так что это различение Merit–Distinction, а не надёжность по всему диапазону оценок, и температура не была лекарством — описательно она помогла одному семейству, оставила другое неизменным и значительно ухудшила GPT-OSS 20B (с 39.5% до 29.8% точного). Два урока переносятся за пределы исследования: расстояние оценок и направленный перекос раскрывают то, что скрывают статистики согласия, а размер модели не является суррогатом валидности оценивания.

  • Проектирование рубрик для оценивания открытых ответов в медицинском образовании: Olvet et al. (2026) спросили, может ли GPT-4 надёжно оценивать открытые вопросы на медицинских экзаменах до клинической практики. После трёх итераций уточнения рубрики под руководством человека в двух американских школах согласие между оценщиками с преподавательским составом достигло существенного-почти-идеального уровня для трёх из четырёх вопросов при использовании аналитических и целостных рубрик (взвешенная каппа до 0.94), тогда как задание с целостной рубрикой застряло на умеренном уровне (κw = 0.54). Анализ паттернов ошибок показал, что расхождения восходили к обоим оценщикам — GPT-4 завышал оценки, когда студенты предлагали несколько ответов или использовали отсутствующую в рубрике лексику, тогда как преподаватели часто были «излишне щедрыми» оценщиками — что привело авторов к рекомендации сохранять человека в контуре (например, оценивание преподавателями подмножества для подтверждения точности). Поскольку примерно 82% американских медицинских школ оценивают работу до клинической практики по принципу «зачтено/не зачтено», точное согласие оценок ИИ часто необязательно для операционного использования.

  • Выставление оценок с человеком в контуре для крупномасштабного национального оценивания письма (2026): Curi et al. (2026) масштабируют prompting-based оценивание Большие языковые модели (LLM) на реальный экзамен по испанскому письму с высокими ставками (~5 000–6 000 ответов в год), достигая точности по заданиям 60–80% и согласованности результатов свыше 90% по аналитической рубрике из 15 пунктов, причём детерминированный проверяющий NLP заменяет LLM на пункте по орфографии (100% согласованности). Его отличительный вклад — валидация, ориентированная на решение, а не метрики, ориентированные на модель: систематический перекос в сторону занижения оценок у ИИ, преобразованный через IRT-и-Bookmark в уровни владения, даёт расхождения «зачтено/не зачтено» в 15.3–16.5% случаев — все из которых рабочий процесс «человек в контуре» направляет на экспертный пересмотр, сокращая число ответов, требующих полного человеческого оценивания, по меньшей мере на 50% при сохранении качества решений. Это обосновывает гибридное выставление оценок в операционном оценивании, а не в доказательствах концепции.

  • Согласие на уровне измерений показывает, где оценщик не может обнаружить изменение: SOPHIE 2.0 (Hasan et al., 2026) валидировали судью LLM против консенсуса всех человеческих источников оценивания — стандартизированных пациентов и сторонних оценщиков — по трёхмерной рубрике клинической коммуникации, достигая корреляции Пирсона 0.759 и ICC(A,1) 0.746 только по стенограммам, внутри разброса индивидуальных оценщиков-людей, а не вне его. Его слабейшим измерением было Be Explicit (корреляции 0.414–0.598 среди кандидатов в судьи), и это было также единственное измерение, чьи оценки не изменились измеримо между двумя встречами (Δ = 0.014, p = 0.1204) — так что согласие на уровне измерений может заранее указать, на каких измерениях автоматизированный оценщик неспособен показать улучшение.

Оценивание, осведомлённое об уверенности

Центральная цель проектирования внутри автоматизированного оценивания — осведомлённость об уверенности: системы ИИ-оценивания, которые сообщают калиброванную неопределённость наряду со своими оценками, вместо того чтобы выдавать единственное неконтекстуализированное предсказание. Осведомлённый об уверенности оценщик не только производит оценку или классификацию, но и сигнализирует, насколько он в ней уверен, так что случаи низкой уверенности могут быть помечены для человеческого пересмотра, а пользователи могут калибровать свою Доверие в систему. Это центрально для ответственного автоматизированного оценивания и тесно связано с Психометрически осведомлённый ИИ и Калибровка доверия.

Как моделируется уверенность в исследованиях базы знаний:

  • Слиянные сигналы уверенности для оценивания кратких ответов: Confidence-Aware ASAG сливает сигналы уверенности, основанные на модели (вербализованные, латентные и основанные на согласованности), с алеаторной неопределённостью, полученной из набора данных, через регрессию Random Forest.
  • Уверенность в мультимодальных работах студентов: осведомлённое об уверенности оценивание нарисованных студентами научных рисунков распространяет моделирование уверенности на мультимодальные ответы студентов.
  • Психометрическая калибровка LLM: Психометрически осведомлённый ИИ продвигает стандарт согласования оценивания Большие языковые модели (LLM) с теорией измерения, с калибровкой как ключевым требованием наряду с согласованием с Теория Item Response Theory (IRT).
  • Калибровка трудности и времени ответа: калибровка трудности экзаменов по программированию перемещает LLM в положение вспомогательных источников доказательств, чьи оценки трудности коррелируют с долей сдавших среди студентов.
  • Оценивание эссе, адаптивное к чертам: PsyScore показывает, что психометрически осведомлённая система может адаптировать обратную связь по эссе к чертам учащегося.
  • Оценивание визуальных работ студентов: DiagramIR обратно переводит генерируемые LLM математические диаграммы (TikZ) в промежуточное представление с детерминированными проверками, превосходя LLM-as-a-Judge по согласию с оценщиками-людьми и позволяя небольшим моделям сравниться с большими при примерно в 10 раз меньших затратах — масштабируемый путь к оцениванию нетекстуальных, диаграммных продуктов студентов.
  • Вывод, ограниченный доверием, в автоматизированном оценивании преподавателей: Li, Yang & Fang (2025) помещают калибровку через Monte Carlo dropout непосредственно в путь оценивания, так что дисперсия dropout выше обученного порога запускает вывод «отклонить и направить на пересмотр», а не оценку, наряду с состязательным устранением перекосов, которое удерживает разрыв в справедливости на уровне 1.8%, тогда как базовые линии находятся в диапазоне 6.4–8.2%, и ожидаемой ошибкой калибровки 0.032 на TeacherEval-2023. Их абляция — аргумент калибровки в миниатюре: удаление ограниченного доверием модуля снижает согласованность между оценщиками до 78.6%, и авторы приписывают снижение нагрузки человеческого пересмотра на 41% этому ограничению — обработка неопределённости как архитектура, а не постфактумное отчётность.
  • Объяснимость оценивания на основе рубрик: Bueno et al. показывают, что агностичные к модели атрибуции SHAP более достоверны и переносимы, чем сгенерированные LLM обоснования, для объяснения оценок на основе рубрик (например, качества обратной связи в аудитории), и предлагают тесты на основе удаления плюс межмодельные тесты как принципиальный способ оценивать объяснения любой модели оценивания.

Почему важна калиброванная уверенность:

  • Делает возможной делегацию «человек в контуре»: случаи низкой уверенности направляются человеческому пересмотрщику — поддерживая рабочие процессы «человек в контуре», а не слепую автоматизацию.

  • Поддерживает калибровку доверия: калиброванная уверенность позволяет пользователям согласовывать своё доверие с фактической надёжностью системы, избегая как чрезмерного, так и недостаточного доверия.

  • Улучшает валидность измерения: оценивание, осведомлённое об уверенности, усиливает Образовательное измерение и Валидность оценивания, делая неопределённость явной.

  • Справедливость и обоснованность: помечание случаев низкой уверенности для пересмотра снижает риск уверенно неверных оценок, особенно для атипичных или недопредставленных ответов.

  • Генерация рубрик и конвейеры выставления оценок под надзором преподавателя: Mendonça et al. (2026) показывают, что сгенерированные LLM рубрики оценивания (HARMOGEN-R) могут сравниться с созданными человеком рубриками по техническому содержанию в пределах эквивалентности ±5 баллов, причём структурированная генерация даёт бо́льшую согласованность между моделями. Cruz et al. (2026) оценивают сквозной конвейер оценивания на GPT-4o, где оценки ИИ находились в пределах 0.5 баллов от оценок преподавателя в 83% из 362 работ (MAE 0.31) — что лучше трактовать как масштабируемое дополнение суждения преподавателя, а не его замену.

Качество и справедливость

Качество автоматизированного оценивания зависит от Валидность оценивания и Снижение перекосов (bias mitigation). Исследования языковых перекосов показывают, что автоматизированное оценивание может систематически ставить в невыгодное положение определённые популяции студентов. Сам критерий подвержен ошибкам. Bozdag and Qiu (2026) размечают работы по физике GCSE системой ИИ и сравнивают их с официальными оценками экзаменационных комиссий и суждением опытных преподавателей, трактуя согласие с комиссией как суррогат точности, а не как саму точность.

Сценарии внедрения и то, что требует каждый из них

Насколько сильное согласие учреждение должно требовать, зависит от того, что системе позволено решать. В исследовании смешанных методов на 761 аутентичном студенческом эссе в трёх британских университетах три передовые модели в 27 конфигурациях промптов каждая достигли лишь согласия 35–65 процентов с человеческими оценщиками по полосе степени, и точность не переносилась между учреждениями — так что отчёт трактует кандидатов в виды использования как различные сценарии, а не как одно решение. Контроль качества человеческой разметки, где ИИ оценивает параллельно, а значимые расхождения вызывают человеческий пересмотр, является наиболее консервативным. Помощник по разметке, ранжирующий или категоризирующий работы по предсказанному качеству или неопределённости, отсеивающий сложные случаи или расширяющий краткие человеческие комментарии до более полной обратной связи, является подлинной серединой. ИИ как основной оценщик, с человеческим пересмотром выборки или распределений оценок, был признан приемлемым только при условии улучшения производительности системы, и ни одна группа заинтересованных сторон не поддержала ИИ как единственного оценщика.

Три требования следуют для любого из них. Поскольку согласие специфично для модели и учреждения, валидация должна быть локальной и непрерывной — заявленная точность из другого места не является доказательством готовности. Поскольку оценки сжимались к середине, ИИ был наименее точен на границах оценок и для сильнейших и слабейших работ — там, где решения оценивания несут наибольшие последствия. А поскольку расхождение между оценкой ИИ и человека отражает различное суждение, а не просто ошибку, расхождения должны вызывать человеческую интерпретацию, а не алгоритмическое переопределение, при сохранении окончательного авторитета над оценкой за людьми. Внедрение несёт также обязательства по Управление ИИ, которых не фиксируют технические метрики: право на объяснение по Статье 22 GDPR там, где автоматизированные решения затрагивают студентов, обязанности по Закону о равенстве, как только показано, что уровень достижений и использование языка влияют на оценки, пересмотренные процессы обжалования для ошибок, которые нелегко заметить, и риск необратимости — как только штаты и инвестиции сместятся, учреждение может с трудом продолжать собирать человеческую разметку, которая потребовалась бы ему для возврата.

Объединение трёх моделей не устранило эту ошибку: поскольку их ошибки были коррелированы — одно и то же направление на 63,4% заданий, — ансамбль Corsi et al. (2026) был статистически неотличим от лучшей одиночной модели, оставив на месте то же сжатие к центральной тенденции.

Venetsanos (2026) даёт критерии, которые эти требования предполагают, утверждая, что то, что делает автоматизацию обоснованной, — это эпистемический статус задачи, а не то, что технология может технически выполнить. Его система ограничивает ИИ ограниченной верификацией фактических и процедурных утверждений — все четыре условия из однозначных документированных критериев, прямого сравнения с установленным знанием, отсутствия оценивания альтернативных обоснованных подходов и единственного правильного ответа или заранее заданного допустимого множества должны выполняться одновременно, причём неопределённость по умолчанию эскалируется человеку — и делает участие ИИ на этом уровне условным по отношению к пяти необснованным принципам, которые должны выполняться все сразу: база знаний должна быть курирована оценщиком и обоснована через поиск в материалах модуля, а не через параметрические знания модели; оценщики-люди пересматривают каждый результат ИИ до того, как он доходит до студентов, и обладают абсолютным правом переопределения с неразделённой ответственностью; обратная связь должна нести чёткое происхождение и атрибуцию; а безопасность должна быть спроектирована против состязательного использования с самого начала, с санитизацией ввода для инструкций, скрытых в белом или мелком тексте, кодировках, изображениях или метаданных документов, поскольку успешный обход автоматизированной системы распространяется по студенческим когортам. В той же статье прямо говорится, что её принципы не проверены на одновременную осуществимость и что время оценщика на курирование, инфраструктуру безопасности и высокочастотный надзор может сместить усилия персонала, а не сократить их — предостережение, которое стоит рядом с требованием локальной валидации, приведённым выше.

Безопасность оценивания, опосредованного ИИ

Красная команда оценила обычный рабочий процесс выставления оценок и показывает поверхность атаки, которую планирование против состязательного использования должно покрыть. Humble (2026) внедрил пять косвенных инъекций в промпт в синтетическое эссе, которое Microsoft Copilot (GPT-5.2) оценил как непроходное в шести из шести базовых запусках, итерируя каждую через файлы docx, pdf и htm. Две стратегии изменили оценку без видимого предупреждения — абзац манипуляции инструкциями и игры ролей в 9 из 9 итераций (100%) и тот же абзац, скрытый за слоем изображения, в 17 из 18 (94%) — тогда как абзац мелким белым текстом в конце документа проваливался во всех девяти итерациях, а инъекции в метаданные файла не срабатывали никогда, что автор приписывает отключённому доступу к метаданным в проверенной версии. Проблема доверия пережила сами атаки: после того как один запуск pdf обнаружил внедрённую инструкцию и заявил, что будет оценивать только по официальному заданию, повторный запуск того же файла ещё шесть раз повышал оценку без предупреждения, а чат, заблокированный обнаруженной атакой, был молча отключён, а не сообщён пользователю. Автор утверждает, что полученные оценки не несут заявления о валидности ни в одну сторону, что противнику нужна лишь одна работающая комбинация против многослойных Ограничители (guardrails), и что преподаватель остаётся единственной реальной проверкой результата, тогда как манипуляция спроектирована так, чтобы быть невидимой, — что связано непосредственно с обязательствами по санитизации ввода и состязательной безопасности, изложенными Венецаносом выше.

Связи

Автоматизированное оценивание связано с Валидность оценивания (контроль качества), Формативное оценивание (контекст использования), Снижение перекосов (bias mitigation) и Справедливость (справедливость), Преподавание (как автоматизация меняет работу преподавателя) и Качество обратной связи ИИ (выставление оценок без полезной обратной связи имеет ограниченную образовательную ценность). Оценивание, осведомлённое об уверенности, — это конкретный механизм внутри более широкой программы Психометрически осведомлённый ИИ и вклад в калиброванное доверие.

  • Крупномасштабное выставление оценок ИИ за рукописные работы по физике (2026): мультимодальная модель (GPT-5.5) оценила 10 364 отсканированных страницы по теоретическому экзамену национальной олимпиады по физике, отборочному сбору и университетскому экзамену по квантовой механике, достигая корреляций суммарных оценок 0.91–0.97 с официальными оценками и восстанавливая ту же пятерку команд олимпиады. Пересмотренные инструкции о нахождении доказательств постранично улучшили согласие — доказательство того, что мультимодальный ИИ может поддерживать итоговое выставление оценок с высокими ставками при осторожном проектировании рубрики и промптов (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Избирательная автоматизация для рукописных работ по химии (2026): Cvengros & Kortemeyer оценивали итоговую работу по общей химии 296 студентов постранично против изображений рубрик с помощью мультимодального, рассуждающего LLM, достигая высокой надёжности между запусками по суммарным оценкам (ICC(A,1) = 0.967) и сильного согласия суммарных оценок с оцениванием ассистентами (R² = 0.91). Поскольку надёжность на уровне заданий резко варьировалась по формату — текстовые ответы и ответы по химическим реакциям оценивались надёжно, тогда как рисунки и графики набирали оценки хуже случайных, — необработанное согласие было признано недостаточным для использования с высокими ставками. Они операционализируют человеческое откладывание через фильтры уверенности (пороги частичного балла, порог риска на основе IRT и исключение по типу задачи), которые преобразуют сырые оценки ИИ в политику «принять/отложить», и показывают, что ложные положительные срабатывания (ИИ засчитывает по-настоящему неверные ответы) имеют тенденцию оставаться незамеченными, поскольку студенты редко их оспаривают — конкретный психометрически обоснованный путь к избирательной автоматизации (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Полуоткрытая рукописная математика в университетском экзамене (2026): Liu et al. оценивали немецкий университетский экзамен по математике с помощью GPT-4 по двум маршрутам извлечения (предварительно вырезанные поля ответов против целых страниц), двум маршрутам оптического распознавания символов и двум форматам рубрик, сообщая альфу Криппендорфа против человеческих оценок 0.22-0.44 при точности 0.59-0.62 по лучшим рабочим процессам и точности по отдельным задачам в диапазоне 0.27-0.91 — неприемлемо для итогового использования с высокими ставками. Разбивка на пункты правил оценивания по нескольким критериям в целом не улучшала согласия (помогла только на задаче с частичным баллом), свободное оценивание без рубрики было намного хуже (точность 0.50-0.51), а вероятностный фильтр уверенности, призванный помечать оценки для человеческой перепроверки, не улучшал точность значимо, ошибочно помечая 7-41 процент ответов как надёжные. Переносимый урок исследования процедурен: сканируйте и расшифровывайте весь экзаменационный лист с полями, а не обрезая поля ответов, поскольку студенты пишут через границы полей; переписывайте правила выставления оценок, написанные для ассистентов преподавателя, поскольку модель предпринимала незапрошенные выводы из правила, предназначенного для человека; и отмечайте, что сами правила человеческого оценивания были перефразированы при альфе 0.88 среди пяти вариантов, так что устойчивость промпта не является узким местом.

  • Сравнительное суждение LLM для скрининга письма (2026): Mercer & Reed использовали семь LLM в качестве парных сравнительных судей для оценивания информационного письма 1 208 студентов 3–6 классов в рамках трёх случаев скрининга. Оценки LLM-CJ сильно коррелировали с оценками по аналитической рубрике (r = .67–.73, сильнее всего для Gemini-3.1 Pro) с AUC .82–.86 по владению; результаты были стабильны между моделями, с небольшим приростом валидности от более дорогих, более способных моделей, тогда как усреднение трёх образцов письма улучшало точность — широта выборки имела значение больше, чем выбор модели. Паттерны предсказательного перекоса для многоязычных учащихся соответствовали оцениванию по человеческой рубрике, что поддерживает LLM-CJ как эффективный, недорогой подход к скринингу (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Согласие с оцениванием преподавателем, зависящее от качества (2026): при сравнении ChatGPT, сокурсников и преподавателя, оценивающих одни и те же студенческие групповые проекты, Usher & Faraon обнаружили, что согласие ChatGPT с преподавателем улучшалось с ростом качества проекта — его наибольшее завышение было для некачественной работы (≈ +14 баллов), сокращаясь до ≈ +2.5 баллов для высококачественных проектов. ChatGPT также ставил более высокие оценки в среднем, чем и сокурсники, и преподаватель, — тенденция к раздуванию оценок, которая подрывает его надёжность как самостоятельного итогового оценщика, особенно для более слабых работ.

  • Статистики согласия на небольшом корпусе могут ввести в заблуждение при решениях о внедрении. Оценивание 60 маркетинговых постов (15 студентов плюс 15 написанных исследователями некачественных образцов) против двух независимых оценщиков-людей дало абсолютное согласие ICC(2,1) .435 для LLM, .266 для гибрида «правила плюс LLM» равного веса и .091 для детерминированных правил, с MAE 6.28, 10.53 и 17.22 баллов соответственно по шкале 0-100; гибрид был значимо хуже одной лишь LLM (разность парных ICC -.169, 95% CI [-.260, -.106]). Добавление образцов подняло согласие между оценщиками с .338 до .902 и согласие LLM с .435 до .846, а почти пустой пост получил 75 против человеческого среднего 30.5, что показывает, что единственный вырожденный ответ может доминировать в небольшой оценке. (Agreement and error in automated scoring of student marketing posts)

  • Структурированное оценивание LLM может выглядеть аналитичным, не будучи диагностичным (2026): при оценивании 3 041 ответов на 50 вопросов по компьютерным наукам три коммерческие LLM произвели подразмерности рубрик, которые были почти избыточны (r = 0.82–0.99, VIF до 45), и называли заблуждения лишь в 4.8–7.4% комментариев против 15.0% у преподавателей (Zhao et al., 2026).

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Целевая аудиторияInstructors
Технологии и методыБольшие языковые модели (LLM)
Оценивание и измерениеОценивание, Валидность оценивания, Автоматизированное оценивание, Автоматизированное оценивание эссе, Формативное оценивание
Справедливость, этика и ответственное использованиеСнижение перекосов (bias mitigation)
Основы ИИ в образованииПреподавание
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.