Можно ли использовать ИИ, чтобы оценивать студенческие работы справедливо и надёжно?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

У вас есть рубрика, в которую вы верите, больше работ, чем часов, и инструмент, который возвращает оценку и несколько уверенных абзацев за время, нужное, чтобы прочитать одно эссе. Вы пробуете его на работах, которые уже оценили. Половина баллов выглядит верной. Один странно щедрый, другой странно суровый, и вы пока не можете понять, дело в инструменте или в эссе.

Короткий ответ для коллеги: оценивание с помощью ИИ заслуживает места как помощник под наблюдением или как второй проверяющий — на задачах, где вы сверили его с работами, которые уже проверили сами. Согласие оценок не переносится между типами оценивания. На экзамене по фармации с шестнадцатью студентами Falahat et al. (2026) обнаружили почти полное согласие по объективным типам заданий и ненадёжное согласие по ответам в свободной форме. В трёх английских университетах проект OpRaise обнаружил, что ИИ и люди-оценщики совпадают по диапазону итоговой степени в 35%–65% случаев в зависимости от вуза, причём баллы сжаты к середине. Беглая аргументация не доказывает, что ваши критерии были применены. Вопрос о том, валидна ли оценка для вашего решения, — локальный, и ответить на него должны вы сами, а ответственность остаётся за человеком во всём, что становится зафиксированной оценкой.

Кратко

1. Назовите роль до того, как что-либо запустите: помощник по обратной связи, второй проверяющий или основной оценщик. Им нужно разное количество доказательств.

2. Начните с наименее последственной роли, которая решает вашу настоящую проблему. Если задачу решает детерминированный ключ, LLM добавляет риск, а не ценность.

3. Калибруйте на работах, которые уже оценили, включая сильные, слабые, пограничные и необычно структурированные. Удобные примеры ничего не доказывают.

4. Держите калибровочный набор и тестовый набор раздельно, иначе вы измеряете, насколько хорошо подогнали инструмент под знакомые эссе.

5. Сообщайте точное согласие, разницу баллов и направление смещения, а не корреляцию. Отдельно проверяйте границы «зачёт — незачёт».

6. Скажите студентам, какую роль играет инструмент, кто определяет оценку и как просить о пересмотре.

Решите, что ИИ разрешено делать

Три схемы называют «оцениванием с помощью ИИ», и они влекут разные обязательства.

Помощник по обратной связи готовит черновики комментариев или отмечает возможные пропуски, которые вы принимаете, переписываете или отбрасываете. Риск ограничен качеством комментариев, и вы читаете всё, прежде чем это дойдёт до студента. Второй проверяющий предлагает баллы по критериям или отмечает расхождения, чтобы структурировать вашу собственную проверку. Его ошибки должны быть полезными, а не просто неверными: отметка, которая возвращает вас к работе, которую вы иначе оценили бы небрежно, стоит того, чтобы её иметь. Основной оценщик выдаёт баллы, которые становятся зафиксированными оценками. Именно эту схему доказательная база данной базы знаний не поддерживает за пределами узких, локально валидированных случаев.

Выбирайте самую низкую ступень, которая снимает ваше реальное ограничение. Если ваша нагрузка по проверке возникает из сверки с фиксированным ключом ответов, обычное детерминированное оценивание прозрачнее и лучше поддаётся аудиту, чем языковая модель, а исследование по фармации позволяет предположить, что преимущество LLM на объективных заданиях было отчасти артефактом того, что модели передали правильные ответы во время оценивания. Оставляйте модель для работы, требующей интерпретации, и затем проверяйте эту интерпретацию.

Автоматизированное оценивание охватывает более широкую машинерию выставления баллов, модерации и генерации обратной связи. Эта страница — вопрос о суждении, лежащий под ней.

Что на самом деле показывают данные

Согласие зависит от типа задания. Falahat et al. (2026) оценивали экзамен по фармации смешанного формата, который выполнили 16 студентов, и сообщили о согласованности с оценками преподавателей от 0.935 до 1.000 для заданий с выбором одного ответа, с выбором всех подходящих и с заполнением пропусков. Согласие по субъективным ответам в свободной форме было ненадёжным. Две детали важнее заголовка. Правильные ответы были предоставлены во время оценивания, что льстит результатам по объективным заданиям, а добавление рубрики не повышало согласие последовательно, что подрывает распространённое допущение, будто хорошая рубрика превращает LLM в согласованного оценщика. Шестнадцать студентов не позволяют сделать утверждение о вашем курсе. Переносимый вывод — разброс внутри одного экзамена: система, которая справляется с вашим разделом с выбором ответа, ничего не говорит о ваших эссе.

Согласие по диапазонам умеренное и неровное. Отчёт OpRaise изучил подлинные эссе по психологии бакалавров и обнаружил согласие между ИИ и людьми-оценщиками по британскому диапазону степени в 63% случаев в Кембридже, 53% в Ноттингеме и 35% в Manchester Metropolitan. Баллы были сжаты к середине, а хвосты оценены наименее точно: эссе, которое человек оценил в 75, все системы ИИ оценили на несколько баллов ниже, а эссе с оценкой 50 — на несколько баллов выше. Именно это сжатие и нужно отслеживать, потому что оно бьёт ровно по студентам на верхнем и нижнем краях вашего распределения, оставляя середину благополучной. Это отчёт проекта, а не рецензируемое испытание, и это самое полезное предупреждение во всей доказательной базе.

Ваши собственные оценки — несовершенный ориентир. Преподаватели расходятся между собой, а ваш прежний балл за похожее эссе — это суждение, а не эталон. Согласие с одним проверяющим устанавливает согласованность с этим проверяющим, что не то же самое, что справедливость. Там, где ставки это оправдывают, привлекайте второго квалифицированного проверяющего для сложных случаев и относитесь к расхождению между ИИ и человеком как к поводу перечитать работу, а не как к вердикту о том, кто прав.

Согласованность и здравое суждение расходятся. Модель может выдать почти идентичные баллы при повторном запуске, при этом плохо применяя ваши критерии, потому что повторяемость измеряет стабильность, а не валидность. Хвосты OpRaise показывают эту схему: система была устойчивой и ошибалась именно в тех эссе, которые значили больше всего.

Проверьте процедуру, прежде чем она коснётся оценки

Проработайте это на ранее оценённых и должным образом защищённых работах, которые охватывают ответы, реально вами получаемые: сильные, слабые, пограничные, неполные, необычно структурированные и правильные ответы, выраженные непривычным способом.

1. Задайте критерии и требуйте доказательств. Дайте задание, рубрику, правила начисления баллов и примеры того, как законные альтернативные ответы получают зачёт. Просите краткие обоснования на уровне критериев, привязанные к опознаваемым фрагментам. Затем сами сверьте эти обоснования с работой.

2. Разделите калибровку и оценку. Настраивайте на одном наборе, проверяйте на другом. Без этого разделения вы не отличите валидированную процедуру от хорошо подогнанной.

3. Измеряйте решения, которые имеют значение. Фиксируйте точное согласие, величину и направление различий в баллах и то, систематически ли модель ставит более высокие или более низкие баллы. Отдельно изучайте границы «зачёт — незачёт» и другие значимые пороги. Высокая корреляция может лежать поверх систематического сдвига.

4. Проверьте повторяемость и поведение подгрупп. Перезапустите часть работ в идентичных настройках. Ищите ошибки на уровне критериев и случаи, когда язык, форматирование или законный стиль принимаются за более слабое понимание. Малые размеры подгрупп поддерживают осторожность, а не утверждение о справедливости.

5. Напишите правило эскалации. Решите, какие случаи всегда проверяет человек и как разрешаются расхождения. Не позволяйте решать заявленной уверенности модели: уверенность нужно валидировать против наблюдаемых ошибок, прежде чем она сможет что-то весить.

6. Защитите рабочий процесс. Используйте одобренную среду, минимизируйте идентифицирующую информацию и держите рубрику и инструкции отдельно от присланного содержания. Это разделение затрудняет сокрытие манипуляции. Оно не делает её невозможной.

7. Запишите, что сделало бы проверку недействительной. Сохраняйте модель и версию, промпт, рубрику и настройки. Обновление модели или пересмотр рубрики — причина повторить репрезентативные проверки, а не допускать преемственность.

Сделайте схему работы видимой для студентов

Студенты вправе знать, какую роль играет инструмент, кто решает и как оспорить результат. Расплывчатое раскрытие порождает подозрение; конкретика даёт работоспособные отношения. Примерно так: «Одобренный инструмент ИИ может подготовить черновик комментариев по рубрике к вашей работе. Я просматриваю каждый комментарий и определяю вашу оценку. Свяжитесь со мной, если комментарий искажает вашу работу». А затем сделайте так, чтобы это было правдой.

Два направления сбоя требуют отдельного внимания. Чрезмерные снижения — то, о чём сообщают студенты, и они доминируют в апелляциях. Незаслуженные баллы — то, о чём не упоминают и что тихо портит запись. Проверяйте выборкой и то и другое и включайте свои часы верификации, когда судите, сэкономил ли вам рабочий процесс хоть что-нибудь.

Что вам будут возражать

«Люди тоже предвзяты». Да, и поэтому сравнение нуждается в явных критериях, а не в балле одного проверяющего как эталоне. Институциональный разброс OpRaise — аргумент здесь: если люди-оценщики в трёх университетах дали такое разное согласие по диапазонам с одними и теми же системами, человеческий ориентир — часть того, что нужно специфицировать, а не фиксированная мерка.

«Рубрика делает это объективным». Рубрика делает ожидания явными. Её применение остаётся интерпретацией, и исследование по фармации показало, что предоставление рубрики не повышало согласие последовательно. Рубрика даёт вам проверяемый стандарт для обоснований, а не гарантию баллов.

«Мне пришлось бы проверять всё, и смысл теряется». Для некоторых задач это правильный вывод, и ответ — сузить работу. Подготовка комментариев из ваших собственных заметок по оцениванию оставляет суждение вам и убирает печатание. Отметки второго проверяющего по пограничным работам концентрируют ваше внимание там, где это меняет результат.

«Моя коллега попробовала, и получилось хорошо». Спросите, что именно она измеряла. Положительные оценки в этой литературе регулярно сосуществуют с ошибками, а коллега, прочитавшая несколько разумных результатов, провела демонстрацию, а не валидацию. Вопрос в том, что её процедура сделала бы с эссе, которые вы заметили бы последними.

Что сделать на этой неделе

1. Выберите одно оценивание и запишите единственную роль, которую играл бы ИИ. Запишите, какие доказательства позволили бы поднять его на ступень выше.

2. Прогоните его на пяти работах, которые уже оценили, выбрав сильную, слабую, пограничную и одну с необычной, но законной структурой.

3. Занесите каждое расхождение вместе с работой и критерием и назовите ошибки, которые вы сочли бы неприемлемыми, а не просто неверными.

4. Проверьте, идут ли различия в баллах в согласованном направлении, и отдельно проверьте свою границу «зачёт — незачёт».

5. Напишите абзац раскрытия для студентов и путь к пересмотру, а также сравните время верификации со временем проверки, которого вы избежали.

Куда двигаться дальше

Валидность оценивания — понятие, которое решает эти вопросы: подтверждают ли доказательства тот вывод, который вы хотите сделать. Автоматизированное оценивание охватывает технологию и её измеренную эффективность по форматам, а Как ИИ может помочь мне давать более качественную обратную связь в масштабе? рассматривает смежную проблему сгенерированных комментариев и того, действуют ли по ним студенты.

О том, что должна означать оценка, когда студенты используют ИИ, включая подмену конструкта и аутентифицированные процессуальные доказательства, см. перепроектирование оценивания в эпоху ИИ. О том, может ли обнаружение заменить защитимый дизайн задания, см. стоит ли использовать детекторы ИИ. О вопросе оценки, лежащем под всем этим, см. как проверить, работает ли образовательный ИИ.