Как понять, что образовательный ИИ действительно работает, а не просто выставляет хорошие оценки?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Образовательный ИИ может выглядеть работающим, хотя на самом деле не работает. Показатели, которые встречаются чаще всего — насколько ответ модели похож на правильный и насколько близки её оценки к оценкам человека, — могут выглядеть убедительно, в то время как то, что для вас действительно важно, не работает.

В одном проекте этой базы знаний одна и та же система получила хороший показатель согласия при оценивании эссе и в том же развёртывании выдавала обратную связь, обрывавшуюся на середине предложения и нечитаемую. Оценивание работало. Обратная связь — нет. И об этом ничего не говорило итоговое число.

Эта страница о том, как отличить одно от другого, и она не предполагает никакой предварительной подготовки в области измерений.

Что на самом деле измеряют обычные показатели

В этой литературе доминируют два вида чисел, и оба измеряют сходство, а не правильность.

• Показатели сходства (их называют ROUGE и BLEU) сравнивают формулировку ответа модели с формулировкой эталонного ответа. Модель, которая пишет нечто близкое к ожидаемому тексту, получает высокий балл — даже если её рассуждения неверны и даже если студент мог бы прийти к правильному ответу путём, который ничему не учит.
• Показатели согласия (вы увидите QWK, или квадратичную взвешенную каппу) измеряют, насколько близко оценки модели совпадают с оценками человека. Модель может соглашаться с проверяющим в итоговой оценке, но ошибаться относительно почему — а именно из этого студент и учится.

Студент может прийти к неверному ответу неверным путём, который выглядит правильным, и никакой показатель сходства этого не заметит. Если вас волнует рассуждение, нужно нечто, что читает само рассуждение — рубрика, применяемая человеком, или проверка, написанная именно для этого шага.

Ассистент курса по линейным системам управления — хороший пример команды, которая честно сообщает об этом. Его лучшая конфигурация достигла показателя сходства 0.4093 с эталонными ответами, причём улучшение достоверно превышало нуль, и авторы прямо заявляют, что их числа измеряют формулировки и формат (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects).

Система может пройти один тест и провалить следующий

Это самый полезный урок базы знаний, потому что именно на нём чаще всего ошибаются.

В проекте WrAFT дообученная модель достигла показателя согласия 0.84 с людьми-проверяющими на 360 отложенных эссе TOEFL. Это сильный результат для оценивания. Модель того же проекта, обученная писать обратную связь, выдавала результат, который был обрезанным и не поддавался разбору — при этом простое промптирование другой модели давало обратную связь, которую предпочитали преподаватели (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).

Поэтому оценивайте каждый результат, который выдаёт ваша система, по отдельности. Хороший показатель модуля оценивания ничего не говорит о модуле обратной связи, стоящем рядом.

Проверьте, согласуется ли ваш автоматический проверяющий с людьми

Многие команды теперь используют второй ИИ для проверки первого. Это разумно, но второй ИИ не является автоматически правым.

Исследование, в котором передовая модель составляла подсказки для системы интеллектуального тьюторства, выяснило, что примерно 35% из них были слишком общими, неверными или выдавали ответ — при этом собственные автоматические проверки качества модели расходились с человеческим суждением о том, какие из них плохи (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Практический вариант: возьмите выборку примерно из пятидесяти результатов, попросите человека их оценить и сравните с оценками вашего автоматического проверяющего. Если оценки расходятся, ваше автоматическое число — не доказательство.

Превратите показатель в правило, на которое можно действовать

Корреляция говорит, что модель обычно права. Она не говорит, что делать в тех случаях, когда это не так. Результат о маршрутизации по уверенности — самый понятный здесь образец, и его достаточно просто скопировать.

Уверенность оказалась надёжным признаком опасности: когда модель была неуверенна, она с большей вероятностью ошибалась (β = −0.602, p < .001). Поэтому команда отправляла наименее уверенные 20% ответов человеку. Это одно правило повысило согласие с человеческими оценками с 0.78 до 0.82 и сократило ручную работу по оцениванию примерно на 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Обратите внимание, что содержит отчёт: порог, человека и экономию. «Согласие 0.84» не содержит ничего из этого, и именно поэтому по нему трудно действовать.

Когда есть возможность, измеряйте сам предмет

Самое чистое решение — обучать модель на той же величине, которую вы собираетесь измерять. Дообученную модель учили воспроизводить статистические свойства тестовых заданий — числа, описывающие, насколько сложно каждое задание и насколько хорошо оно различает более сильных и более слабых студентов, — и она выучила эти закономерности, вместо того чтобы ей их сообщили (Multimodal Item Parameter Estimation using Simulated Response Probabilities). Целью было свойство самого оценивания, поэтому оценивание могло быть именно об этом свойстве, а не о формулировках.

Сообщайте и о ходе, и о конечной точке. Симулятор письма SWIM публиковал показатели каждой стадии рядом друг с другом — промптирование по рубрике 0.577, дообучение 0.474 ± 0.023, обучение с подкреплением 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation) — и именно это позволяет читателю увидеть, дало ли обучение хоть что-то. Одно итоговое число не может ему этого сказать.

Проверяйте безопасность на всём диалоге, а не на одном ответе

Большинство проверок безопасности рассматривают один обмен репликами. Вреды, которые важны в тьюторстве, накапливаются. SafeTutors обнаружил, что даже модели, созданные специально для обучения, деградируют в длинном диалоге и могут раскрывать ответы, которые должны утаивать (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).

Проводите проверку безопасности на целых диалогах и включайте ходы, в которых студент ошибается, продолжает настаивать или пытается увести модель от её роли.

Если вы тестируете с помощью имитируемых студентов, сначала проверьте самих имитируемых студентов

Генерация имитируемых студентов вместо найма настоящих делает оценивание гораздо дешевле. Но имитируемый студент — это измерительный инструмент, и он может ошибаться так же, как может ошибаться любой инструмент.

Самая прямая проверка этого в базе знаний сопоставила имитируемых и промптированных студентов с 382 отложенными диалогами из крупнейшей публичной коллекции реальных диалогов студентов с тьютором по математике, используя семь мер, охватывающих язык, поведение и мышление (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Другие работы воздействуют на реалистичность с разных сторон: INSIDE обучает модели одновременно действовать и мыслить как студенты, а профили с учётом истории обусловливают симуляцию прошлым студента, а не фиксированной персоной (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).

Если ваш испытательный стенд — имитируемый студент, проверьте сам симулятор, прежде чем доверять тому, что он говорит о вашем тьюторе.

Сравнивайте с чем-то вне вашего собственного проекта

Если у вас нет собственного базового уровня, внешний бенчмарк подскажет, хорош ли ваш показатель. На педагогическом бенчмарке CDPK EduQwen достиг 96.52% против 90.55% у Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Pedagogy Benchmark, построенный на экзаменах по реальному повышению квалификации преподавателей и охватывающий 97 моделей, обнаружил точность в диапазоне от 28% до 89% (Lelièvre et al., 2025).

Этот разброс и есть главное: в задаче о преподавании модели варьировались от плохих до хороших. Читайте результаты бенчмарков как диапазон, внутри которого вы находитесь, а не как приговор.

Контрольный список перед выпуском

1. Запишите одним предложением, что для вас действительно важно, и выберите меру, которая отражает это, а не сходство.

2. Сначала получите базовый уровень, включая простой. Модель ассистента курса без привязки к данным набрала меньше, чем обычный поиск по ключевым словам.

3. Проверяйте каждый результат, который выдаёт ваша система, по отдельности.

4. Попросите человека оценить выборку и сравните это с вашим автоматическим проверяющим.

5. Превратите точность в правило: порог, человек и экономию.

6. Проверяйте безопасность на целых диалогах.

7. Проверяйте любого имитируемого студента, прежде чем ему доверять.

8. Сохраняйте неудачи. Обрезанная обратная связь и подсказки, выдающие ответ, — это результаты, а не шум.

Связанные вопросы

• Как мы можем сделать ИИ лучше в поддержке обучения в нашем собственном предмете?
• Как обучить ИИ-тьютора направлять студентов, а не отвечать им?
• Какие меры и методы исследования может использовать преподаватель для оценивания связанных с ИИ вмешательств? — версия этого вопроса для преподавателей
• Каковы лучшие практики представления и интерпретации исследований об ИИ в образовании? — версия для исследователей
• Обучение и дообучение LLM — полная страница о концепции