Как заставить симулированного студента вести себя как настоящий учащийся?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Симулированного студента легко сделать убедительным и трудно — правдивым. Попросите общую модель изобразить испытывающего затруднения учащегося, и она выдаст гладкое, правдоподобное замешательство — правильный словарь незнания в правильном регистре. А потом спросите её, что этот студент сказал бы после того, как его поправили, — и она тихонько даст правильный ответ.

Этот разрыв и есть вся проблема, и он не решается написанием лучшего промпта с персоной. На этой странице разбирается то, что действительно заставляет симулированного учащегося вести себя как учащийся, — для всех, кто строит симулятор или использует его для репетиций либо тестирования.

Краткая версия

Модели обучены быть полезными и правильными. Учащиеся — нет ни того, ни другого. Поэтому работа состоит в том, чтобы ограничить то, что симулятор знает, и то, как это знание меняется, а затем проверить, ведёт ли он себя как учащийся, а не только звучит как учащийся. Сам по себе промптинг не даёт этого; приведённые ниже доказательства довольно устойчиво указывают, что промптинг устанавливает потолок, который снимает обучение или структура.

Начните с понимания того, чего вы НЕ симулируете

Самая полезная находка для любого, кто собирается довериться симулятору, касается охвата. Двенадцать преподавателей, обучавших студентов-LLM, сообщили о слишком сложном языке, отсутствии эмоций, неестественной внимательности и необъяснимых скачках в знаниях — и симуляции покрывали лишь один из четырёх реальных квадрантов студенческого поведения (Martynova et al., 2026). Покрытый ими квадрант был самым лёгким для симуляции.

Это важно, потому что почти никто не проверяет. Лишь 3% исследований, симулирующих учащихся, валидируют свой симулятор после использования. Если вы построили симулятор и не провалидировали его, вы в подавляющем большинстве, и вы же — причина, по которой эту статистику стоит цитировать.

Парадокс компетентности: ваш симулятор знает слишком много

Определяющая трудность в том, что способная модель не может легко притвориться частично знающей. Исследования называют это парадоксом компетентности: широко способные модели, попрошенные изображать частично знающих учащихся, выдают нереалистичные паттерны ошибок и динамику обучения.

Дрейф имеет направление, и оно указывает на тех учащихся, которые больше всего нуждаются в симуляции. На материале идей студентов из 49 уроков естествознания, согласованных с NGSS, шесть моделей удерживали большинство идей внутри ожидаемой области знаний и примерно две трети — на уровне целевого чтения или ниже, — но перескакивали ровно там, где учащийся был самым младшим. Идеи начальной и средней школы чаще выходили за рамки области знаний целевого класса и уровня чтения, а корпус в целом тяготел к более широким рассуждениям, более технической лексике и меньшему числу маркеров неопределённости («может быть», «кажется»), чем настоящие идеи с уроков (Nguyen and Cao, 2026).

Два практических замечания из этого исследования. Выбор модели не одномерен: система, точно воспроизводящая идеи уроков, всё равно может подавать их выше уровня класса. И исправление чаще носит инструктивный, а не архитектурный характер: явный повторный промпт с указанием уровня класса возвращал большинство моделей в допустимые рамки.

Поверхностный реализм — не та цель

Симулятор, звучащий как студент, может всё равно не разделять убеждений студента, и обычные проверки качества не в состоянии отличить одно от другого.

Отказ здесь поддаётся количественной оценке. Среди семи моделей от 4 до 120 млрд параметров симуляторы переключались на правильный ответ с почти одинаковой частотой, какую бы обратную связь они ни получали, — то есть похожесть вывода не говорит ничего о стоящем за ним состоянии убеждений. Обучение против метрики Selective Flip Score повысило верность до +0,56 (Do, Sonkar & Sachan, 2026). Если вы хотите, чтобы симулятор удерживал заблуждение, придётся обучать именно этому свойству; прочитать его по тексту нельзя.

Противоположная ошибка тоже случается — именно поэтому вопрос «а похоже ли это на человека?» — слабый тест в обе стороны. В исследовании с ослеплением экспертные аннотаторы ошибочно отнесли 164 из 196 (83,7%) сгенерированных LLM решений задач на Java к написанным человеком — ошибки были функционально неотличимы от настоящих. Согласованность с реальными ошибками затем падала по мере роста сложности задачи (Keramati et al., 2026).

Промптинг устанавливает потолок, который снимает обучение

SWIM — это самое наглядное сравнение трёх подходов, потому что он оценивает каждое сгенерированное эссе по целевому профилю признаков, а не судит о нём впечатлением:

• Промптинг на основе рубрик: ограниченный контроль даже для сильных проприетарных моделей — лучший средний QWK по признакам 0,577 (Claude Sonnet), 0,422 (GPT-5.4), около нуля для открытой модели на 7 млрд параметров.
• Контролируемое дообучение на реальных парах «эссе — оценка»: 0,474 ± 0,023 для той же модели на 7 млрд параметров.
• GRPO с вознаграждением, выведенным из автоматического оценивания эссе: 0,618 ± 0,005, причём приросты удерживались на двух независимых оценщиках, против которых политика никогда не обучалась (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Промптинг порождал и идеализированную популяцию вместо реалистичной: средняя нормированная общая оценка 0,74 против 0,58 у настоящих студентов, а медианная длина — 304 слова против 167. Обученные модели восстанавливали человеческие распределения оценок и длин вообще без какой-либо супервизии по длине.

Одно оставалось трудным, и об этом стоит знать прежде, чем обещать реализм: аутентичная форма при низком уровне владения. Обученные модели восстанавливали синтаксис, но писали слишком мало орфографических и грамматических ошибок, тогда как промптинг симулировал слабость в основном через поверхностные искажения — опечатки, разбросанные по вполне компетентной прозе.

Два способа ограничить то, что знает симулятор

Если модель знает слишком много, можно либо задать состояние, в котором она должна находиться, либо отобрать у неё знание.

Условийтесь на эпистемическом состоянии, а не на персоне. Не требующий обучения фреймворк строит когнитивный прототип каждого студента из Граф знаний и оценивает кандидатов beam-search по нему, сообщая об улучшении точности симуляции на 100% (Wu et al., 2025). Его качество растёт вместе с когнитивным уровнем студента — вот вывод, который стоит унести с собой: слабые учащиеся остаются более трудным случаем, что неудобно, ведь обычно именно в них и состоит весь смысл. Моделирование когнитивной динамики вместо статической персоны идёт дальше — обновления состояния на основе ICAP в CogEvolution достигли R²LC = 0,92 там, где статические агенты дают 0,45, и падали до 0,58 без его ICAP-модуля (Zhang et al., 2026).

Либо отберите знание. Подавление 16 адресных компонентов знания в Mistral-7B снизило точность примерно с 0,75 при коэффициенте забывания 10% до ниже 0,5 при 40%, тогда как базовая модель удерживала около 0,85 — и подавленное знание оказалось восстанавливаемым через контролируемое переобучение и диалог с наставником (Song, Guo & Lin, 2026). Это ближайшее приближение к прямому производству новичка, и восстановимость — преимущество, если вы хотите, чтобы симулятор учился в ходе сессии.

Делайте сценарий взаимодействия, а не персону

Оказывается, стабильность персоны — это проблема проектирования взаимодействия, а не выбора модели. Пересечение пяти LLM с тремя дизайнами промптов и четырьмя персонами разной интенсивности СДВГ показало, что заданные по сценарию взаимодействия, привязанные к задаче, полностью устраняли поведенческий дрейф по оценкам наблюдателей — на до 97% меньше, чем в незаданном диалоге. А без явных инструкций о персоне базовое представление студента перекашивалось в сторону высокой выраженности симптомов СДВГ (Gonnermann-Müller, Haase & Leins, 2026).

Практическое прочтение: если ваш симулятор дрейфует, решение может заключаться в том, что вы просите его делать от реплики к реплике, а не в том, какую модель вы выбрали или как описали студента.

Проверяйте по двум осям, а не по одной

Самая ясная формализация вопроса «а хорош ли этот симулятор» принадлежит StudentSim, который требует, чтобы выполнялись сразу два условия:

• Верность поведения — насколько хорошо симулятор воспроизводит собственные ответы студента.
• Отзывчивость к руководству — насколько надёжно он обновляется в ту сторону, куда ведёт руководство тьютора.

Его бенчмарк переводит публичные корпуса учащихся (шахматы, письмо на английском как на втором языке, математика) в протокол «на каждого студента», на котором любой симулятор обучается и оценивается по отложенным записям. Результат — полезная диагностика: отслеживание состояния для конкретной предметной области было слабо по отзывчивости, а ролевая игра LLM только на промптах — слабо по верности (Yang et al., 2026). Симулятор может пройти один тест и завалить другой, поэтому сообщайте оба.

В качестве доказательства концепции замороженный StudentSim, использованный как вознаграждение в цикле Обучение с подкреплением для шахматного тьютора, дал тьюторов, которых эксперты оценили как более точных, лучше направляющих и более персонализированных, чем обученных на вознаграждении от симулятора на основе LLM передового уровня или вовсе без RL. Хороший симулятор — не только измерительный инструмент; он может быть и обучающим сигналом.

Валидируйте на реальных учащихся, а не на своей интуиции

Два бенчмарка показывают, сколько стоит валидация и что она даёт.

Сравнение девяти методов симуляции с семи опорными метриками на 382 отложенных диалогах из крупнейшего публичного корпуса реальных диалогов студент–тьютор по математике показало, что промптинг отстаёт от дообучения по диалоговым актам (0,4998 против 0,6840), по ROUGE-L (0,1648 против 0,3212) и по косинусной близости (0,5460 против 0,7390). Но лучший из проверенных методов — оптимизация предпочтений на модели 8B — обошёл контролируемое дообучение лишь незначительно и оказался хуже по ошибкам, причём оценка тремя тьюторами-людьми воспроизвела то же ранжирование (Scarlatos et al., 2026). Урок: вершина этой лестницы не намного выше середины, поэтому большой разрыв между вашим симулятором и базовой линией информативнее, чем маленький.

Симуляторы студентов воспроизводят и наблюдаемые действия без стоящего за ними скрытого рассуждения. INSIDE дообучает модели генерировать внутренний диалог перед каждым действием, достигая высшей согласованности между сгенерированным рассуждением и реальными правками кода — 51,8% на знакомых задачах и 57,9% на невиданных — не теряя верности действий (Niousha et al., 2026). Если вам важно, почему ваш симулированный студент сделал что-то, верности на уровне действий недостаточно.

Иногда описание лучше симуляции

Результат, о котором стоит знать прежде, чем строить когорту: для оценивания онлайн-учебного опыта до того, как студенты с ним столкнутся, — для предсказания отсева и завершения и получения обратной связи по дизайну — единственный «описывающий» веб-агент, который проходит урок и выдаёт богатое описание опыта, превзошёл прямое симулирование популяции студентов.

Симулированные студенты в том сравнении демонстрировали гораздо меньший разброс поведения, чем настоящие учащиеся: на 100 агентах на пяти тестовых уроках они воспроизвели лишь около 4% маршрутов, которые проходили реальные студенты, при существенно больших затратах на вычисления. Конвейер «сначала опиши, потом предскажи» дал лучшее предсказание распределения отсева на массовом глобальном курсе CS1 (средний JSD 0,060, обойдя все базовые линии) (Wang, Mitchell & Piech, 2025).

Проводимая им граница полезна: симуляция распределения студентов может быть ненужной — или контрпродуктивной — когда целью является предсказание исхода или критика дизайна. Симуляция оправдывает свою цену тогда, когда важно покрыть подлинное варьирование учащихся, например при аудите того, как ИИ обращается с разнообразными профилями, или когда преподавателю нужно нечто, против чего можно отрепетировать.

Контрольный список перед тем, как довериться симулятору

1. Запишите, каких учащихся вы не покрываете. Симуляции, как правило, захватывают самый лёгкий квадрант. 2. Проверяйте состояние убеждений, а не прозу. Спросите, что симулятор говорит после исправления; симулятор, переключающийся на правильный ответ, заблуждение не удерживает. 3. Не полагайтесь только на промптинг, если важна верность. Промптинг устанавливает потолок, который снимает обучение или структура. 4. Определите, как вы будете ограничивать знание — зададите эпистемическое состояние или отберёте знание, — а не описывать персону. 5. Задайте сценарий взаимодействия, а не только персону. Привязанные к задаче реплики резко сокращают поведенческий дрейф. 6. Оценивайте верность и отзывчивость к руководству раздельно. Симулятор может пройти один тест и завалить другой. 7. Валидируйте на данных реальных учащихся и сообщайте, какую базовую линию вы превзошли. Лучшие методы здесь лишь незначительно лучше тех, что ниже них. 8. Прежде чем строить популяцию, проверьте, не ответит ли на ваш вопрос дешевле единственный описывающий агент. 9. Ожидайте, что самые слабые учащиеся будут самым трудным случаем, и говорите об этом, если симулятор будут использовать для выводов о них.

Связанные вопросы

• Как понять, что образовательный ИИ работает правильно, а не просто хорошо набирает очки? — оценивание систем, которые вы тестируете против симулятора
• Как мы можем развеять распространённые заблуждения об ИИ в образовании? — могут ли симулированные студенты заменять реальных учащихся в исследованиях
• Как улучшить способность ИИ поддерживать обучение в своём предмете? — методы обучения, стоящие за приведёнными выше результатами дообучения
• Моделирование учащихся — полная концептуальная страница