Как обучить ИИ-репетитора направлять студентов, а не отвечать им?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Модель общего назначения проходит дообучение на человеческих предпочтениях в отношении полезности, и на практике полезность означает отвечать на вопрос быстро и полно. Репетиторство требует противоположного: помочь студенту дойти до ответа, а не вручить его. Это единственное место в образовательном ИИ, где вам может по-настоящему потребоваться изменить выученное поведение модели, а не её промпт, и это же самая подтверждённая доказательствами часть области. Результаты велики, и решающей переменной является вознаграждение, а не алгоритм.

Почему одного промптинга здесь может быть недостаточно

Промптинг и даже общее обучение на согласованность оставляют тягу к согласию. Контекстное подхалимство сохраняется после промптинга и согласования, причём ошибки учащихся по-прежнему проникают в советы ИИ. EduFrameTrap показывает, что модели, которые выдерживают атаки с переключением контекста, всё же уступают под давлением авторитета или социально-эмоциональным давлением и утаивают корректирующую обратную связь, — поэтому авторы этого исследования утверждают, что «доброе, но корректное» поведение должно быть явным требованием обучения, а не предпочтением (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks).

Если режим отказа вашего репетитора состоит в том, что он соглашается с неверным ответом, инструктирование его не соглашаться — это смягчение, а не исправление.

Вознаграждение — это весь дизайн

Вознаграждение — это сжатая спецификация того, чего вы хотите, и модели оптимизируют то, что вы фактически написали. Поэтому проектирование вознаграждения — решение с наибольшим рычагом в процессе, и именно здесь был одержан лучший результат.

Модель вознаграждения EduQwen ставила направляющие ответы выше прямых ответов, с майнингом трудных негативов для исключения вопросов, которые базовая модель уже решала, и с расширением раскатов с 5 до 8 шагов, чтобы были захвачены многошаговые педагогические решения. Его трёхэтапный конвейер — начальное RL, синтетический SFT, финальное RL, — достиг 96,52 % на бенчмарке CDPK против 90,55 % у Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning).

Отсюда следуют две вещи напрямую. Во-первых, ожидайте, что вознаграждение будет обыграно: оно задаёт меньше, чем вы имели в виду, поэтому пишите его против бенчмарка, а не против интуиции. Во-вторых, промежуточные числа поучительны: только первый этап RL достиг 94,13 %, SFT на 40 000 само сгенерированных ответов поднял это до 96,20 %, а финальный раунд RL добавил последнюю долю. Большая часть выигрыша пришла рано.

Обучение с подкреплением превосходит имитацию в педагогике

Если вы делаете только контролируемое дообучение, вы учите модель имитировать ваши демонстрации. Этого достаточно для формата и недостаточно для суждения. Вывод LearnLM однозначен: RL существенно эффективнее одного SFT для следования нюансированным педагогическим инструкциям в длинных диалогах (LearnLM: Improving Gemini for Learning).

Его формулировка, обусловленная инструкциями, также позволяет разработчикам и преподавателям задавать поведение репетитора, не привязываясь к одному определению педагогики, и она вводится в этапы дообучения Gemini через совместное обучение. Эксперты предпочитали её GPT-4o (+31 %), Claude 3.5 Sonnet (+11 %) и базовому Gemini 1.5 Pro (+13 %).

Направляйте процесс, а не ответ

Самый действенный результат в этой области касается того, что должны содержать обучающие данные. Модели, настроенные на инструкции, выучивали ложные представления по алгебре только когда они обучались на пошаговых трассировках решений. При обучении только на конечных ответах точность оставалась ниже 30 % при любом объёме данных (Misconception Acquisition Dynamics in Large Language Models).

Ещё две детали этого исследования имеют значение для любого, кто строит любую из сторон репетитора:

• Роль студента переобобщала выученную ошибку, пока корректные примеры не начинали явно добавляться в пропорции, низкие как один из четырёх.
• Роль репетитора не показывала такой платы, удерживая точность на корректном от 93 % до 98 % на десяти совместно обученных ложных представлениях.

Если вы обучаете репетитора диагностировать, ваши примеры нуждаются в рассуждении, а не только в вердикте. Набор данных из пар «вопрос — верный ответ» не может научить модель замечать, где студент ошибся.

Заставьте обучающие данные нести педагогику

Если надзор должен содержать рассуждение, то схема разметки — это решение учебного плана, а не шаг очистки данных. Два результата здесь напрямую относятся к этому.

Размечайте каждый пример поведением, которое вы хотите. Исследование меток надзора обнаружило, что приписывание каждому обучающему примеру одного целевого поведения — предметной компетентности, опоры на учебный план, диагностического рассуждения или скаффолдинга, — поднимало все протестированные масштабы моделей, с наибольшим выигрышем в скаффолдинге и в использовании истории учащегося. Диагностика состояния знаний оставалась самым слабым поведением на уровне 54,04 %, и это полезное ожидание, которое стоит унести: диагностика — самое трудное для обучения из этого списка (OmniEdu: Open Foundation Models for Learning and Teaching).

Относитесь к отбору данных как к отдельной задаче обучения. Edu-QuRating адаптирует дистилляцию предпочтений к курированию образовательных данных, заменяя единственную оценку «это образовательно?» на 20 измерений рубрики, охватывающих фактическую точность, педагогическую структуру и соответствие уровню (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements). Если вы собираете корпус из веб-текста, именно такой фильтр решает, на что ваша модель научится быть похожей.

Плотность вознаграждения важна не меньше самого вознаграждения

Вознаграждение за точное совпадение слишком разрежено, когда важная для вас вещь имеет несколько измерений. Симулятор письма SWIM показывает эту прогрессию наглядно:

• Промптинг на основе рубрики: лучший средний QWK по признакам 0,577 (Claude Sonnet), 0,422 (GPT-5.4), около нуля для открытой модели 7B
• Контролируемое дообучение: 0,474 ± 0,023 для этой модели 7B
• GRPO с плотным, нормализованным по признакам вознаграждением за точность: 0,618 ± 0,005, по каждому признаку и промпту (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)

Смысл был в устройстве вознаграждения: плотный нормализованный по признакам сигнал, а не точное совпадение, потому что точное совпадение слишком разрежено в много признаковой постановке. Если ваше вознаграждение срабатывает только на совершенный ответ, большая часть вашего обучающего сигнала — тишина.

Обучайте решение, а не только высказывание

Дообучение не обязано формировать только то, что модель говорит. TACT дообучил репетитора на таксономии из 13 стратегий плюс двухосевую таксономию действий студента и получил 20,30 баллов против своей базовой модели Qwen3.5-4B, с диагностическим бенчмарком, который не выдаёт меток состояния учащегося, доступных при обучении, чтобы модель должна была выводить состояние из диалога (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring).

Та же логика проходит через согласование в специальном образовании (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) и через эвристические RL-работы, которые согласуют модели как сократических наставников, а не ответчиков (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Одна платформа идёт дальше и обучает политику, а не прозу: агент обучения с подкреплением выбирает следующую задачу для практики, так что то, что учащийся делает дальше, решает обученная модель (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Какие данные вам нужны?

Две противоположные ставки определяют пространство, и какую вы выберете, зависит от того, что у вас уже есть:

• Дообучение, обусловленное инструкциями, когда ваших данных мало. LearnLM несёт инструкции системного уровня, позволяющие преподавателям и разработчикам задавать поведение репетитора, и опирается на совместное обучение, а не на большой корпус записей репетиторских сеансов.
• Дообучение на аутентичных данных взаимодействия, когда они у вас есть. TeachLM делает ставку на то, что инженерия промптов — это временная мера, а дефицитным ингредиентом является настоящее взаимодействие учащий–репетитор. Обученный на 100 000 часов индивидуальных сеансов при строгой анонимизации, он удваивает время речи студента, улучшает стиль вопрошания и увеличивает число ходов диалога на 50 % (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data).

Более дешёвый путь к педагогическому поведению — дистилляция: Pedagogy-R1 (1,5B и 7B) был настроен на инструкции на педагогически отфильтрованных выходах, дистиллированных из преподавателя QwQ-32B, в паре с промптингом Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Проверяйте на длине диалога

Обучение не делает модель безопасной в длинном диалоге. SafeTutors показывает, что даже специализированные педагогические модели деградируют в ходе продолжительного диалога и могут совершать нарушения в виде чрезмерного раскрытия ответа (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems). Педагогическая безопасность должна проверяться на длине диалога, а не на одном ходу, — включая ходы, где студент неправ, настойчив или напирает.

Куда идти дальше

• Как мы можем сделать ИИ лучше поддерживающим обучение в нашем собственном предмете? — является ли обучение вообще правильным рычагом
• Как мы узнаем, что образовательный ИИ работает правильно, а не просто хорошо набирает баллы? — измерение того, изменилось ли поведение на самом деле
• Каковы лучшие практики разработки эффективного ИИ-репетитора? — партнёрская сторона, проектирование взаимодействия, которая формирует то же направляющее поведение через скаффолдинг и лестницы подсказок, а не через обучение
• Обучение и дообучение LLM — полная концептуальная страница