Як нам навчити тьютора на базі ШІ скеровувати студентів, а не відповідати замість них?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Модель загального призначення проходить наступне навчання на людських уподобаннях щодо корисності, і на практиці корисність означає відповідь на запитання швидко та повно. Наставництво вимагає протилежного: допомогти студенту дійти до відповіді, а не віддати її. Це єдине місце в освітньому ШІ, де вам може справді знадобитися змінити вивчену поведінку моделі, а не її підказку, і це також найкраще підтверджена доказова базою частина поля. Результати є великими, і вирішальною змінною є винагорода, а не алгоритм.

Чому підказок тут може бути недостатньо

Підказки і навіть загальне навчання узгодженості залишають тяглість до згоди. Контекстуальна підлещуваність зберігається після підказок і узгодження, причому помилки здобувачів усе одно поширюються в поради ШІ. EduFrameTrap показує, що моделі, які витримують атаки з перемиканням контексту, усе одно поступаються під тиском авторитету чи соціально-емоційного впливу й приховують коригувальний зворотний зв’язок, — тому його автори стверджують, що поведінка «доброї, але правильної» має бути явною вимогою навчання, а не уподобанням (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks).

Якщо режим відмови вашого тьютора полягає в тому, що він погоджується з неправильною відповіддю, підказка не погоджуватися є пом’якшенням, а не виправленням.

Винагорода — це весь дизайн

Винагорода — це стисла специфікація того, що ви хочете, і моделі оптимізують усе, що ви фактично записали. Тому дизайн винагороди є рішенням із найбільшим впливом у цьому процесі, і саме тут було досягнуто найкращого результату.

Модель винагороди EduQwen надавала перевагу скеровуючим відповідям над прямими відповідями, з видобутком важких негативних прикладів, щоб виключити запитання, які базова модель уже розв’язувала, і розгортаннями, розширеними з 5 до 8 кроків, щоб фіксувати багатокрокові педагогічні рішення. Її триетапний конвеєр — початкове RL, синтетичний SFT, фінальне RL — досяг 96,52% на бенчмарку CDPK проти 90,55% у Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning).

З цього прямо випливають дві речі. Перше: очікуйте, що винагородою будуть маніпулювати: вона конкретизує менше, ніж ви мали на увазі, тож пишіть її проти бенчмарку, а не проти інтуїції. Друге: проміжні числа є повчальними — сам перший етап RL досяг 94,13%, SFT на 40 000 самостійно створених відповідей підвищив це до 96,20%, а фінальний раунд RL додав останню частку. Більша частина приросту прийшла рано.

Навчання з підкріпленням переважає імітацію в педагогіці

Якщо ви робите лише наглядне донавчання, ви вчите модель імітувати ваші демонстрації. Цього достатньо для формату й недостатньо для судження. Висновок LearnLM є явним: RL є суттєво ефективнішим, ніж сам SFT, для дотримання тонких педагогічних інструкцій у довгих розмовах (LearnLM: Improving Gemini for Learning).

Його вміння умовлюватися інструкціями також дозволяє розробникам і викладачам конкретизувати поведінку тьютора, не прив’язуючись до одного визначення педагогіки, і воно вплітається в етапи наступного навчання Gemini шляхом спільного навчання. Експерти надавали йому перевагу над GPT-4o (+31%), Claude 3.5 Sonnet (+11%) та базовою Gemini 1.5 Pro (+13%).

Наглядайте за процесом, а не за відповіддю

Найбільш придатний до дії висновок у цій галузі стосується того, що має містити навчальні дані. Налаштовані на інструкції моделі засвоювали хибні уявлення в алгебрі лише тоді, коли їх навчали на слідах розв’язку на рівні кроків. Налаштовані лише на фінальних відповідях, вони зберігали точність нижче 30% при будь-якому обсязі даних (Misconception Acquisition Dynamics in Large Language Models).

Ще дві деталі з того дослідження мають значення для всіх, хто будує будь-який бік тьютора:

• Роль студента надмірно узагальнювала засвоєну помилку, доки правильні приклади явно не змішувалися в співвідношеннях таких низьких, як один із чотирьох.
• Роль тьютора не мала такої ціни, зберігаючи правильну точність від 93% до 98% в межах десяти спільно навчених хибних уявлень.

Якщо ви навчаєте тьютора діагностувати, вашим прикладам потрібне міркування, а не лише вердикт. Набір даних із пар «запитання й правильна відповідь» не може навчити модель помічати, де студент помилився.

Зробіть так, щоб навчальні дані несли педагогіку

Якщо нагляд має містити міркування, схема розмітки є рішенням щодо навчального плану, а не кроком очищення даних. Два результати тут стосуються цього безпосередньо.

Розмічайте кожен приклад тією поведінкою, яку ви хочете. Дослідження міток нагляду виявило, що призначення кожному навчальному прикладу однієї цільової поведінки — предметної компетентності, узгодженості з навчальним планом, діагностичного міркування чи скаффолдингу — підвищувало кожен випробуваний масштаб моделі, з найбільшими приростами в скаффолдингу та в використанні історії здобувача. Діагностика стану знань залишалася найслабшою поведінкою на рівні 54,04%, що є корисним очікуванням, яке варто мати: діагностика — це найважча для навчання річ у цьому списку (OmniEdu: Open Foundation Models for Learning and Teaching).

Розглядайте відбір даних як самостійну задачу навчання. Edu-QuRating адаптує дистиляцію уподобань до кураторства освітніх даних, замінюючи єдину оцінку «чи це освітнє?» на 20 вимірів рубрики, що охоплюють фактичну точність, педагогічну структуру та відповідність рівню (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements). Якщо ви збираєте корпус із вебтексту, це саме той вид фільтра, який вирішує, на що ваша модель навчиться бути схожою.

Щільність винагороди має таке саме значення, як і сама винагорода

Винагорода за точною збіжністю є занадто розрідженою, коли те, що вас цікавить, має кілька вимірів. Симулятор письма SWIM показує цю прогресію чисто:

• Підказки, засновані на рубриці: найкращий середній QWK за ознакою 0,577 (Claude Sonnet), 0,422 (GPT-5.4), близько нуля для відкритої моделі 7B
• Наглядне донавчання: 0,474 ± 0,023 для цієї моделі 7B
• GRPO з щільною, нормованою за ознаками винагородою за точність: 0,618 ± 0,005 за кожною ознакою та підказкою (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)

Дизайн винагороди й був суттю: щільний, нормований за ознаками сигнал, а не точний збіг, оскільки точний збіг занадто розріджений в умовах із кількома ознаками. Якщо ваша винагорода спрацьовує лише на досконалій відповіді, більша частина вашого навчального сигналу — це тиша.

Навчайте рішення, а не лише висловлювання

Наступне навчання не має формувати лише те, що модель каже. TACT провів наступне навчання тьютора на таксономії з 13 стратегій плюс двохвісну таксономію ходів студента й отримав 20,30 бала випередження над своєю базовою моделлю Qwen3.5-4B, з діагностичним бенчмарком, який приховує мітки стану здобувача, доступні під час навчання, щоб модель мала виводити стан з діалогу (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring).

Та сама логіка проходить через узгодження зі спеціальною освітою (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) і через роботу з евристичним RL, яка узгоджує моделі як сократичних провідників, а не як тих, хто відповідає (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Одна платформа йде далі й навчає політику, а не прозу: агент із навчанням з підкріпленням обирає наступну задачу для практики, тому те, що здобувач робитиме далі, вирішує навчена модель (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Які дані вам потрібні?

Дві протилежні ставки визначають простір, і яку з них ви зробите, залежить від того, що ви вже маєте:

• Наступне навчання, умовлене інструкціями, коли ваших даних обмаль. LearnLM несе інструкції на рівні системи, які дозволяють викладачам і розробникам конкретизувати поведінку тьютора, і спирається на спільне навчання, а не на великий корпус транскриптів наставництва.
• Донавчання на автентичних даних взаємодії, коли вони в вас є. TeachLM робить ставку на те, що інженерія підказок — це тимчасовий захід, а дефіцитним інгредієнтом є справжня взаємодія здобувача з тьютором. Навчена на 100 000 годин сеансів один на один за ретельного знеособлення, вона подвоює час мовлення студента, покращує стиль ставити запитання та збільшує кількість ходів діалогу на 50% (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data).

Дешевший шлях до педагогічної поведінки — це дистиляція: Pedagogy-R1 (1,5B і 7B) була налаштована на інструкціях на педагогічно відфільтрованих результатах, дистильованих із вчителя QwQ-32B, у парі з підказками Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Перевіряйте це на довжині розмови

Навчання не робить модель безпечною в довгій розмові. SafeTutors показує, що навіть спеціалізовані педагогічні моделі деградують за підтримуваного діалогу й можуть здійснювати шкоду від надмірного розкриття відповідей (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems). Педагогічну безпеку мають перевіряти на довжині розмови, а не на одному ходу, — у тому числі в ходах, де студент помиляється, наполягає чи тисне.

Куди рухатися далі

• Як ми можемо зробити ШІ кращим у підтримці навчання у нашому власному предметі? — чи є навчання взагалі правильним важелем
• Як ми знаємо, що освітній ШІ працює правильно, а не просто набирає високі бали? — вимірювання того, чи справді змінилася поведінка
• Які найкращі практики розробки ефективного тьютора на базі ШІ? — колега із боку дизайну взаємодії, який формує ту саму скеровуючу поведінку через скаффолдинг і драбину підказок, а не через навчання
• Тренування LLM і дотончення — повна концептуальна сторінка