Как да обучим AI тьютор да напътства студентите, вместо да им отговаря?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Твоят преподавател издава отговора. Демото не го показа, защото въпросът беше лесен и студентът беше отзивчив. Логовете от пилота го показват: студент пита два пъти, моделът преформулира метода и после го решава. Учител гледа сесия и казва, че това е чатбот с приятелски глас. Сега решаваш дали да похарчиш една четвърт от инженерното време за следобучение, или да пуснеш с по-добра системна подкана.

Краткият отговор: подканването не премахва дърпането към отговаряне, защото полезността е това, за което базовият модел е обучен. Ако напътстващото поведение е продуктът, то трябва да бъде обучено, а променливата, която решава изхода, е наградата. Напиши наградата срещу бенчмарк, сложи разсъждение на ниво стъпка в тренировъчните данни и оценявай обучението по следващия педагогически ход, който моделът избира.

Накратко

1. Тествай дали подканата издържа под натиск, преди да заключиш, че подканването е достатъчно. Съгласието с грешен студент е моделът на провал, който търсиш.

2. Напиши наградата като спецификация на поведението, което искаш, с изключени трудни отрицателни примери, и после провери какво всъщност е оптимизирала.

3. Обучавай върху следи на ниво стъпка. Корпус от двойки въпрос и верен отговор не може да научи модел да види къде студентът е сгрешил.

4. Предпочитай обучението с подсилване пред имитацията, когато има значение преценката, и пази междинните резултати по етапи.

5. Направи наградата достатъчно гъста, за да се задейства при повечето отговори, и пускай оценяването върху цели разговори.

Разбери дали подканата издържа под натиск

Подканването и общото обучение за съответствие оставят дърпане към съгласие. Контекстуалната сикофантност се задържа след двете, като грешките на обучаемите все още се пренасят в съвета на AI.

EduFrameTrap добавя подробността, която има значение за продуктово решение. Модели, които издържат на атаки със смяна на контекста, все пак капитулират под натиск от авторитет или социално-афективен натиск и задържат коригираща обратна връзка, и затова авторите му твърдят, че поведението „любезен, но правилен“ трябва да бъде изрично изискване за обучението, а не предпочитание (EduFrameTrap).

Ако провалът на твоя преподавател е съгласие с грешен отговор, подканването да не се съгласява е смекчаване. Пусни теста под натиск първо, запиши къде се чупи и използвай този запис като аргумент за бюджета за обучение.

Напиши наградата, преди да събереш данните

Наградата е компресирана спецификация на това, което искаш, и моделите оптимизират каквото действително си написал. Това прави дизайна на наградата решението, което поставя тавана на всичко след него.

Моделът за награда на EduQwen даде приоритет на напътстващите отговори пред директните, с извличане на трудни отрицателни примери, за да се изключат въпроси, които базовият модел вече решава, а разгъвките бяха удължени от 5 на 8 стъпки, за да се уловят многостъпкови педагогически решения. Триетапният му конвейер, първо RL, после синтетично SFT и накрая още един кръг RL, достигна 96,52% на бенчмарка CDPK срещу 90,55% за Gemini-3 Pro (EduQwen).

Две неща следват. Очаквай наградата да бъде изиграна, защото тя определя по-малко, отколкото си имал предвид, така че я пиши срещу бенчмарк, а не срещу интуиция. И пази междинните числа: само първият RL етап достигна 94,13%, SFT върху 40 000 самоизградени отговора го вдигна до 96,20%, а последният кръг добави последната част. По-голямата част от печалбата дойде рано, което е полезно, когато някой пита дали последният етап е струвал цената си.

Направи така, че наградата да се задейства достатъчно често, за да учи

Награда за точно съвпадение е твърде рядка, когато това, което те интересува, има няколко измерения. Симулаторът за писане SWIM показва прогресията чисто: подканване, основано на рубрика, достигна най-добър среден QWK за качество 0,577 с Claude Sonnet и 0,422 с GPT-5.4, близо до нула за отворен модел 7B; обучение с учител достигна 0,474 ± 0,023 за този модел 7B; GRPO с гъста, нормализирана по качества награда за точност достигна 0,618 ± 0,005 за всяко качество и подкана (SWIM).

Дизайнът на наградата произведе тази разлика. Гъст, нормализиран по качества сигнал побеждава точното съвпадение в обстановка с много качества, а ако наградата ти се задейства само при идеален отговор, по-голямата част от тренировъчния ти сигнал е тишина.

Сложи разсъждението в примерите

Най-приложимата находка в тази област се отнася до това какво трябва да съдържат тренировъчните данни. Модели, настроени с инструкции, научиха алгебрични погрешни представи само когато бяха обучени върху следи от решения на ниво стъпка. Обучени само върху крайни отговори, точността остана под 30% при всеки размер на данните (изследването за придобиване на погрешни представи).

Две подробности от това изследване имат значение за всеки, който строи една от двете страни на преподавател. Ролята на студента свръхобобщи научената грешка, докато верни примери не се смесиха в съотношение едва едно на четири. Ролята на преподавателя не показа такава цена, запазвайки правилна точност от 93% до 98% при десет съвместно обучени погрешни представи.

Набор от двойки въпрос и верен отговор не може да научи модел да забележи къде студентът е сгрешил. Ако обучаваш преподавател да диагностицира, примерите трябва да носят разсъждението.

Избери тренировъчния сигнал, който отговаря на преценката

Обучението с учител учи модела да имитира твоите демонстрации. Това е достатъчно за формат и не е достатъчно за преценка. LearnLM заявява находката изрично: RL е значително по-ефективно от SFT само по себе си за следване на нюансирани педагогически инструкции в дълги разговори (LearnLM).

Обусловеното с инструкции рамкиране позволява на разработчици и учители да уточнят поведението на преподавателя, без да се обвързват с едно определение за педагогика, а съвместното обучение го смесва в етапите на следобучение на Gemini. Експертите го предпочетоха пред GPT-4o (+31%), Claude 3.5 Sonnet (+11%) и базовия Gemini 1.5 Pro (+13%).

Практическото четене: ако провалът ти е грешен тон или липсващ формат, SFT е евтиният път. Ако провалът ти е избор на грешен педагогически ход на дванадесетия ход, сигналът трябва да възнаграждава избора.

Обозначи всеки пример с поведението, на което учи

Ако надзорът трябва да съдържа разсъждение, схемата за обозначаване е решение за учебната програма. Изследване на надзорни етикети установи, че задаването на всеки тренировъчен пример на едно целево поведение, сред предметна компетентност, обвързаност с учебната програма, диагностично разсъждение и скафолдинг, вдигна резултатите при всеки тестван размер на модела, с най-големи печалби в скафолдинга и в използването на историята на обучаемия. Диагностиката на състоянието на знанието остана най-слабото поведение при 54,04% (OmniEdu). Диагностиката е най-трудният елемент в този списък, така че предвиди бюджет за нея.

Подборът на данни е отделен тренировъчен проблем. Edu-QuRating адаптира дестилацията на предпочитания към подреждането на образователни данни, заменяйки единичната оценка „образователно ли е това?“ с 20 измерения на рубрика, покриващи фактическа точност, педагогическа структура и подходящо ниво (Edu-QuRating). Ако сглобяваш корпус от уеб текст, този филтър решава как звучи моделът ти.

Избери залога за данни, който можеш да си позволиш

Два противоположни залога определят пространството и кой от тях ще поемеш, зависи от това какво вече имаш.

Когато данните ти са оскъдни, следобучението, обусловено с инструкции, носи поведението. LearnLM използва инструкции на ниво система, които позволяват на учители и разработчици да уточнят поведението на преподавателя, и разчита на съвместно обучение, а не на голям корпус от транскрипти на преподаване.

Когато имаш автентични данни за взаимодействие, донастройката върху тях печели. TeachLM залага, че инженерството на подкани е временно решение, а оскъдната съставка е реалното взаимодействие обучаем и преподавател. Обучен върху 100 000 часа сесии едно на едно при строго анонимизиране, той удвоява времето за говорене на студента, подобрява стила на задаване на въпроси и увеличава диалоговите ходове с 50% (TeachLM).

По-евтин път е дестилацията. Pedagogy-R1, при 1.5B и 7B, беше настроен с инструкции върху педагогически филтрирани изходи, дестилирани от учител QwQ-32B, съчетан с подканване Chain-of-Pedagogy (Pedagogy-R1).

Обучи решението, което студентът среща след това

Следобучението не трябва да оформя само това, което моделът казва. TACT следобучи преподавател върху таксономия от 13 стратегии плюс таксономия на ходовете на студента по две оси и спечели 20,30 точки над базовия си модел Qwen3.5-4B, с диагностичен бенчмарк, който задържа етикетите за състоянието на обучаемия, налични по време на обучението, така че моделът трябва да изведе състоянието от диалога (TACT).

Същата логика минава през съответствието в специалното образование (Special-R1) и през работа с евристично RL, която подравнява моделите като сократически водачи, а не като отговарящи (Wang и кол.). Една платформа отива по-далеч и обучава политиката, а не прозата: агент с обучение с подсилване избира следващата задача за упражнение, така че какво прави обучаемият след това се решава от обучения модел (Chung и кол.).

Последният случай е тестът дали си проектирал преподавател, или генератор на текст. Ако единственият изход на модела е проза, педагогиката живее в кода ти за оркестрация. Ако моделът избира следващата задача, педагогиката е в тежестите.

Тествай го на дължина на разговор

Обучението не прави модела безопасен в дълъг разговор. SafeTutors показва, че дори специализирани педагогически модели деградират в продължителен диалог и могат да извършат вреди от прекомерно разкриване на отговори (SafeTutors). Педагогическата безопасност трябва да се измерва на дължина на разговор, включително ходовете, в които студентът греши, настоява или натиска.

Какво екипите за обучение разбират погрешно

Повече подканване в крайна сметка ще издържи. Сикофантността се задържа след подканване и съответствие, а натискът от авторитет отваря отново поведението, което тест със смяна на контекста е затворил. Записът от твоя собствен тест под натиск е доказателството за това в твоя продукт.

Числото от класацията е резултатът. 96,52% на CDPK описва представяне върху педагогическите задачи на един бенчмарк. Твоите студенти срещат твоята учебна програма, твоята нотация и студент, който е заседнал двадесет минути.

Повече данни са отговорът, когато следите са тънки. Крайни отговори при какъвто и да е размер на данните държаха точността за погрешни представи под 30%. Резултатът се промени от разсъждение на ниво стъпка в примерите; размерът на корпуса никога не го помръдна.

Ролята на студента е трудната част, така че я обучавай последна. Студентът свръхобобщи научените грешки, докато верни примери не се появиха при едно на четири. Ролята на преподавателя държа от 93% до 98% при същите условия, което подсказва, че преподавателят е по-лесната половина за обучение, а симулаторът е този, който трябва да се проверява.

Последната контролна точка е резултатът. Първият RL етап достигна 94,13%, а SFT го вдигна до 96,20%, така че по-голямата част от движението се случи преди последния кръг. Пази резултатите по етапи; те казват кой етап е спечелил печалбата и кой би могъл да отпадне следващия път.

Какво ще ти се върне

„Не можем да си позволим RL.“ Тогава започни с частите, които не струват нищо: следи на ниво стъпка в данните, един етикет за целево поведение на пример и награда, която си записал с думи, преди да я напишеш в код. Сравнението на SWIM показва, че само SFT вдига модел 7B до 0,474, което е истинска печалба и все още под 0,618.

„Моделът на доставчика ни вече отказва да дава отговори.“ Следобучението на доставчика оптимизира полезност, а отказът да отговори не е това, което оценките за полезност възнаграждават. Тествай поведението в собствените си разговори; отговорът е в записа, а не в картата на модела.

„Дестилацията ни води по-голямата част от пътя.“ Pedagogy-R1 е дестилация при 1.5B и 7B и е разумна отправна точка. Това, което наследява, е педагогиката на учителя, включително каквото този учител е сгрешил, и ще ти трябва бенчмарк, за да видиш кои части са се пренесли.

„Тестването на дълъг разговор е твърде скъпо, за да се пуска често.“ Пусни го веднъж на промяна на модела, с фиксиран скрипт и фиксиран набор от враждебни ходове, и сравни записите. Цената е в писането на скрипта първия път.

„Учителят каза, че се усеща като чатбот.“ Това е доклад за формата на разговора, а формата на разговора е политика. Преброй колко хода минават, преди моделът да отстъпи стъпка.

Какво да направиш тази седмица

1. Пусни теста под натиск: грешен отговор, студентът настоява, студентът се позовава на авторитет, студентът иска отговора. Запази записа.

2. Напиши наградата си като три изречения на български, после провери дали кодът ти измерва тези три неща.

3. Одитирай извадка от тренировъчните си примери за разсъждение на ниво стъпка. Докладвай дела, който съдържа грешна стъпка и диагноза за нея.

4. Добави по един етикет за целево поведение на пример, като започнеш със скафолдинг, и логвай разпределението.

5. Сложи междинните резултати по етапи в картата на модела до крайния.

Накъде след това

Как да направим AI по-добър в подкрепата на ученето в собствения си предмет? пита дали обучението изобщо е правилният лост, а разработване на AI преподавател покрива съответствието по дизайн на взаимодействието, което постига същото напътстващо поведение чрез скафолдинг и стълби от подсказки, а не чрез градиенти. Проверка дали образователният AI работи покрива измерването дали поведението действително се е променило, а обучение и донастройка на LLM е концептуалната страница зад всичко това.