Как да накараме симулиран студент да се държи като истински обучаем?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

В четвъртък имаш демонстрация. Симулираният студент в нея сбърква задача с дроби, получава един намек и после дава верния отговор с вярното обяснение. Някой в стаята пита защо обучаем, който се затруднява, би направил това, а ти нямаш отговор.

Преди следващата демонстрация ти трябва да си изясниш поне това: подканата към модел да играе студент произвежда звука на обучаем. Това, което произвежда поведението, е ограничение върху това какво знае симулаторът, структура в ходовете и валидация срещу записи от истински обучаеми. Само 3% от изследванията, които симулират обучаеми, валидират симулатора си след употреба, така че никой няма да провери това вместо теб.

Накратко

1. Запиши кои обучаеми не симулираш и сложи това изречение там, където потребителите ти ще го прочетат.

2. Тествай състоянието на вярване, а не прозата. Питай какво казва симулаторът след корекция.

3. Ограничи знанието нарочно: укажи епистемичното състояние или премахни знанието.

4. Напиши взаимодействието ход по ход. По-добра подкана за персона не поправя дрейфа.

5. Оценявай поведенческата вярност и отзивчивостта към насоките отделно, срещу записи на истински обучаеми.

Реши на кой въпрос отговаря симулаторът

Три задачи се сгъват под едно „симулиран студент“, а те се нуждаят от различни механизми. Репетиция на учител или на преподавател се нуждае от партньор, който се държи правдоподобно под натиск. Одит на това как AI се отнася към различни профили на обучаеми се нуждае от покритие на профилите, които те интересуват. Предсказване на резултати за курс се нуждае от разпределение на обучаеми, а не от един убедителен индивид. Симулатор, изграден за първата задача, ще те разочарова при третата, а доказателствата по-долу постоянно ги разделят.

Назови обучаемите, които не покриваш

Най-полезното откритие за всеки, който ще се довери на симулатор, е за покритието. Дванадесет учители, които обучават LLM студенти, съобщават за прекалено сложен език, липсваща емоция, неестествена внимателност и необясними скокове в знанието, а симулациите представят само един от четири квадранта на реалното поведение на студентите (Martynova и др., 2026). Квадрантът, който покриват, е най-лесният за симулиране.

Това има значение, защото почти никой не проверява. Само 3% от изследванията, които симулират обучаеми, валидират симулатора си след употреба. Ако изградиш такъв и пропуснеш валидацията, ти си в преобладаващото мнозинство и си също причината тази статистика да остава цитируема.

Ограничи какво знае симулаторът

Модел с големи способности не може лесно да се преструва на частично знаещ. Изследванията наричат това парадокс на компетентността: широко способни модели, помолени да имитират обучаеми с частични знания, произвеждат нереалистични модели на грешки и динамики на учене.

Дрейфът има посока и тя сочи към обучаемите, които най-много се нуждаят от симулиране. Срещу ученически идеи, взети от 49 уроци по природни науки, съобразени с NGSS, шест модела запазват повечето идеи в очаквания обхват на знанието и около две трети на или под целевото ниво на четене, а после превишават точно там, където обучаемият е най-малък. Идеите за начален и среден етап по-често надхвърлят обхвата на знанието и нивото на четене за целевия клас, а корпусът клони към по-широко разсъждение, по-техническа лексика и по-малко маркери за несигурност („може би“, „изглежда“) от истинските ученически идеи (Nguyen и Cao, 2026).

Две бележки от това изследване. Изборът на модел не е едноизмерен, защото система, която съвпада близо с идеите от уроците, все още може да ги представи над нивото на класа. И поправката често е инструкционна: явна повторна подкана за нивото на класа връща повечето модели в обхвата.

Укажи състоянието или отнеми знанието

Ако моделът знае твърде много, можеш да назовеш състоянието, в което трябва да бъде, или да извадиш знанието, което не трябва да има.

Обуслови епистемично състояние. Рамка без обучение изгражда когнитивния прототип на всеки студент от граф на знанието и оценява кандидатите от лъчево търсене срещу него, отчитайки 100% подобрение в точността на симулацията (Wu и др., 2025). Качеството ѝ расте с когнитивното ниво на студента, така че по-слабите обучаеми остават по-трудният случай, което е жалко, като се има предвид, че те обикновено са целта. Моделирането на когнитивната динамика вместо статична персона отива по-далеч: базираните на ICAP обновявания на състоянието в CogEvolution достигат R²LC = 0,92, където статичните агенти достигат 0,45, и се сриват до 0,58 без своя модул ICAP (Zhang и др., 2026).

Отнеми знанието. Потискането на 16 целеви компонента на знанието в Mistral-7B сваля точността от около 0,75 при съотношение на забравяне 10% до под 0,5 при 40%, докато базовият модел се държи близо до 0,85. Потиснатото знание се оказва възстановимо чрез контролирано преучване и диалог с насочване от наставник (Song, Guo и Lin, 2026). Това е най-близкото до прякото производство на новак, а възстановимостта става предимство, ако искаш симулаторът да се учи по време на сесия.

Напиши ходовете, а не персоната

Стабилността на персоната се оказва проблем на дизайна на взаимодействието, а не на избора на модел. При кръстосване на пет LLM с три дизайна на подканата и четири персони с интензитет на ADHD, скриптираните взаимодействия, закотвени в задача, елиминират наблюдавания от оценители поведенчески дрейф, с до 97% срещу неструктуриран диалог. Без явни инструкции за персоната базовото представяне на студента се измества към високи симптоми на ADHD (Gonnermann-Müller, Haase и Leins, 2026).

Ако симулаторът ти дрейфова, погледни какво го караш да прави ход по ход, преди да смениш модела или да пренапишеш описанието на студента.

Оценявай две неща, а не едно

StudentSim изисква две свойства да се държат заедно: поведенческа вярност, колко добре симулаторът съвпада със собствените отговори на студента, и отзивчивост към насоките, колко надеждно се обновява към това, накъдето води насоката на преподавателя. Бенчмаркът му превръща публични корпуси от обучаеми (шах, писане на английски като втори език, математика) в протокол за всеки студент, върху който всеки симулатор се напасва и оценява по отложени записи. Проследяването на състоянието, специфично за домейна, излиза слабо по отзивчивост, а ролевата игра на LLM само с подкана излиза слаба по вярност (Yang и др., 2026). Един симулатор може да мине единия тест и да се провали на другия, затова докладвай и двете.

Като доказателство за концепцията, замразен StudentSim, използван като награда в цикъл за обучение с утвърждение с преподавател по шах, произвежда преподаватели, които експертите оценяват като по-точни, по-добре водещи и по-персонализирани от тези, обучени срещу награда от симулатор на граничен LLM или без RL изобщо. Добрият симулатор може да бъде както обучителен сигнал, така и измерване.

Вярността на ниво действие има свой собствен предел. Симулаторите на студенти възпроизвеждат наблюдаеми действия без скритото разсъждение зад тях, а INSIDE дообучава моделите да генерират вътрешен диалог преди всяко действие, достигайки най-високо съответствие между генерираното разсъждение и реалните редакции на код при 51,8% на познати задачи и 57,9% на непознати, без загуба на вярност на действието (Niousha и др., 2026). Ако те интересува защо симулираният ти студент е направил нещо, съвпадението на действието не е достатъчно.

Валидирай срещу истински обучаеми и докладвай базовото ниво

Две сравнения показват колко струва валидацията.

Сравнението на девет метода за симулация срещу седем базирани на референция метрики върху 382 отложени диалога от най-големия публичен корпус от реални диалози студент-преподавател по математика показва, че подканата изостава от дообучаването по речеви актове (0,4998 срещу 0,6840), ROUGE-L (0,1648 срещу 0,3212) и косинусово сходство (0,5460 срещу 0,7390). Най-добрият тестван метод, оптимизация по предпочитания върху модел с 8B параметъра, надминава дообучаването с учител само маргинално и е по-слаб по грешки, а човешка оценка с три преподаватели възпроизвежда това класиране (Scarlatos и др., 2026). Върхът на тази стълбица е близо до средата, така че базовото ниво, което докладваш, решава колко впечатляващо изглежда твоето число.

SWIM е най-ясното сравнение на подкана, дообучаване и обучение с утвърждение, защото оценява всяко генерирано есе срещу целеви профил на чертите, вместо да го съди импресионистично. Подканата, закотвена в рубрика, дава ограничен контрол дори при силни патентовани модели, с най-добър среден QWK за чертите 0,577 (Claude Sonnet) и 0,422 (GPT-5.4), и близо до нула при отворен модел с 7B. Дообучаването с учител върху двойки реална оценка и есе достига 0,474 ± 0,023 за този модел с 7B. GRPO с награда, извлечена от автоматизирано оценяване на есета, достига 0,618 ± 0,005, като подобренията се запазват при два независими оценителя, срещу които политиката никога не е обучавана (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Подканата също произвежда идеализирана популация, а не реалистична: среден нормализиран общ резултат 0,74 срещу 0,58 за истински студенти и медианна дължина 304 думи срещу 167. Обучените модели възстановяват човешките разпределения на резултата и дължината без никакъв надзор върху дължината. Едно нещо остава трудно: автентичната форма при ниска компетентност. Обучените модели възстановяват синтаксиса, но пишат твърде малко правописни и граматични грешки, докато подканата симулира слабост чрез повърхностно разваляне, разпръснати правописни грешки върху иначе компетентна проза.

Повърхностният реализъм е слаб тест в двете посоки. В заслепено изследване експертни оценители погрешно класифицират 164 от 196 (83,7%) генерирани от LLM решения на Java като написани от човек, защото грешките са функционално неразличими от автентичните, а съответствието с реалните грешки после пада с нарастването на трудността на задачата (Keramati и др., 2026). При седем модела от 4B до 120B параметъра симулаторите обръщат към верния отговор с почти еднакви проценти независимо от обратната връзка, която получават, така че сходството на резултата не казва нищо за състоянието на вярване зад него. Обучението срещу Selective Flip Score вдига вярността с до +0,56 (Do, Sonkar и Sachan, 2026).

Провери дали едно описание би свършило работа

Преди да изградиш кохорта, провери по-евтиния вариант. За оценяване на онлайн учебно преживяване, преди студентите да се включат, за предсказване на отпадане и завършване и за обратна връзка по дизайна, един „описващ“ уеб агент, който минава през урока и произвежда богато описание на преживяването, превъзхожда прякото симулиране на популация от студенти.

Симулираните студенти в това сравнение показват много по-малък поведенчески диапазон от истинските обучаеми: при 100 агента в пет тестови урока те възпроизвеждат само около 4% от пътищата, които истинските студенти поемат, като същевременно струват значително повече изчислителни ресурси. Конвейерът опиши-после-предскажи постига най-доброто предсказване на разпределението на отпадането в масивен глобален курс CS1, със среден JSD 0,060 (Wang, Mitchell и Piech, 2025).

Границата, която той очертава, е практична. Симулирането на разпределение от студенти може да е ненужно или контрапродуктивно, когато целта е предсказване на резултат или критика на дизайна. Симулацията си заслужава цената, когато покриването на истинската вариация сред обучаемите има значение, например одит на отношението на AI към различни профили или даване на учител, срещу когото да репетира.

Какво създателите разбират погрешно тук

Повърхностният реализъм е целта. Процент на погрешна класификация 83,7% за машинно написан код и почти еднаквото обръщане на отговора при седем модела казват едно и също: човешки съдия, който чете резултата, не вижда свойството, което твърдиш. Тествай вместо това реакцията на корекция.

По-добра подкана за персона поправя дрейфа. Скриптираните ходове, закотвени в задача, намаляват наблюдавания от оценители дрейф с до 97% при пет модела и три дизайна на подканата. Работата я свърши дизайнът на ходовете.

По-силен базов модел затваря разликата в компетентността. Силният патентован модел получава 0,422 по QWK за чертите при подкана, докато дообучен модел с 7B достига 0,474, а същото сравнение на шест модела превишава най-силно точно при най-малките класове. Изборът на модел разменя една ос на вярност срещу друга.

Валидация означава, че колега е прочел транскрипт и е счел, че звучи правилно. Резултатът с Java показва докъде стига тази преценка. Валидация означава отложени записи от истински обучаеми и базово ниво, което можеш да назовеш.

Симулирането на популация е старателният вариант. При 100 агента симулациите покриват около 4% от пътищата, които истинските студенти поемат, при значително по-високи изчислителни разходи от описващия агент.

Какво ще ти се върне

„Учителите не можаха да различат нашия симулатор от студент.“ В заслепеното изследване с Java експертните оценители класифицират погрешно 83,7% от машинните решения като човешки. Това измерва оценителите и оставя състоянието на вярване неизследвано.

„Дообучаването е извън обхвата на екипа ни.“ Тогава ограничи твърдението до това, което подканата подкрепя, и го кажи. Подканата постави таван от 0,577 за най-силния тестван модел и близо до нула за отворен модел с 7B, и произведе идеализирано разпределение на резултата.

„Нямаме достъп до данни от истински обучаеми.“ Протоколът на StudentSim е изграден от публични корпуси от обучаеми по шах, писане на втори език и математика. Публичните данни ограничават какво можеш да твърдиш за собствената си популация, но ти дават базово ниво, а именно това повечето доклади пропускат.

„GRPO победи дообучаването с учител, значи трябва да обучаваме с RL.“ Победи, при 0,618 срещу 0,474. Формата при ниска компетентност остана трудна и в двата случая, с твърде малко правописни и граматични грешки, а в отделен бенчмарк оптимизацията по предпочитания надмина дообучаването само маргинално и загуби по грешки. Провери от кое свойство зависи твоят случай на употреба.

„Най-слабите обучаеми са малка част от потребителите ни.“ Те са най-трудният случай за всеки метод на тази страница, а откритието за покритието казва, че симулациите се струпват в най-лесния квадрант. Ако симулаторът ти ще се използва, за да се правят изводи за затрудняващи се студенти, тази празнина принадлежи в описанието на резултатите.

Какво да направиш тази седмица

1. Напиши изречението за покритието: кои обучаеми този симулатор не представя. Сложи го в README и в бележките за демонстрацията.

2. Добави в тестовия си набор една проба, която коригира симулатора и проверява дали остава в грешка.

3. Замени свободния чат с персона в един поток със закотвени в задача ходове и сравни дрейфа.

4. Оцени един съществуващ симулатор срещу отложени реални записи по вярност и по отзивчивост и докладвай двете числа отделно.

5. Пусни проверката с описващия агент върху въпроса, на който наистина ти трябва отговор, преди да финансираш кохорта.

Накъде след това

Симулиране на студенти е пълната концептуална страница. Проверка дали образователният AI работи покрива оценяването на системите, които тестваш срещу симулатор, а Как да направим AI по-добър в подкрепата на ученето покрива методите за обучение зад резултатите от дообучаването тук. Справяне с често срещани погрешни представи за AI в образованието разглежда дали симулираните студенти могат да заменят истински обучаеми в изследванията.