Hvordan får vi en simulert elev til å oppføre seg som en ekte lærende?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Du har en demo på torsdag. Den simulerte studenten i den bommer på en brøkoppgave, får ett hint, og produserer så riktig svar med riktig forklaring. Noen i rommet spør hvorfor en student som strever skulle gjøre det, og du har ikke noe svar.

Før neste demo trenger du såpass klarhet: å prompte en modell til å spille student gir lyden av en lærende. Det som gir atferden, er en begrensning på hva simulatoren vet, struktur i replikkene, og validering mot opptak fra ekte studenter. Bare 3 % av studiene som simulerer studenter, validerer simulatoren sin etter bruk, så ingen vil sjekke dette for deg.

Kortversjonen

1. Skriv ned hvilke studenter du ikke simulerer, og sett den setningen der brukerne dine leser den.

2. Test tilstanden til overbevisningen, ikke prosaen. Spør hva simulatoren sier etter en korreksjon.

3. Begrens kunnskapen med vilje: spesifiser den epistemiske tilstanden, eller fjern kunnskapen.

4. Skriv interaksjonen replikk for replikk. En bedre personaprompt fikser ikke drift.

5. Skår atferdsmessig troskap og veiledningsresponsivitet hver for seg, mot opptak fra ekte studenter.

Avgjør hvilket spørsmål simulatoren besvarer

Tre oppgaver blir slått sammen under «simulert student», og de trenger ulikt maskineri. Å øve som lærer eller veileder trenger en partner som oppfører seg plausibelt under press. Å revidere hvordan en AI behandler ulike studentprofiler trenger dekning av profilene du bryr deg om. Å forutsi utfall for et emne trenger en fordeling av studenter snarere enn én overbevisende enkeltperson. En simulator bygget for den første oppgaven vil skuffe deg på den tredje, og belegget nedenfor holder dem stadig fra hverandre.

Navngi studentene du ikke dekker

Det mest nyttige funnet for alle som er i ferd med å stole på en simulator, handler om dekning. Tolv lærere som veiledet LLM-studenter, rapporterte om overkomplisert språk, manglende følelser, unaturlig oppmerksomhet og uforklarte kunnskapshopp, og simuleringene representerte bare én av fire kvadranter av ekte studentatferd (Martynova et al., 2026). Kvadranten de dekket, var den enkleste å simulere.

Det betyr noe fordi nesten ingen sjekker. Bare 3 % av studiene som simulerer studenter, validerer simulatoren sin etter bruk. Hvis du bygger en og hopper over valideringen, er du i det overveldende flertallet, og du er også grunnen til at den statistikken fortsatt er sitérbar.

Begrens hva simulatoren vet

En kapabel modell kan ikke lett late som den er en delvis kunnskapsrik person. Forskningen kaller dette kompetanseparadokset: bredt kapable modeller som blir bedt om å etterligne studenter med delvis kunnskap, produserer urealistiske feilmønstre og læringsdynamikker.

Driften har en retning, og den peker mot studentene som mest trenger å simuleres. Mot studentideer hentet fra 49 NGSS-justerte naturfagsleksjoner holdt seks modeller de fleste ideene innenfor forventet kunnskapsomfang og omtrent to tredjedeler på eller under målrettet lesenivå, og skjøt så over der studenten var yngst. Ideer for barnetrinn og ungdomstrinn overskred oftere kunnskapsomfanget og lesenivået til målklassetrinnet, og korpuset lente mot bredere resonnering, mer teknisk vokabular og færre usikkerhetsmarkører («kanskje», «det ser ut som») enn de ekte leksjonsideene (Nguyen og Cao, 2026).

To merknader fra den studien. Modellvalg er ikke endimensjonalt, siden et system som treffer leksjonsideene tett, fortsatt kan legge dem over klassetrinnet. Og reparasjonen er ofte instruksjonsmessig: en eksplisitt re-prompt på klassetrinnsnivå løftet de fleste modellene tilbake i området.

Spesifiser tilstanden, eller fjern kunnskapen

Hvis modellen vet for mye, kan du navngi tilstanden den bør være i, eller trekke fra kunnskapen den ikke bør ha.

Beting på en epistemisk tilstand. Et treningsfritt rammeverk bygger hver students kognitive prototype fra en kunnskapsgraf og skårer bjelkesøk-kandidater mot den, og rapporterer en forbedring på 100 % i simuleringsnøyaktighet (Wu et al., 2025). Kvaliteten stiger med studentens kognitive nivå, så svakere studenter forblir det vanskeligere tilfellet, noe som er uheldig gitt at de vanligvis er poenget. Å modellere kognitiv dynamikk snarere enn en statisk persona går lenger: CogEvolutions ICAP-baserte tilstandsoppdateringer nådde R²LC = 0,92 der statiske agenter når 0,45, og falt til 0,58 uten ICAP-modulen sin (Zhang et al., 2026).

Fjern kunnskapen. Å undertrykke 16 målrettede kunnskapskomponenter i Mistral-7B senket nøyaktigheten fra omtrent 0,75 ved et glemmerforhold på 10 % til under 0,5 ved 40 %, mens grunnmodellen holdt seg nær 0,85. Den undertrykte kunnskapen viste seg gjenopprettbar gjennom overvåket gjenlæring og coach-veiledet dialog (Song, Guo og Lin, 2026). Dette er det nærmeste du kommer å produsere en nybegynner direkte, og gjenopprettbarheten blir en fordel hvis du vil at simulatoren skal lære i løpet av en økt.

Skriv replikkene, ikke personen

Personastabilitet viser seg å være et interaksjonsdesignproblem snarere enn et modellvalgproblem. Ved å krysse fem LLM-er med tre promptdesign og fire ADHD-intensitetsprofiler, eliminerte oppgaveforankrede skriptede interaksjoner observatørvurdert atferdsdrift, med opptil 97 % mot uskriptet dialog. Uten eksplisitte personainstrukser lente basisrepresentasjonen av studenter mot høye ADHD-symptomer (Gonnermann-Müller, Haase og Leins, 2026).

Hvis simulatoren din driver, se på hva du ber den gjøre replikk for replikk før du bytter modell eller skriver om beskrivelsen av studenten.

Skår to ting, ikke ett

StudentSim krever at to egenskaper holder sammen: atferdsmessig troskap, hvor godt simulatoren treffer studentens egne svar, og veiledningsresponsivitet, hvor pålitelig den oppdaterer seg dit veilederens veiledning peker. Benchmarket deres kaster offentlige studentkorpus (sjakk, andrespråksskriving på engelsk, matematikk) inn i en protokoll per student som enhver simulator tilpasses og skåres på tilbakeholdte opptak. Domenespesifikk tilstandssporing kom svakt ut på responsivitet, og LLM-rollespill kun med prompting kom svakt ut på troskap (Yang et al., 2026). En simulator kan bestå den ene testen og feile den andre, så rapporter begge.

Som et konseptbevis ga en frosset StudentSim brukt som belønning i en sjakkveileder-forsterkningslærings-løkke veiledere som eksperter vurderte som mer nøyaktige, bedre veiledet og mer personaliserte enn de som var trent mot en frontier-LLM-simulator som belønning eller helt uten RL. En god simulator kan være treningssignalet like vel som målingen.

Troskap på handlingsnivå har sin egen grense. Studentsimulatorer reproduserer observerbare handlinger uten den latente resonneringen bak dem, og INSIDE finjusterer modeller til å generere en indre dialog før hver handling, og når høyest samsvar mellom generert resonnering og ekte kodeendringer med 51,8 % på kjente problemer og 57,9 % på ukjente, uten å miste troskapen på handlingsnivå (Niousha et al., 2026). Hvis du bryr deg om hvorfor den simulerte studenten gjorde noe, er det ikke nok å treffe handlingen.

Valider mot ekte studenter og rapporter referansen

To sammenligninger viser hva validering koster.

Ved å benchmarke ni simuleringsmetoder mot sju referansebaserte målinger på 382 tilbakeholdte dialoger fra det største offentlige korpuset av ekte student-veileder-dialoger i matematikk, kom prompting bak finjustering på dialoghandlinger (0,4998 mot 0,6840), ROUGE-L (0,1648 mot 0,3212) og cosinuslikhet (0,5460 mot 0,7390). Den beste metoden som ble testet, preferanseoptimalisering på en 8B-modell, slo overvåket finjustering bare marginalt og var dårligere på feil, og en menneskelig evaluering med tre veiledere reproduserte den rangeringen (Scarlatos et al., 2026). Toppen av denne stigen ligger nær midten, så referansen du rapporterer, avgjør hvor imponerende ditt eget tall ser ut.

SWIM er den klareste sammenligningen av prompting, finjustering og forsterkningslæring, fordi den skårer hvert genererte essay mot en målrettet trekkprofil snarere enn å vurdere det impressionistisk. Rubrikkforankret prompting ga begrenset kontroll selv for sterke proprietære modeller, med beste gjennomsnittlige trekk-QWK på 0,577 (Claude Sonnet) og 0,422 (GPT-5.4), og nær null for en åpen 7B-modell. Overvåket finjustering på ekte skår-essay-par nådde 0,474 ± 0,023 for den 7B-modellen. GRPO med en belønning utledet fra automatisert essayskåring nådde 0,618 ± 0,005, med gevinster som holdt seg hos to uavhengige skårere som policyen aldri trente mot (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Prompting produserte også en idealisert populasjon snarere enn en realistisk: gjennomsnittlig normalisert totalskår 0,74 mot 0,58 for ekte studenter, og en medianlengde på 304 ord mot 167. De trente modellene gjenopprettet fordelingene for menneskelige skårer og lengder uten noen lengdeveiledning. Én ting forble vanskelig: autentisk lavkompetanseform. Trente modeller gjenopprettet syntaks, men skrev for få stave- og grammatikkfeil, mens prompting simulerte svakhet gjennom overfladisk korrupsjon, stavefeil spredt utover ellers kompetent prosa.

Overflaterealisme er en svak test i begge retninger. I en blindet studie feilklassifiserte ekspertannotatører 164 av 196 (83,7 %) LLM-genererte Java-innleveringer som menneskeskrevne, fordi feilene var funksjonelt uskilbare fra autentiske, og samsvaret med ekte feil falt så når oppgavens vanskelighetsgrad steg (Keramati et al., 2026). På tvers av sju modeller fra 4B til 120B parametere snudde simulatorer til riktig svar med nesten jevn hastighet uansett hvilken tilbakemelding de fikk, så likhet i utdata sier ingenting om tilstanden til overbevisningen bak. Trening mot Selective Flip Score løftet troskap med opptil +0,56 (Do, Sonkar og Sachan, 2026).

Sjekk om en beskrivelse holder

Før du bygger et kull, sjekk det billigere alternativet. For å evaluere en nettbasert læringsopplevelse før studentene engasjerer seg, forutsi frafall og fullføring og gi designfeedback, overgikk en enkelt «beskrivende» webagent som går gjennom leksjonen og produserer en rik beskrivelse av opplevelsen, det å simulere en populasjon av studenter direkte.

De simulerte studentene i den sammenligningen viste langt mindre atferdsmessig spennvidde enn ekte studenter: på tvers av 100 agenter på fem testleksjoner reproduserte de bare omtrent 4 % av veiene ekte studenter tok, mens de kostet betydelig mer datakraft. Beskriv-så-forutsi-pipelinen oppnådde den beste forutsigelsen av frafallsfordelingen på et massivt globalt CS1-emne, med en gjennomsnittlig JSD på 0,060 (Wang, Mitchell og Piech, 2025).

Grensen den trekker, er praktisk. Å simulere en fordeling av studenter kan være unødvendig, eller kontraproduktivt, når målet er utfallsforutsigelse eller designkritikk. Simulering tjener inn kostnaden sin når det å dekke ekte studentvariasjon betyr noe, som å revidere en AIs behandling av ulike profiler eller å gi en lærer noe å øve mot.

Hva utviklere gjør galt med dette

Overflaterealisme er målet. En feilklassifiseringsrate på 83,7 % for maskinskrevet kode og nesten jevn svarsnuing på tvers av sju modeller sier begge at en menneskelig dommer som leser utdata, ikke kan se egenskapen du hevder. Test responsen på en korreksjon i stedet.

En bedre personaprompt fikser drift. Skriptede oppgaveforankrede replikker kuttet observatørvurdert drift med opptil 97 % på tvers av fem modeller og tre promptdesign. Det var utformingen av replikkene som gjorde jobben.

En sterkere grunnmodell lukker kompetansegapet. En sterk proprietær modell skåret 0,422 på trekk-QWK under prompting, mens en finjustert 7B nådde 0,474, og den samme seksmodellsammenligningen skjøt verst over på de yngste klassetrinnene. Modellvalg bytter én troskapsakse mot en annen.

Validering betyr at en kollega leste en transkripsjon og syntes den hørtes riktig ut. Java-resultatet viser hvor langt den dommen rekker. Validering betyr tilbakeholdte opptak fra ekte studenter og en referanse du kan navngi.

Å simulere en populasjon er det grundige alternativet. På tvers av 100 agenter dekket simuleringene omtrent 4 % av veiene ekte studenter tok, til betydelig høyere datakraft enn den beskrivende agenten.

Hva som kommer tilbake på deg

«Lærerne kunne ikke skille simulatoren vår fra en student.» I den blindede Java-studien feilklassifiserte ekspertannotatører 83,7 % av maskininnleveringer som menneskelige. Det måler annotatørene, og det lar tilstanden til overbevisningen være uundersøkt.

«Finjustering er utenfor rekkevidden for teamet vårt.» Begrens da påstanden til det prompting støtter, og si det. Prompting satte et tak på 0,577 for den sterkeste modellen som ble testet og nær null for en åpen 7B, og den produserte en idealisert skårfordeling.

«Vi har ingen tilgang til data fra ekte studenter.» StudentSims protokoll er bygget fra offentlige studentkorpus i sjakk, andrespråksskriving og matematikk. Offentlige data begrenser hva du kan hevde om din egen populasjon, og de gir deg en referanse, som er det de fleste rapporter utelater.

«GRPO slo overvåket finjustering, så vi bør trene med RL.» Det gjorde det, med 0,618 mot 0,474. Lavkompetanseform forble vanskelig i begge tilfeller, med for få stave- og grammatikkfeil, og i et separat benchmark slo preferanseoptimalisering finjustering bare marginalt og tapte på feil. Sjekk hvilken egenskap brukstilfellet ditt avhenger av.

«De svakeste studentene er en liten del av brukerne våre.» De er det vanskeligste tilfellet for hver metode på denne siden, og dekningsfunnet sier at simuleringene klumper seg i den enkleste kvadranten. Hvis simulatoren din skal brukes til å trekke konklusjoner om studenter som strever, hører det gapet hjemme i skrivingen.

Hva du kan gjøre denne uken

1. Skriv dekningssetningen: hvilke studenter denne simulatoren ikke representerer. Sett den i README-filen og i demonotatene.

2. Legg til én probe i testsettet ditt som korrigerer simulatoren og sjekker om den forblir gal.

3. Erstatt fri personachat i én flyt med oppgaveforankrede replikker, og sammenlign drift.

4. Skår én eksisterende simulator mot tilbakeholdte ekte opptak på både troskap og responsivitet, og rapporter de to tallene separat.

5. Kjør den beskrivende agent-sjekken på spørsmålet du faktisk trenger svar på, før du finansierer et kull.

Hvor du kan gå videre

Simulerte studenter er den fulle konseptsiden. Å sjekke om pedagogisk AI virker dekker evaluering av systemene du tester mot en simulator, og Å gjøre AI bedre til å støtte læring dekker treningsmetodene bak finjusteringsresultatene her. Å håndtere vanlige misoppfatninger om AI i utdanning tar opp hvorvidt simulerte studenter kan stå inn for ekte studenter i forskning.