Hur får vi en simulerad student att bete sig som en verklig student?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Du har en demo på torsdag. Den simulerade studenten i den missar ett bråkproblem, får en enda ledtråd och producerar sedan rätt svar med rätt förklaring. Någon i rummet frågar varför en student som kämpar skulle göra så, och du har inget svar.

Inför nästa demo behöver du ha det här klart för dig: att prompta en modell att spela student producerar ljudet av en student. Det som producerar beteendet är en begränsning av vad simulatorn vet, struktur i turerna och validering mot data från verkliga studenter. Bara 3 % av studierna som simulerar studenter validerar sin simulator efter användning, så ingen kommer att kontrollera detta åt dig.

Kortversionen

1. Skriv ner vilka studenter du inte simulerar, och sätt den meningen där dina användare läser den.

2. Testa övertygelsetillståndet, inte prosan. Fråga vad simulatorn säger efter en korrigering.

3. Begränsa kunskapen medvetet: specificera det epistemiska tillståndet, eller ta bort kunskapen.

4. Skripta interaktionen tur för tur. En bättre personaprompt löser inte drift.

5. Poängsätt beteendetrogenhet och vägledningslyhördhet separat, mot data från verkliga studenter.

Bestäm vilken fråga simulatorn svarar på

Tre jobb klumpas ihop under ”simulerad student”, och de behöver olika maskineri. Att öva på att vara lärare eller handledare kräver en partner som beter sig trovärdigt under press. Att granska hur en AI behandlar olika studentprofiler kräver täckning av de profiler du bryr dig om. Att förutsäga utfall för en kurs kräver en fördelning av studenter snarare än en övertygande individ. En simulator byggd för det första jobbet kommer att göra dig besviken på det tredje, och evidensen nedan håller dem hela tiden isär.

Namnge de studenter du inte täcker

Det mest användbara fyndet för den som är på väg att lita på en simulator handlar om täckning. Tolv lärare som handledde LLM-studenter rapporterade alltför komplext språk, saknad känsla, onaturlig uppmärksamhet och oförklarade kunskapskliv, och simuleringarna representerade bara en av fyra kvadranter av verkligt studentbeteende (Martynova et al., 2026). Den kvadrant de täckte var den enklaste att simulera.

Det spelar roll eftersom nästan ingen kontrollerar. Bara 3 % av studierna som simulerar studenter validerar sin simulator efter användning. Om du bygger en och hoppar över valideringen tillhör du den överväldigande majoriteten, och du är också anledningen till att statistiken fortsätter att vara citerbar.

Begränsa vad simulatorn vet

En kapabel modell kan inte lätt låtsas vara en delvis kunnig person. Forskningen kallar detta kompetensparadoxen: brett kapabla modeller som ombeds efterlikna delvis kunniga studenter producerar orealistiska felmönster och inlärningsdynamik.

Driften har en riktning, och den pekar mot de studenter som mest behöver simuleras. Mot studentidéer hämtade från 49 NGSS-anpassade naturvetenskapslektioner höll sex modeller de flesta idéer inom det förväntade kunskapsomfånget och ungefär två tredjedelar på eller under måläsnivån, och sköt sedan över målet precis där studenten var yngst. Idéer från låg- och mellanstadiet överskred oftare målårskursens kunskapsomfång och läsnivå, och korpusen lutade mot bredare resonemang, mer teknisk vokabulär och färre osäkerhetsmarkörer (”maybe”, ”it seems”) än de verkliga lektionsidéerna (Nguyen and Cao, 2026).

Två noteringar från den studien. Modellval är inte endimensionellt, eftersom ett system som matchar lektionsidéerna nära fortfarande kan lägga dem över årskursen. Och reparationen är ofta instruktionsmässig: en explicit omformulering på rätt årskursnivå lyfte de flesta modeller tillbaka in i intervallet.

Specificera tillståndet, eller ta bort kunskapen

Om modellen vet för mycket kan du namnge det tillstånd den borde vara i eller subtrahera den kunskap den inte borde ha.

Betinga på ett epistemiskt tillstånd. Ett träningsfritt ramverk bygger varje students kognitiva prototyp från en kunskapsgraf och poängsätter beam-search-kandidater mot den, och rapporterar en förbättring på 100 % i simuleringsnoggrannhet (Wu et al., 2025). Dess kvalitet stiger med studentens kognitiva nivå, så svagare studenter förblir det svårare fallet, vilket är olyckligt med tanke på att de oftast är poängen. Att modellera kognitiv dynamik i stället för en statisk persona går längre: CogEvolutions ICAP-baserade tillståndsuppdateringar nådde R²LC = 0,92 där statiska agenter når 0,45, och föll till 0,58 utan sin ICAP-modul (Zhang et al., 2026).

Ta bort kunskapen. Att undertrycka 16 riktade kunskapskomponenter i Mistral-7B sänkte noggrannheten från cirka 0,75 vid ett glömskeförhållande på 10 % till under 0,5 vid 40 %, medan basmodellen låg kvar nära 0,85. Den undertryckta kunskapen visade sig återvinnbar genom övervakad omlärning och coachstyrd dialog (Song, Guo & Lin, 2026). Detta är det närmaste man kommer att tillverka en nybörjare direkt, och återvinningsbarheten blir en funktion om du vill att simulatorn ska lära sig under en session.

Skripta turerna, inte personan

Personastabilitet visar sig vara ett interaktionsdesignproblem snarare än ett modellvalsproblem. När fem LLM:er korsades med tre promptdesigner och fyra ADHD-intensitetsprofiler, eliminerade skriptade uppgiftsförankrade interaktioner observatörsbedömd beteendedrift, med upp till 97 % mot oskriptad dialog. Utan explicita personainstruktioner lutade basrepresentationen av studenter mot höga ADHD-symtom (Gonnermann-Müller, Haase & Leins, 2026).

Om din simulator driver, titta på vad du ber den göra tur för tur innan du byter modell eller skriver om beskrivningen av studenten.

Poängsätt två saker, inte en

StudentSim kräver att två egenskaper håller ihop: beteendetrogenhet, hur väl simulatorn matchar en students egna svar, och vägledningslyhördhet, hur tillförlitligt den uppdaterar sig mot det som handledarens vägledning pekar på. Dess benchmark gjuter offentliga studentkorpusar (schack, engelsk skrivning som andraspråk, matematik) till ett protokoll per student där vilken simulator som helst anpassas och poängsätts på undanhållna data. Domänspecifik tillståndsspårning kom ut svagt på lyhördhet, och LLM-rollspel med bara prompt kom ut svagt på trogenhet (Yang et al., 2026). En simulator kan klara det ena provet och misslyckas med det andra, så rapportera båda.

Som konceptbevis producerade en fryst StudentSim, använd som belöning i en förstärkningsinlärning-loop för schackhandledning, handledare som experter bedömde som mer träffsäkra, bättre vägledda och mer personaliserade än de som tränats mot en belöning från en frontier-LLM-simulator eller helt utan RL. En bra simulator kan vara både träningssignalen och mätningen.

Trogenhet på handlingsnivå har sin egen gräns. Studentsimulatorer reproducerar observerbara handlingar utan det latenta resonemanget bakom dem, och INSIDE finjusterar modeller att generera en intern dialog före varje handling, och når den högsta samstämmigheten mellan genererat resonemang och verkliga kodändringar på 51,8 % på bekanta problem och 57,9 % på osedda, utan att förlora handlingstrogenhet (Niousha et al., 2026). Om du bryr dig om varför din simulerade student gjorde något räcker det inte att matcha handlingen.

Validera mot verkliga studenter och rapportera baslinjen

Två jämförelser visar vad validering kostar.

Vid benchmarkning av nio simuleringsmetoder mot sju referensbaserade mått på 382 undanhållna dialoger från den största offentliga korpusen av verkliga student-handledar-dialoger i matematik, låg promptning efter finjustering på dialoghandlingar (0,4998 mot 0,6840), ROUGE-L (0,1648 mot 0,3212) och cosinuslikhet (0,5460 mot 0,7390). Den bästa testade metoden, preferensoptimering på en 8B-modell, slog övervakad finjustering bara marginellt och var sämre på fel, och en mänsklig utvärdering med tre handledare reproducerade rangordningen (Scarlatos et al., 2026). Toppen av den här stegen ligger nära mitten, så baslinjen du rapporterar avgör hur imponerande ditt eget tal ser ut.

SWIM är den tydligaste jämförelsen av promptning, finjustering och förstärkningsinlärning, eftersom den poängsätter varje genererad uppsats mot en målegenskapsprofil i stället för att bedöma den impressionistiskt. Rubrikförankrad promptning gav begränsad kontroll även för starka proprietära modeller, med bästa genomsnittliga egenskaps-QWK på 0,577 (Claude Sonnet) och 0,422 (GPT-5.4), och nära noll för en öppen 7B-modell. Övervakad finjustering på verkliga poäng-uppsats-par nådde 0,474 ± 0,023 för den 7B-modellen. GRPO med en belöning härledd från automatisk uppsatspoängsättning nådde 0,618 ± 0,005, med vinster som höll i sig hos två oberoende bedömare som policyn aldrig tränats mot (SWIM).

Promptning producerade också en idealiserad population snarare än en realistisk: genomsnittlig normaliserad totalpoäng 0,74 mot 0,58 för verkliga studenter, och en medianlängd på 304 ord mot 167. De tränade modellerna återvann människornas poäng- och längdfördelningar utan någon längdövervakning. En sak förblev svår: autentisk lågkompetent form. Tränade modeller återvann syntax men skrev för få stav- och grammatikfel, medan promptning simulerade svaghet genom ytlig förvrängning, stavfel sprejade över annars kompetent prosa.

Ytrealism är ett svagt prov i båda riktningarna. I en blindad studie felklassificerade expertannotörer 164 av 196 (83,7 %) LLM-genererade Java-inlämningar som människoskrivna, eftersom felen var funktionellt oskiljbara från autentiska, och samstämmigheten med verkliga fel föll sedan när problemets svårighetsgrad steg (Keramati et al., 2026). Över sju modeller från 4B till 120B parametrar växlade simulatorer till rätt svar i nästan enhetliga frekvenser oavsett vilken återkoppling de fick, så likhet i utdata säger ingenting om övertygelsetillståndet bakom den. Träning mot Selective Flip Score lyfte trohet med upp till +0,56 (Do, Sonkar & Sachan, 2026).

Kontrollera om en beskrivning räcker

Innan du bygger en kohort, kontrollera det billigare alternativet. För att utvärdera en onlineinlärningsupplevelse innan studenter engagerar sig, förutsäga avhopp och slutförande och ge designåterkoppling, överträffade en enda ”beskrivande” webbagent som går igenom lektionen och producerar en rik beskrivning av upplevelsen att direkt simulera en population av studenter.

De simulerade studenterna i den jämförelsen visade långt mindre beteendemässigt spann än verkliga studenter: över 100 agenter på fem testlektioner reproducerade de bara cirka 4 % av de vägar verkliga studenter tog, samtidigt som de kostade betydligt mer beräkningskraft. Beskriv-och-förutsäg-pipelinen uppnådde den bästa förutsägelsen av avhoppsfördelningen på en massiv global CS1-kurs, med en genomsnittlig JSD på 0,060 (Wang, Mitchell & Piech, 2025).

Gränsen den drar är praktisk. Att simulera en fördelning av studenter kan vara onödigt, eller kontraproduktivt, när målet är utfallsprognos eller designkritik. Simulering förtjänar sin kostnad när det spelar roll att täcka verklig variation bland studenter, som att granska en AI:s behandling av olika profiler eller att ge en lärare något att öva mot.

Vad byggare missförstår om detta

Ytrealism är målet. En felklassificeringsgrad på 83,7 % för maskinskriven kod och nästan enhetligt svarsväxling över sju modeller säger båda att en mänsklig bedömare som läser utdata inte kan se den egenskap du påstår. Testa svaret på en korrigering i stället.

En bättre personaprompt löser drift. Skriptade uppgiftsförankrade turer skar observatörsbedömd drift med upp till 97 % över fem modeller och tre promptdesigner. Det var designen av turerna som gjorde jobbet.

En starkare basmodell stänger kompetensgapet. En stark proprietär modell fick 0,422 på egenskaps-QWK under promptning medan en finjusterad 7B nådde 0,474, och samma jämförelse över sex modeller sköt över värst på de yngsta årskursnivåerna. Modellval byter en trogenhetsaxel mot en annan.

Validering betyder att en kollega läste en transkription och tyckte att den lät rätt. Java-resultatet visar hur långt det omdömet bär. Validering betyder undanhållna data från verkliga studenter och en baslinje du kan namnge.

Att simulera en population är det grundliga alternativet. Över 100 agenter täckte simuleringarna cirka 4 % av de vägar verkliga studenter tog, till betydligt högre beräkningskostnad än den beskrivande agenten.

Vad som kommer att slå tillbaka mot dig

”Lärarna kunde inte skilja vår simulator från en student.” I den blindade Java-studien felklassificerade expertannotörer 83,7 % av maskininlämningarna som mänskliga. Det mäter annotörerna, och det lämnar övertygelsetillståndet oundersökt.

”Finjustering ligger utanför vårt teams räckvidd.” Begränsa då påståendet till vad promptning bär, och säg det. Promptning satte ett tak på 0,577 för den starkaste testade modellen och nära noll för en öppen 7B, och den producerade en idealiserad poängfördelning.

”Vi har ingen tillgång till data från verkliga studenter.” StudentSims protokoll är byggt av offentliga studentkorpusar i schack, andraspråksskrivning och matematik. Offentliga data begränsar vad du kan hävda om din egen population, och det ger dig en baslinje, vilket är det som de flesta rapporter utelämnar.

”GRPO slog övervakad finjustering, så vi borde träna med RL.” Det gjorde den, med 0,618 mot 0,474. Lågkompetent form förblev svår i båda fallen, med för få stav- och grammatikfel, och i ett separat benchmark slog preferensoptimering finjustering bara marginellt och förlorade på fel. Kontrollera vilken egenskap ditt användningsfall är beroende av.

”De svagaste studenterna är en liten del av våra användare.” De är det svåraste fallet för varje metod på den här sidan, och täckningsfyndet säger att simuleringarna klustrar i den enklaste kvadranten. Om din simulator ska användas för att dra slutsatser om studenter som kämpar hör det gapet hemma i skrivningen.

Vad du ska göra den här veckan

1. Skriv täckningsmeningen: vilka studenter den här simulatorn inte representerar. Sätt den i README och i demonoteringarna.

2. Lägg till en sond i din testuppsättning som korrigerar simulatorn och kontrollerar om den fortsätter att ha fel.

3. Byt ut fri personachatt i ett flöde mot uppgiftsförankrade turer, och jämför drift.

4. Poängsätt en befintlig simulator mot undanhållna verkliga data på både trogenhet och lyhördhet, och rapportera de två talen separat.

5. Kör den beskrivande agentens kontroll på den fråga du faktiskt behöver svar på innan du finansierar en kohort.

Vart du går härnäst

Att simulera studenter är den fullständiga begreppssidan. Att kontrollera om pedagogisk AI fungerar handlar om att utvärdera systemen du testar mot en simulator, och Att göra AI bättre på att stödja lärande handlar om träningsmetoderna bakom finjusteringsresultaten här. Att hantera vanliga missuppfattningar om AI i utbildning tar upp huruvida simulerade studenter kan ersätta verkliga studenter i forskning.