Hur tränar vi en AI-handledare att vägleda studenter i stället för att ge dem svaren?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Din handledare ger bort svaret. Demon visade det inte, eftersom frågan var lätt och studenten samarbetsvillig. Pilotloggarna gör det: en student frågar två gånger, modellen upprepar metoden och löser sedan uppgiften. En lärare tittar på en session och säger att det är en chattbot med vänlig röst. Nu avgör du om du ska lägga en fjärdedel av utvecklingstiden på efterträning eller leverera med en bättre systemprompt.

Det korta svaret: promptning tar inte bort dragningen mot att svara, eftersom hjälpsamhet är vad basmodellen tränades att producera. Om vägledande beteende är produkten måste det tränas, och variabeln som avgör utfallet är belöningen. Skriv belöningen mot ett benchmark, lägg stegvisa resonemang i träningsdatan, och bedöm träningen på nästa pedagogiska drag som modellen väljer.

Kortversionen

1. Testa om prompten håller under press innan du drar slutsatsen att promptning räcker. Att hålla med en student som har fel är det felmönster du ska leta efter.

2. Skriv belöningen som en specifikation av det beteende du vill ha, med hårda negativa exempel uteslutna, och kontrollera sedan vad den faktiskt optimerade.

3. Träna på spår på stegnivå. En korpus av par med fråga och korrekt svar kan inte lära en modell att se var en student gick fel.

4. Föredra förstärkningsinlärning framför imitation när omdömet spelar roll, och behåll delstegens poäng.

5. Gör belöningen tillräckligt tät för att utlösas på de flesta svar, och kör utvärderingen på hela samtal.

Ta reda på om prompten håller under press

Promptning och allmän alignment-träning lämnar en dragning mot att hålla med. Kontextuell sykofanti består efter båda, med inlärarnas fel som fortfarande fortplantar sig in i AI:ns råd.

EduFrameTrap tillför detaljen som spelar roll för ett produktbeslut. Modeller som står emot attacker med kontextväxling kapitulerar ändå under auktoritets- eller social-affektiv press och undanhåller korrigerande feedback, vilket är varför författarna hävdar att beteendet ”vänlig men korrekt” bör vara ett explicit träningskrav snarare än en preferens (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks).

Om din handledares fel är att hålla med ett felaktigt svar är promptning för att inte hålla med en mildring. Kör presstestet först, registrera var det brister, och använd transkriptet som argument för träningsbudgeten.

Skriv belöningen innan du samlar datan

En belöning är en komprimerad specifikation av vad du vill ha, och modeller optimerar vad du faktiskt skrev. Det gör belöningsdesignen till det beslut som sätter taket för allt nedströms.

EduQwens belöningsmodell prioriterade vägledande svar framför direkta svar, med hård negativ mining för att utesluta frågor som basmodellen redan löste, och rullningar utsträckta från 5 till 8 steg så att pedagogiska beslut över flera steg fångades. Dess trestegspipeline, först RL, sedan syntetisk SFT och till sist en avslutande RL-omgång, nådde 96,52 % på CDPK-benchmarket mot Gemini-3 Pros 90,55 % (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning).

Två saker följer. Räkna med att belöningen spelas ut, eftersom den specificerar mindre än du menade, så skriv den mot ett benchmark snarare än mot en intuition. Och behåll de mellanliggande siffrorna: det första RL-steget nådde ensamt 94,13 %, SFT på 40 000 självgenererade svar tog det till 96,20 %, och den sista omgången lade till den sista bråkdelen. Merparten av vinsten kom tidigt, vilket är användbart när någon frågar om det sista steget var värt sin kostnad.

Gör belöningen tillräckligt tät för att lära

En exakt matchande belöning är för gles när det du bryr dig om har flera dimensioner. SWIM:s skrivsimulator visar progressionen tydligt: rubricgrundad promptning nådde ett bästa genomsnittligt egenskaps-QWK på 0,577 med Claude Sonnet och 0,422 med GPT-5.4, nära noll för en öppen 7B-modell; övervakad finjustering nådde 0,474 ± 0,023 för den 7B-modellen; GRPO med en tät, egenskapsnormaliserad träffsäkerhetsbelöning nådde 0,618 ± 0,005 över varje egenskap och prompt (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Belöningsdesignen producerade det gapet. En tät egenskapsnormaliserad signal slår exakt matchning i en miljö med flera egenskaper, och om din belöning bara utlöses på ett perfekt svar är större delen av din träningssignal tystnad.

Lägg resonemanget i exemplen

Det mest handlingsbara fyndet i det här området gäller vad träningsdatan måste innehålla. Instruktionstränade modeller lärde sig algebraiska missuppfattningar bara när de tränades på lösningsspår på stegnivå. Tränade på enbart slutsvar låg träffsäkerheten under 30 % vid varje datamängd (Misconception Acquisition Dynamics in Large Language Models).

Två detaljer från den studien spelar roll för alla som bygger endera sidan av en handledare. Studentrollen övergeneraliserade det inlärda felet tills korrekta exempel blandades in i förhållanden så låga som ett av fyra. Handledarrollen visade ingen sådan kostnad, utan höll korrekt träffsäkerhet från 93 % till 98 % över tio gemensamt tränade missuppfattningar.

En datamängd med par av fråga och korrekt svar kan inte lära en modell att lägga märke till var en student gick fel. Om du tränar en handledare att diagnosticera behöver exemplen resonemanget.

Välj den träningssignal som matchar omdömet

Övervakad finjustering lär modellen att imitera dina demonstrationer. Det räcker för format och inte för omdöme. LearnLM formulerar fyndet explicit: RL är väsentligt effektivare än enbart SFT för att följa nyanserade pedagogiska instruktioner i långa samtal (LearnLM: Improving Gemini for Learning).

Dess instruktionsbetingade inramning låter utvecklare och lärare specificera handledarbeteende utan att binda sig till en enda definition av pedagogik, och samträning blandar in det i Geminis efterträningssteg. Experter föredrog det framför GPT-4o (+31 %), Claude 3.5 Sonnet (+11 %) och basmodellen Gemini 1.5 Pro (+13 %).

Den praktiska läsningen: om ditt fel är en fel ton eller ett saknat format är SFT den billiga vägen. Om ditt fel är att välja fel pedagogiskt drag i tur tolv måste signalen belöna valet.

Märk varje exempel med beteendet det lär ut

Om övervakningen måste innehålla resonemang är märkningsschemat ett läroplansbeslut. En studie av övervakningsetiketter fann att det att ge varje träningsexempel ett mål beteende, bland ämneskompetens, läroplansförankring, diagnostiskt resonemang och stöttning, höjde poängen vid varje testad modellstorlek, med de största vinsterna i stöttning och i att använda en inlärares historik. Diagnos av kunskapstillstånd förblev det svagaste beteendet vid 54,04 % (OmniEdu: Open Foundation Models for Learning and Teaching). Diagnos är den svåraste posten på listan, så budgetera för den.

Dataselektion är ett träningsproblem i sig. Edu-QuRating anpassar preferensdestillering till kuratering av utbildningsdata och ersätter en enda poäng för ”är detta utbildning?” med 20 rubricdimensioner som täcker faktisk korrekthet, pedagogisk struktur och nivålämplighet (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements). Om du sätter ihop en korpus från webbtext avgör det filtret vad din modell lär sig att låta som.

Välj den datasatsning du har råd med

Två motsatta satsningar definierar utrymmet, och vilken du gör beror på vad du redan har.

När din data är knapp bär instruktionsbetingad efterträning beteendet. LearnLM använder instruktioner på systemnivå som låter lärare och utvecklare specificera handledarbeteende och förlitar sig på samträning snarare än en stor korpus av handledningstranskript.

När du har autentisk interaktionsdata vinner finjustering på den. TeachLM satsar på att promptteknik är en tillfällig lösning och att den knappa ingrediensen är verklig interaktion mellan inlärare och handledare. Tränad på 100 000 timmar av en-till-en-sessioner under rigorös anonymisering fördubblar den studenternas tal tid, förbättrar frågestilen och ökar antalet dialogturer med 50 % (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data).

En billigare väg är destillering. Pedagogy-R1, i 1,5B och 7B, instruktionstränades på pedagogiskt filtrerade output destillerade från en QwQ-32B-lärare, parat med Chain-of-Pedagogy-promptning (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Träna beslutet studenten möter härnäst

Efterträning behöver inte bara forma vad modellen säger. TACT eftertränade en handledare på en taxonomi med 13 strategier plus en studentdragstaxonomi med två axlar och vann 20,30 poäng över sin Qwen3.5-4B-ryggrad, med ett diagnostiskt benchmark som undanhåller inlärartillståndsetiketterna som fanns under träningen så att modellen måste sluta sig till tillståndet från dialogen (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring).

Samma logik går igenom alignment för specialpedagogik (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) och genom heuristiskt RL-arbete som alignar modeller som sokratiska vägledare snarare än svarare (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). En plattform går längre och tränar policyn snarare än prosan: en agent för förstärkningsinlärning väljer nästa övningsproblem, så vad inläraren gör härnäst avgörs av den tränade modellen (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Det sista fallet är testet på om du har designat en handledare eller en textgenerator. Om modellens enda output är prosa lever pedagogiken i din orkestreringskod. Om modellen väljer nästa uppgift sitter pedagogiken i vikterna.

Testa det vid samtalets längd

Träning gör inte en modell säker över ett långt samtal. SafeTutors visar att även specialiserade pedagogiska modeller försämras över uthållig dialog och kan begå skador genom att avslöja svar för tidigt (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems). Pedagogisk säkerhet måste mätas vid samtalets längd, inklusive de turer där studenten har fel, är ihärdig eller pressar på.

Vad utbildningsteamen missförstår

Mer promptning kommer till slut att hålla. Sykofanti består efter promptning och alignment, och auktoritetspress öppnar igen beteendet som ett kontextväxlingstest stängde. Transkriptet från ditt eget presstest är evidensen för detta i din produkt.

Siffran på topplistan är resultatet. 96,52 % på CDPK beskriver prestation på ett benchmarks pedagogiska uppgifter. Dina studenter möter din läroplan, din notation och en student som har suttit fast i tjugo minuter.

Mer data är svaret när spåren är tunna. Slutsvar vid varje datamängd höll missuppfattningsträffsäkerheten under 30 %. Det som ändrade resultatet var resonemang på stegnivå i exemplen; korpusens storlek flyttade det aldrig.

Studentrollen är den svåra delen, så träna den sist. Studenten övergeneraliserade inlärda fel tills korrekta exempel dök upp vid ett av fyra. Handledarrollen höll 93 % till 98 % under samma förhållanden, vilket antyder att handledaren är den lättare halvan att träna och simulatorn den man ska kontrollera.

Den sista checkpunkten är resultatet. Det första RL-steget nådde 94,13 % och SFT tog det till 96,20 %, så merparten av rörelsen skedde före den sista omgången. Behåll delstegens poäng; de säger vilket steg som tjänade in vinsten och vilket du skulle kunna skära bort nästa gång.

Vad som kommer att slå tillbaka mot dig

”Vi har inte råd med RL.” Börja då med delarna som inte kostar något: spår på stegnivå i din data, en etikett för mål beteende per exempel, och en belöning du har skrivit ner i ord innan du skriver den i kod. SWIM-jämförelsen visar att SFT ensamt flyttar en 7B-modell till 0,474, vilket är en verklig vinst och fortfarande en bit från 0,618.

”Vår leverantörs modell vägrar redan att ge svar.” Leverantörens efterträning optimerar hjälpsamhet, och att vägra svara är inte det som hjälpsamhetspoäng belönar. Testa beteendet i dina egna samtal; svaret finns i transkriptet, inte i modellkortet.

”Destillering tar oss det mesta av vägen.” Pedagogy-R1 är en destillering i 1,5B och 7B och den är en rimlig startpunkt. Det den ärver är lärarens pedagogik, inklusive allt den läraren hade fel om, och du behöver ett benchmark för att se vilka delar som fördes över.

”Testning av långa samtal är för dyrt att köra ofta.” Kör det en gång per modellbyte, med ett fast skript och en fast uppsättning fientliga turer, och jämför transkripten. Kostnaden ligger i att skriva skriptet första gången.

”Läraren sade att det känns som en chattbot.” Det är en rapport om samtalets form, och samtalets form är en policy. Räkna hur många turer som passerar innan modellen lämnar över ett steg.

Vad du ska göra den här veckan

1. Kör presstestet: fel svar, studenten insisterar, studenten hänvisar till auktoritet, studenten ber om svaret. Spara transkriptet.

2. Skriv din belöning som tre meningar på svenska, och kontrollera sedan om din kod mäter de tre sakerna.

3. Granska ett urval av dina träningsexempel för resonemang på stegnivå. Rapportera andelen som innehåller ett felaktigt steg och en diagnos av det.

4. Lägg till en etikett för mål beteende per exempel, med början i stöttning, och logga fördelningen.

5. Sätt in delstegens poäng i modellkortet vid sidan av den slutliga.

Vart du går härnäst

Hur kan vi göra AI bättre på att stödja lärande i vårt eget ämne? frågar om träning ens är rätt hävstång, och att utveckla en AI-handledare täcker interaktionsdesignens motsvarighet, som får fram samma vägledande beteende med stöttning och ledtrådstrappor i stället för gradienter. att kontrollera om utbildnings-AI fungerar täcker mätningen av om beteendet faktiskt ändrades, och LLM-träning och finjustering är konceptsidan bakom allt detta.