Hur kan vi göra AI bättre på att stödja lärande i vårt eget ämne?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Ärendet säger ”finjustera modellen på vårt kursmaterial”. Budgeten är godkänd, ett GPU-pass är bokat till nästa månad, och en doktorand har fått i uppgift att sätta ihop ett dataset. Ingen på mötet har frågat vad en enkel prompt får för poäng, eller vad en nyckelordssökning får för poäng, på samma frågor.

Ställ de två frågorna först. I den här kunskapsbasen är gapet mellan en allmän modell och en kurskompetent modell mest ett problem med förankring och promptning, och evidensen för den ordningen är ovanligt direkt: en studie av en kursassistent fann att retrieval, inte modellen, var det avgörande första beslutet, och en allmän modell utan förankring fick poäng under en enkel TF-IDF-baslinje.

Träning är verkligt och ibland nödvändigt. Det är det tredje eller fjärde man ska pröva, och arbetet nedan är ordnat så att du tar reda på vilket trappsteg du faktiskt behöver innan du gör av med kvartalets beräkningskapacitet.

Kortversionen

1. Logga vad en enkel prompt får för poäng, och vad en trivial lexikal metod får för poäng, innan du ändrar något. Det andra talet är det som håller dig ärlig.

2. Sätt retrieval över ditt eget material framför modellen. Det är den största enskilda vinsten som rapporteras här i förhållande till kostnaden, och den är reversibel.

3. Konstruera prompten mot din rubrik och iterera tills förbättringen upphör. Platån är signalen om att träning kan tillföra något.

4. Anpassa vikterna med LoRA när målet är stabilt och snävt: ett format, en rubrik, en läsnivå, en domänvokabulär.

5. Efterträna när problemet är beteende snarare än innehåll, och skriv belöningen mot ett benchmark som du förväntar dig ska gå att lura.

6. Bygg träningssetet på stegnivå. Data med bara svar lär inte ut en missuppfattning.

Skaffa en baslinje du faktiskt kan slå

Innan du ändrar något, logga vad en enkel prompt returnerar. Logga sedan vad en trivial metod returnerar.

Studien av kunskapsbasassistenten för en kurs är värd att läsa enbart för detta. En lokal LLM utan retrieval nådde 52,3 % träffsäkerhet. En TF-IDF-baslinje, en lexikal metod som är decennier gammal, nådde 55,4 %. Modellen var sämre än den klassiska metoden.

Hoppa över det här steget och du kan inte avgöra om din finjustering hjälpte. Värre: du kan leverera ett system som en nyckelordssökning slår, och bara upptäcka det när en assistent nämner det. Två tal i ett kalkylark, framtagna på en eftermiddag, skyddar resten av budgeten.

Förankra modellen i ditt eget material

Att lägga till retrieval-augmented generation över kursmaterialet, helt utan finjustering, lyfte samma system från 52,3 % till 66,6 %. Den vinsten kom från ett index, och den kommer med en egenskap som en träningskörning inte har: när dina dokument ändras indexerar du om.

Två andra resultat pekar åt samma håll. En PRISMA-genomgång av 23 empiriska studier om att anpassa AI för skrivundervisning fann promptkonstruktion dominerande (N = 13), före finjustering (N = 7) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Där en kunskapsbas måste hållas aktuell är retrieval den enda hävstång som förblir aktuell utan att en träningskörning görs om.

Retrieval har också en pedagogisk form. Att förankra en modell i dina egna genomarbetade exempel och rubriker är hur den håller sig inom den stöttning du har designat, och svarar på den nivå du har satt i stället för att glida in i allmänna råd. Den glidningen är det vanligaste klagomålet på färdiga handledare, och det är oftare ett retrievalproblem än ett viktproblem.

Skriv prompten mot din rubrik, och håll utkik efter platån

Promptarbete är inte en förberedelse man gör medan man väntar på GPU:n. Två resultat visar vad det åstadkommer på egen hand:

• Rubrikstyrd promptning, iterativt samförfinad, höjde överensstämmelsen mellan LLM och människa på studenters designarbete från 54,75 % till 81,25 % (Cronbachs alfa 0,393 till 0,798), helt utan finjustering (From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• En litteraturförankrad anpassad prompt lockade fram målets matematiska missuppfattningar vid 0,98 förekomst, mot 0,40 för en bred prompt (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

Den praktiska signalen är platån. I studien om att generera uppgifter slutade den iterativa promptförfiningen att förbättra, och finjustering av GPT-4.1 på den optimerade prompten lade sedan till den återstående vinsten (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). En platå efter verkligt promptarbete är evidens för att träningen har utrymme att tillföra något. Att gripa efter träning innan man har nått en är att gissa, och att gissa kostar en månad.

Notera vad resultatet om uppgiftsgenerering innebär för ordningen. Finjusteringen byggdes på den optimerade prompten, så promptarbetet var inte bortkastat när teamet till slut tränade. Det billiga trappsteget är också specifikationen för det dyra.

Anpassa vikterna när målet är stabilt och snävt

Anpassning lönar sig när du behöver att modellen tillförlitligt håller en egenskap: en läsnivå, ett outputformat, en domän den saknar. Det återkommande resultatet är att inriktning slår storlek.

• Tre 8B-modeller finjusterade på en expertdesignad läskunnighetsläroplan för barn överträffade zero-shot GPT-4o och Llama 3.3 70B på svårighetsrelaterade mått, med försumbar påverkan på säkerhet. Författarna ramar in det som styrbarhet framför skala (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Ett instruktionsdataset på 24 795 exempel förankrat i indiska kunskapssystem gav en 7B-finjustering som fick 6,39 hos en extern panel med fem bedömare, inom 0,15 från en stark allmän referensmodell till en bråkdel av distributionskostnaden. Samma basmodell fick nära noll på domänspecifika dimensioner utan finjusteringen (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Gapet mellan att vara kompetent i allmänhet och kompetent här är hela argumentet för domänanpassning.
• En enda LoRA-adapter tränad på ungefär 3 900 samlade betygsatta exempel förde fem små öppna modeller (4B till 30B) till samma nivå som en mänsklig bedömare eller bättre, över två datavetenskapliga tentor (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). En adapter, ett dataset, flera basmodeller: det är den distributionsform ett litet team kan driva.

Ordet stabilt i rubriken bär vikten. Format, rubrik, läsnivå och domänvokabulär är stabila mål. Prosa som är tung av omdöme har inget sådant mål, och det är där anpassningen fallerar, vilket de två nästa avsnitten visar.

Ändra beteendet när svaren är problemet

Anpassning lär en modell vad den ska producera. Efterträning lär den hur den ska bete sig. För handledning är den distinktionen hela problemet: allmänna modeller är eftertränade på mänsklig preferens för hjälpsamhet, vilket betyder att svara snabbt, och undervisning kräver att man håller tillbaka svaret.

De starkaste utbildningsresultaten i det här materialet finns här. EduQwens belöningsmodell prioriterade uttryckligen vägledande svar framför direkta svar, och dess pipeline i tre steg nådde 96,52 % på CDPK-benchmarket mot Gemini-3 Pros 90,55 % (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). SWIM:s skrivsimulator gick från rubrikförankrad promptning (bästa QWK 0,577) till övervakad finjustering (0,474 ± 0,023) till förstärkningsinlärning (0,618 ± 0,005) över varje drag och varje prompt (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Läs SWIM-talen noggrant, för det mittersta steget gick bakåt. Övervakad finjustering på demonstrationer gjorde simulatorn sämre än prompten den utgick från, och bara belöningssignalen återhämtade förlusten och slog sedan baslinjen. Om din plan stannar vid övervakad finjustering kan planen vara en omväg.

Övervaka på stegnivå

Ett fynd här är lätt att missa och dyrt att ignorera: övervakningens kvalitet slår övervakningens kvantitet. Instruktionstränade modeller lärde sig algebraiska missuppfattningar bara när de tränades på lösningsspår på stegnivå. Tränade på enbart slutsvar låg träffsäkerheten under 30 % vid varje datamängd (Misconception Acquisition Dynamics in Large Language Models).

Om dina träningsexempel är par av fråga och korrekt svar tränar du fel sak, och att lägga till exempel reparerar det inte. Det du behöver är mellanarbetet: den felaktiga svängen, steget där studenten gick vilse, rättelsen. Att samla in det är ett dataingenjörsproblem med en pedagogisk begränsning, och det betyder oftast att logga sessioner i stället för att skrapa facit.

Där anpassningen tyst misslyckas

Det här är delen som entusiasmen hoppar över.

Prosa tung av omdöme. I WrAFT gav samma projekt som framgångsrikt finjusterade för att betygsätta uppsatser (QWK 0,84) trunkerad och otolkbar output när det finjusterade för återkoppling, medan direkt promptning av Claude 3.7 gav den återkoppling som lärarna rankade högst (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Finjusteringen lärde modellen att träffa en poäng, och att sätta poäng var det enda den lärde sig.

Överföring mellan modeller. Skala är ingen tillförlitlig förutsägelse för nedströms prestanda under LoRA-anpassning, och identiska hyperparametrar gav kvalitativt olika beteende mellan arkitekturer (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). Ett recept som fungerade på en modell är inget recept.

Arkitektur framför parameterantal. Finjustering av tre öppna text-till-bild-modeller på 1 000 bildtexterade kärntekniska bilder förbättrade Stable Diffusion XL betydligt, gav begränsade vinster för SD-v3.5-Medium, och gav ingen mätbar förbättring för Flux.1 alls (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).

Problemet var validering. En otränad GPT-4 av toppmodellsklass producerade ungefär 35 % alltför allmänna, felaktiga eller svarsavslöjande tips när den författade handledningsåterkoppling, och dess egna automatiska kvalitetskontroller gick emot mänskligt omdöme (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). Det är ett filtreringsproblem, och en LoRA löser det inte.

Mönstret över alla fyra: anpassning flyttar tillförlitligt en modell mot ett mål du kan specificera och sätta poäng på. Den tillför inget omdöme, och en pipeline som saknar en kontroll levererar fortfarande dålig output.

Budgetera anpassningen ärligt

För anpassningstrappsteget är ribban lägre än de flesta team antar: några hundra till några tusen exempel och ett enda GPU-pass. LoRA tränar ett litet antal tillagda parametrar och lämnar basvikterna frysta, så flera modeller kan serveras från en adapter.

Rang är en avvägning snarare än ett reglage att maximera. Vinst per miljon adapterparametrar föll monotont när rangen steg, och kursanpassning var ett beslut om skala och rang snarare än en gratis uppgradering (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects).

Vilka lager du anpassar är också ett verkligt val. Att uppdatera enbart de fyra sista Transformer-lagren i en BERT-baserad diskursanalysator slog både att anpassa enbart det översta lagret och finjustering i fullt djup (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model). Tre konfigurationer, tre olika resultat, och den billigaste vann.

Kostnaden som är lätt att underskatta är utvärderingen, som är större än beräkningsräkningen. Se Hur vet vi att en pedagogisk AI fungerar korrekt, inte bara får bra poäng?

Kalibrera vad du förväntar dig

Modell- och promptval står tillsammans för bara omkring 15 % av felanpassningen mellan LLM:er och studenters lärandevinster, och i den studien gjorde benchmarkviktning och ensembler med enhällig omröstning anpassningen sämre (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Förträningsdata är den dominerande hävstången för hur en modell beter sig, och det är den enda hävstång du inte kan dra i.

Inget av det argumenterar mot arbetet ovan. Det argumenterar mot att förvänta sig att en finjustering ska lösa ett designproblem. Om problemet är att din handledare svarar för beredvilligt kan träning åtgärda det. Om problemet är att dina studenter inte engagerar sig i den kommer träning inte att göra det, och siffran 15 % säger att pengarna gör bättre nytta någon annanstans.

Vad team missförstår

Finjustering är hur du lär en modell din kurs. Retrieval över ditt eget material tog samma system från 52,3 % till 66,6 % helt utan träning, och en prompt förfinad mot en rubrik flyttade överensstämmelsen från 54,75 % till 81,25 %. Träning lär ut beteende och format långt mer tillförlitligt än den lär ut innehåll.

En större basmodell tar bort behovet av allt detta. En 8B-modell finjusterad på en läskunnighetsläroplan för barn slog zero-shot GPT-4o och Llama 3.3 70B på svårighetsmått, och en 7B-finjustering landade inom 0,15 från en stark allmän referens till en bråkdel av distributionskostnaden. Storlek och passform är olika axlar, och bara en av dem går att köpa per token.

Mer data lagar ett träningsset som är byggt fel. Övervakning med bara svar lämnade träffsäkerheten under 30 % vid varje datamängd i studien om missuppfattningar. Skala reparerar inte ett mål som saknar den information modellen behöver.

Ett recept som fungerade på en modell fungerar på nästa. Identiska hyperparametrar gav kvalitativt olika beteende mellan arkitekturer, och samma finjusteringsmetod förbättrade en bildmodell betydligt och gjorde ingenting mätbart för en annan. Kör om receptet på din basmodell eller så gissar du.

Övervakad finjustering är det säkra mittensteget före förstärkningsinlärning. I SWIM fick det övervakade steget 0,474 mot 0,577 från prompten det ersatte, och bara belöningssignalen återhämtade det. Mittensteget kan kosta dig en månad och en regression.

Vad som kommer att slå tillbaka mot dig

”Budgeten är godkänd för finjustering, så då finjusterar vi.” Lägg en vecka på baslinjen och indexet först. Om retrieval flyttar talet är finjusteringen ett senare beslut fattat med bättre information, och du har antingen ett starkare argument för den eller ett gott skäl att lämna tillbaka GPU:n.

”Vårt problem är att studenterna inte använder det.” Träning ändrar vad modellen producerar. Siffran 15 % beskriver hur mycket modell- och promptval förklarar av felanpassningen mot lärandevinster, och engagemang ligger utanför den. Instrumentera var studenterna faller av innan du köper beräkningskapacitet.

”Vi kan inte skicka studentarbete till en leverantörs-API.” Det starkaste LoRA-resultatet här kom från öppna modeller i intervallet 4B till 30B, och en enda adapter betjänade flera av dem. Den distributionsformen är tillgänglig för ett team med ett GPU-pass och inget datahanteringsavtal.

”Promptning är en ful genväg; riktigt arbete betyder träning.” Genomgången av 23 studier om skrivundervisning fann att promptning var det dominerande angreppssättet och finjustering kom efter, och den största rapporterade vinsten på den här sidan kom från ett index. Både genomgången och studien av kursassistenten ordnade trappstegen efter uppmätt vinst.

”Vi prövade promptning och det nådde en platå, så vi behöver träning.” Det är rätt läsning, och det är det enda fallet där klättringen är motiverad. Ta med den optimerade prompten in i finjusteringen som teamet för uppgiftsgenerering gjorde, och förvänta dig att vinsten blir mindre än promptarbetet var.

”Vårt kursmaterial är inkonsekvent, så retrieval returnerar skräp.” Det gör den, och retrieval ärver korpusens kvalitet. Att städa korpusen är billigare än att träna en modell att arbeta runt den, och vinsten från 52,3 % till 66,6 % mättes över vanligt kursmaterial snarare än en kurerad samling.

Vad du ska göra den här veckan

1. Kör enbart en promptbaslinje och en nyckelordsbaslinje på 50 verkliga frågor från din kurs, och skriv ner båda talen.

2. Rikta retrieval mot materialet du redan har och kör om samma 50, så att vinsten mäts mot din egen baslinje.

3. Sätt in rubriken i systemprompten och iterera i en vecka. Sluta när två omgångar inte tillför något.

4. Granska ditt träningsset efter spår på stegnivå. Om det är par av fråga och svar är datasetet inte klart.

5. Skriv den enda egenskap du behöver ha tillförlitligt hållen, och avgör om den är beteende eller innehåll. Det beslutet väljer trappsteget.

Vart du går härnäst

Hur tränar vi en AI-handledare att vägleda studenter i stället för att svara dem? går igenom efterträningshalvan i detalj. Hur vet vi att en pedagogisk AI fungerar korrekt? går igenom hur du avgör om något av det fungerade. Vilka är bästa praxis för att utveckla en effektiv AI-handledare? är interaktionsdesignsidan av samma mål, och Vilka är bästa praxis för att designa pedagogisk AI-programvara? tar det omgivande systemet. Den fullständiga konceptsidan är Finjustering och träning av LLM:er.