Vad är bästa praxis för att utveckla en effektiv AI-handledare?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Din handledare är tre veckor från en pilot. Chatten fungerar, modellen förklarar en derivata prydligt, och den interna demon fick applåder. Sedan ställer någon från det universitetspedagogiska centret frågan som din spec inte har något fält för: efter en termin med den här saken, kommer studenterna att lösa ett problem när den inte är i rummet? Det du har är en funktionslista. Det du inte har är en enda mening som säger vad studenten måste kunna göra på egen hand när kursen är slut.

En handledare är en policy lindad runt en chattbot, och policyn avgör om lärande sker. Namnge det kognitiva arbete som studenten måste utföra, låt systemet kräva det (ett försök före hjälp, en ledtrådstrappa som tonas ut, en kontroll som modellen inte kan fejka), och utvärdera med handledaren avstängd. Modellkvaliteten avgör hur bra samtalet känns. Policyn avgör vad studenten kan göra i juni.

Kortversionen

1. Skriv målet som ett påstående om prestation utan stöd, och härled varje funktion ur det. Om en funktion inte kan spåras till den meningen är det en demofunktion.

2. Bygg studentmodellen från evidens du kan logga, och lagra varje diagnos som en hypotes med ett konfidensvärde i stället för som ett faktum.

3. Lås hjälptrappan i koden, med namngivna steg, och låt gränssnittet kosta studenten något för varje steg nedåt.

4. Förankra innehållet i ditt eget material och lägg aritmetik, algebra och kodkontroll i deterministiska verktyg som inte kan hallucinera.

5. Testa undervisningsfel över hela samtal: svarsläckage, inställsamhet, förstärkning av missuppfattningar, instruktionsdrift.

6. Mät med en avvecklingsfas och ett fördröjt prov, inte med ett nöjdhetsbetyg.

Skriv målet som ett påstående om prestation utan stöd

Tre listor, skrivna innan någon väljer modell:

• Vad studenterna ska kunna eller veta efteråt.
• Vilket kognitivt arbete de själva måste utföra.
• Vad handledaren får göra åt dem.

Litteraturen om intelligent handledning gör poängen att effektiviteten beror på pedagogisk design snarare än på modellförmåga ensam, och felet är lätt att bygga av misstag. En handledare som är optimerad för ”gör klart problemet” underminerar en handledare som är optimerad för ”lär dig lösa problemet” medan den klarar varje funktionstest du skriver, eftersom båda ger korrekta slutsvar. Skillnaden sitter i vad studenten gjorde mellan frågan och svaret.

Den andra listan är där utvecklingsteamen blir konkreta. Ta en behärskningsetikett som ”behärskar derivata” och vägra låta den betyda att producera rätt derivata. Dela upp den i att känna igen när en derivata är lämplig, att tolka den som en momentan förändringstakt, att välja regel, att utföra proceduren, att förklara varför valet var rätt, att kontrollera rimlighet och att tillämpa den på ett obekant problem. Var och en av dem är en separat sak att logga, och var och en antyder ett annat svar när den saknas. Den uppdelningen är också försvaret mot fällan med det rätta svaret, där en student når rätt svar genom felaktigt resonemang och din analys registrerar en framgång. Att fånga fällan med det rätta svaret och När hjälpen inte hjälper beskriver båda versioner av det felet i produktion.

Bygg studentmodellen innan samtalet

Studentmodellen håller två slags tillstånd: skattningar per begrepp (gränsvärde: på väg, potensregeln: behärskad, produktregeln: på väg, kedjeregeln: inte visad) och hypoteser om missuppfattningar med den evidens och det konfidens som ligger bakom varje. Håll dem åtskilda. Begreppsskattningen är det som styr svårighetsvalet. Hypotesen är det som styr nästa fråga.

Var försiktig med att låta en LLM göra diagnosen själv. Benchmarking fann att LLM-handledare kunde känna igen klart korrekt resonemang men ibland avvisa giltiga alternativ eller acceptera felaktigt resonemang. En modell som ser det goda fallet och missläser det tvetydiga misslyckas just med de studenter som behöver hjälpen. För konsekvenskritiska domäner är den arkitektur som håller strukturerad diagnos plus flexibel LLM-dialog, det arrangemang som Att bekräfta det korrekta och missa resten beskriver: din egen detektor fastställer vad studenten troligen gjorde, och modellen skriver samtalet runt den upptäckten.

Ge diagnosen en explicit sekvens som modellen inte kan hoppa över: upptäck, verifiera, svara. Modellen får föreslå en missuppfattning som en hypotes, men måste sedan verifiera den mot studentens faktiska arbete eller en riktad fråga innan handledaren svarar på den. Utan det steget hittar systemet på evidens och handleder sedan studenten för ett misstag de inte gjort, vilket både är meningslöst och lätt förolämpande.

Evidens värd att logga, i grov ordning efter nytta: senaste försök med mellanliggande steg, visad kunskap per begrepp, hjälpsökande beteende (som i sig är en signal om tilltro) och självrapporterad tilltro där du samlar in den. Anpassa svårighet och stöd efter det registret, och behandla studentens senaste prompt som en av flera ingångar till det. En enda prompt är en dålig skattning av vad en student kan, och en handledare som reagerar på den kommer att slå fram och tillbaka.

Lås hjälptrappan och låt gränssnittet ta betalt för den

Skriv ned stegen innan du skriver en prompt, för trappan är ett produktbeslut med namngivna tillstånd, och en toninställning kan inte uttrycka den. En användbar sekvens:

1. Eget försök.
2. Metakognitiv fråga om vad studenten har försökt.
3. Konceptuell ledtråd.
4. Identifiera den relevanta regeln.
5. Sätt upp en del av problemet.
6. Genomräknat mellansteg.
7. Genomräknad lösning.
8. Studenten förklarar lösningen.
9. Studenten löser ett jämförbart problem utan stöd.

Stöttningen tonas ut när kompetensen ökar, vilket är mekanismen i centrum för stöttning. Att se en genomräknad lösning visar inte behärskning, så varje session som når steg sju är skyldig dig steg nio innan den räknas som klar.

Den kausala evidensen för att bygga trappan över huvud taget kommer från ett fältexperiment där ett oskyddat GPT-gränssnitt ökade matematikprestationen med stöd och sänkte den efterföljande prestationen på prov utan stöd. En handledare som gav ledtrådar tog bort nästan hela den inlärningsförlusten (Generativ AI utan skyddsräcken kan skada lärandet). Begränsningen är arkitektonisk. Samma modell, med olika hjälpbeteende, gav motsatta resultat på det mått som betyder något.

Ett större randomiserat fältexperiment med fler än 6 000 högstadieelever på en behärskningsbaserad övningsplattform visar hur trappan ser ut i loggarna. Elever som tilldelades AI-stöd progredierade långsammare och försökte på färre frågor, och de svarade mer korrekt. Den tydligaste mekanismen var korrekthet i nästa försök efter ett misstag: det behövdes färre försök för att återvända till ett korrekt svar. Det mönstret är en produktiv nedbromsning, och det är signaturen en ledtrådstrappa ska lämna (Att göra AI-handledning produktiv).

Samma studie ger en varning om dina egna instrumentpaneler. Att kräva tre korrekta svar i rad höjde plattformens definierade behärskning kraftigt utan att ge mätbara vinster på ett fördröjt prov en vecka senare. Den starkaste evidensen från det fördröjda provet uppträdde bara där AI:n satt inuti behärskningsarbetsflödet (koefficient 0,085), inte där den fanns som fristående åtkomst. Om ditt framgångsmått är en streakräknare kommer du att leverera ett system som optimerar streaken.

Friktion i gränssnittet hör hemma i samma designomgång. Obegränsade ledtrådar bakom en synlig knapp gör hela trappan till en genväg, och för tidiga ledtrådsförfrågningar med ytlig läsning är förknippade med lägre lärandevinster. Att ersätta [Hint][Hint][Hint][Show Answer] med frågorna ”vad har du försökt?” och ”vilken del blockerar dig?” (att välja regel, att ställa upp ekvationen, att göra algebran, att förstå begreppet) kostar en skärm och leder studenten till det steg de faktiskt behöver. Det ger dig också loggdata som säger vilket steg de brukar hoppa över.

Låt en kontrollfunktion ta de kontrollerbara delarna

Förankra genereringen i lärargodkänt material: avsnitt i läroboken, kursanteckningar, genomräknade exempel, terminologi, godkända metoder, notation, uppgiftsregler, policyer och kursplaneresurser. Retrievalförstärkt generering mot den korpusen minskar hallucinationsrisken och tar inte bort den, vilket RAG redogör för. Visa källhänvisningar eller proveniens i gränssnittet där en student kan kontrollera ett påstående, för källhänvisningen är det som gör förankringen granskningsbar i efterhand.

Förankring gör också ett jobb som träffsäkerhetsmått missar. En kurs har godkända metoder, och en handledare som inför en matematiskt giltig teknik som kursen inte använder har lärt studenten något de får poängavdrag för. Retrieval från kurslagret är hur handledaren håller sig inom metodmängden.

För domäner med formellt kontrollerbara svar, lägg till deterministiska verktyg: miniräknare, symboliska matematiksystem, kodkörning, kunskapsgrafer, regelbaserade validatorer och domänspecifika lösare. Arbetsfördelningen är det viktiga. LLM:en sköter förklaring och dialog. Den symboliska motorn verifierar algebraisk ekvivalens, derivator, integraler, ekvationslösningar, kritiska punkter och numeriska approximationer. Ett felaktigt mellansteg som verifieraren fångar blir ett handledningstillfälle. Ett felaktigt mellansteg som ingenting fångar blir en missuppfattning som studenten bär med sig till tentan.

Kräv att studenten agerar på återkopplingen

Återkoppling som säger ”Rätt”, ”Fel” eller ”Bra jobbat” är en poängsättningshändelse i undervisningens kläder. Kunskapsbasen behandlar återkoppling som en loop mellan erbjudande och upptag: återkoppling stöder lärande när studenter förstår den och agerar på den, och den andra halvan är den halva systemen brukar hoppa över. Bygg handledaren så att den namnger det resonemangssteg som är inblandat, säger vad som behöver omprövas, ger en konkret nästa handling och ber studenten förutsäga eller förklara innan återkopplingen visas.

Sekvensen som bär detta är student först, AI sedan, student igen. Studenten genererar, väljer, motiverar, utvärderar eller reflekterar; handledaren svarar; studenten gör något med svaret. Designa turens struktur så att detta inte är valfritt. Ett system där modellen kan producera tre stycken som svar på en fråga lär studenten att fråga och läsa.

Det långsiktiga målet är internalisering. Studenter ska till slut själva köra handledarens frågande och problemlösningsstrategier, vilket är agensargumentet och skälet till att trappan har ett översta steg där handledaren är tyst.

Designa för det som händer i tur fyrtio

Pedagogisk säkerhet är en separat testsvit från vanlig chattbotssäkerhet, och de flesta team levererar med bara den andra. Toxicitet och motstånd mot jailbreak säger ingenting om huruvida handledaren lämnar ut ett svar till en student som frågar två gånger, håller med om en fel metod eftersom studenten lät säker, driver ut ur kursens metodmängd under en lång session eller pressar en student in i kognitiv avlastning. Inställsamhet är den som kommer igenom först, eftersom instämmande läses som vänlighet och din preferensdata belönar det.

Testa för svarsläckage, förstärkning av missuppfattningar, överdrivet instämmande, olämplig svårighetsgrad, avlastning, partisk behandling, förlust av studentens agens, instruktionsdrift och överdriven säkerhet i felaktiga förklaringar. Kör testerna på utdragna samtal, inte på enstaka turer, eftersom pedagogiska fel ackumuleras: de första tio turerna kan vara föredömliga och den elfte kan göra om hela sessionen. En handledare ska vara vänlig och korrekt samtidigt, även när studenten insisterar på en missuppfattning. Pedagogisk säkerhet och AI-handledares säkerhet och pedagogiska skador lägger fram felkategorierna.

Sätt dataarkitekturen i samma designdokument

Samla bara in studentdata som är pedagogiskt nödvändig, och kunna säga varför varje fält finns. Där du har beständigt minne eller en studentmodell, gör dess syfte synligt för studenten, ge dem rimlig kontroll över den, skydda känslig information, definiera lagringstid och skicka konsekvensbeslut till en lärare eller en annan mänsklig kontrollpunkt. En studentmodell som tyst ackumulerar en konfidensskattning som studenten aldrig ser är ett dataskyddsproblem och ett pedagogiskt problem.

Granska beteendet över språkliga bakgrunder, förmågenivåer, kulturella kontexter, tillgänglighetsbehov och nivåer av förkunskaper och AI-erfarenhet. Olika prestation på samma mål är en bugg med en student kopplad till sig, och den syns inte i ditt aggregerade träffsäkerhetstal.

Ett tillgänglighetsbeslut förtjänar en egen rad: gör inte sofistikerad promptning till en förutsättning för bra undervisning. Om handledaren bara undervisar bra när en student skriver en omsorgsfull prompt, har du byggt ett system som gynnar studenter som redan vet hur man talar med modeller. Handledaren ska hjälpa studenter att formulera produktiva frågor, vilket också är en metakognitiv färdighet värd att ha.

Instrumentera avvecklingsintervallet

Sessionsmått säger inte om saken fungerar. Svarsträffsäkerhet, samtalslängd, studentpreferens, nöjdhet, uppgiftsgenomförande och engagemang stiger alla för system som inte lär ut något, eftersom studenter gillar hjälp och hjälp är lätt att mäta. Utvärdera prestation utan stöd, fördröjt kvarhållande, transfer till nya problem, korrigering av missuppfattningar, studentens självständighet, upptag av återkoppling och olika effekter mellan studentgrupper. Utvärdering av AI i utbildning har metoderna, och Den saknade utvärderingsaxeln argumenterar för att beteendet är konstruktet.

Två studier skärper regeln mot självrapportering och korta tidshorisonter. En pilot med 38 nybörjare i programmering fann ett starkt samband mellan användning av generativ AI och upplevt lärande (rs=0,802, p<0,001), medan indikatorerna för självständig progression utan lärarstöd fick lägst utfall. Författarna kallar gapet en kompetensillusion och epistemisk skuld, och det är precis det gap ett nöjdhetsmått belönar (Generativ AI som informell kognitiv handledare).

Mer grundläggande: de flesta utvärderingar stannar i det ögonblick stödet upphör. Dynamiken i kognitiv uttvättning namnger intervallet efter avvecklingen som ingen mäter och formaliserar fyra utfall: elastisk återhämtning, partiell platå, latent stöttning och överåterhämtning. Dess uttvättningskurva bär en återhämtningstidskonstant, en term för återhämtningens fullständighet och ett hysteresindex som jämför ansträngningen att lära om med den ursprungliga ansträngningen. Eftersom reversibilitet avgör allvarlighetsgrad argumenterar ramverket för att schemalagd övning utan stöd ska doseras efter återhämtningskurvan i stället för att debatteras som en principfråga. Din utvärderingsplan behöver en avvecklingsfas likaväl som ett direkt efterprov, och den randomiserade evidensen för att kortvarigt stöd sänker senare prestation utan stöd är skälet att lägga den tidigt.

Ge lärarna något att redigera

Före driftsättning, låt lärare testa realistiska studentprofiler, vanliga missuppfattningar, gränsfall, fientliga prompts, tvetydiga svar och långa handledningssamtal. Logga de pedagogiska felen och mata tillbaka dem i systemprompter, handledningspolicyer, kunskapskällor, skyddsräcken, studentmodellregler och modellval. Ett flytande svar kan fortfarande vara pedagogiskt fel, och en lärare är den enda granskare som kan se det.

Lees systematiska genomgång av 29 K-12-studier beskriver vad den tillsynen består av och var den brister. Lärarintervention är en återkommande fyrafascykel av övervakning, bedömning, intervention och orkestrering. AI-larm, instrumentpaneler och automatiska poäng ”leder inte automatiskt till pedagogisk handling”. Den starkaste lärarstrategin som genomgången finner är pedagogisk översättning: att välja ut, revidera, komplettera, sammanfatta eller stryka chattbotens återkoppling i stället för att skicka den vidare.

Två designvarningar följer, och båda motsäger den vanliga färdplanen. Mer AI-information är inte bättre: system som kontinuerligt sänder ut diagnostik överbelastade lärare och drog uppmärksamheten från deras egen observation. Prioritera det som är värt att agera på, gör det tolkningsbart och erbjud rekommendationer i en form som en lärare kan acceptera, ändra, skjuta upp eller avvisa. Mer lärarstöd är inte heller bättre: att skjuta upp interventionen så att studenter kan arbeta självständigt är i sig expertis. Strukturella villkor, alltså tid att granska data, klasstorlek och möjligheten att fysiskt nå de grupper som behöver hjälp, är en del av interventionen snarare än bakgrundslogistik. En instrumentpanel byggd för en lärare utan ledig lektion öppnas inte.

Fall ett: en handledare i analys, där verifieringen är billig

En handledare för första terminens universitetsanalys ska höja vad studenterna kan lösa och förklara självständigt efter att den tagits bort, inte maximera antalet korrekt avklarade problem. Matematikhandledning är särskilt känslig för överdriven stöttning, för tidig ledtrådsanvändning och felaktig diagnos av studentens resonemang, och alla tre syns i loggarna om du tittar (matematikundervisning).

Förankring och verifiering. Ett bygge i sex lager: kursmaterial och lärarpolicyer, sedan ett retrievallager, sedan en problemmotor och studentmodell vid sidan av en verifierare för symboliska uttryck och en diagnostikmotor, sedan ett lager för pedagogisk policy, sedan konversationsgenerering, sedan studenten, sedan tillbaka in i studentmodellen. Verifieraren är skälet till att designen är hanterbar. Den avgör om ett uttryck är ekvivalent, en derivata korrekt, en integral utvärderad, en kritisk punkt hittad, och den gör det utan att fråga modellen vad den tycker.

En interaktion. För derivering av $f(x)=(x^2+1)\sin x$ avslöjar en konventionell chattbot svaret. En lärandeinriktad handledare resonerar internt att studenten deriverade båda komponenterna men multiplicerade resultaten, en möjlig missuppfattning där produktregeln blir $f'g'$, och ställer först en diagnostisk fråga: vilken regel gäller när två funktioner multipliceras? Sedan skriver studenten produktregeln symboliskt, sätter upp $u$ och $v$, och först efter det verifierar handledaren det slutliga uttrycket. Lägg märke till hur mycket av handledningen som hände innan någon modellprosa nådde studenten.

Flera representationer. Koppla symboliska procedurer till formeln, grafen, tabellen, en verbal tolkning och en fysisk kontext med förändringstakt. Procedurell färdighet och begreppslig förståelse ser identiska ut på ett rätt lösningsblad och skiljer sig på transferproblemet.

Instrumentpanelen. Visa aggregerad evidens i stället för ogenomskinliga omdömen: ”produktregeln, 62 % visad behärskning; vanliga mönster, 18 % utelämnar en term, 11 % multiplicerar derivator”. Individuella diagnoser går ut som hypoteser med sin underliggande evidens, vilket också är det som gör dem granskningsbara för en lärare (förklararbarhet betyder mer för läraren än för studenten här).

Utvärderingsplanen. Prestation med handledaren, prestation på jämförbara problem utan den, fördröjt kvarhållande, transfer till obekanta problem, kvalitet i begreppslig förklaring, korrigering av missuppfattningar, lämpligt gentemot för tidigt hjälpsökande, svarsläckage, diagnostiska falskt positiva och falskt negativa frekvenser samt olika utfall mellan grupper. Jämförelsen som avgör projektet är med stöd mot senare utan stöd. En student som går från 60 % till 95 % med handledaren och stannar på 60 % ensam har inte fått handledning.

Fall två: en skrivcoach, där fasen avgör tillåtelsen

Skrivande har inget enda rätt svar, så verifiering är omdöme och designarbetet flyttar till fasindelning. Kunskapsbasen ramar in skrivande som en kognitiv, social och retorisk process, vilket betyder att ett AI-skrivsystem kan stödja lärande och också kan eliminera exakt det tänkande uppgiften fanns för att utveckla (skrivundervisning, coach, inte krycka).

En förmågemodell. Följ argumentation (tesens precision, samstämmighet mellan påstående och evidens, motargument), organisation (styckefokus, logisk progression, övergångar), evidens (källans relevans, integrering, tolkning), revidering (global och meningsnära revidering, utvärdering av återkoppling) och stil (klarhet, grammatik, röst). Var och en blir en separat signal i studentmodellen, vilket är det som gör riktad återkoppling möjlig över huvud taget.

Förankra coachen i uppgiften. Hämta instruktionerna, lärarens bedömningsmatris, kurslitteraturen, citeringskraven, genrekonventionerna, lärarens exempel och policyn för AI-användning, så att återkopplingen kan säga ”din lärares bedömningsmatris kräver att du kopplar varje huvudpåstående till evidens från minst två kursartiklar” i stället för att hitta på generiska förväntningar. Generiska råd är standardfelet hos ett oförankrat skrivverktyg, och studenter märker det inom två sessioner.

Sätt tillåtelser per fas. AI-inblandning i olika faser påverkar upplevt ägande olika. Stöd i planeringen minskar ägandet mindre än stöd i skrivandet, och AI-genererat utkast ger den största minskningen (Från planering till revidering). Den upptäckten översätts direkt till en tabell över tillåtelser. I planeringen ställer coachen frågor, jämför positioner, utmanar antaganden och kritiserar dispositionen, och genererar inte argumentet. I skrivandet producerar studenten prosa först och coachen utvecklar i stället för att ta över. I revideringen diagnostiserar coachen och stannar där: oklara påståenden, saknad evidens, evidens som inte stöder påståendet, organisatoriska problem, utkastet mot bedömningsmatrisen. I redigeringen, efter revideringen, hanterar den grammatik, interpunktion, koncisehet och citeringsformat.

En genomförd interaktion. För en uppsats om att kräva nätkurser skriver ett generiskt system om studentens stycke till polerad prosa och gör det intellektuella arbetet. En coach säger vad som fungerar, namnger huvudproblemet (stycket ger skäl men förklarar aldrig varför de motiverar ett krav för hela universitetet), ställer en revideringsfråga och ber studenten avsluta en mening med egna ord. Argumentet stannar där det hör hemma.

Prioriterad återkoppling. En styrka att bevara, ett högprioriterat problem, en fråga som kräver skribentens omdöme, ett konkret revideringsmål. Inte fyrtio kommentarer. En student som får fyrtio kommentarer triagerar dem efter längd, och triagen har inget med saken att göra.

Låt studenten bedöma återkopplingen. Återkopplingskompetens är ett lärandemål i sig. Fråga med jämna mellanrum om studenten håller med om ett förslag och varför, och låt dem avvisa det. Utfallet är värderande omdöme snarare än följsamhet, och det är också det enda försvaret mot en coach som har självsäkert fel.

Bevara rösten. Skilj mellan fel, klarhetsproblem, retoriska val och stilpreferenser, och lämna de två sista i fred. En coach som ”rättar” retoriska val homogeniserar skrivandet mot den stil modellen föredrar, och den gör mest skada på flerspråkiga skribenter och icke-standardiserade retoriska traditioner (kvaliteten i AI-återkoppling är den allmänna versionen av problemet).

Lär av revideringarna. Lagra revideringshistoriken, inte bara de slutliga uppsatserna. Ett återkommande mönster av ”evidens införd men inte tolkad” som förbättras över tre uppsatser är den mest användbara signal ett skrivsystem kan ha, och den är gratis.

Utvärdering. Kvalitet i AI-stött skrivande och i senare skrivande utan stöd, förmåga att hitta svagheter i obekant text, revideringskvalitet, upptag av återkoppling, förmåga att förklara revideringar, ägande, beroende av AI-prosa, bevarande av röst, bias över dialekter och flerspråkiga skribenter, samstämmighet med lärarnas omdöme och fördröjd transfer. Den design som svarar på det har tre armar: skriva självständigt, AI genererar texten, och en coach. Alla tre grupperna skriver sedan en ny uppsats utan AI. Om den AI-genererade gruppen vinner i praktiken och förlorar utan den förbättrade systemet prestationen snarare än lärandet. Mönster på klassnivå från instrumentpanelen (41 % behöver stöd med kopplingen mellan påstående och evidens) är en formativ bedömningssignal för läraren.

Jämförelse av de två byggena

Designfråga	Handledare i analys	Skrivcoach
Primärt lärandeobjekt	Matematiska begrepp och problemlösning	Argumentation och skrivprocess
Verifiering	Ofta objektivt kontrollerbar	Kräver vanligen kontextuellt omdöme
Deterministiska verktyg	Symbolisk matematikmotor, miniräknare	Grammatik, citering, kontroll mot bedömningsmatris
AI:ns huvudroll	Diagnostisera och stötta resonemang	Diagnostisera och stötta revidering
Största risk	Att ge bort lösningen	Att skriva texten åt studenten
Studenthandling som betyder något	Lösa och förklara	Utkast, utvärdera och revidera
Studentmodell	Begrepp, procedurer, missuppfattningar	Argument, evidens, organisation, revidering
Viktigaste skyddsräcke	Försök före lösning	Studentens prosa före AI-omskrivning
Transferprov	Nya analysproblem utan AI	Ny skrivuppgift utan AI
Framgångskriterium	Självständigt matematiskt resonemang	Självständigt skrivande och värderande omdöme

Båda systemen använder samma uppsättning AI-tekniker och förkroppsligar olika pedagogiska policyer, eftersom disciplinerna kräver olika slags tänkande. Regeln som generaliserar är att identifiera den kognitiva aktivitet som producerar lärandet och designa AI:n att stödja den aktiviteten utan att utföra den. Den regeln går före varje enskild modell, prompt, agentramverk eller gränssnitt.

Vad utvecklingsteam missförstår

Pedagogiken bor i systemprompten, så en omsorgsfull prompt är en pedagogisk design. En prompt är ett lager i en policy som också omfattar vilken evidens du samlar in, vilket steg gränssnittet erbjuder, vad verifieraren kontrollerar och vad instrumentpanelen visar. En välskriven prompt ovanpå en studentmodell som inte lagrar något ger en flytande handledare utan minne av studenten, och trappan börjar om varje session.

En bättre modell kommer att fixa diagnosen. Benchmarkresultatet ovan fann att LLM-handledare kände igen korrekt resonemang medan de avvisade giltiga alternativ och accepterade felaktiga, vilket är ett felmönster som skala inte uppenbart reparerar. Strukturerad diagnos finns för att modellens omdöme är den del du inte kan granska.

Nöjdhet och genomförande bevisar att designen fungerar. De bevisar att studenterna fick hjälp. Piloten med 38 programmeringsstudenter fann upplevt lärande starkt förknippat med användning medan självständig progression fick lägst utfall, och behärskningsstudien fann att ett krav på streak höjde plattformens behärskning utan vinst på fördröjt prov. Bygg in avvecklingsmåttet i piloten, annars lär du dig fel läxa effektivt.

Retrieval gör svaren pålitliga. Det minskar hallucinationsrisken och lämnar resten av felytan intakt: en hämtad passage kan missläsas, en giltig teknik kan vara fel för kursen, och modellen kan fortfarande ha självsäkert fel om ett steg den själv härlett. Retrieval är ett golv.

Att klara säkerhetssviten betyder att den är säker för studenter. Vanlig säkerhetstestning täcker toxicitet och jailbreaks. De pedagogiska fel som betyder något här, svarsläckage och inställsamhet och drift, är osynliga för den, och de ackumuleras över ett samtal i stället för att visa sig i en enskild tur.

Engagemang är målet. Samtalslängd och antal sessioner är de billigaste måtten att instrumentera, vilket är varför de befordras till mål. Stöttningsargumentet säger att den ideala sessionen blir kortare när studenten blir bättre, så en ökning i engagemang är lika sannolikt ett symtom.

Vad som kommer att slå tillbaka mot dig

”Vi levererar om sex veckor och det här är ett kvarts arbete.” Det mesta av arkitekturen är billig. En försöksspärr, en konfigurerad trappa, retrieval över anteckningar du redan har och ett loggschema med ett avvecklingsfält är några dagars arbete. De dyra posterna (studentmodell, verifierare, instrumentpanel) kan börja bakom en funktionsflagga för en kurs, och piloten är mer informativ med de billiga delarna gjorda.

”Studenterna älskar det och genomförandet är uppe.” Båda fakta är förenliga med ett system som svarar bra på frågor och inte lär ut något. Studien med 6 000 elever fann långsammare progression och färre försökta frågor vid sidan av bättre träffsäkerhet, så en nedgång i genomförande är inte automatiskt dåliga nyheter heller. Rapportera prestation utan stöd bredvid engagemangstalen och låt de två vara oense offentligt.

”Vi kan inte göra en randomiserad studie.” Du kan göra en jämförelse inom studenten utan en: samma mål, med stöd under momentet, testat utan stöd två veckor senare, med poängen med stöd rapporterad bredvid. Den designen svarar på produktfrågan och behöver ingen kontrollgrupp. Det den inte kan säga är kontrafaktualen för studenter som aldrig använde handledaren.

”Modellen är ett leverantörs-API, så hjälpbeteendet ligger utanför vår kontroll.” Stegen bor i ditt orkestreringslager, och skyddsräckesexperimentets resultat kom från att ändra vad handledaren fick säga, inte från att byta modell. Räkna med att leverantörens efterträning drar mot att svara snabbt, eftersom hjälpsamhet är vad den trimmats för, och lägg återhållsamheten i din egen kod.

”Lärarna kommer inte att använda ännu en instrumentpanel.” De kommer inte att använda en som sänder ut kontinuerlig diagnostik, vilket K-12-genomgången fann drog uppmärksamheten från deras egen observation. Ge dem ett litet antal tolkningsbara signaler, ett sätt att acceptera eller avvisa varje rekommendation, och tid i veckan att titta på dem.

”Vi har inga ämnesexperter anställda.” Då kommer handledaren att lära ut generisk metod och kursens notation driver inom en termin. En ämnesexpert i två dagar vid designtidpunkten, som skriver listan över missuppfattningar och listan över godkända metoder, är den billigaste posten i projektet och den team skär bort först.

Vad du ska göra den här veckan

1. Skriv meningen om prestation utan stöd för piloten och sätt den i specen, ovanför funktionslistan.

2. Lägg till en försöksspärr och logga den. Registrera om studenten försökte före den första ledtråden, och vilket steg de nådde.

3. Byt ut ledtrådsknappen mot frågan om blockeringspunkten, och logga svaret som en kategori.

4. Schemalägg en kontroll utan stöd två veckor efter momentet och sätt den i kalendern med en ansvarig.

5. Boka två dagar med en ämneslärare för att skriva listan över missuppfattningar och listan över godkända metoder.

Vart du går härnäst

Att designa programvara för AI i utbildning täcker de regler på programvarunivå som en handledare måste uppfylla, och Att designa in AI i lärandet täcker var handledaren sitter i en kurssekvens. Att utvärdera AI-interventioner och Att kontrollera om AI i utbildning fungerar hanterar huruvida saken fungerar. Om ditt problem är att modellen svarar för beredvilligt, arbetar Att göra AI bättre på att stödja lärande och Att träna AI-handledare att vägleda i stället för att svara igenom träningssidan av samma fråga.