Hur vet vi att en pedagogisk AI fungerar korrekt, inte bara får bra poäng?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

En leverantörs utvärderingsrapport landar med en enda siffra högst upp: överensstämmelse med mänskliga bedömare, 0,84. Eller din pilot avslutas på fredag och evidensen består av en nöjdhetsenkät plus en benchmarkrad kopierad från modellens versionsanteckningar. I mötet frågar någon om systemet fungerar, och du har en siffra som låter som ett svar.

Det korta svaret: de poäng du oftast ser mäter likhet, och likhet är ett svagare påstående än ”det här undervisar” eller ens ”den här återkopplingen går att läsa”. Bestäm vad varje siffra får bevisa, poängsätt varje output ditt system producerar, och förvandla träffsäkerhet till en regel med ett tröskelvärde, en person och en besparing kopplad till sig. En siffra som ingen kan agera på är inte evidens.

Kortversionen

1. Skriv en mening som namnger det du bryr dig om, och välj sedan ett mått som läser just det. Ordöverlapp säger dig inte om resonemanget är riktigt.

2. Utvärdera varje output för sig. En stark betygspoäng säger ingenting om återkopplingsmodulen bredvid.

3. Låt en person skatta omkring femtio outputs och jämför de skattningarna med din automatiska kontroll. Där de två är oense är det kontrollen som är föremål för prövning.

4. Byt ut ”träffsäkerhet 0,84” mot en regel: under den här konfidensen läser en människa svaret. Rapportera tröskeln, andelen arbete den sparar och vad överensstämmelsen blev.

5. Testa säkerhet över hela samtal, och kontrollera varje simulerad student innan du litar på vad den säger om din handledare.

Bestäm vad siffran får bevisa

Två familjer av siffror dominerar den här litteraturen. Båda mäter hur nära din output liknar något annat, vilket är ett svagare påstående än korrekthet.

Likhetspoäng (ROUGE och BLEU) jämför formuleringen i ditt systems svar med formuleringen i ett referenssvar. En modell som skriver något nära den förväntade texten får hög poäng, även när dess resonemang är fel, eller när en student kan nå rätt svar via en väg som inte lär ut något.

Överensstämmelsepoäng (QWK, kvadratiskt viktad kappa) mäter hur nära modellens betyg ligger en människas. En modell kan matcha bedömaren på slutbetyget medan den har fel om varför, och varför är den del studenten lär sig av.

En student kan nå ett fel svar via en fel väg som ser ut som en riktig, och ingen likhetspoäng märker det. Om resonemanget är det du bryr dig om måste måttet läsa det: en bedömningsmatris tillämpad av en person, eller en kontroll skriven för just det steget.

Assistenten för kursen i linjära styrsystem rapporterar detta på rätt sätt. Dess bästa konfiguration nådde en likhetspoäng på 0,4093 mot referenssvar, med förbättringen mätt tillförlitligt över noll, och författarna anger rakt ut att siffrorna mäter formulering och format (finjusterad fråge-och-svar-modell för en kurs i styrsystem). Poängen är oansenlig och artikeln är ändå användbar, eftersom den säger vad poängen täcker.

Poängsätt varje output för sig

I WrAFT-projektet nådde en finjusterad modell en överensstämmelsepoäng på 0,84 med mänskliga bedömare över 360 undanhållna TOEFL-uppsatser. Det är ett starkt resultat för betygssättning. Samma projekts modell som tränats att skriva återkoppling producerade output som var trunkerad och omöjlig att tolka, medan det att helt enkelt prompta en annan modell gav återkoppling som lärarna föredrog (automatiserad skrivutvärdering av argumenterande text).

Kunskapsbasen bär samma fel i en andra form: en utplacering vars betygsmodul fick bra poäng och vars återkoppling kom avskuren mitt i en mening och oläsbar. Inget i rubriksiffran sa det.

Lista därför de outputs ditt system producerar och ge var och en sitt eget mått och sitt eget godkännandevillkor. Betygssättning, återkopplingstext, val av ledtråd och säkerhetsavvisningar brister på olika sätt, och en poäng på modulnivå kan inte se förbi sin egen modul.

Sätt en människa där modellen är osäker

En korrelation säger att modellen oftast har rätt. Den säger inte vad du ska göra de gånger den inte har det. Resultatet med konfidensrouting är den renaste mallen i kunskapsbasen, och den är kort nog att kopiera.

Konfidens visade sig vara en tillförlitlig varningssignal: när modellen var osäker hade den större sannolikhet att ha fel (β = -0,602, p < 0,001). Teamet skickade de minst säkra 20 % av svaren till en människa. Den enda regeln höjde överensstämmelsen med mänskliga betyg från 0,78 till 0,82 och skar den manuella betygssättningen med ungefär 80 % (att veta när man kan lita på AI-bedömning).

Titta på vad rapporten innehåller: en tröskel, en person och en besparing. ”Överensstämmelse 0,84” innehåller ingen av dem, vilket är varför den är svår att agera på och lätt att argumentera om.

Kontrollera din automatiska kontroll mot en människa

Många team använder nu en andra modell för att bedöma den första. Upplägget är rimligt och den andra modellen har inte automatiskt rätt.

En studie där en frontier-modell skrev ledtrådar till ett intelligent handledningssystem fann att ungefär 35 % av dem var för allmänna, felaktiga eller gav bort svaret, och att modellens egna automatiska kvalitetskontroller var oense med mänskligt omdöme om vilka som var dåliga (personlig återkoppling med språkmodell).

Praktisk version: ta ett urval på omkring femtio outputs, låt en person skatta dem och jämför med kontrollens skattningar. Där de två går isär har du lärt dig något om kontrollen. Spara urvalet och oenighetstabellen, för det är också den artefakt som svarar en granskare som frågar hur du vet.

Mät kvantiteten själv när uppgiften tillåter

Den renaste lösningen är att träna modellen på samma kvantitet som du tänker mäta. En finjusterad modell tränades att reproducera statistiska egenskaper hos testfrågor: hur svår varje uppgift är, hur väl den skiljer starkare från svagare studenter. Den lärde sig de mönstren i stället för att få dem berättade (multimodal skattning av uppgiftsparametrar). Eftersom målet var en egenskap hos bedömningen i sig kunde utvärderingen handla om den egenskapen i stället för om formulering.

Rapportera progressionen liksom slutpunkten. SWIM:s skrivsimulator publicerade varje stegs poäng sida vid sida: matrisbaserad promptning 0,577, finjustering 0,474 ± 0,023, förstärkningsinlärning 0,618 ± 0,005 (simulering av studenters skrivande). En läsare kan se i den tabellen om träningen gjorde något. En enda slutsiffra kan inte säga det, och den döljer ett steg där den finjusterade modellen gjorde sämre ifrån sig än prompten.

Jämför mot något utanför ditt projekt

Skaffa först en baslinje, även en billig. Kursassistentens modell utan grundning fick lägre poäng än en vanlig nyckelordssökning, vilket är den sortens resultat som ändrar färdplanen och kostar en dag att hitta.

En extern benchmark säger sedan om din siffra är något att ha över huvud taget. På CDPK:s pedagogikbenchmark nådde EduQwen 96,52 % mot Gemini-3 Pro:s 90,55 % (EduQwen och pedagogisk förstärkningsinlärning). Pedagogy Benchmark, byggd av riktiga fortbildningstentor för lärare och omfattande 97 modeller, fann träffsäkerhet som spände från 28 % till 89 % (Lelièvre m.fl., 2025).

På en uppgift om undervisning spände modellerna från dåliga till bra, så ett benchmarkresultat placerar ditt system någonstans inom ett brett intervall.

Testa säkerhet över ett helt samtal

Det mesta av säkerhetstestningen kontrollerar ett enda utbyte. De skador som spelar roll i handledning ackumuleras. SafeTutors fann att även modeller byggda specifikt för undervisning försämras över ett långt samtal och kan avslöja svar de borde hålla tillbaka (SafeTutors och pedagogisk säkerhet).

Kör kontrollen över fullständiga samtal, och skriv testturerna medvetet: studenten som har fel, den som fortsätter att pressa, den som försöker prata modellen ur sin roll. En handledare som håller i tio turer och viker sig på den elfte misslyckas med det test som spelar roll, och en svit per svarspoäng kommer att bedöma den som ren.

Kontrollera den simulerade studenten innan du litar på den

Att generera simulerade studenter i stället för att rekrytera riktiga gör utvärderingen mycket billigare. En simulerad student är också ett mätinstrument, och det kan ha fel på samma sätt som instrument har fel: för samarbetsvillig, för flytande, för snabb att acceptera en ledtråd.

Det mest direkta testet i kunskapsbasen benchmärkte simulerade och promptade studenter mot 382 undanhållna dialoger ur den största offentliga samlingen av riktiga matematikdialoger mellan student och handledare, med sju mått som täckte språk, beteende och tänkande (simulerade studenter i handledningsdialoger). Annat arbete pressar på realismen från andra håll: INSIDE tränar modeller att både agera och tänka som studenter, och historikmedvetna profiler betingar simuleringen på en students förflutna i stället för på en fast persona (historikmedveten studentsimulering).

Om din testrigg är en simulerad student, validera simulatorn mot riktiga transkript innan du låter den betygsätta din handledare.

Vad utvärderingsteam missförstår

En hög överensstämmelsepoäng betyder att systemet är korrekt. Den betyder att systemet betygssätter som den bedömare du jämförde med, på de uppsatser du jämförde på. WrAFT:s 0,84 kom med återkoppling som inte gick att tolka.

En siffra kan stå för produkten. Team levererar en instrumentpanel med ”träffsäkerhet 0,84” i hörnet och inget fält för återkopplingsmodulen, ledtrådspolicyn eller avvisningsbeteendet. Poängen på modulnivå är den siffra som är enklast att beräkna och det minst informativa att rapportera.

En extern benchmark avgör om verktyget fungerar. Spridningen 28 % till 89 % i Pedagogy Benchmark säger att uppgiftsfamiljen är svår och ojämnt betjänad. Din position i det intervallet är ett faktum om din modell. Vad dina studenter kan efteråt är ett annat faktum.

En modell som bedömer en modell är en billig ersättning för mänskliga skattningar. Den är billig. Siffran 35 % och oenigheten om vilka ledtrådar som var dåliga beskriver vad en bedömare som aldrig kontrollerats släpper igenom.

Simulerade studenter gör utvärderingen gratis. De gör den billig, och de flyttar kostnaden till valideringen. Jämförelsen över 382 dialoger finns därför att instrumentet behövde kalibreras.

Vad som kommer att slå tillbaka mot dig

”Vi har inga annotatörer för det här.” Femtio skattade outputs räcker för att börja. Skatta dem själv om ingen annan är ledig, och behåll bladet.

”Vår benchmarkpoäng slår Gemini.” Det gör den, på CDPK, på de prompter som benchmarken använder. Ställ det ohjälpta måttet bredvid.

”Vår automatiska bedömare stämmer med våra mänskliga bedömare.” Då har du en korrelation på ett urval. Fråga vilka outputs den var oense om och läs dem, för det är där felet bor.

”Vi kan inte köra en full utvärdering före lansering.” Kör de tre billiga: en output poängsatt för sig, femtio outputs skattade av en person, en säkerhetsgenomgång över samtalslängd. De dyra posterna kan följa efter piloten.

”Systemet är bara en demo, så utvärdering är för tidigt.” En demo är det billigaste stället att upptäcka att din siffra mäter formulering. När det väl finns en färdplan kopplad till den kostar samma upptäckt mer att agera på.

Vad du ska göra den här veckan

1. Skriv den ena mening som din utvärdering är tänkt att stödja. Sätt den högst upp i utvärderingsdokumentet.

2. Lista varje output systemet producerar och ge var och en en rad, ett mått och ett godkännandevillkor.

3. Ta fram femtio outputs, skatta dem själv och sätt dina skattningar bredvid kontrollens.

4. Beräkna konfidensfördelningen och skriv routingregeln med en siffra i, plus namnet på personen som läser det som faller under.

5. Kör ett säkerhetssamtal där studenten har fel, pressar tillbaka två gånger och ber om svaret.

Vart du går härnäst

Hur kan vi göra AI bättre på att stötta lärande i vårt eget ämne? täcker designsidan av samma problem. Att träna AI-handledare att vägleda i stället för att svara hanterar träningsvägen till ett handledande beteende, och Att utvärdera AI-interventioner: metoder är den lärarnära versionen av den här frågan, med Att rapportera och tolka AIEd-forskning som den forskarnära. Metoderna ligger under AIEd-utvärdering och träning och finjustering av LLM:er.