Vilka mått och forskningsmetoder kan en lärare använda för att utvärdera AI-relaterade insatser?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Du körde piloten i två grupper, samlade in en enkätsutvärdering i slutet av momentet, och har ett lärarmöte om tre veckor där någon kommer att fråga om det fungerade. Eller så har en granskare frågat vad din jämförelsebetingelse var, och den andra gruppen gjorde något annat. Hur som helst: vad skulle räknas som underlag här?

Matcha metoden mot påståendet. En enkät säger om studenterna gillade aktiviteten. Om de lärde sig kräver ett prestationsmått, och om AI orsakade vinsten krävs en jämförelsebetingelse.

Kortversionen

1. Skriv påståendet i en mening, med utfallet namngivet. ”Studenter som använde handledaren fick högre poäng på den oassisterade tentan” går att pröva.

2. Kör en baslinje, insatsen, ett omedelbart eftermått och ett senare mått taget utan AI.

3. Beskriv jämförelsebetingelsen lika noggrant som behandlingen, även när den är din befintliga praktik.

4. Mät assisterad prestation och självständigt lärande separat, och behandla varje publicerat medelvärde som en hypotes om din klass.

Välj den metod din fråga kan överleva

Sidan Forskningsmetoder inom AIED anger vad varje alternativ ger. Randomiserade experiment ger starkast kausal slutledning. Kvasiexperimentella före/efter- eller matchade gruppdesigner passar intakta klasser och stöder svagare påståenden. Kvalitativa intervjuer, fokusgrupper, observationer och artefaktanalys synliggör mekanismer och oväntade upplevelser. Mixade metoder parar ihop utfallsbevis med en förklaring. Designbaserad forskning passar en lärare som förfinar en insats över iterationer.

AI-assisterad kvalitativ analys hör hemma på den listan med ett villkor. Den ordnar om en intervjukorpus på minuter, så berättigbarhet spelar lika stor roll som träffsäkerhet: dokumentera de omorganiseringar som låter en läsare granska, bestrida och revidera vägen från data till påstående.

En enkät är ett självrapporterat mått: rätt för attityder, fel för lärande.

Ge jämförelsebetingelsen ett namn

Tre betingelser gör ett kausalt påstående tolkbart: en exakt beskriven behandling, en väldefinierad jämförelsebetingelse och ett giltigt mått på varaktigt lärande. Weidlich m.fl. (2025) granskade 19 jämförelser av ChatGPT i utbildning mot de kriterierna. Fyra (21 %) uppfyllde alla tre. Behandlingen var väldefinierad i 74 %, kontrollgruppen i 42 %, och utfallet kvalificerade som lärande i 53 %.

Misslyckandemönstret är lätt att reproducera. Ett allmänt verktyg som införs vid sidan av nya aktiviteter, ny återkoppling eller ett omdesignat gränssnitt blandar ihop mediet med metoden, och det signifikanta resultatet tillhör omdesignen.

Mät de utfall du faktiskt bryr dig om

Syntesen Utvärdering av AI i utbildning rekommenderar oassisterad lärandevinst, fördröjd retention, transfer till en ny uppgift, resonemangskvalitet, missuppfattningar, upptag av återkoppling och resultat i undergrupper. Engagemang, nöjdhet, AI-användningsloggar, tilltro till egen förmåga och upplevd användbarhet är rimliga sekundära mått och dåliga ersättningar för lärande. Arbetsbelastning och tidsbesparing räknas som implementeringsutfall, en annan fråga.

Klassrumsminimumet är en baslinje, insatsen, ett omedelbart eftermått och ett senare oassisterat mått. Lägg till en jämförelsebetingelse där du kan: befintlig praktik, ingen AI, obegränsad AI mot stöttad AI, eller två alternativa designer. Poängsätt assisterad och oassisterad prestation med separata instrument, eftersom en enda bedömningsmatris blandar dem.

Läs varje siffra som en hypotes

En genomsnittlig effekt från litteraturen är en svag vägledning för ett enda klassrum. O'Neills (2026) granskning av 14 metaanalyser med stor genomslagskraft fann att ingen gav ett giltigt underlag för sina påståenden. Sammanslagna ”akademiska prestationer” blandade testresultat, motivation, tilltro till egen förmåga och attityder i en enda skattning. Heterogeniteten var extrem: I² låg mellan 77,2 % och 94,4 % i de 13 analyser som rapporterade den, och 12 av dem låg över 80 %. Alla 14 bedömde publikationsbias ogiltigt, och 61 % av de slumpmässigt granskade primärstudierna hade validitetsproblem. Fyra analyser rapporterade varians mellan studier, två rapporterade ett prediktionsintervall, och båda intervallen omfattade noll.

En bekväm poäng kan mäta fel konstrukt. I en utvärdering av åtta AI-undervisningsagenter rankades den agent som låg trea på plattformens egen poäng sist på en expertvaliderad matris, eftersom plattformspoängen indexerade studentprestation under interaktionen. Behandla ett instrumentpanelsmått som en hypotes.

Vad lärare missförstår

En nöjdhetsenkät mäter lärandet. Den mäter nöjdhet, som syntesen Utvärdering av AI i utbildning listar som ett sekundärt mått vid sidan av läranderesultat.

En före/efter-vinst visar att insatsen fungerade. Den visar att poängen steg. Huruvida måttet räknades som lärande är en separat fråga, och granskningen fann ett kvalificerande läranderesultat i 53 % av de jämförelser den granskade.

Publicerade effektstorlekar överförs till min klass. O'Neills 14 metaanalyser kunde inte bära de påståenden som byggdes på dem, och båda de rapporterade prediktionsintervallen omfattade noll.

Plattformsanalys mäter undervisningskvalitet. Zhangs tredjerankade agent låg sist på en expertmatris.

Vad som kommer att slå tillbaka mot dig

”Vi har redan kursvärderingar.” De mäter kursen, och de kommer efter den termin du behövde svaret i.

”En jämförelsegrupp är omöjlig i en intakt kurs.” Jämför mot förra årets version av samma uppgift, eller mot en andra grupp, och beskriv skillnaden ärligt. Kvasiexperimentella designer är svagare, och ändå informativa när alternativet är ett påstående utan jämförelse.

”Effektstorleken i metaanalysen är stor.” På vilket utfall, i vems klass? Båda prediktionsintervallen som O'Neill fann omfattade noll.

”Vår instrumentpanel visar starkt engagemang.” Engagemang är ett sekundärt mått på listan från Utvärdering av AI i utbildning. Sätt det oassisterade lärandemåttet bredvid.

Vad du ska göra den här veckan

1. Skriv ditt påstående som en mening och markera utfallet.

2. Lägg det senare oassisterade måttet i kalendern, efter insatsen och inte samma vecka.

3. Skriv ett stycke som beskriver jämförelsebetingelsen, med samma detaljgrad som behandlingen.

4. Ta fram de plattformssiffror du redan har och markera var och en som ett artefaktutfall eller ett läranderesultat.

5. Be en kollega läsa designen och säga vad mer som förändrades under terminen.

Vart du går härnäst

Hjälper AI studenter att lära sig? sammanfattar vad utfallsbevisen visar, och Forskningsluckor inom AIED täcker var de tunnar ut. Hur vet vi att en pedagogisk AI fungerar korrekt? är versionen av den här frågan för dem som bygger eller köper ett system.