Hvilke mål og forskningsmetoder kan en underviser bruge til at evaluere AI-relaterede interventioner?

Automatisk maskinoversættelse af denne engelske side, der endnu ikke er blevet gennemgået af en modersmålstalere.

Du kørte pilotprojektet i to hold, indsamlede en undersøgelse ved enhedens afslutning og har et fakultetsmøde om tre uger, hvor nogen vil spørge, om det virkede. Eller en bedømmer har spurgt, hvad din sammenligningsbetingelse var, og det andet hold gjorde noget andet. Uanset hvad: hvad ville tælle som belæg her?

Match metoden til påstanden. Et spørgeskema fortæller dig, om de studerende kunne lide aktiviteten. Om de lærte noget, kræver et præstationsmål, og om AI forårsagede fremgangen, kræver en sammenligningsbetingelse.

Den korte version

1. Skriv påstanden i én sætning, med udfaldet navngivet. »Studerende, der brugte tutoren, scorede højere på eksamen uden støtte« er testbar.

2. Kør en baseline, interventionen, en umiddelbar eftermåling og en senere måling taget uden AI.

3. Beskriv sammenligningsbetingelsen lige så omhyggeligt som behandlingen, også når den er din nuværende praksis.

4. Mål præstation med støtte og selvstændig læring hver for sig, og behandl ethvert offentliggjort gennemsnit som en hypotese om dit hold.

Vælg den metode, dit spørgsmål kan overleve

Siden Forskningsmetoder i AIED redegør for, hvad hver mulighed giver. Randomiserede eksperimenter giver den stærkeste kausale inferens. Kvasi-eksperimentelle før-efter-design eller design med matchede grupper passer til intakte hold og understøtter svagere påstande. Kvalitative interviews, fokusgrupper, observationer og artefaktanalyse afdækker mekanismer og uventet erfaring. Mixed methods parrer resultatbelæg med en forklaring. Designbaseret forskning passer til en underviser, der forbedrer en intervention over flere iterationer.

AI-assisteret kvalitativ analyse hører med på den liste, med ét forbehold. Den omorganiserer et interviewkorpus på minutter, så belægskraft betyder lige så meget som nøjagtighed: registrér de omorganiseringer, der er dokumenteret, så en læser kan undersøge, bestride og revidere vejen fra data til påstand.

Et spørgeskema er et selvrapporteringsmål: rigtigt til holdninger, forkert til læring.

Giv sammenligningsbetingelsen et navn

Tre betingelser gør en kausal påstand fortolkelig: en præcist beskrevet behandling, en veldefineret sammenligningsbetingelse og et gyldigt mål for varig læring. Weidlich et al. (2025) gennemgik 19 sammenligninger af ChatGPT i undervisning op imod disse kriterier. Fire (21 %) opfyldte alle tre. Behandlingen var veldefineret i 74 %, kontrolgruppen i 42 %, og udfaldet kvalificerede sig som læring i 53 %.

Fejlmønsteret er let at reproducere. Et generelt værktøj introduceret sammen med nye aktiviteter, ny feedback eller en redesignet grænseflade blander mediet med metoden, og det signifikante resultat tilhører redesignet.

Mål de udfald, du faktisk bekymrer dig om

Syntesen Evaluering af AI i uddannelse anbefaler læringsudbytte uden støtte, forsinket fastholdelse, transfer til en ny opgave, kvalitet i ræsonnementet, misforståelser, brug af feedback og præstation i undergrupper. Engagement, tilfredshed, AI-brugslogge, self-efficacy og oplevet anvendelighed er rimelige sekundære mål og dårlige erstatninger for læring. Arbejdsbelastning og tidsbesparelser tæller som implementeringsudfald, et andet spørgsmål.

Minimumet på klasserumsniveau er en baseline, interventionen, en umiddelbar eftermåling og en senere måling uden støtte. Tilføj en sammenligningsbetingelse, hvor du kan: nuværende praksis, ingen AI, ubegrænset AI mod AI med stilladsning eller to alternative design. Scor præstation med og uden støtte på separate instrumenter, da én rubrik vil blande dem.

Læs ethvert tal som en hypotese

En gennemsnitseffekt fra litteraturen er en svag vejledning for ét klasserum. O'Neills (2026) gennemgang af 14 metaanalyser med stor gennemslagskraft fandt, at ingen af dem gav et gyldigt grundlag for deres påstande. Sammenslået »akademisk præstation« blandede testresultater, motivation, self-efficacy og holdninger i ét estimat. Heterogeniteten var ekstrem: I² gik fra 77,2 % til 94,4 % i de 13 analyser, der rapporterede den, og 12 af dem lå over 80 %. Alle 14 vurderede publikationsbias ugyldigt, og 61 % af tilfældigt udvalgte primærstudier havde gyldighedsproblemer. Fire analyser rapporterede varians mellem studier, to rapporterede et prædiktionsinterval, og begge intervaller indeholdt nul.

En bekvem score kan måle det forkerte konstrukt. I en evaluering af otte AI-undervisningsagenter blev den agent, der lå nummer tre på platformens egen score, placeret sidst på en ekspertvalideret rubrik, fordi platformscorerne indekserede studerendes præstation under interaktionen. Behandl en dashboardmetrik som en hypotese.

Hvad undervisere gør forkert

En tilfredshedsundersøgelse måler læringen. Den måler tilfredshed, som syntesen Evaluering af AI i uddannelse opfører som et sekundært mål ved siden af læringsudfald.

En fremgang før-efter viser, at interventionen virkede. Den viser, at scorerne steg. Om målet talte som læring, er et separat spørgsmål, og gennemgangen fandt et kvalificerende læringsudfald i 53 % af de sammenligninger, den behandlede.

Offentliggjorte effektstørrelser overføres til mit hold. O'Neills 14 metaanalyser kunne ikke understøtte de påstande, der blev bygget på dem, og begge de rapporterede prædiktionsintervaller indeholdt nul.

Platformanalyser måler undervisningskvalitet. Zhangs tredjeplacerede agent lå sidst på en ekspertrubrik.

Hvad du bliver mødt med

»Vi har allerede evalueringer ved kursets afslutning.« De måler kurset, og de kører efter det semester, du havde brug for svaret i.

»En sammenligningsgruppe er umulig i et intakt kursus.« Sammenlign med sidste års version af den samme opgave eller med et andet hold, og beskriv forskellen ærligt. Kvasi-eksperimentelle design er svagere og stadig informative, når alternativet er en påstand uden sammenligning.

»Effektstørrelsen i metaanalysen er stor.« På hvilket udfald, i hvis klasse? Begge de prædiktionsintervaller, O'Neill fandt, indeholdt nul.

»Vores dashboard viser stærkt engagement.« Engagement er et sekundært mål på listen fra Evaluering af AI i uddannelse. Sæt målingen af læring uden støtte ved siden af.

Det kan du gøre i denne uge

1. Skriv din påstand som én sætning, og understreg udfaldet.

2. Føj den senere måling uden støtte til kalenderen, efter interventionen og ikke i samme uge.

3. Skriv ét afsnit, der beskriver sammenligningsbetingelsen, med samme detaljegrad som behandlingen.

4. Træk de platformstal, du allerede har, og markér hvert af dem som et artefaktudfald eller et læringsudfald.

5. Bed en kollega om at læse designet og sige, hvad der ellers ændrede sig i løbet af semesteret.

Videre herfra

Hjælper AI studerende med at lære? opsummerer, hvad udfaldsbelægget viser, og Forskningshuller i AIED dækker, hvor det tynder ud. Hvordan ved vi, om en pædagogisk AI fungerer korrekt? er versionen af dette spørgsmål for dem, der bygger eller køber et system.