Hvilke mål og forskningsmetoder kan en underviser bruke for å evaluere AI-relaterte tiltak?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Du kjørte piloten i to grupper, samlet inn en sluttevaluering for enheten, og har et instituttmøte om tre uker der noen kommer til å spørre om det virket. Eller en fagfelle har spurt hva sammenligningsbetingelsen din var, og den andre gruppen gjorde noe annet. Uansett: hva ville telle som belegg her?

Tilpass metoden til påstanden. En spørreundersøkelse forteller deg om studentene likte aktiviteten. Om de lærte noe, krever et prestasjonsmål, og om AI forårsaket gevinsten, krever en sammenligningsbetingelse.

Kortversjonen

1. Skriv påstanden i én setning, med utfallet navngitt. «Studenter som brukte veilederen, skåret høyere på eksamen uten hjelpemidler» er testbart.

2. Kjør en baseline, intervensjonen, et umiddelbart ettermål og et senere mål tatt uten AI.

3. Beskriv sammenligningsbetingelsen like nøye som behandlingen, også når den er din eksisterende praksis.

4. Mål assistert prestasjon og selvstendig læring hver for seg, og behandle ethvert publisert gjennomsnitt som en hypotese om din klasse.

Velg metoden spørsmålet ditt kan overleve

Siden om forskningsmetoder i AIED legger fram hva hvert alternativ gir deg. Randomiserte eksperimenter gir den sterkeste kausale slutningen. Kvasieksperimentelle før-og-etter-design eller matchede gruppedesign passer intakte klasser og støtter svakere påstander. Kvalitative intervjuer, fokusgrupper, observasjoner og artefaktanalyse avdekker mekanismer og uventede erfaringer. Mixed methods parer utfallsbelegg med en forklaring. Designbasert forskning passer for en underviser som forbedrer en intervensjon gjennom flere iterasjoner.

AI-assistert kvalitativ analyse hører hjemme på den listen med ett vilkår. Den reorganiserer et intervjukorpus på minutter, så etterprøvbarhet betyr like mye som nøyaktighet: registrer de dokumenterte reorganiseringene som lar en leser granske, bestride og revidere veien fra data til påstand.

En spørreundersøkelse er et selvrapporteringsmål: riktig for holdninger, galt for læring.

Gi sammenligningsbetingelsen et navn

Tre betingelser gjør en kausal påstand tolkbar: en presist beskrevet behandling, en veldefinert sammenligningsbetingelse og et valid mål på varig læring. Weidlich et al. (2025) reviderte 19 ChatGPT-sammenligninger i utdanning mot disse kriteriene. Fire (21 %) oppfylte alle tre. Behandlingen var veldefinert i 74 %, kontrollgruppen i 42 %, og utfallet kvalifiserte som læring i 53 %.

Sviktmodusen er lett å gjenskape. Et allmennverktøy som innføres sammen med nye aktiviteter, ny tilbakemelding eller et redesignet grensesnitt, blander mediet med metoden, og det signifikante resultatet tilhører redesignet.

Mål de utfallene du faktisk bryr deg om

Syntesen om vurdering av AI i utdanning anbefaler uassistert læringsgevinst, forsinket retensjon, overføring til en ny oppgave, kvalitet i resonneringen, misoppfatninger, opptak av tilbakemelding og prestasjon i undergrupper. Engasjement, tilfredshet, AI-brukslogger, selvinnsikt og opplevd nytteverdi er rimelige sekundærmål og dårlige erstatninger for læring. Arbeidsbelastning og tidsbesparelser teller som implementeringsutfall, et annet spørsmål.

Minimumet på klasseromsnivå er en baseline, intervensjonen, et umiddelbart ettermål og et senere uassistert mål. Legg til en sammenligningsbetingelse der du kan: eksisterende praksis, ingen AI, ubegrenset AI mot støttet AI, eller to alternative design. Skår assistert og uassistert prestasjon med separate instrumenter, siden én rubrikk vil blande dem.

Les ethvert tall som en hypotese

En gjennomsnittseffekt fra litteraturen er en svak veiledning for ett klasserom. O'Neills (2026) revisjon av 14 metaanalyser med høy gjennomslagskraft fant at ingen av dem ga et gyldig grunnlag for påstandene sine. Sammenslått «akademisk prestasjon» blandet testskårer, motivasjon, selvinnsikt og holdninger til ett estimat. Heterogeniteten var ekstrem: I² lå mellom 77,2 % og 94,4 % i de 13 analysene som rapporterte den, og 12 av dem lå over 80 %. Alle 14 vurderte publikasjonsskjevhet ugyldig, og 61 % av tilfeldig kontrollerte primærstudier hadde validitetsproblemer. Fire analyser rapporterte varians mellom studier, to rapporterte et prediksjonsintervall, og begge intervallene omfattet null.

En praktisk score kan måle feil konstrukt. I en evaluering av åtte AI-undervisningsagenter ble agenten som ble rangert som nummer tre på plattformens egen score, rangert sist på en ekspertvalidert rubrikk, fordi plattformscoren indekserte studentprestasjon under samhandlingen. Behandle en dashbordmetrikk som en hypotese.

Hva undervisere tar feil om

En tilfredshetsundersøkelse måler læringen. Den måler tilfredshet, som syntesen om vurdering av AI i utdanning lister som et sekundærmål ved siden av læringsutfall.

En gevinst fra før til etter viser at intervensjonen virket. Den viser at skårene steg. Om målet tellet som læring, er et eget spørsmål, og revisjonen fant et kvalifiserende læringsutfall i 53 % av sammenligningene den gikk gjennom.

Publiserte effektstørrelser overføres til klassen min. De 14 metaanalysene til O'Neill kunne ikke understøtte påstandene som ble bygget på dem, og begge rapporterte prediksjonsintervaller omfattet null.

Plattformanalytikk måler undervisningskvalitet. Agenten til Zhang som ble rangert som nummer tre, var sist på en ekspertrubrikk.

Hva som kommer tilbake på deg

«Vi har allerede sluttevalueringer.» De måler emnet, og de kommer etter det semesteret du trengte svaret i.

«En sammenligningsgruppe er umulig i et intakt emne.» Sammenlign med fjorårets versjon av samme oppgave, eller en annen gruppe, og beskriv forskjellen ærlig. Kvasieksperimentelle design er svakere, og fortsatt informative når alternativet er en påstand uten sammenligning.

«Effektstørrelsen i metaanalysen er stor.» På hvilket utfall, i hvis klasse? Begge prediksjonsintervallene O'Neill fant, omfattet null.

«Dashbordet vårt viser sterkt engasjement.» Engasjement er et sekundærmål på listen fra vurdering av AI i utdanning. Sett det uassisterte læringsmålet ved siden av.

Hva du kan gjøre denne uken

1. Skriv påstanden din som én setning og stryk under utfallet.

2. Legg det senere uassisterte målet i kalenderen, etter intervensjonen og ikke samme uke.

3. Skriv ett avsnitt som beskriver sammenligningsbetingelsen, med samme detaljgrad som behandlingen.

4. Hent fram plattformtallene du allerede har, og merk hvert av dem som et artefaktutfall eller et læringsutfall.

5. Be en kollega lese designet og si hva annet som endret seg i løpet av semesteret.

Hvor du kan gå videre

Hjelper AI studentene å lære? oppsummerer hva utfallsbelegget viser, og forskningshull i AIED dekker hvor det tynnes ut. Hvordan vet vi at en pedagogisk AI fungerer som den skal? er versjonen av dette spørsmålet for dem som bygger eller kjøper et system.