Hvilke viktige hull finnes i forskningslitteraturen om AI i utdanning?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

En søknadsfrist er åtte dager unna, og bakgrunnsdelen trenger én setning om hva dette feltet ennå ikke vet. Eller en kollega har fortalt en komité at AI-veiledning hever prestasjonene, med henvisning til et toårig eksperiment ved 18 ungdomsskoler, og du er den som må si hva den studien faktisk kan bære. Eller du velger en avhandlingsoppgave, og hver versjon av den ser ut til å være gjort allerede.

Det er hullene i styrke, spesifisitet og anvendbarhet som betyr noe. AI kan utføre pedagogiske oppgaver; de åpne spørsmålene er om en bestemt utforming gir varig utbytte, for hvem, gjennom hvilken mekanisme og under hvilke betingelser. Denne forskjellen avgjør to ting på skrivebordet ditt: hva du bør forske på neste gang, og hva du bør slutte å hevde i mellomtiden. Begrensninger i AIEd-forskningen er katalogen bak denne siden. Evidens om intelligente veiledningssystemer, prediktiv analyse, generativ AI og autonome agenter er heller ikke utbyttbar, og forskning på å bruke AI til å støtte læring er noe annet enn forskning på å lære folk om AI, slik oversikten over AI i utdanning forklarer.

Kortversjonen

1. Sammenlign AI-en med et sterkt ikke-AI-alternativ som holder læreplan, øvelse og støtte konstant, og si hva AI-en tilførte.

2. Mål forsinket, uassistert prestasjon, og slå fast at assistert prestasjon ikke er en læringsgevinst.

3. Rapporter hvilken komponent i pakken som gjorde jobben, og hvilken mekanisme du hevder.

4. Valider hver automatiske score og simulert student mot virkelige studenter, også studenter utenfor utviklingsutvalget ditt.

5. Oppgi populasjonsgrensen, fordi et samlet gjennomsnitt ikke svarer på et likestillingsspørsmål.

6. Beskriv ordningen godt nok til at noen andre kunne bygge den opp igjen.

Velg en sammenligning som isolerer AI-en

Det finnes grundige klasseromseksperimenter, så «vi trenger randomiserte forsøk» navngir ikke lenger hullet. Det skarpere spørsmålet er om AI-komponenten tilfører verdi ut over ekstra øvelse, bedre materialer, rettidig tilbakemelding eller mer undervisningsstøtte.

Ett klikk unna rapporterer beskjedne prestasjonsgevinster ved 18 ungdomsskoler, samtidig med begrenset faglig engasjement med veilederen, og forfatterne bemerker at gevinstene lignet dem man ser fra strukturert øvelse uten AI. Det er evidens om en implementert pakke, og den kan ikke isolere hva AI-en inne i den tilførte.

Problemet under er like mye begrepsmessig som empirisk. «ChatGPT» navngir et verktøy, ikke en metode. Weidlich mfl. (2025) gransket 19 sammenligninger av ChatGPT i utdanning: bare 4 (21 %) spesifiserte alle tre: en replikerbar behandling, en operasjonalisert kontroll og et gyldig læringsmål (74 % veldefinert behandling, 42 % veldefinert kontroll, 53 % et læringsutbytte). Når ny AI kommer sammen med nye aktiviteter, tilbakemeldinger eller grensesnittdesign, blir medium og metode sammenblandet, og ingen effekt tilhører AI-en.

Hva som ville avgjort det: sammenligninger mot realistiske ikke-AI-alternativer der læreplan, øvelsesmuligheter og støtte holdes så konstant som mulig, pluss uavhengige replikasjoner på tvers av institusjon, underviser, fag og modell. Metoder svarer på ulike spørsmål her. Kvalitativt og designbasert arbeid forklarer implementeringen, mens godt utformede eksperimenter bærer de kausale påstandene, slik Metoder for effektforskning legger det fram.

Mål læring etter at verktøyet er borte

Forbedret arbeid mens man bruker AI er ikke bevis på læring som overlever at hjelpen tar slutt. Syntesene om læringsgevinster og kognitiv avlasting trekker stadig den samme linjen mellom assistert prestasjon, beholdt kunnskap, uavhengig resonnering og overføring.

Å gjøre AI-veiledning produktiv viser måleproblemet i et randomisert eksperiment med mer enn 6 000 ungdomsskoleelever. En meistringsregel med tre riktige på rad hevet plattformdefinert suksess uten i seg selv å gi påvisbare læringsgevinster en uke senere. Den sterkeste evidensen fra forsinket testing dukket opp da AI-en satt inne i meistringsarbeidsflyten og konsentrerte seg om innøvd materiale.

Det gjenstående hullet handler om utviklingsbaner for kompetanse, og én ekstra ettertest lukker det ikke. Ingen har etablert fastholdelse over måneder, overføring på tvers av oppgaver, prestasjon etter at hjelpen er trukket tilbake, eller studentenes nøyaktighet i å vurdere hva de kan, og feltet har ikke skilt manglende tilegnelse av en ferdighet fra forringelse av en som allerede er etablert. Avlastningsforskningen mangler fortsatt å vise når delegering støtter slike baner og når den fortrenger øvelsen som bygger dem.

Finn ut hvilken del av pakken som gjorde jobben

«AI-støttet læring» pakker vanligvis sammen flere endringer: ny tilbakemelding, tilført refleksjon, diskusjon med medstudenter, andre oppgavesekvenser, endrede vurderingsinsentiver. En pakke som lykkes, forteller deg ikke hvilke komponenter som var nødvendige.

Menneskesentrert design av GenAI-tilbakemelding er et reelt framskritt på det spørsmålet. Blant 1 176 førsteårsstudenter presterte refleksive og hybride design bedre enn direkte AI-tilbakemelding på forsinket overføring uten AI. Den hybride betingelsen kombinerte egenvurdering, tilbakemelding fra medstudenter og AI-kritikk. Det skiller hvordan tilbakemelding er organisert og brukt fra hvorvidt studentene har tilgang til tilbakemelding i det hele tatt.

Fortsatt åpent: bidraget og tidspunktet for første uavhengige forsøk, egenforklaring, innspill fra medstudenter, korrigerende tilbakemelding, hint og gradvis borttaking av støtte, og hvordan hver av dem samvirker med forkunnskaper og oppgavens vanskelighetsgrad.

Teorihullet går parallelt. Å navngi en læringsteori er ikke å teste en. En studie trenger en teoretisk prediksjon knyttet til en bestemt atferd i systemet og en målbar læringsprosess, og statistisk mediering informerer den forklaringen uten å etablere en kausal mekanisme. Teoriutvikling i AI i utdanning og støtte fører argumentet videre.

Valider målet før du tolker det

Konstrukter som engasjement, kritisk tenkning, AI-kompetanse og personalisering måles inkonsistent i denne litteraturen. Selvrapporter beskriver oppfatninger; de kan ikke stå i stedet for demonstrert kompetanse. Teknisk nøyaktighet, ekspertvurdert kvalitet på resultatet og studentenes læring er tre ulike evalueringsmål. Utdanningsmåling og Evaluering av AI i utdanning behandler disse skillene som grunnleggende.

Ett hull ligger inne i måleproblemet: AI-systemer som brukes til å evaluere andre AI-systemer. I Å simulere studenter eller sykofantisk problemløsning? forlot simulerte studenter ofte tildelte misoppfatninger etter korrigerende tilbakemelding, uavhengig av om tilbakemeldingen tok opp misoppfatningen, så svarene deres kunne få ineffektiv undervisning til å se vellykket ut. Målrettet trening forbedret studiets trofasthetsmål, og forbedring på det målet er ikke validering mot menneskelig læring.

Det som mangler, er validering av hele evalueringskjeden, fra modellatferd til pedagogisk skjønn til studentrespons til utdanningsutbytte, på studenter og i settinger som ikke ble brukt under utviklingen. Menneskelig skjønn trenger samme gransking, siden enighet mellom vurderere ikke er bevis for at det riktige konstruktet ble målt.

Avgjør hva en vurdering fortsatt kan attestere

AI skaper to sammenkoblede vurderingsproblemer: den hjelper til med å produsere arbeidet som vurderes, og den kan påvirke hvordan det arbeidet scores.

Kunnskapsbasens studie av AI-agenter som fullfører vurderte LMS-oppgaver dokumenterer agenter som navigerer i et aktivt bachelorstudium og fullfører vurderte aktiviteter. Det demonstrerer en kapasitet som utfordrer antakelser om studentprodusert evidens. Det etablerer ikke hvor vanlig slik bruk er, og det ugyldiggjør ikke asynkron vurdering som kategori.

Forskningsspørsmålet er hvilke design som fortsatt gir forsvarlige konklusjoner om den som lærer. Porteføljer, refleksjoner, trinnvise innleveringer og aktivitetslogger må valideres som evidens i stedet for å bli antatt å etablere forfatterskap eller forståelse. Studier bør teste kombinasjoner av evidens mot uavhengig observert kompetanse, samtidig som de tar høyde for tilgjengelighet, arbeidsmengde, personvern og studentangst. Vurderingsvaliditet har detaljene.

For automatisk scoring rapporterer LLM-er vurderer ikke essays som mennesker systematisk uenighet mellom ferdigoppsatte modeller og menneskelige vurderere. Funnene er konfigurasjonsspesifikke, og de viser hvorfor intern konsistens ikke kan bære en gyldighetspåstand.

En test av menneskelig kapasitet for læringsutbytte i AI-tiden foreslår å vurdere separat hva studentene må gjøre uavhengig, hva de kan få til med AI, og hva de må verifisere og forsvare. Det er et rammeverk som venter på empirisk validering.

Deteksjon er den tydeligste blindgaten på dette området. Karr mfl. (2026) kjørte to kommersielle detektorer ved τ = 0,50 på 642 publiserte engelske abstrakter. Retningslinjeorientert lett AI-redigering ble flagget i 38-80 %. Uendrede originaler fra 2023-25 ble flagget i 9-15 %, med ikke-STEM-arbeid langt over STEM ved p < 0,001. Etter humanisering fanget verktøyene under 4 % av AI-merkede omskrivinger, en falsk-negativ-rate over 96 %. En score som straffer ærlig hjelp og overser omgåelse, kan ikke begrunne en konklusjon om en student.

Slutt å lese kompetanseskårer som bevis på atferd

Forskningen på intervensjoner for AI-kompetanse er omfattende nok til å syntetiseres. Intervensjoner for AI-kompetanse i utdanning dekker 59 studier og 7 211 deltakere, rapporterer en positiv gjennomsnittseffekt, og rapporterer også betydelig variasjon med et bredt prediksjonsintervall som spenner over null. Kunnskapsorienterte utfall kom sterkere ut enn ferdigheter, holdninger eller etikk.

Det skarpere hullet er hvorvidt opplæring i kompetanse endrer hva folk gjør når de bruker AI, og nok et kompetanserammeverk ville ikke lukke det. Kan studentene gjenkjenne ubegrunnede påstander, verifisere kilder, avvise misvisende forslag, legge merke til upassende enighet, og velge når de ikke skal delegere? Holder noe av dette under tidspress, og overføres det til ukjente systemer og fag?

Å avgjøre dette krever prestasjonsbasert vurdering kombinert med observasjon av faktiske beslutninger og forsinket oppfølging, med begrepsmessig kunnskap, operativ ferdighet og kritisk skjønn holdt fra hverandre i stedet for slått sammen. AI-kompetanse og Kalibrering av tillit leverer skillene.

Rapporter hvem funnet utelater

Funn fra ett kurs, én institusjon, ett språk eller én studentpopulasjon gir sjelden grunnlag for beslutninger andre steder, et problem som syntesen om begrensninger i AIEd-forskningen behandler som tilbakevendende. Hvordan effekter varierer på tvers av utviklingsstadium, fag, forkunnskaper, funksjonsnedsettelse, språk og ressurssituasjon, er fortsatt stort sett umålt.

Likestillingsforskning må også skille tilgang, ferdigheter og utfall. Syntesen om digitalt skille er tydelig på at enheter og verktøytilgang ikke etablerer lik kapasitet til å dra nytte av det. Reduserer skolebasert AI-opplæring beredskapsgap? fulgte 752 ungdomsskoleelever i Hongkong: psykologiske beredskapsgap ble mindre, mens forskjeller på en objektiv test i AI-kompetanse besto. Hver gruppe ble bedre, og ulikheten lukket seg ikke. Profilene for forkunnskaper var ikke tilfeldig fordelt, så deres kausale rolle er ukjent.

Dekningen er tynn på bestemte steder. Differensielle effekter på tvers av studentgrupper teller litteraturen etter populasjon: andre-språklige og flerspråklige studenter og studenter med funksjonsnedsettelser er de dypeste trådene, kjønn og nevromangfold kommer deretter, førstegenerasjons- og internasjonale studenter har én studie hver i dette korpuset, evnerike og høytpresterende studenter er i praksis ustudert, og flyktninger, innvandrere og fordrevne studenter forekommer ikke i noen. En evidensbase med den formen kan ikke svare på et likestillingsspørsmål ved aggregering.

Kapasiteten varierer også innenfor ett og samme nasjonale system. Adeniranye mfl. (2026) skåret AI-integrasjon ved 45 nigerianske universiteter og fant moderat samlet adopsjon (M = 4,79, spennvidde 1,83-7,83 på en 10-punkts skala), der institusjonstype ikke predikerte integrasjon når alder og geografi var kontrollert (alder β = 0,43; beliggenhet i sørvest β = 0,31). Interne kapabiliteter korrelerte med hverandre på r = 0,79-0,80, og internasjonale samarbeid med bransjesamarbeid på r = 0,74, så tilknyttede institusjoner akkumulerer forsterkende fordeler. Hvilke design for kapasitetsbygging som endrer utfall ved nyere, mindre tilknyttede institusjoner, er utestet.

Forskningsprioriteringen er å identifisere design som reduserer forskjeller i demonstrert kapasitet, deltakelse og handlekraft, med undergruppeutfall og byrder rapportert sammen med gjennomsnittsgevinster. Tilgjengelighet bærer sitt eget uavklarte spørsmål: om et design fjerner en barriere for deltakelse eller erstatter en kapasitet studenten er ment å utvikle. Se Likestilling i AI-utdanning og tilgjengelighet.

Si hvem som har kontrollen, og når den endres

Når systemer planlegger, setter i gang handlinger, holder minne og koordinerer verktøy, blir det pedagogiske spørsmålet hvem som bør kontrollere hvilke deler av læringsprosessen, og når den kontrollen bør flyttes.

Agentisk AI i utdanning: en scoping review kartlegger 474 studier og finner begrenset longitudinell validering, konsentrasjon i høyere utdanning og STEM, og svak integrasjon av utdanningsteori: bare 29 % av de gjennomgåtte studiene trakk eksplisitt på utdanningsteori, et funn om det korpuset og ikke om alt AIED-arbeid.

Åpne spørsmål følger. Gir studentinitiert hjelp andre utfall enn agentinitiert hjelp? Kan støtten trekkes tilbake etter hvert som kompetansen utvikles, uten tap? Beholder studentene evnen til å utfordre systemet? Syntesene om agentisk AI og menneske-AI-samarbeid tilfører lærerens inngripen og ansvarlighet i multiagent-settinger, der ingen har etablert hvem som svarer for en agents beslutning. Større autonomi er et pedagogisk designvalg med en evidensbase som ennå ikke finnes.

Test sikkerhetssvikt mot virkelige studenter

Pedagogisk sikkerhet strekker seg forbi faktisk riktighet og forbudte forespørsler. En veileder kan gi et riktig svar mens den fjerner studentens mulighet til å resonnere, forsterker en misoppfatning eller bygger avhengighet. Pedagogisk sikkerhet dekker konstruktet.

SafeTutors identifiserer feil, blant annet overdreven avsløring av svar og at støtten forlates, med betydelig flere feil under testing over flere turer. Det er benchmarkfunn under spesifiserte betingelser, ikke anslag over hvor ofte skade oppstår i klasserom.

Hva som skjer når disse feilene møter virkelige studenter over vedvarende bruk, er ukjent. Hvilke som gir midlertidig forvirring, hvilke som gir vedvarende misoppfatninger, hvilke som reduserer motivasjon, og hvilke som svekker uavhengig kapasitet, er ikke målt. Ingen har heller etablert hvilke sikringstiltak som kutter disse risikoene uten å gi overdreven avvisning eller frustrasjon. Lengre arbeid trenger også tillit, vilje til å søke menneskelig hjelp, studentens handlekraft og relasjoner til medelever og lærere som utfall. For barn krever det utviklingstilpassede studier som kobler atferden i systemet til pedagogiske og relasjonelle utfall.

Skille adopsjon fra implementering

Teknisk kapasitet etablerer ikke at et verktøy brukes godt, og profesjonell utvikling når ikke automatisk studentene. Det manglende leddet går vanligvis fra lærerforberedelse, gjennom endret klasseromspraksis, til studentutfall.

Pedagogikk først, teknologi nest er en flernivåstudie av 46 lærere og 2 832 studenter. Pedagogisk AI-kunnskap var assosiert med studentenes oppfatninger og intensjoner, og ingen av de målte komponentene av lærerkunnskap var direkte assosiert med studentenes kunnskapsgevinster i AI. Assosiasjoner av den typen etablerer ikke at en opplæringsintervensjon ville forårsake bedre læring.

Det åpne spørsmålet er hvilke kombinasjoner av veiledning, læreplanstilpasning, gjennomgangsrutiner, timeplanlegging og institusjonell støtte som gir varig forbedring, og studier må observere faktisk utført undervisning i stedet for lærerens selvtillit eller intensjon om å ta det i bruk. Lærerens AI-kompetanse og Pedagogisk utvikling dekker terrenget.

Komparativ kostnadseffektivitet er et andre hull. Evalueringer bør regne med verifisering, korrigering, opplæring, supervisjon, vedlikehold og implementeringstid sammen med abonnements- og modellbrukskostnader, og sammenligne AI-støttet tilbud med realistiske alternativer. Spørsmålet som er verdt å svare på, er hvilket pedagogisk utbytte den komplette ordningen gir for ressursene den krever.

Tell styringsdokumenter som intensjoner

Etiske prinsipper og styringsrammeverk er nødvendige, og at de finnes etablerer ikke at de endrer praksis eller beskytter studenter.

Agarwal mfl. gjennomgikk 25 artikler og fant at sluttbrukere stort sett er passive i etikklitteraturen, med studentstemmer i praksis fraværende, sammen med spenninger mellom verdier og maktasymmetrier mellom interessenter. Det beskriver den gjennomgåtte litteraturen. Det er ikke en påstand om at studenter aldri deltar i AIED-design.

Det som mangler, er evidens om hvilke styringsordninger som gir målbar forskjell. Endrer student- og lærerdeltakelse innkjøp, verktøydesign, vurderingsregler eller oppreisning etter en feil? Fanger prosedyrer for menneskelig gjennomgang opp konsekvensrike feil? Er alternativer til AI-bruk reelt tilgjengelige for dem som blir bedt om å bruke det? Personvernforskningen har et parallelt hull: den pedagogiske verdien av ekstra datainnsamling blir vanligvis antatt, og dataminimerende design er sjelden blitt sammenlignet med mer inngripende design på både læring og studentautonomi. Se AI-styring og personvern.

Gjør studien gjenoppbyggbar

AIED har et usedvanlig vanskelig reproduserbarhetsproblem. Studier utelater prompter, modellversjoner, innstillinger, kode og undervisningsdetaljer, og proprietære systemer kan endre seg under eller etter en intervensjon. Begrensninger i AIEd-forskningen dokumenterer mønsteret.

Å bygge en studie opp igjen betyr å beskrive undervisningsopplegget så vel som modellen: læringsoppgaver, innholdskilder, tillatte handlinger, grensesnitt, lærerstøtte, vurderingsbetingelser og alt som endret seg under utrullingen. Å reprodusere én konfigurasjon og å teste om dens pedagogiske prinsipp overføres til en annen, er to separate prestasjoner, og rapporteringsveiledningen i Metoder for effektforskning tar opp begge.

Syntese trenger samme omhu. Metaanalyse og systematisk gjennomgang lister svake primærstudier, publikasjonsskjevhet, heterogene intervensjoner og inkompatible utfall som begrensninger på samlede konklusjoner, og en enkelt gjennomsnittlig «AI-effekt» skjuler skillene lærerne trenger. Gjennomganger bør skille assistert prestasjon fra uavhengig læring, skille intervensjonstyper og sammenligningsbetingelser, og gjøre kodingsbeslutninger etterprøvbare.

Den syntetiske litteraturen er selv et hull. O'Neills (2026) rettsmedisinske gjennomgang av 14 innflytelsesrike metaanalyser fant at ingen av dem ga et gyldig grunnlag for påstandene sine. Intet sammenhengende konstrukt: et verktøy behandlet som én intervensjon, flerdimensjonale utfall slått sammen. Publikasjonsskjevhet ble vurdert ugyldig i alle 14. Rapportert I² gikk fra 77,2 % til 94,4 % i hver analyse som rapporterte det, og 12 av de 13 lå over 80 %. 61 % av tilfeldig granskede primærstudier hadde gyldighetsbekymringer. Disse 14 analysene samlet mer enn 2 000 siteringer i løpet av omtrent 16 måneder, og en tilbaketrukket metaanalyse ble fortsatt sitert som autoritativ i 60 % av de siterende artiklene etter tilbaketrekkingen, uten at det ble nevnt. Av 14 artikler som siterte en annen gransket metaanalyse, hvis abstrakt annonserte en stor effekt av «AI-utdanning» som i virkeligheten målte undervisning av studenter om AI, siterte bare 2 den på riktig måte, 8 leste den som evidens for at integrering av AI forbedrer læring, og 4 tok feil på andre måter. Granskingen ber tidsskrifter kreve full datatransparens for metaanalyser (søkeprotokoller, kodede studieegenskaper, uttrukne statistikker, analytisk kode), ber redaktører ikke behandle en publikasjonsliste som bevis på gjennomgangskompetanse, og ber om at tilbaketrekninger er synlige overalt der en artikkel oppdages, eksporteres eller siteres. Reproduserbarhet dekker syntesekjeden, ikke bare den enkelte studien.

Undervisere som vil ha klasseromsversjonen, kan følge Evaluere AI-intervensjoner.

Hva forskere og undervisere tar feil om her

Feltet mangler studier. Det mangler spesifiserte studier. Det finnes multisiteeksperimenter, randomiserte forsøk med tusener av studenter og 14 innflytelsesrike metaanalyser. Bare 21 % av de granskede sammenligningene definerte behandling, kontroll og utfall godt nok til å tilskrive en effekt.

Å navngi en teori er å teste den. En henvisning til en læringsteori er et valg av ramme. En test trenger en prediksjon, en atferd i systemet som iverksetter den, og et prosessmål som kunne falle motsatt ut.

En validert automatisk score er et validert utfall. Enighet med menneskelige koder etablerer konsistens med dem. Simulerte studenter ble bedre på et trofasthetsmål uten å bli validert mot menneskelig læring, og kjeden fra modellatferd til utfall er fortsatt ikke bygget.

Tilgang er likestilling. I Hongkong-studien ble psykologiske beredskapsgap mindre mens forskjellene på objektive tester besto, og hver gruppe ble bedre uten at ulikheten lukket seg. Enheter og lisenser endrer hvem som kan nå verktøyet.

Mer autonomi er framgang. Større agentuavhengighet er et designvalg. Med 29 % av 474 agentiske studier som trekker på utdanningsteori, og begrenset longitudinell validering, har ingen vist at det å flytte kontroll til systemet forbedrer læring.

Innvendingene du vil høre

«Hullet er bare at vi trenger flere randomiserte forsøk.» Det finnes mange nå, og problemet ligger oppstrøms for designetiketter: et forsøk på en pakke som samler ny tilbakemelding, nye oppgaver og et nytt grensesnitt, kan ikke tilskrive noe til AI-en. Sammenligningsbetingelsen er der arbeidet ligger.

«Jeg kan ikke gjennomføre en flerårig oppfølging.» Mål da én forsinket, uassistert anledning og si hvilket intervall den dekker. En uke er et reelt funn, og meistringsregelstudien fikk resultatet sitt ved én uke fordi AI-en ble bygget inn i arbeidsflyten og konsentrert om innøvd materiale.

«Randomisering er umulig i kurset mitt.» Designbasert og kvalitativt arbeid svarer på implementeringsspørsmål som forsøk ikke kan, og feltet trenger begge. Der tilfeldig fordeling er mulig, bærer den fortsatt den kausale påstanden.

«Den samlede effektstørrelsen forteller meg allerede hva som virker.» De 14 granskede metaanalysene definerte behandlingen som et verktøy, slo sammen inkompatible utfall og rapporterte I² over 80 % i 12 av 13 analyser som oppga den. Det samlede tallet beskriver et sett studier med et konstruktproblem.

«Simulerte studenter er billigere, så validering kan vente.» I sykofantistudien slapp simulerte studenter misoppfatningene uansett om tilbakemeldingen tok dem opp, og det er feilmekanismen som får en ineffektiv veileder til å se effektiv ut.

Hva du kan gjøre denne uken

1. Skriv sammenligningsbetingelsen i studien du planlegger, i én setning. Er den «som før», reviderer du den før du reviderer noe annet.

2. Legg til ett forsinket, uassistert mål i designet, og navngi intervallet i metodedelen.

3. Skriv populasjonsgrensen inn i designbeskrivelsen, og deretter i abstraktet, så påstanden ikke kan reise lenger enn utvalget.

4. Ta den sterkeste påstanden i utkastet ditt og slett den versjonen målet ditt ikke kan bære. Behold setningen om taket.

5. For hver automatiske score eller simulerte student i studien: navngi den menneskelige standarden og den som avgjør, før datainnsamlingen starter.

Hvor du kan gå videre

Rapportering og tolkning av AIEd-forskning er rapporteringsmotstykket til denne siden, og Forskningsmetoder i AI i utdanning dekker designvalgene bak hvert hull. Evaluere AI-intervensjoner håndterer mål og sammenligningsdesign, Sjekke om pedagogisk AI virker er den kortere versjonen av effektspørsmålet, og Hjelper AI studenter å lære samler det som er kjent om varig læring. Teoriutvikling og Likestilling, etikk og pedagogisk sikkerhet fører teori- og likestillingstrådene videre.