Hvordan kan AI bistå i utdanningsforskning?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Medforfatteren din vil ha et avsnitt i metodedelen om AI-verktøyene teamet brukte. Eller sorteringsbunken er lengre enn fristen tillater. Eller en fagfelle har spurt, høflig, om et menneske leste transkripsjonene, og du er ikke sikker på hva det ærlige svaret er.

Det korte svaret til det møtet: AI kan ta søk, en første sorteringsrunde, kodingstriarge og utformingen, og den kan ikke bære ansvaret for det prosjektet konkluderer. Bestem hvilke oppgaver som er åpne for den før prosjektet starter, verifiser resultatene mot en menneskelig standard med en navngitt person som avgjør uenighet, og logg nok til at en utenforstående kan rekonstruere hva som skjedde. De fleste team oppdager at timene til verifisering og logging er arbeid som kommer til, ikke arbeid som forsvinner.

Kortversjonen

1. Skriv ned hvilke forskningsoppgaver som kan bruke AI og hvilke som ikke kan, før det første søket kjøres. Sorter etter innsats, ikke etter verktøy.

2. Legg automatiseringen på sortering. Hold datauttrekk, avstemming og syntese hos mennesker.

3. Fastsett kodeboken og rubrikken før en automatisert runde rører dataene.

4. Bestem hva verifisering betyr og hvem som signerer den. Enighet mellom en modell og en koder er et likhetsmål, ikke et kvalitetsresultat.

5. Verifiser hver referanse for hånd, forfattere først, hver gang AI har rørt skrivingen.

6. Logg prompter, modellversjoner og korpusversjoner, og budsjetter timene til det.

Bestem hva AI kan røre før prosjektet starter

Omfangsbeslutningen hører hjemme i prosjektfilen, ikke i noens hukommelse. I Dai og Chans (2026) fokusgruppestudie kalibrerte forskere som hadde tenkt gjennom det, bruken etter innsats og intellektuell sentralitet: tyngre på prosedyrarbeid med lav innsats, forsiktig der det faglige bidraget var sentralt. Tjuesju av de 28 forskerstudentene i den studien hadde brukt GenAI et sted i arbeidsflyten, inkludert akademisk skriving og oversettelse, så for de fleste team er spørsmålet hvor linjen går, ikke om det finnes en.

Skriv linjen som en liste med en dom for hver oppgave: litteratursøk, sammendragssortering, uttrekk, kvalitativ koding, statistisk analyse, utforming, referanseformatering. Les den studien som et kart over hva forskerne rapporterte at de gjorde. Det er en fokusgruppeberetning, ikke et effektresultat.

Legg automatiseringen på sortering og hold syntesen i teamet

Systematiske oversikter er der automatiseringen har kommet lengst. Verktøy som ASReview, SWIFT-Review, Covidence, AIScreenR og MetaMate kuttet den prosedyrarbeidet hovedsakelig ved sammendragssortering, mens datauttrekk, avstemming og syntese ble igjen hos menneskelige fagfeller i det ene teamet som rapporterte arbeidsflyten sin (Wang m.fl., 2026).

Det meste av gevinsten kommer fra to designbeslutninger. Skriv beslutningsregler for gråsone-tilfeller før sorteringen starter, og hold en «kanskje»-kategori med en felles avstemmingslogg, slik at samme vurdering blir brukt på samme type oppføring. Uten loggen glir den andre fagfellens regel og den førstes regel stille fra hverandre, og eksklusjonslisten slutter å være reproduserbar.

Fastsett kodeboken før modellen leser noe som helst

Kvalitativ analyse er stadiet der tolkningen er produktet. Konstrukter, koderubrikker og treningsdata er menneskelige beslutninger, ikke modellresultater (Martin m.fl., 2026), som betyr at kodeboken må være fastsatt før en automatisert runde går over korpuset. Alternativet er et kodeskjema skrevet rundt det modellen tilfeldigvis løftet fram, og temaene beskriver da verktøyets lesning av dataene dine.

Delegasjon kan være finere enn alt-eller-ingenting. Én blindverifiseringsstudie klassifiserte 15 av 72 kodebokselementer som påviselig krevende menneskelig ekspertise, 12 som bedre tjent med en modell, og 16 som egnet for tillitsbasert triarge. Sorter dine egne elementer slik, og arbeidsbesparelsen lander der det er trygt.

Bestem hva verifisering betyr og hvem som signerer den

Høy enighet mellom en modell og en menneskelig koder blir rapportert som om det fastslo korrekthet. Det gjør det ikke. Liu m.fl. (2026) lot en uavhengig ekspert bedømme 855 parvise kodesett blindt for kilde. Enighet mellom menneske og LLM (gjennomsnittlig Jaccard 0,30) lå godt under enighet mellom mennesker (0,52), men den blinde verifisereren foretrakk menneskelig og maskinell koding i rater den ikke kunne skille (51,5 % mot 48,5 %, p = 0,537). I noen tilfeller kodet menneskelig konsensus en felles skjevhet som verifisereren forkastet til fordel for modellen.

Så verifiseringssteget trenger en gullstandard som verken er modellens resultat eller koderens enighet med den, pluss en navngitt person som avgjorde uenighetene. Rapporter begge. En likhetsstatistikk beskriver hvor tett to lesninger matcher, og den sier ingenting om hvorvidt noen av lesningene er riktige.

Søk raskt, og sjekk deretter hver kilde selv

Generativt søk oppsummerer, anbefaler, syntetiserer og samtaler, noe som forstyrrer den eldre ordningen der systemet lokaliserer og leseren tolker (Report on CHIIR 2026 Workshop on Generative AI and Academic Search (GAI&AS)). Behandle det som et oppdagelsesverktøy. Arbeidsgrupperapporten har to forbehold: kapasiteten er ujevn, med hyppig siterte forskere rekonstruert omtrent dobbelt så ofte som mindre siterte kolleger, og en bibliotekar beskrev et tillitsgap der studenter overstolte på generativt søk mens faglærere mistrodde det.

Referanseverifisering er der dette blir ufravikelig, og feilene klynger seg i forfatterfeltet, det som bærer æren. Denny m.fl. (2026) reviderte 723 930 publikasjoner og 15 872 533 referanser og verifiserte 30 fabrikkerte referanser på tvers av 14 artikler i informatikkutdanning, alle fra 2025 og 2026. Sytten av de 30 var hybrider: en ekte tittel festet til fabrikkerte eller uriktige forfattere. Det verifiserte antallet ved ett teknisk symposium steg fra 3 i 2025 til 17 i 2026, i 2,3 % av årets konferanseartikler. Totalen deres er en bevisst nedre grense, og automatiske sjekkere arver feilene i de metadataene de behandler som sannhet. Sjekk forfatterne først.

Behandle en automatisert poengsum som en hypotese du skal teste

Automatiserte målefunksjoner kan se presise og prediktive ut mens de forblir ugjennomsiktige. Martin m.fl. rammer dette inn med Changs nomiske måleproblem: å måle en størrelse krever en lov som knytter den til noe observerbart, og den loven kan ikke testes uten å kjenne størrelsen allerede. AI-avledede målefunksjoner oppstår fra treningsdata og optimalisering snarere enn fra forskeren, så forklarbarhetsarbeid betyr noe for å vise om en modell sporer semantisk forståelse eller bare nøkkelord.

Svakheten er konkret. I en evaluering av åtte AI-undervisningsagenter rangerte agenten som var tredje etter plattformens egen poengsum, sist på en ekspertvalidert rubrikk. Uenighet mellom menneske og maskin er systematisk snarere enn tilfeldig, og operasjonalisering av rubrikken betyr ofte mer enn prompt-håndverk (Tseng m.fl., 2026). Før en automatisert poengsum blir instrumentet ditt, valider den mot et mål knyttet til kompetansen du har tenkt å studere. For målene selv, se Hvilke mål og forskningsmetoder kan en underviser bruke for å evaluere AI-relaterte tiltak?.

Skriv metodedelen slik at en utenforstående kan revidere den

Bruken har løpt foran rapporteringen. Zabaleta og Lin (2026) analyserte 888 artikler om automatisering av oversikter: siden 2023 rapporterte 38,0 % av programvare- og produktartiklene ingen evaluering i det hele tatt, mot 9,3 % av LLM-artiklene, og modelltilgangen var overveldende proprietær (84,1 %). En gunstig samlet vurdering innebar heller ikke at arbeidsflyten var egnet for delegasjon, siden 52 % av 118 LLM-artikler med bare positive funn likevel rapporterte en bekymring for at arbeidsflyten lå under listen som rollen krevde. Deres PRISMA-LLM-rammeverk skiller avsløring av implementasjon fra konsekvenssensitiv evaluering, og behandler de fem nivåene som avsløringsnivåer snarere enn risikonivåer.

Den praktiske versjonen: navngi systemet og versjonen, promptene, korpusversjonen, hva et menneske sjekket, og hvor det sviktet. Ta vare på prompt- og svarlogger, fordi en flytende generert temaliste ser uunngåelig ut lenge før evidensarbeidet har begynt (Holster, 2026).

Budsjetter timene også. En 115 dager lang casestudie med én forsker av en vedvarende forskningsagent fant at det sterkeste mønsteret var kapasitetsutvidelse snarere enn påvist arbeidssubstitusjon: etter hvert som minne og prosedyrer akkumulerte, vokste omfanget av delegert arbeid mens menneskets innsats ikke krympet.

Kjør praksisforskning med de samme reglene i mindre skala

Hvis du er en foreleser som studerer eget kurs, arbeider du i den tynneste tråden i korpuset. AI-assistert utdanningsforskning oppgir dette som et hull snarere enn et funn: AI-assistert praksisforskning er sannsynligvis utbredt og nesten udokumentert, og evidensen om automatiserte oversikter og bibliometri avgjør ikke hvordan en foreleser bør studere egen undervisning.

Det som overføres, er et sett holdninger:

Bruk AI der ditt lokale oppsett ikke er variabelen. Å søke i fagets litteratur, transkribere og oppsummere egne opptak, og utforme instrumenter eller samtykketekst, kvalifiserer alt sammen.

Behold de fortolkende grepene. Hva som teller som et tema, hva en students kommentar betyr, og hva klasseromsbeviset ditt berettiger, er ditt å avgjøre, og skrivingen bør si hvilke grep modellen gjorde og hvilke du gjorde (Holster, 2026).

Definer kriteriene på forhånd og hold dem synlige. En liten lokal studie kan ikke komme seg etter et konstrukt som ble definert etter at dataene kom inn.

Rapporter AI-ens rolle, verifiseringen du gjorde, og grensene ved et design med ett kurs og én forsker. En arbeidsflytberetning er ikke et effektresultat.

Behandle simulering av et kull som et avansert alternativ, ikke en standard. Simulerte lærende har en tendens til å dekke den enkleste kvadranten av ekte studentatferd og valideres sjelden etter bruk (Simulating Students). Les Hvordan får vi en simulert elev til å oppføre seg som en ekte lærende? før du stoler på en simulators dom.

Hva forskere tar feil om her

Enighet med en menneskelig koder betyr at kodingen er riktig. Enigheten mellom menneske og LLM i blindstudien var 0,30 Jaccard mot 0,52 for menneske mot menneske, og den blinde verifisereren kunne ikke skille de to kodingkildene ved 51,5 % mot 48,5 %. Enighet registrerer at to lesere konvergerte, også når de konvergerte på samme skjevhet.

En referansesjekker erstatter å sjekke referanser. De 30 fabrikkerte referansene i Denny-revisjonen inkluderer 17 hybrider der tittelen var ekte og forfatterne ikke var det, som er nøyaktig det tilfellet en sjekker trent på metadata håndterer dårligst, siden metadataene er det som er feil.

En gunstig evaluering gjør en arbeidsflyt egnet for rollen din. Av 118 LLM-artikler med bare positive funn rapporterte 52 % likevel en bekymring for at arbeidsflyten lå under listen rollen krevde. Les dybden i evalueringen opp mot jobben du gir den.

Prompt-håndverk er den viktigste spaken på kvalitet. Operasjonalisering av rubrikken betyr ofte mer enn prompt-håndverk for enighet mellom menneske og maskin, og evalueringen av åtte agenter rangerte samme system som tredje og sist avhengig av hvis rubrikk som ble brukt.

AI tar arbeid ut av prosjektet. Casestudien over 115 dager fant at delegert omfang vokste etter hvert som agentens minne akkumulerte. Verifisering, avstemming og logging er timene som vokser med det.

Hva som kommer tilbake på deg

«Medforfatteren min gjør allerede dette, og ingen har klaget.» At ingen klager, er ikke et funn om gyldighet. Avsløringsspørsmålet er atskilt fra kvalitetsspørsmålet, og tallet 38,0 % for ikke-evaluerte programvareartikler sier at feltets stillhet er utbredt.

«To modeller var enige med hverandre, så kodingen er avgjort.» To modeller som deler treningsdata, deler feilene sine. Liu-studienes blinde verifiserer foretrakk maskinell koding ved 48,5 %, og det som gjorde tallet tolkbar, var en uavhengig dommer, ikke enigheten selv.

«Vi kan ikke revidere en proprietær modell, så det er ingenting å rapportere.» PRISMA-LLM ber om avsløring av implementasjon som et nivå atskilt fra evalueringsdybde. System, versjon, prompter, hva mennesker sjekket, og hvor det sviktet, er alt rapporterbart for en lukket modell.

«Etikkomiteen vil aldri godkjenne dette.» Modelltilgangen var proprietær i 84,1 % av artiklene som ble undersøkt, noe som betyr at studenttekst vanligvis forlater institusjonen din. Samle bare det formålet krever, sjekk om lærendes data trener leverandørens modeller, og foretrekk lokale eller syntetiske data der sensitiviteten er høy. Hvordan bør forskning på AI i utdanning ivareta rettferdighet, tilgjengelighet, personvern, etikk og pedagogisk trygghet? dekker forpliktelsene fullt ut.

«Dette blir langsommere enn å gjøre det for hånd.» For et lite prosjekt er det ofte det. Argumentet for hviler på omfang i skala, og argumentet mot å overdrive hviler på samme 115-dagers beretning.

Hva du kan gjøre denne uken

1. Skriv oppgavelisten med en dom ved hver post, og legg den der hele teamet kan se den.

2. Legg beslutningsreglene for gråsonen og avstemmingsloggen til sorteringsprotokollen før neste batch starter.

3. Velg ett automatisert resultat du allerede stoler på, og valider det mot en menneskelig vurdering på et utvalg du ennå ikke har sett på.

4. Les det siste manuskriptet du leverte, og sjekk hvert forfatternavn i referanselisten for hånd.

5. Legg til en linje om «hvor AI sviktet» i metodemalen din, slik at avsløringsvanen blir skrevet ned én gang.

Hvor du kan gå videre

Følgespørsmålene er Hvilke mål og forskningsmetoder kan en underviser bruke for å evaluere AI-relaterte tiltak? om hvordan man måler et tiltak, Hva er god praksis for å rapportere og tolke forskning på AI i utdanning? om å rapportere systemet og egen AI-bruk, og Hvilke viktige hull finnes i forskningslitteraturen om AI i utdanning? om hvor litteraturen er tynn. Hvordan bør forskning på AI i utdanning ivareta rettferdighet, tilgjengelighet, personvern, etikk og pedagogisk trygghet? dekker studentdata, og AI-Assisted Educational Research er den fulle konseptsiden bak denne.