Hur kan AI stödja utbildningsforskning?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Din medförfattare vill ha ett stycke i metodavsnittet om de AI-verktyg teamet använde. Eller också är sållningshögen längre än deadlineen tillåter. Eller också har en granskare artigt frågat om en människa läste transkripten, och du är inte säker på vad det ärliga svaret är.

Det korta svaret för det mötet: AI kan ta sökning, en första sållningsomgång, kodningstriage och utkastskrivandet, och den kan inte bära ansvaret för vad projektet drar för slutsatser. Bestäm vilka uppgifter som är öppna för den innan projektet börjar, verifiera utdata mot en mänsklig standard med en namngiven person som dömer, och logga tillräckligt för att en utomstående skulle kunna rekonstruera vad som hände. De flesta team upptäcker att timmarna för verifiering och loggning är arbete som tillkommer snarare än försvinner.

Kortversionen

1. Skriv ned vilka forskningsuppgifter som får använda AI och vilka som inte får, innan den första sökningen körs. Sortera efter insats snarare än efter verktyg.

2. Lägg automatiseringen på sållningen. Behåll dataextrahering, avstämning och syntes hos människor.

3. Fastställ kodningsschemat och rubriken innan en automatiserad omgång rör vid data.

4. Bestäm vad verifiering betyder och vem som signerar den. Överensstämmelse mellan en modell och en kodare är ett likhetsmått, inte ett kvalitetsresultat.

5. Verifiera varje referens för hand, författare först, närhelst AI har rört vid texten.

6. Logga promptar, modellversioner och korpusversioner, och budgetera timmarna för det.

Bestäm vad AI får röra vid innan projektet börjar

Omfattningsbeslutet hör hemma i projektfilen snarare än i någons minne. I Dai och Chans (2026) fokusgruppstudie kalibrerade forskare som hade tänkt igenom frågan användningen efter insats och intellektuell centralitet: tyngre på procedurellt arbete med låg insats, försiktigt där det vetenskapliga bidraget var centralt. Tjugosju av de 28 forskarstuderande i studien hade använt generativ AI någonstans i arbetsflödet, inklusive akademiskt skrivande och översättning, så för de flesta team är frågan var gränsen går snarare än om det finns en.

Skriv gränsen som en lista med en bedömning för varje uppgift: litteratursökning, sållning av abstract, extrahering, kvalitativ kodning, statistisk analys, utkastskrivande, referensformatering. Läs studien som en karta över vad forskare rapporterade att de gjorde. Det är en fokusgruppredogörelse, inte ett effektresultat.

Lägg automatiseringen på sållningen och behåll syntesen i teamet

Systematiska översikter är där automatiseringen har kommit längst. Verktyg som ASReview, SWIFT-Review, Covidence, AIScreenR och MetaMate skär ned den procedurella bördan huvudsakligen vid sållning av abstract, medan dataextrahering, avstämning och syntes blev kvar hos mänskliga granskare i det enda team som rapporterade sitt arbetsflöde (Wang m.fl., 2026).

Merparten av vinsten kommer från två designbeslut. Skriv beslutsregler för gränsfallen innan sållningen börjar, och behåll en kategori för ”kanske” med en gemensam avstämningslogg så att samma omdöme tillämpas på samma slags post. Utan loggen glider den andre granskarens regel och den förstes isär tyst, och uteslutningslistan slutar vara reproducerbar.

Fastställ kodningsschemat innan modellen läser något

Kvalitativ analys är det steg där tolkningen är produkten. Konstrukt, kodningsrubriker och träningsdata är mänskliga beslut snarare än modellutdata (Martin m.fl., 2026), vilket betyder att kodningsschemat måste vara fastställt innan en automatiserad omgång löper över korpuset. Alternativet är ett kodningssystem skrivet kring det modellen råkade lyfta fram, och temana beskriver då verktygets läsning av dina data.

Delegeringen kan vara finmaskigare än allt-eller-inget. En blind verifieringsstudie klassificerade 15 av 72 poster i kodningsschemat som påvisbart krävande mänsklig expertis, 12 som bättre lämpade för en modell och 16 som lämpade för förtroendebaserad triage. Sortera dina egna poster så, och arbetsbesparingen landar där den är säker.

Bestäm vad verifiering betyder och vem som signerar den

Hög överensstämmelse mellan en modell och en mänsklig kodare rapporteras som om den fastställde korrekthet. Det gör den inte. Liu m.fl. (2026) lät en oberoende expert bedöma 855 parvisa kodningsset blint för källa. Överensstämmelsen mellan människa och LLM (genomsnittlig Jaccard 0,30) låg klart under överensstämmelsen mellan människa och människa (0,52), ändå föredrog den blinda verifieraren mänsklig och maskinell kodning i en takt den inte kunde skilja (51,5 % mot 48,5 %, p = 0,537). I vissa fall kodade mänsklig konsensus en delad bias som verifieraren förkastade till förmån för modellen.

Verifieringssteget behöver alltså en guldstandard som varken är modellens utdata eller kodarens överensstämmelse med dem, plus en namngiven person som dömde i oenigheterna. Rapportera båda. En likhetsstatistik beskriver hur nära två läsningar matchar, och den säger ingenting om huruvida någon av läsningarna är rätt.

Sök snabbt, kontrollera sedan varje källa själv

Generativ sökning sammanfattar, rekommenderar, syntetiserar och samtalar, vilket rubbar den äldre ordningen där systemet lokaliserar och läsaren tolkar (Report on CHIIR 2026 Workshop on Generative AI and Academic Search (GAI&AS)). Behandla den som ett upptäcktsverktyg. Workshoprapporten bär två varningar: kapaciteten är ojämn, med högciterade forskare rekonstruerade ungefär dubbelt så ofta som lägre citerade kollegor, och en bibliotekarie beskrev ett förtroendegap där studenter litade för mycket på generativ sökning medan fakulteten misstrodde den.

Referensverifiering är där detta blir icke förhandlingsbart, och felen klustrar i författarfältet, det som bär krediten. Denny m.fl. (2026) granskade 723 930 publikationer och 15 872 533 referenser och verifierade 30 fabricerade referenser i 14 datavetenskapliga utbildningsartiklar, alla från 2025 och 2026. Sjutton av de 30 var hybrider: en verklig titel fäst vid fabricerade eller felaktiga författare. Det verifierade antalet vid ett tekniskt symposium steg från 3 år 2025 till 17 år 2026, i 2,3 % av årets konferensbidrag. Deras summa är en medveten undre gräns, och automatiska kontroller ärver bristerna i de metadata de behandlar som sanning. Kontrollera författarna först.

Behandla en automatisk poäng som en hypotes att testa

Automatiska mätfunktioner kan se precisa och prediktiva ut medan de förblir ogenomskinliga. Martin m.fl. ramar in detta med Changs nomiska mätproblem: att mäta en storhet kräver en lag som relaterar den till något observerbart, och den lagen kan inte testas utan att man redan känner storheten. AI-härledda mätfunktioner uppstår ur träningsdata och optimering snarare än ur forskaren, så arbete med förklarbarhet spelar roll för att visa om en modell följer semantisk förståelse eller bara nyckelord.

Misslyckandet är konkret. I en utvärdering av åtta AI-undervisningsagenter rankades den agent som låg trea enligt plattformens egen poäng sist på en expertvaliderad rubrik. Oenighet mellan människa och maskin är systematisk snarare än slumpmässig, och operationaliseringen av rubriken spelar ofta större roll än hantverket i prompten (Tseng m.fl., 2026). Innan en automatisk poäng blir ditt instrument, validera den mot ett mått knutet till den förmåga du avser att studera. För måtten i sig, se att utvärdera interventioner.

Skriv metodavsnittet så att en utomstående kan granska det

Införandet har sprungit före rapporteringen. Zabaleta och Lin (2026) analyserade 888 artiklar om automatisering av översikter: sedan 2023 rapporterade 38,0 % av artiklarna om programvara och produkter ingen utvärdering alls, mot 9,3 % av LLM-artiklarna, och modellåtkomsten var överväldigande proprietär (84,1 %). En positiv helhetsbedömning innebar inte heller att arbetsflödet var lämpligt att delegera, eftersom 52 % av 118 LLM-artiklar med enbart positiva resultat ändå rapporterade en oro för att arbetsflödet låg under den ribba som dess roll krävde. Deras PRISMA-LLM-ram skiljer redovisning av implementering från konsekvenskänslig utvärdering och behandlar dess fem nivåer som nivåer för redovisning snarare än risknivåer.

Den praktiska versionen: namnge systemet och dess version, promptarna, korpusversionen, vad en människa kontrollerade och var det misslyckades. Behåll loggar över prompt och svar, eftersom en flytande genererad temalista ser oundviklig ut långt innan dess bevisarbete har börjat (Holster, 2026).

Budgetera timmarna också. En 115 dagar lång fallstudie med en enda forskare av en persistent forskningsagent fann att det starkaste mönstret var kapacitetsutvidgning snarare än bevisad arbetssubstitution: när minne och procedurer ackumulerades växte omfattningen av delegerat arbete medan människans insats inte krympte.

Bedriv praktikernära undersökande med samma regler i mindre skala

Om du är lärare och studerar din egen kurs arbetar du i korpusets tunnaste sträng. AI-Assisted Educational Research anger detta som ett gap snarare än ett fynd: AI-assisterat undersökande från praktiker är rimligen utbrett och nästan odokumenterat, och evidensen om automatisering av översikter och bibliometri avgör inte hur en lärare bör studera sin egen undervisning.

Det som bär över är en uppsättning hållningar:

Använd AI där din lokala miljö inte är variabeln. Att söka i ämnets litteratur, transkribera och sammanfatta dina egna inspelningar och skriva utkast till instrument eller samtyckestexter kvalificerar alla.

Behåll de tolkande dragen. Vad som räknas som ett tema, vad en students kommentar betyder och vad din klassrumsevidens gör gällande är ditt att avgöra, och rapporten bör säga vilka drag modellen gjorde och vilka du gjorde (Holster, 2026).

Förhandsbestäm dina kriterier och håll dem synliga. En liten lokal studie kan inte återhämta sig från ett konstrukt som definierades efter att data anlänt.

Rapportera AI:ns roll, den verifiering du gjorde och gränserna för en design med en kurs och en forskare. En redogörelse för ett arbetsflöde är inte ett effektresultat.

Behandla simulering av en kull som ett avancerat alternativ snarare än standard. Simulerade studerande tenderar att täcka den lättaste kvadranten av verkligt studentbeteende och valideras sällan efter användning (Simulating Students). Läs att få simulerade studenter att bete sig som studerande innan du litar på en simulators dom.

Vad forskare missförstår om detta

Överensstämmelse med en mänsklig kodare betyder att kodningen är rätt. Överensstämmelsen mellan människa och LLM i blindstudien var 0,30 Jaccard mot 0,52 för människa mot människa, och den blinda verifieraren kunde inte skilja de två kodningskällorna åt vid 51,5 % mot 48,5 %. Överensstämmelse registrerar att två läsare konvergerade, också när de konvergerade på samma bias.

En referenskontroll ersätter kontroll av referenser. De 30 fabricerade referenserna i Dennys granskning omfattar 17 hybrider där titeln var verklig och författarna inte var det, vilket är exakt det fall en kontroll tränad på metadata hanterar sämst, eftersom metadata är det som är fel.

En positiv utvärdering gör ett arbetsflöde lämpligt för din roll. Av 118 LLM-artiklar med enbart positiva resultat rapporterade 52 % ändå en oro för att arbetsflödet låg under den ribba rollen krävde. Läs utvärderingens djup mot det jobb du ger det.

Promptens hantverk är den viktigaste hävstången för kvalitet. Operationaliseringen av rubriken spelar ofta större roll än promptens hantverk för överensstämmelsen mellan människa och maskin, och utvärderingen av de åtta agenterna rankade samma system trea och sist beroende på vems rubrik som tillämpades.

AI tar bort arbete från projektet. Fallstudien på 115 dagar fann att den delegerade omfattningen växte när agentens minne ackumulerades. Verifiering, dömande och loggning är de timmar som växer med den.

Vad som kommer att slå tillbaka mot dig

”Min medförfattare gör redan detta och ingen har klagat.” Att ingen klagar är inte ett fynd om validitet. Frågan om redovisning är separat från kvalitetsfrågan, och siffran 38,0 % för outvärderade programvaruartiklar säger att fältets tystnad är utbredd.

”Två modeller höll med varandra, så kodningen är avgjord.” Två modeller som delar träningsdata delar sina fel. Liu-studien blindverifierare föredrog maskinell kodning vid 48,5 %, och det som gjorde den siffran tolkningsbar var en oberoende domare, inte överensstämmelsen i sig.

”Vi kan inte granska en proprietär modell, så det finns inget att rapportera.” PRISMA-LLM efterfrågar redovisning av implementering som en nivå skild från utvärderingens djup. System, version, promptar, vad människor kontrollerade och var det misslyckades är allt rapporterbart för en sluten modell.

”Etikkommittén godkänner aldrig det här.” Modellåtkomsten var proprietär i 84,1 % av de granskade artiklarna, vilket betyder att studenttext vanligen lämnar din institution. Samla bara in det utbildningssyftet kräver, kontrollera om studerandedata tränar leverantörens modeller, och föredra lokal eller syntetisk data där känsligheten är hög. rättvisa, etik och pedagogisk säkerhet täcker förpliktelserna i sin helhet.

”Det här går långsammare än att göra det för hand.” För ett litet projekt är det ofta så. Argumentet för det vilar på omfattning i skala, och argumentet mot att överdriva det vilar på samma redogörelse över 115 dagar.

Vad du ska göra den här veckan

1. Skriv uppgiftslistan med en bedömning bredvid varje post, och sätt den där hela teamet ser den.

2. Lägg till beslutsreglerna för gränsfall och avstämningsloggen i ditt sållningsprotokoll innan nästa omgång börjar.

3. Välj ett automatiserat utdata du redan förlitar dig på och validera det mot ett mänskligt omdöme på ett urval du ännu inte tittat på.

4. Läs det senaste manuskriptet du skickade in och kontrollera varje författarnamn i referenslistan för hand.

5. Lägg till en rad om ”var AI:n misslyckades” i din metodmall, så att redovisningsvanan skrivs ned en gång.

Vart du går härnäst

Följdfrågorna är att utvärdera interventioner om hur en intervention mäts, att rapportera och tolka forskning om att rapportera systemet och din egen AI-användning, och forskningsluckor om var litteraturen är tunn. rättvisa, etik och pedagogisk säkerhet täcker studentdata, och AI-assisterad utbildningsforskning är den fullständiga konceptsidan bakom den här.