Hjelper AI faktisk elevene mine å lære?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

En student forteller deg at AI-veilederen er grunnen til at hen endelig forsto stoffet, og du har ingen måte å sjekke påstanden på. Eller en pilot lander på skrivebordet ditt med en tilfredshetsundersøkelse og et skjermbilde av stigende karakterer på innleveringer, og noen vil ha en beslutning om lisensen innen utgangen av måneden. Eller du står foran en klasse og lurer på om verktøyet du nettopp ba dem åpne, hjelper dem å øve eller hjelper dem å unngå øvelse.

Det korte svaret: ja, AI kan hjelpe studenter å lære, og ingen av de tingene du mest sannsynlig kommer til å se, etablerer at den gjorde det: bedre innleveringer, raskere fullføring, fornøyde studenter, eller et produkt som kalles en veileder. Det som skiller tilfellene der læringen forbedres fra tilfellene der den ikke gjør det, er utformingen av aktiviteten og utfallet du valgte å måle.

Kortversjonen

1. Navngi kompetansen først, og bestem deretter hvilken evidens som ville vise at den endret seg.

2. Mål samme kompetanse senere, med verktøyet fjernet, fordi det er det eneste målet som svarer på spørsmålet ditt.

3. Sett studentens eget forsøk før hjelpen, og krev en respons på hjelpen etterpå.

4. Vurder verifiseringen: hva de sjekket, hva de avviste, hva de endret.

5. Se på resultater etter forkunnskaper, fordi gjennomsnittet skjuler studentene utformingen svikter.

Bestem hva du mener med læring før du ser på noen evidens

«Hjelper AI studenter å lære» er ikke ett spørsmål. Det samler minst tre: hever verktøyet prestasjonen mens det er åpent, bygger det kapasitet som vedvarer når det lukkes, og endrer det hvem som ender opp med den kapasiteten. En leverandørrapport, en pilotundersøkelse og et randomisert forsøk kan alle være ærlige og likevel svare på ulike spørsmål.

Skriv ned kompetansen før aktiviteten. «Produsere en polert rapport» er et annet utfall enn «velge relevant evidens», «forklare en kausal sammenheng» eller «oppdage en ubegrunnet konklusjon». Vurderingen må avdekke kompetansen du har til hensikt å utvikle, som er argumentet i utdanningsmåling og startpunktet for evaluering av AI i utdanning.

Korpuset støtter to påstander samtidig, og å holde begge er den disiplinen denne siden ber om. En syntese fra Verdensbanken, Kan utdanningsteknologi lukke læringsgap?, samlet 14 randomiserte studier på tvers av ti økonomier og anslå en positiv gjennomsnittlig læringseffekt på 0,125 standardavvik for adaptiv og AI-aktivert utdanningsteknologi. Den kombinerte også tidligere adaptive systemer med generative AI-verktøy, fant ingen statistisk etablert fordel for de nyere generative verktøyene, og erkjente betydelig usikkerhet i den sammenligningen. Resultatet støtter potensialet i disse intervensjonene, ikke en påstand om at enhver chatbot vil forbedre læring. Et positivt gjennomsnitt er med andre ord forenlig med stor variasjon og med ingen påvist fordel for det du faktisk vurderer.

De mer nyttige studiene er de som varierer utformingen inne i ett og samme eksperiment. En randomisert multisitestudie med 1 176 førsteårsstudenter sammenlignet tilbakemelding fra medstudenter, direkte AI-tilbakemelding, egenvurdering etterfulgt av AI-tilbakemelding, og en hybrid sekvens av egenvurdering, tilbakemelding fra medstudenter og AI-kritikk. De refleksive og hybride betingelsene ga sterkere forsinket overføring uten AI enn direkte AI-tilbakemelding: studentene gjorde det bedre på en ny oppgave i vitenskapelig argumentasjon, ikke bare på essayet de reviderte. Disse betingelsene krevde også mer vurderingsarbeid og sannsynligvis mer tid, så studien støtter det komplette tilbakemeldingsdesignet snarere enn én komponent i det.

Sjekk om gevinsten overlever at verktøyet tas bort

Dette er den mest informative sjekken du har tilgjengelig, og den er lett å utelate fra en pilot.

Den tydeligste advarselen i korpuset er et randomisert felteksperiment med nesten 1 000 videregåendeelever, Generativ AI uten sikkerhetsmekanismer kan skade læring. Et grensesnitt av typen allmennverktøy hevet scoren på assistert øvelse med 48 % relativt til kontroll, og de samme studentene skåret deretter 17 % lavere på uassisterte eksamener. En veileder konfigurert med lærerkonstruert veiledning og hint unngikk i stor grad den straffen. Den ga ikke en statistisk signifikant forbedring i uassistert eksamensprestasjon sammenlignet med kontrollgruppen. Å unngå skade og å demonstrere ekstra læring er to ulike prestasjoner.

I nasjonal skala viser den samme splittelsen seg med etterslep. Læringsstraffen ved generativ AI fulgte 26 811 kinesiske videregåendeelever på trinn 7-12 i 30 måneder ved hjelp av forskjøvet innføring. Leksepoengsummene steg 18 %, og fullføringstiden falt 30 %, fra 64 til 45 minutter. Poengsummene på månedlige eksamener uten hjelpemidler falt 20 % innen seks måneder, og poengsummene på høystatus opptaksprøver falt 18-24 % av utgangsnivået, men først etter omtrent to år. Tapene konsentrerte seg blant de omtrent 81 % av brukerne hvis atferd tydet på utkontraktering av lekser, mens studenter som holdt leksetiden sammenlignbar med ikke-brukere, lærte omtrent like effektivt. To ting følger for kurset ditt: avviket mellom lekse- og eksamensprestasjon er prestasjons-læringsgapet i en nasjonal kohort, og toårsforsinkelsen betyr at en evaluering over ett semester systematisk vil undervurdere kostnaden.

Informatikkutdanning viser samme struktur. Den systematiske gjennomgangen av 72 studier fant at generativ AI pålitelig hevet kortsiktig fullføring og reduserte tiden på oppgaven i 36 studier, uten at en eneste studie i korpuset dokumenterte en negativ effekt på umiddelbar prestasjon, og at disse gevinstene «ikke overføres til uavhengig prestasjon» i 21 studier. Studenter som fikk hjelp av Codex, fullførte dobbelt så mange oppgaver under læringen og presterte ikke bedre enn kontrollgruppen på ettertester uten AI.

Så er det spørsmålet om studentene i det hele tatt bruker hjelpen. Et toårig randomisert skoleeksperiment ved 18 ungdomsskoler, Ett klikk unna, fant beskjedne gevinster i matematikkprestasjoner, og studentene hadde sjelden faglige veiledningssamtaler. Forfatterne bemerket at gevinstene lignet gevinstene som er rapportert for strukturert øvelse uten AI, og designet kombinerte individualisert øvelse med AI-veiledning, så det isolerte ikke AI-komponentens bidrag. At en dyktig veileder er tilgjengelig, er et annet faktum enn at studentene bruker den produktivt.

Å gjøre AI-veiledning produktiv tilfører en skarpere lærepenge fra mer enn 6 000 ungdomsskoleelever som brukte NUMI. AI-støtte forbedret gjenopprettingen etter feil og bremset framdriften gjennom spørsmålene. En meistringsregel med tre riktige på rad hevet plattformdefinert suksess uten i seg selv å forbedre læringen en uke senere. Det sterkeste signalet om forsinket læring dukket opp da AI-en ble bygget inn i meistringsarbeidsflyten, og disse gevinstene var marginalt statistisk signifikante og konsentrert om bestemt innøvd materiale. Det er suggestive bevis for en strukturert tilnærming, ikke en bevist oppskrift.

Bygg aktiviteten så studenten gjør tenkningen som betyr noe

Undervisningsdesign betyr mer enn hvilken modell du kjører. Designet som overlever disse resultatene, har fire trinn: et forsøk, hjelp rettet mot vanskeligheten, noe studenten gjør med hjelpen, og en ny anvendelse med støtten trukket tilbake.

1. Be om et innledende forsøk, en prediksjon, et utkast, en forklaring eller en tolkning.

2. Tilby målrettet hjelp: et hint, en forklaring, et kontrasterende eksempel eller fokusert tilbakemelding på punktet der de stoppet.

3. Krev en respons på hjelpen. De forklarer den, reviderer med den, verifiserer den, eller begrunner å godta og avvise den.

4. Sjekk en sammenlignbar oppgave eller en annen kontekst med støtten trukket tilbake.

Det er et undervisningsmessig utgangspunkt snarere enn en validert sekvens, og riktig mengde og riktig tidspunkt for støtte avhenger av studentene og oppgaven. Det gjenspeiler det syntesene om støtte og aktiv læring legger vekt på: støtte som hjelper studentene å forstå, øve, vurdere og til slutt prestere med mindre av den.

Anvend prinsippet på læringsmålet, ikke mekanisk på hver funksjon. «Støtt, ikke erstatt» er en god regel med en felle i seg. Et fullstendig gjennomarbeidet eksempel kan være noe studentene lærer av, og en sekvens med hint kan fortsatt bli noe de klikker seg gjennom uten å tenke. Det som betyr noe, er hva studenten gjør med hjelpen, og det er derfor kognitiv avlasting og hjelpsøking ligger i hver sin ende av spekteret det samme verktøyet kan produsere.

Moteksemplet er verdt å ha i tankene, fordi det hindrer deg i å gjøre innsats til en erstatning for læring. I de forhåndsregistrerte eksperimentene som rapporteres i Veileder, ikke krykke, produserte voksne som øvde på å revidere søknadsbrev med AI, bedre skriving uten AI etterpå enn de som øvde alene, og de brukte mindre innsats på det. Fordelene holdt seg ved en oppfølging dagen etter, og et andre eksperiment fant at det å se et AI-revidert eksempel ga tilsvarende fordeler som å øve med verktøyet. Det var korte, avgrensede skriveoppgaver, ikke bevis på varig forbedring på tvers av all skriving. De viser at mindre innsats ikke automatisk er mindre læring, og at målet er å bevare læringsaktiviteten, ikke å maksimere vanskelighetsgraden.

Gjør den beholdte tenkningen synlig i det du vurderer

Hvordan studentene bruker verktøyet, betyr mer enn om de har det. I en kvalitativ studie av 38 studenter i ikke-overvåkede essayvurderinger gikk engasjementet fra kognitiv utkontraktering til kognitiv reallokering, forskyvningen av innsats fra lavnivå-gjenfinning til kritisk vurdering. De fleste studentene, 31 av de 38, hadde til hensikt å bruke generativ AI som læringsassistent. I praksis stolte 76,32 % på en enkelt tur med spør, få svar, stopp, og 78,94 % brukte verktøyet før eller etter skrivingen i stedet for gjennom oppgaven. Bare 8 studenter arbeidet som kognitive partnere gjennom vedvarende, iterativ dialog. Det spekteret, fra utkontraktering til reallokering, er det student-AI-interaksjon beskriver. Én deltaker beskrev effekten som «farten du glemmer det med, er også svært høy».

Den pedagogiske lærdommen er at både generelle tillatelser og generelle forbud lar studentene gjette. Det som endret atferd, i den studiens framstilling, var oppgavespesifikk veiledning om hvilket kognitivt arbeid studentene måtte beholde og hvilken hjelp som var passende, den designretningen som utvikles i Reduser juks med AI og Redusere misbruk av AI.

Så gjør den beholdte tenkningen til et artefakt du kan vurdere. I matematikk: be om det forsøkte svaret før hjelp bes om, og la deretter studentene bruke en prompt som «identifiser det første trinnet jeg bør revurdere, gi meg ett nyttig hint, og be meg prøve igjen», og krev en ny løsning pluss en forklaring i stedet for en gjengivelse av AI-ens svar. I skriving: la studentene vurdere utkastet sitt mot vurderingskriteriene før de ber om kritikk, og deretter forklare hvilke forslag de godtok, endret eller avviste. Hvis oppbygging av argument er målet, kan AI-prosa ikke stå i stedet for evidens for at studenten kan bygge et argument. Hvis vurdering av alternative revisjoner er målet, er sammenligning av komplette eksempler passende. Sidene om skriveopplæring og tilbakemeldingskompetanse har detaljene.

Gjennomgangens designkrav er det samme trekket på kursnivå: verifisering, det vil si å lese, teste, endre, forklare og kritisere AI-resultat, gjort til en vurdert og observerbar komponent i stedet for en ambisjon overlatt til studentenes skjønn. Og ikke alle legitime utfall må demonstreres uten AI. Et kurs kan bevisst lære bort effektivt AI-støttet arbeid, og da vurderer du studentens evne til å velge, verifisere, revidere og forsvare bruken av verktøyet, sammen med hvilke uavhengige grunnlag faget krever. En test av menneskelig kapasitet for læringsutbytte i AI-tiden foreslår den tredelte forskjellen mellom uavhengig kapasitet, AI-forsterket prestasjon og verifiseringsansvar. Det er et begrepsmessig rammeverk, ikke et validert instrument.

Sjekk hvem verktøyet hjelper, og hvem det lar falle uten et ord

En gjennomsnittlig forbedring kan skjule studenter som ikke fikk noe ut av det eller møtte en ny barriere. Syntesen om digitalt skille skiller tilgang til et verktøy fra ferdigheten som trengs for å bruke det, og fra hvem som ender opp med et nyttig resultat, og alle tre betyr noe for et kurs.

Forkunnskaper modererer alt i informatikk-gjennomgangen: godt forberedte studenter gjør hjelp om til varig ferdighet, mens dårlig forberedte studenter risikerer å bruke den som en krykke som fjerner øvelsen de trenger. Kohortstudien på nasjonalt nivå viser samme konsentrasjon på sin måte, med læringstapene hos de 81 % hvis lekseatferd tydet på utkontraktering.

For en klasseromsevaluering: bryt resultatene ned etter forkunnskaper, språkbehov og tilgjengelighetsbehov i stedet for å rapportere et kursgjennomsnitt. Å lære studenter hvordan de skaffer og vurderer nyttig tilbakemelding er en del av AI-kompetanse, og den kommer ikke med lisensen. Når du vurderer uavhengig læring, fjern hjelpen som leverer tenkningen du vil måle, og behold tilretteleggingen som gir tilgang til oppgaven, som er skillet som både tilgjengelighet og likestilling i AI-utdanning bygger på.

Inspiser også tilbakemeldingen studentene faktisk får. Et flytende svar kan feildiagnostisere vanskeligheten, forsterke en feil eller overlevere et svar der det var behov for en annen type støtte. Bruk kursjusterte materialer, hold en vei til menneskelig hjelp åpen, og samle ikke mer studentinformasjon enn aktiviteten krever. Kvalitet på AI-tilbakemelding, pedagogisk sikkerhet og personvern dekker detaljene.

Ikke stol på dashbordet, heller ikke ditt eget

Plattformmål er den enkleste evidensen å ta med inn i en innkjøpsbeslutning, og den enkleste å overtolke. I en evaluering av åtte AI-undervisningsagenter i medisinsk utdanning avvek rangeringen etter plattformens egen score fra en ekspertvalidert rubrikk for undervisningskvalitet. Agenten som var rangert som nummer tre av plattformen, var sist på rubrikkvalitet, fordi plattformscoren sporet studentprestasjon under interaksjonen i stedet for agentens undervisningsatferd. Et innebygd mål er en hypotese som skal valideres.

Den samme skepsisen gjelder evidensen du selv genererer. En tilfredshetsundersøkelse måler tilfredshet, og opplevd læring er et selvrapporteringsmål som korpuset viser at glir langt fra målt læring. Karakterer på innleveringer måler innleveringen. Ingen av dem forteller deg hva en student kan om tre uker med verktøyet stengt, og Evaluere AI-intervensjoner legger fram sammenligningsdesignene som bringer deg nærmere.

Hva undervisere tar feil om her

«Høyere karakterer på innleveringen betyr at de lærte mer.» De to kan bevege seg i motsatt retning. Eksperimentet med sikkerhetsmekanismer hevet assistert øvelse med 48 % mens uassisterte eksamener falt 17 %, og den nasjonale kohorten så leksepoengsummer stige 18 % mens eksamener uten hjelpemidler falt 20 % innen seks måneder. Ingen av mønstrene ville vises i en karakterbok som bare registrerer den endelige innleveringen.

«Det er en veileder, så det er trygt.» Veileder er en etikett, og resultatene bak etiketten er blandet. Den lærerkonfigurerte veilederen unngikk eksamensstraffen og slo ikke kontrollgruppen på uassisterte eksamener. Khanmigo ga beskjedne gevinster som lignet strukturert øvelse, med lite faglig veiledning som fant sted. NUMIs AI bremset framdriften gjennom spørsmålene. En veileder kan holde tilbake løsninger og likevel absorbere øvelsen.

«Hvis det føles lettere, lærer de ingenting.» Feil i begge retninger, og det er derfor innsats er en dårlig erstatning. Veileder, ikke krykke fant mindre innsats med bedre skriving uten AI dagen etter, så letthet er ikke kjennetegnet. Det som skiller tilfellene, er hvorvidt studenten gjorde tenkningen målet navngir, og det er et designspørsmål snarere enn en vanskelighetsinnstilling.

«En generell regel, eller en bedre prompt, fikser hvordan de bruker det.» Studien med 38 studenter fant at de fleste var i enkeltmodus med spør og stopp, under nøyaktig de betingelsene der de var blitt fortalt at AI var en læringsassistent. Det som flyttet atferd, var veiledning spesifikk for oppgaven og et vurdert krav om å verifisere. En regelsetning og en smart prompt er begge innspill til det, og ingen av dem erstatter det.

«Plattformscoren, eller tilfredshetsundersøkelsen, forteller meg at det virker.» Evalueringen av åtte agenter fant en plattformrangering som snudde under en ekspertrubrikk. Tilfredshet og opplevd læring er selvrapporteringer. Begge er verdt å samle inn som prosessinformasjon, og ingen av dem er et læringsmål.

«Tilgang er likestillingsproblemet, og vi har løst tilgang.» Tilgang er én av tre linjer, sammen med ferdighet og hvem som får et nyttig resultat. Forkunnskaper avgjør om hjelpen blir ferdighet eller en krykke, og tapene i den nasjonale kohorten konsentrerte seg i gruppen hvis atferd tydet på substitusjon, ikke i gruppen uten enheter.

Hva som kommer tilbake på deg

«Studentene mine sier det hjelper.» Det hjelper sannsynligvis med arbeidet de har foran seg, og det er funnet, ikke en gjendrivelse av det. Spør hva de kan gjøre på en lignende oppgave med verktøyet stengt, og du får svaret som betyr noe.

«Studiene motsier hverandre, så hvorfor handle på noen av dem?» De motsier sjelden hverandre når du stiller opp utfallet hver av dem målte. De positive resultatene måler gjerne assistert prestasjon, tilfredshet eller en godt strukturert aktivitet med forsinkede kontroller; de negative måler uassistert prestasjon senere. Burneo-syntesen gjør usikkerheten eksplisitt: 0,125 standardavvik i gjennomsnitt over 14 forsøk, ingen etablert fordel for de nyere generative verktøyene. En forbedring før og etter kan ikke vise at AI forårsaket gevinsten, siden studenter blir bedre gjennom resten av undervisningen, og metoder for effektforskning legger fram sammenligningsdesignene som bringer deg nærmere. Handle på designpåstandene, som replikerer, og hold deg åpen om effektens størrelse, som ikke gjør det.

«Jeg har 200 studenter. Jeg kan ikke kjøre forsinkede vurderinger.» Du trenger én kort baselineoppgave og ett forsinket element, ikke en studie. Bruk samme oppgavetype tre uker senere uten verktøyet, behold fjorårets versjon av eksamenen som en grov sammenligning, og ta et utvalg av arbeidet som virker inkonsistent med tidligere innleveringer. Det er nok til å se en assistert gevinst på 48 % ved siden av et uassistert tap på 17 % hvis det skjer i kurset ditt.

«Khanmigo fikk et positivt resultat, så veiledning virker.» Det fikk beskjedne matematikkgevinster ved 18 ungdomsskoler, i et design som samlet individualisert øvelse med AI-veiledning, mens elevene sjelden hadde faglige veiledningssamtaler. Les det som evidens for at et godt strukturert øvingsmiljø kan gi små gevinster, ikke som evidens for at AI-komponenten forårsaket dem.

«Jeg kan ikke forby det, og jeg kan ikke overvåke det.» Riktig på begge punkter, og ingen av dem er nødvendige. Designspørsmålet er hva aktiviteten din gjør lett. Hvis verifisering vurderes, koster åpenhet ingenting, og den uassisterte kontrollen finnes, tar de fleste studenter veien du bygde.

«Jeg underviser ikke i AI. Dette er ikke faget mitt.» Interferensen skjer inne i faget ditt, på trinnet der AI utfører øvelsen kurset ditt finnes for å gi. Det er derfor løsningen er en endret oppgave og ikke en ny modul.

Hva du kan gjøre denne uken

1. Ta én aktivitet du allerede kjører, og skriv kompetansesetningen: hva en student skal kunne gjøre etterpå, med verktøyet stengt.

2. Legg til en tominutters baseline i starten og samme type element tre uker senere. Skår begge uten AI i rommet.

3. Endre én prompt du gir studentene, fra «forklar dette» til «gi meg ett hint, og still meg så et spørsmål», og krev et revidert forsøk før de går videre.

4. Legg til ett vurdert verifiseringsartefakt: et kort notat om hva de sjekket, hva de avviste og hva de endret.

5. Bryt resultatet ned etter forkunnskaper for studentene du allerede vet sliter, og les AI-tilbakemeldingen et utvalg av dem fikk.

Hvor du kan gå videre

Evaluere AI-intervensjoner dekker målene og sammenligningsdesignene bak sjekkene over, og Evaluering av AI i utdanning er den praktiske evalueringsguiden. Hvordan AI påvirker studenter tar studentopplevelsen, Topp ti funn for undervisere komprimerer den samme evidensen til underviserbeslutninger, og Begrensninger i AIEd-forskningen er den ærlige redegjørelsen for hva denne litteraturen ennå ikke kan fortelle deg. Hvis spørsmålet ditt har blitt et vurderingsspørsmål, er Reduser juks med AI neste side.