AIEd-kunnskapsbaseAIEd KB
På denne siden

Alle numre

Ukentlig forskningsoppdatering om AI i utdanning #1

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Et ukentlig sammendrag fra kunnskapsbasen om AI i utdanning, om hva forskningen som ble publisert den siste uken, betyr for undervisere, utviklere, forskere og administratorer.

Denne uken kom det 71 nye studier og to nye ressurser, slik at kunnskapsbasen nå rommer 1 805 artikelsammendrag, 220 begrepssider, 37 FAQ-er og 33 ressurser. Søk eller bruk AI for å chatte med kunnskapsbasen.

Innhold

Hovedfunn og spørsmål

Begge ukens hovedresultater sier det samme: en poengsum er ikke utfallet. En trearmet studie løftet øvingsscorene fra 29,85 % med det åpne nettet til 71,84 % med ubegrenset ChatGPT, mens den begrepsmessige læringen ikke skilte seg i det hele tatt, så en høyere karakter med AI-tilgang er ikke bevis på at studentene lærte mer. Tretten detektorer flagget menneskeskrevne manuskripter med rater fra 0 % til 100 % etter én enkelt korrekturlesing, så et detektorflagg er ikke bevis på fusk.

For undervisere

En veileder kan heve leksene og la eksamen stå der den var

Chen og kollegene randomiserte 153 studenter i bevisføring ved Carnegie Mellon til å få en bevisveileder tidlig eller sent, og målte deretter en eksamen tatt uten AI i rommet. Leksescorene steg 2,56 poeng mens verktøyet var tilgjengelig. Midtveisscorene skilte seg ikke. Da alle hadde tilgang og valgte sin egen dose, gikk hver 100 ekstra chatbotmeldinger sammen med 3,02 poeng lavere score på neste eksamen, og studentene med lavere mestringstro ved utgangspunktet var de som brukte det mest.

Hva det endrer for Dem: en karakter oppnådd med veilederen åpen er ikke bevis på hva en student kan uten den, så den uassisterte oppgaven må bære den vekten. Det betyr også at studentene som har størst risiko for å lene seg på den, er de som er minst trygge ved starten, noe som er synlig i bruken før det er synlig i scorene.

Ubegrenset chat blåser opp scorene mer enn en godt bygget veileder gjør

I en trearmet studie ved et CS1-kurs i München brukte 275 studenter 90 minutter på en Java-oppgave med en hintgivende veileder, med ubegrenset ChatGPT eller med det åpne nettet. Øvingsscorene ble 71,84 %, 57,50 % og 29,85 %. Begrepsmessig kunnskapsvekst var 0,83, 0,71 og 0,85 poeng, og forskjellen mellom betingelsene var langt fra signifikant (p = 0,773). Begge AI-betingelsene reduserte frustrasjon; bare veilederen økte motivasjonen.

Scoreforskjellen handler mest om artefakten, ikke om læringen. Hvis De vurderer øvingen, blir AI-betingelsene vurdert på en annen oppgave.

Lærerbygde chatboter svikter på intensjon, ikke på fakta

EduWild samlet 1 726 samtaler fra 217 lærerkonfigurerte Playlab-boter, inkludert 900 fra studentene de ble satt inn hos. Botene hoppet over påkrevde arbeidsflyttrinn i 53,8 % av samtalene med sluttbrukere, etablerte aldri rollen sin i 33,4 %, og overbelastet lærende med informasjon eller spørsmål i 37,1 %.

Før De setter ut en bot De har bygget eller overtatt, les den første turen og kontroller at den sier hva den er og hva som skjer videre. Feilene som dokumenteres her, ligger i instruksjonene, og de kan rettes i prompten uten å røre modellen.

En detektoravgjørelse er ikke bevis

Et datasett fra en redigeringstjeneste ga Park og kollegene 135 389 dokumentpar som holder forfatter, tema og innhold fast mens bare språket endres. På tvers av 13 detektorer gikk falske positive på menneskeskrevet akademisk tekst fra 0 % til 100 %, og de samme endringene flyttet detektorene i motsatte retninger. I en separat undersøkelse mistet en gruppe timelærere detektoren helt fordi den flagget grammatikkontroll, og de leser nå etter fabrikkerte referanser og manglende sammenheng med kursmaterialet i stedet.

Hvis De har lagt en detektorscore foran en student, særlig en student som skriver på et andrespråk, er dette uken for å slutte å bruke detektorer. De lesningsbaserte signalene i den andre studien er det praktiske alternativet.

Vurderingsdesign er et valg mellom tre begrensninger, ikke en jakt på et prinsipp

Pedlow, Fischer og Williams hevder at problemet ikke er mangel på designprinsipper, men fraværet av en måte å resonnere om dem som trekker i hver sin retning. Deres doble trilemma behandler autentisitet, observerbarhet og gjennomførbarhet i vurdering, og spesifisitet, aktualitet og arbeidsmengde i tilbakemelding, som begrensninger De bytter mot hverandre bevisst.

Spurt om å redesigne en vurdering for AI, gjør den innrammingen et åpent spørsmål om til et kort argument De kan føre og forsvare.

Talefremgang fra chatboter er ujevn etter trekk

Soriano-Gonzalez og Belda-Medina silte 306 poster ned til ti studier og spurte hvilke av de seks CEFR-trekkene ved muntlig språk som faktisk beveget seg. Spenn og forståelighet bedret seg i fire studier hver, sammenheng i én, interaksjon i nesten ingen. Fire av de ti rapporterte én holistisk score, så fremgangen deres kan ikke spores til et trekk i det hele tatt.

En leverandørs påstand om «forbedret muntlighet» er forenlig med en endring studien aldri målte. For lytting finner Goh og Aryadoust at evidensen er mye tynnere.

Tilbakemeldingskompetanse og engasjement nærer hverandre

Et trebølgepanel med 399 studenter fant at AI-tilbakemeldingskompetanse forutsa senere agentisk engasjement (β = 0,222), og at den motsatte veien var like sterk (β = 0,263), uten statistisk grunnlag for å ordne de to.

Å lære studentene å lese og bruke tilbakemelding er ikke en forutsetning De fullfører før engasjementet begynner. De to beveger seg sammen, så et kurs som bare bygger én av dem, arbeider mot seg selv.

For utviklere

Vanskelige tilfeller er der veiledere fortsatt svikter, og strategigjenfinning hjelper modeller på mellomnivå

TutorCaseBench gjorde kvalitative casestudier om til 923 dialoger på seks turer over fem utfordringstyper og vurderte 11 modeller mot sakspecifikke rubrikker. Den beste modellen oppfylte en dokumentert intervensjon i 55,8 % av åpne tilfeller, og det er tallet å designe mot. Å tilføre den dokumenterte strategien fra caselitteraturen løftet 10 av 11 modeller med gjennomsnittlig 9,9 poeng, der Llama 4 Maverick gikk fra 41,0 % til 64,8 %, mens den sterkeste modellen holdt seg flat på 71,3 %.

Gjenfinning av referansestrategier er verdt å bygge for modellene De har råd til. Den vil ikke redde en frontmodell som allerede har mønsteret.

Valider mot samtaler i drift, ikke mot laboratorieprompter

EduWild-datasettet parer hver samtale med systemprompten og innstillingene bak den, og det er det som gjør feilen analyserbar: 53,8 % av samtalene med sluttbrukere hoppet over et påkrevd trinn. Lærerskrevet konfigurasjon er en egen feilflate, forskjellig fra modellens evne, og en testramme på promptnivå gjenopprettet intensjonen uten å fjerne lærerens kontroll.

Hvis produktet Deres lar lærere skrive instruksjonene, må testsettet Deres være instruksjonene deres, samlet inn etter utrulling.

Rubrikkdimensjonen ved tilbakemeldingskvalitet er den ingen måler

Yang undersøkte 68 studier av AI-generert tilbakemelding. Evidensvaliditet forekommer i 47 av dem, pedagogisk nytteverdi i 58, og rubrikk- og oppgavetilpasning i 19. Tilpasning er den dimensjonen et produkt lettest kan styre, og den er minst studert.

Det er en åpning: bygg mot rubrikken oppgaven allerede bruker, og si det, fordi den publiserte evidensen ikke vil fortelle kjøpere om noen andre gjør det.

Handlingsrettethet er et designmål, ikke en luksus

Tamme, Schilling og Hantel foreslår å erstatte den skriftlige spørreundersøkelsen ved semesterets slutt med et telefonintervju drevet av en AI-agent, med argumentet at det skriftlige instrumentet svikter på svarprosent, dybde og handlingsrettethet. Det er et forslag, ikke en feltest. Designpåstandene er konkrete nok til å låne: still oppfølgingsspørsmål, krev en begrunnelse, returner noe mottakeren kan handle på.

For forskere

Selvrapport og prestasjon kommer ofte til ulike konklusjoner

Fan og kollegene kartla målemetoder på tvers av 2 099 poster og undersøkte deretter 51 tilfeller der et selvrapporteringsinstrument og en test, vurdering eller spor målte samme konstrukt. Svaret på om de to stemmer overens, er ofte nei. Der de divergerer, forklarer konstruktets observerbarhet det bedre enn studiekvalitet gjør.

Å bytte det ene mot det andre er en målebeslutning med en retning, ikke en bekvemmelighet. Rapporter hvilket av dem påstanden Deres hviler på.

Artefakter skjuler avlasting, så mål prosessen

Kontorovich og Wallach kodet de 429 promptene i 59 chatlogger som spor av selvregulering og sammenlignet hver med det innleverte arbeidet. Ti av de femten studentene som fullførte alle tre oppgavene, endret hvilken rolle de ga modellen etter hvert som oppgaven endret seg, likevel reproduserte 53 av 59 innleveringer modellens produkt eller reviderte det bare i form.

En innlevering alene kan ikke skille bruk fra substitusjon. Prosessdata kan, og kodeskjemaet her er gjenbrukbart.

En validert skala for avhengighet i åpne oppgaver

De fleste mål på avhengighet utledes fra om en student fulgte riktig råd, noe som krever et kontrollerbart svar. Hou og kollegene bygde og validerte en skala på 16 ledd for problembasert læring, der et slikt svar ikke finnes.

Detektorbenchmarker forfaller, så rapporter motstanderen

Ren, Raghavan og Garg deler deteksjonsspørsmålet i separabilitet og bevegelse. Overvåkede baselines skiller menneskelig fra maskinell prosa nesten perfekt i fordelingen, mens den kommersielle detektoren Pangram falt til 63,5 % balansert nøyaktighet og 27 % recall mot en prompt skrevet for å unngå den.

Tall rapportert uten unndragelsesforsøket beskriver en verden som ikke finnes lenger. Og oversiktslitteraturen er tynn der det betyr noe: av 51 studier av GenAI-tilbakemelding på skriving på andrespråk, sjekker 5 om tilbakemeldingen er nøyaktig.

For administratorer

Mesteparten av AI-styring i utdanning er veiledning, ikke lov

Elmahjub og kollegene leste 160 engelskspråklige styringsdokumenter nøye, fra 498 poster. Bare 4 har formell juridisk eller regulatorisk form, mens 92 er veiledning, rammeverk, verktøykasser eller håndbøker. Ansvarlighet forekommer i 146 dokumenter, men er paret med en navngitt tilsynsaktør i 100.

En policy uten en navngitt eier og en mekanisme er en intensjonserklæring. Oversikten gir Dem feltene å revidere Deres eget dokument mot.

Anskaffelse av detektorer trenger et falsk-positiv-tall

Tretten detektorer, menneskeskrevet akademisk tekst som kontroll, falske positive fra 0 % til 100 %. Minst én institusjon har allerede pensjonert detektoren sin fordi den flagget grammatikkontroll. Hvis en leverandør ikke vil gi Dem en falsk-positiv-rate på menneskelig arbeid i Deres eget fag, kan De ikke prise disiplinærisikoen.

Den dokumenterte retningen i vurdering er prosess, autentisitet og muntlig arbeid

Crompton og Burke gjennomgår 72 studier fra 24 land og 20 disipliner og finner tre designresponser som går igjen: prosessorientert, autentisk og muntlig vurdering. Evidensgrunnlaget er bredt og metodologisk tynt, de fleste studiene dekker ett kurs, og ingenting av det endrer retningen.

Adopsjon har løpt fra forståelsen blant lærere

Blant 132 indonesiske K-12-lærere støtter 96,2 % lærernes bruk av AI og 84,6 % studentenes bruk, likevel ga 69,2 % en vag eller feilaktig fremstilling av hva en chatbot gjør med en instruks.

Støtte i en undersøkelse er ikke kompetanse i et klasserom. Kompetansegapet her viser seg før noen verktøyutrulling gjør det, og instrumentet er kort nok til å gjenbrukes som en behovsanalyse.

Erstatt kursundersøkelsen bare hvis erstatningen er handlingsrettet

Forslaget om taleintervju retter seg mot feilmodusene som gjør spørreundersøkelser ved semesterets slutt ubrukelige: svarprosent, dybde, tilfredsstillende svar og svar ingen kan handle på. Behandle det som en spesifikasjon for det De bruker i stedet, ikke som bevis på at AI-versjonen virker.

Begrep i fokus

Fire begrepssider tok ukens funn inn i synteselaget. Hver er en stående side snarere enn en engangs, så den nye evidensen ligger ved siden av det siden allerede argumenterte for.

Språklæring

Siden sier nå rett ut at evidensen om chatboters talefremgang er ujevn etter trekk, og at fire av de ti syntetiserte studiene rapporterte én holistisk score, og derfor kan fremgangen deres ikke tilskrives et trekk. Les språklæringssiden før De kjøper eller bygger muntlig trening.

Intelligent veiledning

Det nye funnet er gjenfinningsresultatet: å tilføre referansestrategier løfter svake veiledere og lar sterke bli der de var. Det er en byggebeslutning, og siden om intelligent veiledning skiller den fra de eldre påstandene om hintkvalitet.

Selvrapporteringsmål

Det skarpeste nye tilfellet av selvrapporteringsgapet er intensjon, der én score dekket læringsorientert, snarveiorientert og blandet bruk i det samme utvalget på 340 studenter, med 68 gjenadministrerte ledd og åtte intervjuer bak påstanden, alt registrert på siden om selvrapporteringsmål.

Styring

Siden leder nå med funnet om instrumentform: 4 av 160 dokumenter bindende, 92 rådgivende, og ansvarlighet navngitt som en aktør i bare 100. Styringssiden rammer inn spørsmålet på nytt, fra hva en policy sier til om den kan handle.

Nye ressurser

To ressurser kom til ressursbiblioteket denne uken, én skrevet for institusjonen som må avgjøre hvordan programvare bygges med AI, og én for underviseren som må avgjøre om en students kode er studentens egen.

Campus AI Development

Campus AI Development er en gratis netthåndbok skrevet fra institusjonens side av spørsmålet. Den legger frem måtene en campus kan få programvare bygget med AI, fra vibe-koding til styrt multiagentarbeid, og parer hver måte med gjennomgangsveien, datataket og kontrollene som hører til. Den følger Campus AI Framework, som avgjør om et AI-verktøy kan brukes i det hele tatt; denne håndboken dekker hva De gjør når svaret er ja. Nettstedet oppgir ingen lisens for teksten.

Code Viva

Code Viva er et gratis nettleserverktøy som gjør en muntlig forsvarssamtale skalerbar: en skriftlig, tidsavgrenset viva for hver student i et programmeringskurs, femten til tjue minutter hver, uten underviser i rommet. Det leser studentens innleverte kode og commit-historikk, skriver fire til seks spørsmål om studentens egne funksjoner, navn og commit, og gir hver student en personlig lenke å svare fra. Spørsmålene kommer fra regler anvendt på innleveringen snarere enn fra et modellkall, og underviseren får foreslåtte score med den siterte evidensen bak hver, til å godkjenne eller overstyre. Nettstedet oppgir ingen lisens og ingen kildekoderepositorium.

Også lagt til denne uken

De andre studiene, med metoder og sammendrag, er listet dag for dag på journalsiden.

Notater fra nettstedet

To sider dukket opp denne uken. Nyhetsbrevarkivet inneholder hvert nummer, med sin egen strøm ved siden av kunnskapsbasestrømmen, og begrepsindeksen setter alle 220 begrepssidene på én side, i de samme seksjonene som sidepanelet, så det finnes nå et sted å sende en leser som vil ha hele samlingen.

Alt annet var arbeid på det som allerede fantes: begrepssidene og FAQ-ene skrevet om, teksten strammet inn, og oversettelsene oppdatert på tvers av språkene.

Nettstedet er en statisk bygging, og innholdet, koden og verktøyene er offentlige på github.com/edtechdev/aied, der hver endring beskrevet ovenfor kan leses.

Følg oppdateringen

Få hvert nummer gjennom nyhetsbrevstrømmen i en strømleser, ved å lime den samme strømmen inn i Blogtrottr for å få nye nummer sendt på e-post etter en tidsplan De velger, eller ved å følge den på LinkedIn, der hvert nummer publiseres som et LinkedIn-nyhetsbrev.

Ukentlig forskningsoppdatering om AI i utdanning kommer fra kunnskapsbasen om AI i utdanning, som en AI-agent genererer. Dette nummeret ble skrevet av den samme AI-agenten, med redaksjonell veiledning fra utvikleren av nettstedet, og hver påstand ovenfor lenker til siden den kom fra.

Kunnskapsbasen er viet til offentlig eie under en CC0 1.0-lisens. Ingen rettigheter forbeholdt.

Fant De en feil i innholdet? Rapporter den på GitHub, eller kontakt utvikleren av nettstedet, Doug Holton.

KildeHistorikkRedigerChat

Bygg inn denne siden

Kopier koden nedenfor for å bygge inn denne siden i et læringsstøttesystem eller et annet nettsted. Den innbygde versjonen viser bare sideinnholdet — den skjuler nettstedets topptekst, navigasjon og bunntekst.