Hva sier evidensen om AI-kompetansetiltak i høyere utdanning?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Prorektors kontor vil ha et læringsutbytte i AI-kompetanse i hvert bachelorprogram innen neste høst, og planen på bordet er et verksted på to timer pluss en modul i bibliotekets opplæringstilbud. Eller en bevilgning har finansiert «AI-kompetanse» ved institusjonen din, og det første komitemøtet handler om hva pengene skal kjøpes for. Noen i rommet vil spørre hva studentene vil kunne etterpå, og det som avgjør saken, er et designargument.

Svaret for det rommet, og tilstanden i evidensen i høyere utdanning, er dette: kompetanse vokser når studenter kritiserer AI-utdata inne i en ekte faglig oppgave, gjentatte ganger, sammen med medstudenter, og den vokser minst når de blir vist hva verktøyet gjør. Gjennomsnittseffekten på tvers av litteraturen om tiltak er stor; spredningen rundt det gjennomsnittet er enda større, så designet ditt avgjør mer enn temaet ditt. Trygghetsundersøkelser måler aksept. Vil du hevde kompetanse, test en prestasjon.

Kortversjonen

1. Legg kompetansen inn i et emne studentene allerede tar, på arbeid de allerede vurderes på.

2. La dem forplikte seg til sitt eget svar før de ser modellens.

3. Vurder kritikken, med de vurderingskriteriene du allerede bruker på oppgaven.

4. Kjør det mer enn én gang gjennom semesteret.

5. Regn en prestasjonsoppgave som beviset ditt, og hold trygghetsgevinster som en egen linje.

Bygg sekvensen rundt en kritikk

Det sterkeste klasseromseksempelet i kunnskapsbasen kommer fra psykologi på bachelornivå. Richmond og Nicholls lot studenter vurdere en ChatGPT-generert pressesmelding mot sine egne emnekriterier, navngi feilene og revidere den. Studentene så stort sett at prosaen var polert og at innholdet feilframstilte forskningsmålene, metodene og funnene. Mot det forrige medstudentvurderings-kullet gjorde AI-kritikk-gruppen det moderat bedre på manusrevisjonen som fulgte (d = 0,36), uten signifikant fortrinn på den ferdige videoen (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Litteraturen disse eksemplene kommer fra, lener seg på korte tiltak, selvrapportering og designbasert arbeid, og denne studien bærer to av de begrensningene. Sammenligningen var historisk, så et bedre forberedt kull ville gitt samme mønster. Fordelen viste seg også på den mellomliggende artefakten og forsvant på den ferdige, noe du ville forvente hvis kritikken lærte bort revisjon.

Beck og Brodersen bygde samme grep inn i et økonomiemne: studentene løser eller tolker et autentisk problem selv, henter så ChatGPTs svar, sammenligner de to, kritiserer AI-en, reflekterer og diskuterer med medstudenter. Designet deres fletter AI-kompetanse inn i aktiv læring-rutiner emnet allerede kjørte, som tenk-par-del. Bidraget er et overførbart undervisningsdesign, støttet av klasseromsbruk snarere enn av et eksperiment (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Legg det inn i et emne studentene allerede tar

Hingle og Johris systematiske gjennomgang sorterer AI-kompetanseaktiviteter med ICAP-rammeverket: passiv eksponering, aktiv manipulasjon, konstruktiv generering og interaktiv samkonstruksjon. Tiltak finnes i alle fire moduser, og gjennomgangen argumenterer mot å redusere AI-kompetanse til en enveissesjon med informasjon (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Praksisene den støtter, er de du kan bygge inn i en oppgave: studentene skaper, kritiserer, forklarer og debatterer AI-utdata med medstudenter.

AI Literacy Continuum ved NC State beskriver en progresjon fra Ikke ennå engasjert og Ukritisk bruk via Informert bruk, kritisk vurdering og Forbedring, og ble implementert med mer enn 330 deltakere på tvers av emner og verksteder (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Observasjonene antyder en todeling: korte erfaringer flyttet studentene mot informert bruk, mens kritisk vurdering og forbedring først og fremst viste seg i vedvarende, faglig forankret arbeid. Det fantes ingen validert før- og etter-måling og ingen sammenligningsgruppe, så dette er praksisbasert evidens.

Lærerutdanningen viser samme tak fra en annen vinkel. Le et al.s designbaserte tiltak ble prøvd ut med 14 masterstudenter og evaluert med 29 studenter i lærerutdanning. Rapportert mestringstro i AI-kompetanse steg, og studentene beveget seg mot en mer kritisk pedagogisk vurdering av generativ AI, mens etikkgevinstene bare nådde marginal signifikans. En liten designbasert studie av den formen kan ikke fastslå kompetanse (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mål hva studentene kan gjøre

En metaanalyse av 59 studier på tre nivåer (172 effektstørrelser, 7 211 deltakere) gir det klareste kvantitative anslaget som finnes: en stor samlet effekt (g = 0,837, p < 0,001). 95 %-prediksjonsintervallet går fra -0,292 til 1,966, og det er tallet å sitere når noen spør om tiltaket vil virke i programmet ditt. To moderatorer var signifikante. Tiltak i Øst-Asia og Europa presterte bedre enn de i Nord-Amerika, og kunnskapsfokuserte tiltak presterte bedre enn de som rettet seg mot ferdigheter, holdninger eller etikk. Større, men ikke-signifikante effekter viste seg for blandede eller reflekterende pedagogikker, generativ AI-støttede verktøy og prestasjonsoppgaver som utfall.

Forfatterne leser sitt eget resultat som et argument for å bevege seg forbi kunnskap mot ferdigheter, praksiser, etikk og holdninger, gjennom integrert reflekterende pedagogikk og kulturelt relevant design. For en komité gjør to implikasjoner jobben. Utfallet du måler, former effekten du finner, så velg det utfallet du faktisk bryr deg om. Et prediksjonsintervall som er så bredt, taler for en lokal pilot.

Måling er der de fleste programpåstander feiler. Den validerte prestasjonstesten GLAT forutsa prestasjon på en AI-assistert oppgave i høyere utdanning. Et selvrapportert mål på ChatGPT-kompetanse gjorde det ikke (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). På tvers av kunnskapsbasen avviker rapportert og demonstrert AI-kompetanse betydelig, noe som gjør utdanningsmåling og vurderingsvaliditet til en del av designet snarere enn en ettertanke i evalueringen.

Burriss et al. skjerper hva som teller. Deres studie av 22 elever i ellevte trinn som laget videoreklamer om AI-etikk, argumenterer for at eksisterende kompetanseskalaer og kompetanserammeverk forutsetter individuelt målbar prestasjon, noe som utelukker samarbeidende og kreativ uttrykk. De foreslår studentrefleksjoner, multimodale artefakter og samfunnsdebatt som tillegg til konvensjonelle mål. Studentene deres utviklet kritisk forståelse av AI-etikk gjennom samarbeidende kritisk pedagogikk, og det utfordrer ferdighetslistekonsepsjoner av kompetanse sammen med instrumentene bygget på dem. Femten av 18 svar ved slutten av enheten bekreftet ny læring, og forfatterne bemerker at prosjektet motsetter seg tradisjonell summativ vurdering ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Akseptmål er en egen felle. Wang, Chuang og Wu kartla 831 K-12-studenter og lærere i Taiwan etter rundt 30 minutter med en alderstilpasset AI-kompetanseveiledning og fant en stabil firefaktorstruktur for aksept. Opplevd lekenhet var den sterkeste korrelasjonen med atferdsintensjon. Studien målte kortsiktig aksept, ikke læringsutbytte, etisk kompetanse eller faktisk bruk, og forfatterne uttaler at akseptkonstrukter «ikke må brukes til å slutte noe om læringseffektivitet eller implementeringssuksess» (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Planlegg for feilene undervisning ikke retter

Å trene studenter i å skrive bedre ledetekster eller bruke AI bedre gjør dem ikke til pålitelig kritiske brukere. I eksperimentet med kontekstuell smisking kuttet opplæring i AI-kompetanse og ledetekstskriving hvor ofte modellen speilet deltakernes resonnementfeil, og feilforplantningen nedstrøms overlevde opplæringen (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Les det som en grense for hva et emne kan love. Kompetanseopplæring kan ikke bære hele sikkerhetsbyrden, og et program som hevder det, har flyttet risikoen snarere enn fjernet den. Verktøydesign og sikkerhetsmekanismer på systemnivå blir i planen.

Start der studentene dine allerede er

Şan og Orhan Karsak brukte en psykolingvistisk ordassosiasjonstest med 436 tyrkiske bachelorstudenter (1 376 kodede svar, mellomvurderer-κ = 0,87) for å kartlegge hvordan studentene representerer AI. Assosiasjonene klumpet seg rundt instrumentell nytte, med bekvemmelighet (f = 145) og hastighet (f = 110) dominerende. Algoritmisk åpenhet, personvern og styring var sjeldne og strukturelt isolert fra den nyttklumpen (Kendalls τ = -0,819). Argumentet deres følger: en etikkmodul som leveres inn i en kognitiv struktur uten skjema til å ta imot den, vil sannsynligvis feile. Læreplaner trenger eksplisitte broer fra hverdagskunnskap om verktøy til etiske rammeverk og styringsrammeverk, og mikrokrediteringer bør sekvensere innholdet for å lukke det gapet i stedet for å gjenta det studentene allerede kan (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

En situert redegjørelse kommer fra Dai og Chans sju fokusgrupper med 28 forskerstudenter, som brukte AI ujevnt gjennom forskningsarbeidsflyten. Bruken var tyngre i prosedyrarbeid med lave innsatser, som formatering, oversettelse og forklaring, og markert mer forsiktig der det faglige bidraget sto på spill. Deltakerne trakk egne grenser mellom å støtte og å erstatte resonnementet sitt. Forfatterne behandler AI-kompetanse som en situert kapasitet snarere enn en statisk kompetanseliste, og anbefaler å bygge støtte for hver dimensjon gjennom ekte oppgaver i stedet for å håndheve binære regler (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Sjekk krediteringen før du gir den

Sertifikater og mikrokrediteringer er der AI-kompetanse leveres i skala og der evalueringen er tynnest. Wu og Li bygde et ekspertvektet indikatorsystem (AHP og Fuzzy-AHP med Monte Carlo-kontroller, 18 eksperter) for AI-sertifikatprogrammer. Faglig kompetanse hos underviserne viste det største gapet mellom viktighet og tilfredshet, med høy opplevd viktighet (0,1976) mot lav nåværende tilfredshet. Dataene deres setter undervisernes kapasitet foran teknologisk infrastruktur som den viktigste begrensningen på pedagogisk endring. Tverrkulturell tilpasningsevne fikk den laveste strategiske vekten (0,0735), noe de leser som en teknologi-først-skjevhet i tidlig kreditering (Evaluation Indicator System for AI Certificate Programs).

Spørsmålet som følger, er det du bør stille ditt eget program: sertifiserer krediteringen varig kompetanse, eller registrerer den oppmøte? Og er de som underviser i den, rustet til å vurdere?

Hva denne målgruppen tar feil om

Et verksted er en læreplan. Observasjonene fra AI Literacy Continuum plasserer kritisk vurdering og forbedring i vedvarende, faglig forankret arbeid, og Le et al. flyttet mestringstro uten å fastslå kompetanse.

Trygghet er en proxy for kompetanse. GLAT-resultatet er direkte: en prestasjonstest forutsa oppgaveprestasjon, og et selvrapporteringsmål gjorde det ikke.

En stor gjennomsnittseffekt betyr at programmet vil virke her. Med et prediksjonsintervall fra -0,292 til 1,966 beskriver gjennomsnittet feltet; kullet ditt ligger et sted innenfor det intervallet.

Kompetanseopplæring gjør studentene til trygge brukere. I smiskingseksperimentet reduserte opplæringen speiling og lot feilforplantningen være intakt.

Kompetanse er én ferdighet som overføres mellom verktøy. Dai og Chan fant at forskere trakk ulike grenser i ulike deler av én arbeidsflyt.

Hva som kommer tilbake på deg

«Det er ikke plass i læreplanen.» Legg kritikken til en oppgave du allerede vurderer, slik Beck og Brodersen flette den inn i eksisterende aktiv læring-rutiner. Et eget emne koster mer og lærer det samme.

«Studentene våre vokste opp med denne teknologien.» Kjennskap til verktøyet er nettopp det Şan og Orhan Karsak målte: bekvemmelighet og hastighet, med personvern og styring strukturelt frakoblet. Flyt i å bruke noe er ikke det samme som å forstå det.

«Gi oss bare effektstørrelsen.» g = 0,837, p < 0,001, fra 59 studier, med et 95 %-prediksjonsintervall på -0,292 til 1,966. Det andre tallet er det som styrer beslutningen din.

«Vi undersøker studentene ved slutten av semesteret.» Da har du målt aksept. Wang et al. sier eksplisitt hva det ikke kan underbygge, på et utvalg på 831.

«Krediteringen er ansvarliggjøringsmekanismen.» Wu og Li fant at undervisernes kompetanse var den bindende begrensningen, og at tverrkulturell tilpasningsevne ble vektet lavest. Et sertifikat registrerer at noen fullførte noe.

«Underviserne våre er ikke klare til å undervise i dette.» Evidensen er enig. Undervisernes kapasitet var det største gapet i Wu og Lis data, og ingen studie på denne siden tester hvordan det skal lukkes.

Hva du kan gjøre denne uken

1. Velg én vurdert oppgave og legg til et trinn der studentene lager sitt eget svar før de rådfører seg med AI.

2. Skriv kritikkledeteksten mot de vurderingskriteriene du allerede har, slik at studentene vurderer utdataene etter den standarden du bruker.

3. Planlegg en andre runde med samme aktivitet senere i semesteret, i samme emne.

4. Erstatt ett trygghetsspørsmål ved slutten av semesteret med en kort prestasjonsoppgave, og gi den poeng.

5. Spør den som eier mikrokrediteringen din, hvilket bevis på kompetanse den vil godta, og få svaret skriftlig.

Hvor du kan gå videre

Hvordan bør jeg integrere AI-kompetanse i emnet mitt? tar designspørsmålet inn i emneplanleggingen. AI-kompetanse holder begrepet og debatten om målingen av det, og siden om forskningshull dekker hvor denne litteraturen fortsatt er tynn.