Hvilken evidens findes der for AI-kompetenceindsatser i videregående uddannelse?

Automatisk maskinoversættelse af denne engelske side, der endnu ikke er blevet gennemgået af en modersmålstalere.

Prorektors kontor vil have et AI-kompetencemål i hvert bachelorprogram inden næste efterår, og planen på bordet er en workshop på to timer plus et tutorialmodul på biblioteket. Eller en bevilling har finansieret »AI-kompetence« på din institution, og det første udvalgsmøde handler om, hvad pengene skal købes for. Nogen i lokalet vil spørge, hvad de studerende vil kunne bagefter, og det, der afgør det, er et designargument.

Svaret til det lokale, og evidensens tilstand i videregående uddannelse, er dette: kompetence vokser, når studerende kritiserer AI-output inde i en rigtig faglig opgave, gentagne gange, sammen med jævnaldrende, og den vokser mindst, når de får vist, hvad værktøjet gør. Gennemsnitseffekten i interventionslitteraturen er stor; spredningen omkring det gennemsnit er endnu større, så dit design afgør mere end dit emne. Undersøgelser af selvtillid måler accept. Vil du hævde kompetence, så test en præstation.

Den korte version

1. Læg kompetencen ind i et kursus, de studerende allerede tager, på arbejde de allerede bedømmes på.

2. Lad dem binde sig til deres eget svar, før de ser modellens.

3. Bedøm kritikken med den rubrik, du allerede bruger til opgaven.

4. Kør det mere end én gang hen over semesteret.

5. Tæl en præstationsopgave som dit bevis, og hold selvtillidsgevinster på en separat linje.

Byg sekvensen op omkring en kritik

Det stærkeste klasseværelseseksempel i vidensbasen kommer fra bachelorpsykologi. Richmond og Nicholls lod studerende bedømme en ChatGPT-genereret pressemeddelelse mod deres egen kursusrubrik, navngive fejlene og revidere den. Studerende så generelt, at prosaen var poleret, og at indholdet fejlagtigt fremstillede forskningens formål, metoder og fund. Mod det foregående peer-vurderingshold klarede AI-kritikgruppen sig beskedent bedre på den manuskriptrevision, der fulgte (d = 0,36), uden signifikant fordel på den endelige video (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Den litteratur, disse eksempler kommer fra, hælder mod korte interventioner, selvrapportering og designbaseret arbejde, og dette studie bærer to af de grænser. Sammenligningen var historisk, så et bedre forberedt hold ville give samme mønster. Fordelen viste sig også på det mellemliggende artefakt og forsvandt på det færdige, hvilket er hvad man ville forvente, hvis kritikken lærte revision.

Beck og Brodersen byggede samme træk ind i et økonomikursus: studerende løser eller fortolker selv et autentisk problem, henter derefter ChatGPTs svar, sammenligner de to, kritiserer AI'en, reflekterer og diskuterer med jævnaldrende. Deres design folder AI-kompetence ind i aktive læringsrutiner, som kurset allerede kørte, såsom Think-Pair-Share. Bidraget er et overførbart undervisningsdesign, understøttet af klasseværelsesbrug snarere end af et eksperiment (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Læg det ind i et kursus, de studerende allerede tager

Hingle og Johris systematiske review sorterer AI-kompetenceaktiviteter med ICAP-rammen: passiv eksponering, aktiv manipulation, konstruktiv generering og interaktiv samkonstruktion. Interventioner optræder i alle fire modaliteter, og reviewet argumenterer imod at reducere AI-kompetence til en envejs-informationssession (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). De praksisser, det understøtter, er dem, du kan bygge ind i en opgave: studerende skaber, kritiserer, forklarer og debatterer AI-output med jævnaldrende.

NC States AI Literacy Continuum beskriver en progression fra Not Yet Engaged og Uncritical Use gennem Informed Use, Critical Evaluation og Improvement, og blev implementeret med mere end 330 deltagere på tværs af kurser og workshops (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Dets observationer antyder en opsplitning: korte erfaringer flyttede studerende mod informeret brug, mens kritisk evaluering og forbedring især viste sig i vedvarende, fagligt indlejret arbejde. Der var ingen valideret før/efter-måling og ingen sammenligningsgruppe, så dette er praksisbaseret evidens.

Læreruddannelsen viser samme loft fra en anden vinkel. Le m.fl.s designbaserede intervention blev pilottestet med 14 kandidatstuderende og evalueret med 29 læreruddannelsesstuderende. Rapporteret AI-kompetence-tro på egen formåen steg, og studerende bevægede sig mod mere kritisk pædagogisk overvejelse af GenAI, mens etikgevinster kun nåede marginal signifikans. Et lille designbaseret studie af den form kan ikke fastslå kompetence (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mål, hvad studerende kan

En tre-niveau-metaanalyse af 59 studier (172 effektstørrelser, 7.211 deltagere) giver det klareste kvantitative skøn, der findes: en stor samlet effekt (g = 0,837, p < 0,001). 95 %-prædiktionsintervallet løber fra -0,292 til 1,966, og det er det tal, man skal citere, når nogen spørger, om interventionen vil virke i dit program. To moderatorer var signifikante. Interventioner i Østasien og Europa klarede sig bedre end dem i Nordamerika, og vidensfokuserede interventioner klarede sig bedre end dem rettet mod færdigheder, holdninger eller etik. Større, men ikke-signifikante effekter viste sig for blandede eller refleksive pædagogikker, GenAI-understøttede værktøjer og præstationsopgaveudfald.

Forfatterne læser deres eget resultat som et argument for at bevæge sig forbi viden og mod færdigheder, praksisser, etik og holdninger gennem integreret refleksiv pædagogik og kulturelt relevant design. For et udvalg er der to implikationer, der gør arbejdet. Det udfald, du måler, former den effekt, du finder, så vælg det udfald, du faktisk bekymrer dig om. Et prædiktionsinterval, der er så bredt, taler for et lokalt pilotprojekt.

Måling er der, hvor de fleste programpåstande fejler. Den validerede GLAT-præstationstest forudsagde præstation på en AI-assisteret opgave i videregående uddannelse. En selvrapporteret ChatGPT-kompetencemåling gjorde ikke (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). På tværs af vidensbasen divergerer rapporteret og demonstreret AI-kompetence betydeligt, hvilket gør pædagogisk måling og bedømmelsesvaliditet til en del af designet snarere end en eftertanke i evalueringen.

Burriss m.fl. skærper, hvad der tæller. Deres studie af 22 elever i 11. klasse, der komponerede video-PSA'er om AI-etik, argumenterer for, at eksisterende kompetenceskalaer og kompetencerammer forudsætter individuelt målbar præstation, hvilket udelukker kollaborativ og kreativ udtryksform. De foreslår studerendes refleksioner, multimodale artefakter og borgerlig diskurs som supplement til konventionelle målinger. Deres studerende udviklede kritisk AI-etisk forståelse gennem kollaborativ kritisk pædagogik, og det udfordrer færdighedslistebegreber om kompetence sammen med de instrumenter, der er bygget på dem. Femten af 18 svar ved enhedens afslutning bekræftede ny læring, og forfatterne bemærker, at projektet modstår traditionel summativ bedømmelse ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Acceptmålinger er en separat fælde. Wang, Chuang og Wu spurgte 831 taiwanske skoleelever og -lærere efter omkring 30 minutter med en alderstrinnet AI-kompetenceguide og fandt en stabil firefaktor-acceptstruktur. Oplevet legesind var den stærkeste korrelation med adfærdsintention. Studiet målte kortsigtet accept, ikke læringsgevinster, etisk kompetence eller faktisk brug, og forfatterne angiver, at acceptkonstrukter »ikke må bruges til at udlede læringseffektivitet eller implementeringssucces« (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Planlæg efter de fejl, undervisning ikke retter

At træne studerende i at prompte eller bruge AI bedre gør dem ikke til pålideligt kritiske brugere. I det kontekstuelle sycophancy-eksperiment reducerede AI-kompetence og prompttræning, hvor ofte modellen spejlede deltagernes ræsonnementsfejl, og fejlpropagering nedstrøms overlevede træningen (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Læs det som en grænse for, hvad et kursus kan love. Kompetenceundervisning kan ikke bære hele sikkerhedsbyrden, og et program, der hævder det, har flyttet risikoen snarere end fjernet den. Værktøjsdesign og sikkerhedsforanstaltninger på systemniveau bliver i planen.

Start hvor dine studerende allerede er

Şan og Orhan Karsak brugte en psykolingvistisk ordassociationstest med 436 tyrkiske bachelorstuderende (1.376 kodede svar, inter-rater κ = 0,87) til at kortlægge, hvordan studerende repræsenterer AI. Associationerne klyngede sig om instrumentel nytte, med bekvemmelighed (f = 145) og hastighed (f = 110) dominerende. Algoritmisk gennemsigtighed, privatliv og styringsbegreber var sjældne og strukturelt isolerede fra den nytteklynge (Kendalls τ = -0,819). Deres argument følger: et etikmodul leveret ind i en kognitiv struktur uden et skema til at modtage det vil sandsynligvis fejle. Pensum har brug for eksplicitte broer fra hverdagserfaring med værktøjer til etiske og styringsmæssige rammer, og mikrocertifikater bør sekventere indholdet, så gabet lukkes, i stedet for at gentage det, studerende allerede ved (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

En situeret redegørelse kommer fra Dai og Chans syv fokusgrupper med 28 postgraduerede forskere, som brugte AI ujævnt hen over forskningsarbejdsprocessen. Brugen var tungere i lavindsats procedurearbejde som formatering, oversættelse og forklaring og markant mere forsigtig, hvor det videnskabelige bidrag stod på spil. Deltagerne drog deres egne grænser mellem at assistere og at erstatte deres ræsonnement. Forfatterne behandler AI-kompetence som en situeret kapacitet snarere end en statisk kompetenceliste og anbefaler at understøtte hver dimension med støttestrukturer hen over rigtige opgaver i stedet for at håndhæve binære regler (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Tjek certifikatet, før du uddeler det

Certifikater og mikrocertifikater er der, hvor AI-kompetence leveres i skala, og hvor evalueringen er tyndest. Wu og Li byggede et ekspertvægtet indikatorsystem (AHP og Fuzzy-AHP med Monte Carlo-tjek, 18 eksperter) for AI-certifikatprogrammer. Underviseres faglige kompetence viste det største gab mellem vigtighed og tilfredshed, med høj oplevet vigtighed (0,1976) mod lav nuværende tilfredshed. Deres data sætter underviserkapacitet foran teknologisk infrastruktur som den primære begrænsning for pædagogisk forandring. Tværkulturel tilpasningsevne fik den laveste strategiske vægt (0,0735), hvilket de læser som en teknologi-først-bias i den tidlige certificering (Evaluation Indicator System for AI Certificate Programs).

Det spørgsmål, der følger, er det, du skal stille dit eget program: registrerer certifikatet varig kompetence, eller registrerer det fremmøde? Og er de mennesker, der underviser i det, rustet til at vurdere?

Hvad denne målgruppe tager fejl af

En workshop er et pensum. Continuumets observationer placerer kritisk evaluering og forbedring i vedvarende, fagligt indlejret arbejde, og Le m.fl. flyttede self-efficacy uden at fastslå kompetence.

Selvtillid er en proxy for kompetence. GLAT-resultatet er direkte: en præstationstest forudsagde opgavepræstation, og en selvrapporteringsmåling gjorde ikke.

En stor gennemsnitseffekt betyder, at programmet vil virke her. Med et prædiktionsinterval fra -0,292 til 1,966 beskriver gennemsnittet feltet; dit hold ligger et sted inde i det interval.

Kompetencetræning gør studerende til sikre brugere. I sycophancy-eksperimentet reducerede træningen spejling og lod fejlpropageringen være intakt.

Kompetence er én færdighed, der overføres på tværs af værktøjer. Dai og Chan fandt forskere, der drog forskellige grænser i forskellige dele af én arbejdsproces.

Hvad du vil få tilbage

»Der er ikke plads i pensum.« Læg kritikken til en opgave, du allerede bedømmer, sådan som Beck og Brodersen foldede den ind i eksisterende aktive læringsrutiner. Et separat kursus koster mere og lærer det samme.

»Vores studerende er vokset op med denne teknologi.« Fortrolighed med værktøjet er det, Şan og Orhan Karsak målte: bekvemmelighed og hastighed, med privatliv og styring strukturelt afkoblet. At være flydende i at bruge noget er ikke at forstå det.

»Giv os bare effektstørrelsen.« g = 0,837, p < 0,001, fra 59 studier, med et 95 %-prædiktionsinterval på -0,292 til 1,966. Det andet tal er det, der styrer din beslutning.

»Vi spørger de studerende ved semesterslut.« Så har du målt accept. Wang m.fl. siger eksplicit, hvad det ikke kan underbygge, på et udvalg på 831.

»Certifikatet er ansvarlighedsmekanismen.« Wu og Li fandt underviserkompetence som den bindende begrænsning og tværkulturel tilpasningsevne vægtet lavest. Et certifikat registrerer, at nogen gennemførte noget.

»Vores undervisere er ikke klar til at undervise i det.« Evidensen er enig. Underviserkapacitet var det største gab i Wu og Lis data, og intet studie på denne side tester, hvordan man lukker det.

Hvad du kan gøre i denne uge

1. Vælg én bedømt opgave, og tilføj et trin, hvor studerende producerer deres eget svar, før de konsulterer AI.

2. Skriv kritikprompten mod din eksisterende rubrik, så studerende bedømmer outputtet efter den standard, du allerede bruger.

3. Planlæg en anden kørsel af samme aktivitet senere i semesteret, i samme kursus.

4. Erstat ét selvtillidsspørgsmål ved semesterslut med et kort præstationsemne, og scor det.

5. Spørg den, der ejer dit mikrocertifikat, hvilket bevis for kompetence den vil acceptere, og få svaret på skrift.

Hvor du kan gå videre

Hvordan bør jeg integrere AI-kompetence i mit kursus? tager designspørgsmålet ind i kursusplanlægningen. AI-kompetence rummer begrebet og dets målingsdebat, og siden om forskningshuller dækker, hvor denne litteratur stadig er tynd.