Mi az evidencia az MI-írástudás beavatkozásairól a felsőoktatásban?

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

A rektorhelyettesi hivatal azt szeretné, hogy jövő őszre minden alapképzési programban legyen MI-írástudás-tanulási eredmény, és az asztalon lévő terv egy kétórás műhelymunka plusz egy könyvtári tutorialmodul. Vagy egy pályázat finanszírozta az „MI-írástudást” az intézményében, és az első bizottsági ülés arról szól, mit vegyenek belőle. Valaki a teremben meg fogja kérdezni, mit tudnak majd a hallgatók utána, és ezt egy tervezési érv dönti el.

A válasz arra a teremre, és a bizonyítékok állapota a felsőoktatásban, ez: az írástudás akkor nő, amikor a hallgatók valódi tudományterületi feladaton belül, ismételten, kortársakkal kritizálják az MI kimenetét, és a legkevésbé akkor nő, amikor megmutatják nekik, mit tud az eszköz. A beavatkozási szakirodalom átlagos hatása nagy; az átlag körüli szórás még szélesebb, így a terve többet dönt, mint a téma. A magabiztosság-felmérések elfogadást mérnek. Ha írástudást akar állítani, teljesítményt teszteljen.

A rövid változat

1. Tegye az írástudást egy olyan kurzusba, amelyet a hallgatók amúgy is felvesznek, olyan munkára, amelyre amúgy is osztályzatot kapnak.

2. Kérje meg őket, hogy kötelezzék el magukat a saját válaszuk mellett, mielőtt a modellét látják.

3. Osztályozza a kritikát azzal a rubrikával, amelyet a feladatnál amúgy is használ.

4. Futtassa le többször a félév során.

5. Teljesítményfeladatot számoljon bizonyítékként, és a magabiztosság nyereségét tartsa külön soron.

A kritika köré építse a sorozatot

A tudásbázis legerősebb tantermi példája az alapképzési pszichológiából származik. Richmond és Nicholls hallgatókkal egy ChatGPT-vel generált sajtóközleményt osztályoztatott a saját kurzusuk rubrikája ellenében, megneveztetve a hibákat, majd átdolgoztatta azt. A hallgatók általában látták, hogy a próza csiszolt, a tartalom pedig félreviszi a kutatási célokat, módszereket és eredményeket. Az előző, társértékelési kohorszhoz képest az MI-kritikát végző csoport szerényen jobban teljesített az azt követő szövegátdolgozásban (d = 0,36), a záró videón nem volt szignifikáns előnye (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

A szakirodalom, amelyből ezek a példák jönnek, rövid beavatkozásokra, önbevallásra és tervezésalapú munkára támaszkodik, és ez a tanulmány ezek közül kettőnek a korlátját hordozza. Az összehasonlítás történeti volt, így egy jobban felkészült kohorsz ugyanezt a mintázatot hozná. Az előny ráadásul a köztes artefaktumnál jelent meg, és eltűnt a kész munkánál, ami pontosan az, amit akkor várna, ha a kritika az átdolgozást tanította.

Beck és Brodersen ugyanezt a mozdulatot építette be egy közgazdaságtan kurzusba: a hallgatók maguk oldanak meg vagy értelmeznek egy valós problémát, majd beszerzik a ChatGPT válaszát, összehasonlítják a kettőt, kritizálják az MI-t, reflektálnak és megbeszélik kortársaikkal. Tervük az MI-írástudást a kurzuson amúgy is futó aktív tanulási rutinokba hajtja bele, például a Think-Pair-Share-be. Hozzájárulása egy átvihető tanulástervezési megoldás, amelyet tantermi használat támaszt alá, nem kísérlet (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Olyan kurzusba tegye, amelyet a hallgatók amúgy is felvesznek

Hingle és Johri szisztematikus áttekintése az ICAP-keretrendszerrel rendezi az MI-írástudás-tevékenységeket: passzív kitettség, aktív manipuláció, konstruktív létrehozás és interaktív közös alkotás. Beavatkozások mind a négy módban előfordulnak, és az áttekintés amellett érvel, hogy az MI-írástudást nem szabad egyirányú tájékoztató alkalomra redukálni (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Az általa támogatott gyakorlatok azok, amelyeket be lehet építeni egy feladatba: a hallgatók MI-kimeneteket hoznak létre, kritizálnak, magyaráznak és vitatnak meg kortársaikkal.

Az NC State MI-írástudás kontinuuma egy fejlődési sort ír le a még nem bevonódott és a kritikátlan használat állapotától a tájékozott használaton és a kritikai értékelésen át a fejlesztésig, és több mint 330 résztvevővel valósult meg kurzusokon és műhelymunkákon (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Megfigyelései egy kettéválást sugallnak: a rövid élmények a tájékozott használat felé mozdították a hallgatókat, míg a kritikai értékelés és a fejlesztés főként tartós, tudományterületbe ágyazott munkában jelent meg. Nem volt validált elő- és utómérés és nem volt összehasonlító csoport, így ez gyakorlat-alapú bizonyíték.

A tanárképzés ugyanezt a plafont mutatja más szemszögből. Le és munkatársai tervezésalapú beavatkozását 14 mesterhallgatóval próbálták ki és 29 tanárképzési hallgatóval értékelték. A jelentett MI-kompetencia-önhatékonyság nőtt, és a hallgatók a generatív MI kritikusabb pedagógiai mérlegelése felé mozdultak, míg az etikai nyereség csak marginális szignifikanciát ért el. Egy ilyen alakú, kis tervezésalapú tanulmány nem tud kompetenciát megállapítani (Development and evaluation of artificial intelligence literacy training for teacher education students).

Azt mérje, amit a hallgatók meg tudnak tenni

Egy 59 tanulmányt összegző, háromszintű meta-analízis (172 hatásméret, 7 211 résztvevő) adja a legtisztább elérhető mennyiségi becslést: nagy átfogó hatás (g = 0,837, p < 0,001). A 95%-os előrejelzési intervallum -0,292-től 1,966-ig fut, és ez az a szám, amelyet idézni kell, amikor valaki azt kérdezi, működni fog-e a beavatkozás az Ön programjában. Két moderátor volt szignifikáns. A kelet-ázsiai és európai beavatkozások felülteljesítették az észak-amerikaiakat, a tudásra összpontosító beavatkozások pedig a készségekre, attitűdökre vagy etikára irányulókat. Nagyobb, de nem szignifikáns hatások jelentek meg a vegyes vagy reflektív pedagógiáknál, a generatív MI-vel támogatott eszközöknél és a teljesítményfeladat-kimeneteknél.

A szerzők a saját eredményüket érvként olvassák amellett, hogy a tudástól a készségek, gyakorlatok, etika és attitűdök felé kell lépni, integrált reflektív pedagógián és kulturálisan releváns tervezésen keresztül. Egy bizottság számára két következmény végzi el a munkát. A mért kimenet alakítja a talált hatást, így azt a kimenetet válassza, amely tényleg számít Önnek. Egy ilyen széles előrejelzési intervallum helyi kipróbálás mellett érvel.

A mérés az, ahol a legtöbb programállítás megbukik. A validált GLAT teljesítményteszt előre jelezte a teljesítményt egy MI-támogatással végzett felsőoktatási feladaton. Egy önbevalláson alapuló ChatGPT-írástudás-mérték nem (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). A tudásbázis egészében a jelentett és a bemutatott MI-kompetencia jelentősen eltér, ami az oktatási mérést és az értékelési validitást a tervezés részévé teszi, nem utólagos toldalékká az értékelésben.

Burriss és munkatársai kiélezik, mi számít. 22 tizenegyedikes hallgatóról szóló, MI-etikáról szóló közszolgálati videóhirdetéseket készítő tanulmányuk amellett érvel, hogy a meglévő írástudásskálák és kompetenciakeretrendszerek egyénileg mérhető teljesítményt feltételeznek, ami kizárja az együttes és kreatív kifejezést. A hallgatói reflexiókat, a multimodális artefaktumokat és a polgári diskurzust javasolják a hagyományos mérések kiegészítéseként. Hallgatóik együttműködő kritikai pedagógián keresztül fejlesztették a kritikai MI-etika-megértésüket, és ez megkérdőjelezi az írástudás készséglistás felfogását, valamint a rájuk épülő eszközöket. A 18 egységzáró válaszból tizenöt erősítette meg az új tanulást, és a szerzők megjegyzik, hogy a projekt ellenáll a hagyományos összegző értékelésnek ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Az elfogadási mérések külön csapda. Wang, Chuang és Wu 831 tajvani K-12 hallgatót és tanárt kérdezett meg nagyjából 30 perc után egy életkor szerint rétegzett MI-írástudás-útmutatóval, és egy stabil, négytényezős elfogadási szerkezetet talált. Az észlelt játékosság volt a viselkedési szándék legerősebb korrelátuma. A tanulmány rövid távú elfogadást mért, nem tanulási nyereséget, etikai kompetenciát vagy tényleges használatot, és a szerzők kimondják, hogy az elfogadási konstruktumokat „nem szabad a tanulási hatékonyság vagy a bevezetés sikerének kikövetkeztetésére használni” (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Számítson azokra a hibákra, amelyeket a tanítás nem javít meg

Ha a hallgatókat jobb promptolásra vagy MI-használatra tanítjuk, attól még nem lesznek megbízhatóan kritikus használók. A kontextuális szívélyesség kísérletében az MI-írástudás- és promptolási képzés csökkentette, milyen gyakran tükrözte a modell a résztvevők érvelési hibáit, a hiba tovagyűrűzése pedig túlélte a képzést (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Ezt úgy olvassa, mint egy korlátot arra, mit ígérhet egy kurzus. Az írástudás-oktatás nem hordozhatja a teljes biztonsági terhet, és egy program, amely ezt állítja, inkább áthelyezte a kockázatot, mint megszüntette. Az eszköztervezés és a rendszerszintű biztosítékok a tervben maradnak.

Ott kezdje, ahol a hallgatók már vannak

Şan és Orhan Karsak pszicholingvisztikai szóasszociációs tesztet használt 436 török alapképzési hallgatóval (1 376 kódolt válasz, értékelők közötti κ = 0,87), hogy feltérképezze, hogyan reprezentálják a hallgatók az MI-t. Az asszociációk az instrumentális hasznosság köré csoportosultak, a kényelem (f = 145) és a sebesség (f = 110) dominanciájával. Az algoritmikus átláthatóság, az adatvédelem és a irányítás fogalmai ritkák voltak, és szerkezetileg elszigeteltek ettől a hasznossági klasztertől (Kendall τ = -0,819). Érvük ebből következik: egy etikai modul, amelyet olyan kognitív szerkezetbe szállítanak, amelyben nincs fogadó séma, valószínűleg megbukik. A tanterveknek kifejezett hidakra van szükségük a mindennapi eszköztudástól az etikai és irányítási keretrendszerek felé, a mikrotanúsítványoknak pedig úgy kell sorrendezniük a tartalmat, hogy betömjék ezt a rést, ne ismételjék azt, amit a hallgatók már tudnak (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Egy szituált beszámoló Dai és Chan hét fókuszcsoportjából származik 28 posztgraduális kutatóval, akik egyenetlenül használták az MI-t a kutatási munkafolyamat során. A használat erősebb volt az alacsony tétű procedurális munkában, például a formázásban, a fordításban és a magyarázatban, és észrevehetően óvatosabb ott, ahol a tudományos hozzájárulás forgott kockán. A résztvevők maguk húzták meg a határokat az érvelésük segítése és helyettesítése között. A szerzők az MI-írástudást szituált kapacitásként kezelik, nem statikus kompetencialistaként, és azt javasolják, hogy minden dimenziót valódi feladatokon keresztül állványozzanak, ne bináris szabályokat kényszerítsenek ki (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Ellenőrizze a tanúsítványt, mielőtt kiadja

A tanúsítványok és mikrotanúsítványok azok, ahol az MI-írástudás nagy léptékben átadásra kerül, és ahol az értékelés a legvékonyabb. Wu és Li szakértői súlyozású indikátorrendszert épített (AHP és Fuzzy-AHP Monte Carlo-ellenőrzésekkel, 18 szakértővel) MI-tanúsítvány-programokhoz. Az oktatói szakmai kompetencia mutatta a legnagyobb fontosság-elégedettség rést, magas észlelt fontossággal (0,1976) és alacsony jelenlegi elégedettséggel szemben. Adataik az oktatói képességet a technológiai infrastruktúra elé teszik mint a pedagógiai változás elsődleges korlátját. A kultúrák közötti alkalmazkodás kapta a legalacsonyabb stratégiai súlyt (0,0735), amit a korai tanúsítványosítás technológia-központú torzításaként olvasnak (Evaluation Indicator System for AI Certificate Programs).

A következő kérdés az, amelyet a saját programjához kell intéznie: a tanúsítvány tartós írástudást igazol, vagy jelenlétet rögzít? És azok, akik tanítják, fel vannak készülve az elbírálására?

Amit ez a közönség rosszul tud

Egy műhely tanterv. A kontinuum megfigyelései a kritikai értékelést és a fejlesztést tartós, tudományterületbe ágyazott munkába teszik, Le és munkatársai pedig az önhatékonyságot mozdították el anélkül, hogy kompetenciát állapítottak volna meg.

A magabiztosság az írástudás helyettesítő mértéke. A GLAT-eredmény közvetlen: egy teljesítményteszt előre jelezte a feladatteljesítményt, egy önbevallásos mérték nem.

Egy nagy átlagos hatás azt jelenti, hogy a program itt is működni fog. Egy -0,292-től 1,966-ig terjedő előrejelzési intervallum mellett az átlag a területet írja le; az Ön kohorsza valahol ezen a sávon belül van.

Az írástudás-képzés biztonságos használókká teszi a hallgatókat. A szívélyességi kísérletben a képzés csökkentette a tükrözést, és érintetlenül hagyta a hiba tovagyűrűzését.

Az írástudás egyetlen készség, amely eszközök között átvihető. Dai és Chan a kutatókat egyetlen munkafolyamat különböző részein különböző határokat húzva találták.

Mi jön vissza Önre

„Nincs hely a tantervben.” Tegye a kritikát egy olyan feladatba, amelyet amúgy is osztályoz, ahogy Beck és Brodersen behajtotta a meglévő aktív tanulási rutinokba. Egy külön kurzus többe kerül, és ugyanazt tanítja.

„A hallgatóink ezzel a technológiával nőttek fel.” Az eszközzel való ismeretség az, amit Şan és Orhan Karsak mért: kényelem és sebesség, a magánszférától és az irányítástól szerkezetileg elválasztva. Valaminek a használatában való folyékonyság nem ugyanaz, mint a megértése.

„Csak a hatásméretet mondják meg.” g = 0,837, p < 0,001, 59 tanulmányból, 95%-os előrejelzési intervallummal -0,292 és 1,966 között. A második szám az, amely az Ön döntését irányítja.

„A félév végén felmérjük a hallgatókat.” Akkor elfogadást mért. Wang és munkatársai kifejezetten kimondják, mit nem támogathat ez, 831 fős mintán.

„A tanúsítvány az elszámoltathatóság mechanizmusa.” Wu és Li az oktatói kompetenciát találták a kötő korlátnak, a kultúrák közötti alkalmazkodás pedig a legalacsonyabb súlyt kapta. Egy tanúsítvány azt rögzíti, hogy valaki befejezett valamit.

„A karunk nincs felkészülve, hogy ezt tanítsa.” A bizonyíték egyetért. Az oktatói képesség volt a legnagyobb rés Wu és Li adataiban, és ezen az oldalon egyetlen tanulmány sem vizsgálja, hogyan lehet betömni.

Mit tegyen ezen a héten

1. Válasszon egy osztályozott feladatot, és adjon hozzá egy lépést, amelyben a hallgatók a saját válaszukat készítik el, mielőtt az MI-hez fordulnak.

2. Írja meg a kritikai promptot a meglévő rubrikája ellenében, hogy a hallgatók azon a standardon osztályozzák a kimenetet, amelyet Ön amúgy is használ.

3. Ütemezze be ugyanannak a tevékenységnek egy második lefutását később a félévben, ugyanabban a kurzusban.

4. Cseréljen ki egy félév végi magabiztosság-kérdést egy rövid teljesítményelemre, és pontozza azt.

5. Kérdezze meg azt, aki a mikrotanúsítványáért felel, milyen kompetenciabizonyítékot fogad el, és kérje írásban a választ.

Hová tovább

Hogyan építsem be az MI-írástudást a kurzusomba? a tervezési kérdést a kurzustervezésbe viszi. Az MI-írástudás oldal hordozza a fogalmat és a méréséről szóló vitát, a kutatási rések oldal pedig azt tárgyalja, hol vékony még ez a szakirodalom.