Aké sú dôkazy o intervenciách v AI gramotnosti vo vysokoškolskom vzdelávaní?

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Kancelária prorektora chce mať do budúcej jesene výsledok v AI gramotnosti v každom bakalárskom programe a na stole je dvojhodinový workshop plus knižničný tutoriálový modul. Alebo grant financoval „AI gramotnosť“ na vašej inštitúcii a prvé stretnutie komisie je o tom, čo za to kúpiť. Niekto v miestnosti sa spýta, čo budú študenti potom vedieť robiť, a rozhodne o tom argument o návrhu.

Odpoveď pre tú miestnosť a stav dôkazov vo vysokoškolskom vzdelávaní je takáto: gramotnosť rastie, keď študenti kritizujú výstup AI vnútri skutočnej disciplinárnej úlohy, opakovane, s rovesníkmi, a rastie najmenej vtedy, keď im ukážete, čo nástroj robí. Priemerný účinok naprieč literatúrou o intervenciách je veľký; rozptyl okolo tohto priemeru je ešte širší, takže o výsledku rozhoduje viac váš návrh než vaša téma. Prieskumy sebavedomia merajú prijatie. Ak chcete tvrdiť, že ide o gramotnosť, testujte výkon.

Stručná verzia

1. Vložte gramotnosť do predmetu, ktorý študenti už majú, na prácu, ktorá sa už hodnotí.

2. Nechajte ich zaviazať sa k vlastnej odpovedi skôr, než uvidia odpoveď modelu.

3. Hodnoťte kritiku tými kritériami, ktoré už pri úlohe používate.

4. Zopakujte to v semestri viac než raz.

5. Ako dôkaz berte výkonovú úlohu a zisky v sebavedomí veďte ako samostatnú položku.

Postavte sekvenciu okolo kritiky

Najsilnejší príklad z učebne v našej znalostnej báze pochádza z bakalárskej psychológie. Richmond a Nicholls nechali študentov ohodnotiť tlačovú správu vygenerovanú ChatGPT podľa vlastných kritérií predmetu, pomenovať chyby a text prepracovať. Študenti vo všeobecnosti videli, že próza je vybrúsená a že obsah skresľuje ciele, metódy a zistenia výskumu. Oproti predchádzajúcej kohorte s rovesníckym hodnotením si skupina s kritikou AI viedla na následnej úprave scenára mierne lepšie (d = 0,36), bez významnej výhody pri finálnom videu (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Literatúra, z ktorej tieto príklady pochádzajú, sa opiera o krátke intervencie, sebaregulované učenie a prácu založenú na návrhu, a táto štúdia nesie dve z tých obmedzení. Porovnanie bolo historické, takže lepšie pripravená kohorta by priniesla ten istý vzorec. Výhoda sa ukázala aj na medzivýstupe a zmizla na hotovom produkte, čo je presne to, čo by ste očakávali, ak kritika učila prepracovanie.

Beck a Brodersen zabudovali ten istý ťah do kurzu ekonómie: študenti sami riešia alebo interpretujú autentický problém, potom získajú odpoveď ChatGPT, porovnajú obe, kritizujú AI, reflektujú a diskutujú s rovesníkmi. Ich návrh vkladá AI gramotnosť do rutín aktívneho učenia, ktoré kurz už mal, napríklad Think-Pair-Share. Jeho prínosom je prenositeľný návrh učenia podložený používaním v učebni, nie experimentom (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Vložte to do predmetu, ktorý študenti už majú

Systematická prehľadová štúdia Hinglea a Johriho triedi aktivity AI gramotnosti podľa rámca ICAP: pasívna expozícia, aktívna manipulácia, konštruktívne vytváranie a interaktívne spoluvytváranie. Intervencie sa objavujú vo všetkých štyroch módoch a prehľad argumentuje proti redukovaniu AI gramotnosti na jednosmernú informačnú prednášku (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Postupy, ktoré podporuje, sú tie, ktoré dokážete zabudovať do zadania: študenti vytvárajú, kritizujú, vysvetľujú a diskutujú o výstupoch AI s rovesníkmi.

AI Literacy Continuum univerzity NC State opisuje postup od Not Yet Engaged a Uncritical Use cez Informed Use, kritické hodnotenie a Improvement, a bolo zavedené s viac než 330 účastníkmi naprieč predmetmi a workshopmi (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Jeho pozorovania naznačujú rozdvojenie: krátke skúsenosti posunuli študentov k informovanému používaniu, kým kritické hodnotenie a zlepšovanie sa ukázali najmä v trvalej práci zakotvenej v disciplíne. Neexistovalo validované meranie pred a po ani porovnávacia skupina, takže ide o dôkazy z praxe.

Vzdelávanie učiteľov ukazuje ten istý strop z iného uhla. Intervencia Le a kol. založená na výskume založenom na návrhu bola pilotovaná so 14 študentmi magisterského štúdia a vyhodnotená s 29 študentmi prípravy učiteľov. Uvádzaná AI kompetencia a sebaúčinnosť stúpli a študenti sa posunuli k kritickejšiemu pedagogickému uvažovaniu o generatívnej AI, kým zisky v oblasti etiky dosiahli len marginálnu významnosť. Malá štúdia tohto typu založená na návrhu nemôže preukázať kompetenciu (Development and evaluation of artificial intelligence literacy training for teacher education students).

Merajte, čo študenti dokážu

Metaanalýza na troch úrovniach s 59 štúdiami (172 veľkostí účinku, 7 211 účastníkov) dáva najjasnejší dostupný kvantitatívny odhad: veľký celkový účinok (g = 0,837, p < 0,001). Interval predikcie na 95 % siaha od -0,292 do 1,966, a to je číslo, ktoré treba citovať, keď sa niekto pýta, či intervencia bude fungovať vo vašom programe. Významní boli dvaja moderátori. Intervencie vo východnej Ázii a v Európe prekonali tie v Severnej Amerike a intervencie zamerané na poznanie prekonali tie zamerané na zručnosti, postoje alebo etiku. Väčšie, ale nevýznamné účinky sa objavili pri zmiešaných alebo reflektívnych pedagogikách, pri nástrojoch podporovaných generatívnou AI a pri výsledkoch vo forme výkonových úloh.

Autori čítajú vlastný výsledok ako argument pre posun od poznania k zručnostiam, praxiam, etike a postojom, cez integrovanú reflektívnu pedagogiku a kultúrne relevantný návrh. Pre komisiu urobia prácu dva dôsledky. Výsledok, ktorý meriate, formuje účinok, ktorý nájdete, takže vyberte výsledok, na ktorom vám skutočne záleží. Tak široký interval predikcie argumentuje za miestny pilot.

Meranie je miesto, kde väčšina tvrdení programov padá. Validovaný výkonový test GLAT predpovedal výkon v úlohe vysokoškolského vzdelávania s podporou AI. Sebavnímaná miera gramotnosti v ChatGPT nie (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). Naprieč znalostnou bázou sa uvádzaná a preukázaná AI kompetencia výrazne rozchádzajú, čo robí z vzdelávacieho merania a validity hodnotenia súčasť návrhu, nie dodatočnú úvahu pri vyhodnocovaní.

Burriss a kol. zostrujú, čo sa počíta. Ich štúdia s 22 študentmi jedenásteho ročníka, ktorí skladali videá vo forme verejných oznamov o etike AI, tvrdí, že existujúce škály gramotnosti a kompetenčné rámce predpokladajú individuálne merateľný výkon, čo vylučuje kolektívne a tvorivé vyjadrenie. Navrhujú študentské reflexie, multimodálne artefakty a občiansky diskurz ako doplnky konvenčných meraní. Ich študenti rozvíjali kritické porozumenie etike AI cez kolektívnu kritickú pedagogiku, a to spochybňuje poňatie gramotnosti ako zoznamu zručností aj nástroje na ňom postavené. Pätnásť z 18 odpovedí na konci jednotky potvrdilo nové učenie a autori poznamenávajú, že projekt odoláva tradičnému sumatívnemu hodnoteniu ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Miery prijatia sú samostatná pasca. Wang, Chuang a Wu oslovili 831 taiwanských študentov a učiteľov regionálneho školstva po približne 30 minútach s príručkou AI gramotnosti odstupňovanou podľa veku a našli stabilnú štvorfaktorovú štruktúru prijatia. Vnímaná hravosť bola najsilnejším korelátom behaviorálneho zámeru. Štúdia merala krátkodobé prijatie, nie zisky v učení, etickú kompetenciu ani skutočné používanie, a autori uvádzajú, že konštrukty prijatia „sa nesmú používať na odvodzovanie účinnosti učenia alebo úspechu implementácie“ (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Počítajte s chybami, ktoré výučba neopraví

Trénovať študentov v lepšom promptovaní alebo používaní AI z nich nerobí spoľahlivo kritických používateľov. V experimente s kontextuálnou patolízalosťou tréning AI gramotnosti a promptovania znížil, ako často model zrkadlil chyby v uvažovaní účastníkov, a šírenie chýb ďalej tréning prežilo (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Čítajte to ako hranicu toho, čo kurz môže sľúbiť. Vzdelávanie v gramotnosti nemôže niesť celé bremeno bezpečnosti a program, ktorý tvrdí, že ho unesie, riziko presunul, nie odstránil. Návrh nástrojov a systémové záruky zostávajú v pláne.

Začnite tam, kde študenti už sú

Şan a Orhan Karsak použili psycholingvistický test slovných asociácií so 436 tureckými bakalármi (1 376 kódovaných odpovedí, zhoda medzi hodnotiteľmi κ = 0,87), aby zmapovali, ako študenti reprezentujú AI. Asociácie sa zhlukovali okolo inštrumentálnej užitočnosti, pričom dominovali pohodlie (f = 145) a rýchlosť (f = 110). Algoritmická transparentnosť, súkromie a pojmy správy vecí verejných boli zriedkavé a štrukturálne izolované od toho zhluku užitočnosti (Kendallovo τ = -0,819). Ich argument nasleduje: etický modul dodaný do kognitívnej štruktúry bez schémy, ktorá by ho prijala, pravdepodobne zlyhá. Kurikulá potrebujú výslovné mosty od každodenného poznania nástrojov k etickým rámcom a rámcom správy a mikrocertifikáty by mali zoraďovať obsah tak, aby tú medzeru uzavreli, namiesto opakovania toho, čo študenti už vedia (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Situované poňatie ponúkajú Dai a Chan zo siedmich ohniskových skupín s 28 postgraduálnymi výskumníkmi, ktorí AI používali nerovnomerne naprieč výskumným pracovným postupom. Používanie bolo intenzívnejšie pri procedurálnej práci s nízkymi stávkami, ako je formátovanie, preklad a vysvetľovanie, a výrazne opatrnejšie tam, kde išlo o vedecký prínos. Účastníci si sami kreslili hranice medzi asistovaním a nahradzovaním vlastného uvažovania. Autori berú AI gramotnosť ako situovanú kapacitu, nie ako statický zoznam kompetencií, a odporúčajú lešenie pre každú dimenziu naprieč skutočnými úlohami namiesto presadzovania binárnych pravidiel (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Skontrolujte certifikát, kým ho udelíte

Certifikáty a mikrocertifikáty sú miestom, kde sa AI gramotnosť dodáva vo veľkom a kde je vyhodnocovanie najtenšie. Wu a Li postavili indikátorový systém s expertnými váhami (AHP a Fuzzy-AHP s kontrolami Monte Carlo, 18 expertov) pre programy certifikátov v AI. Najväčšiu medzeru medzi dôležitosťou a spokojnosťou mala odborná kompetencia učiteľov, s vysokou vnímanou dôležitosťou (0,1976) proti nízkej aktuálnej spokojnosti. Ich dáta stavajú schopnosti učiteľov pred technologickú infraštruktúru ako hlavné obmedzenie pedagogickej zmeny. Najnižšiu strategickú váhu mala medzikultúrna adaptabilita (0,0735), čo čítajú ako zaujatosť v prospech technológií v ranom certifikovaní (Evaluation Indicator System for AI Certificate Programs).

Otázka, ktorá z toho plynie, je tá, ktorú treba položiť vlastnému programu: certifikuje certifikát trvácnu gramotnosť, alebo zaznamenáva účasť? A sú ľudia, ktorí ho učia, vybavení na to, aby to posúdili?

V čom sa toto publikum mýli

Workshop je kurikulum. Pozorovania z Continuum stavajú kritické hodnotenie a zlepšovanie do trvalej práce zakotvenej v disciplíne a Le a kol. posunuli sebaúčinnosť bez toho, aby preukázali kompetenciu.

Sebavedomie je zástupný ukazovateľ gramotnosti. Výsledok GLAT je priamy: výkonový test predpovedal výkon v úlohe a sebavnímaná miera nie.

Veľký priemerný účinok znamená, že program bude fungovať tu. S intervalom predikcie od -0,292 do 1,966 priemer opisuje odbor; vaša kohorta sedí niekde vnútri toho rozpätia.

Tréning gramotnosti robí zo študentov bezpečných používateľov. V experimente s patolízalosťou tréning znížil zrkadlenie a šírenie chýb nechal nedotknuté.

Gramotnosť je jedna zručnosť, ktorá sa prenáša medzi nástrojmi. Dai a Chan našli výskumníkov, ktorí kreslili odlišné hranice v odlišných častiach jedného pracovného postupu.

Čo vám na to povedia

„V kurikule na to nie je miesto.“ Pridajte kritiku k zadaniu, ktoré už hodnotíte, tak, ako ju Beck a Brodersen vložili do existujúcich rutín aktívneho učenia. Samostatný kurz stojí viac a učí to isté.

„Naši študenti s touto technológiou vyrastali.“ Znalosť nástroja je to, čo merali Şan a Orhan Karsak: pohodlie a rýchlosť, s právomocami a správou štrukturálne oddelenými. Plynulosť v používaní niečoho nie je porozumenie tomu.

„Dajte nám len veľkosť účinku.“ g = 0,837, p < 0,001, z 59 štúdií, s intervalom predikcie na 95 % od -0,292 do 1,966. Druhé číslo je to, podľa ktorého sa máte rozhodovať.

„Na konci semestra študentov opýtame.“ Potom ste zmerali prijatie. Wang a kol. výslovne hovoria, čo to nemôže podporiť, na vzorke 831.

„Certifikát je mechanizmus zodpovednosti.“ Wu a Li zistili, že kompetencia učiteľov je to zväzujúce obmedzenie, a medzikultúrna adaptabilita mala najnižšiu váhu. Certifikát zaznamenáva, že niekto niečo dokončil.

„Naši učitelia nie sú pripravení to učiť.“ Dôkazy súhlasia. Schopnosť učiteľov bola najväčšia medzera v dátach Wu a Liho a žiadna štúdia na tejto stránke netestuje, ako ju uzavrieť.

Čo urobiť tento týždeň

1. Vyberte jedno hodnotené zadanie a pridajte krok, v ktorom študenti vytvoria vlastnú odpoveď skôr, než sa obrátia na AI.

2. Napíšte prompt pre kritiku podľa existujúcich kritérií, aby študenti hodnotili výstup podľa štandardu, ktorý už používate.

3. Naplánujte druhé kolo tej istej aktivity neskôr v semestri, v tom istom predmete.

4. Nahraďte jednu otázku o sebavedomí na konci semestra krátkou výkonovou položkou a ohodnoťte ju.

5. Spýtajte sa toho, kto vlastní váš mikrocertifikát, aký dôkaz kompetencie prijme, a získajte odpoveď písomne.

Kam ďalej

Ako mám začleniť AI gramotnosť do predmetu? prenáša otázku návrhu do plánovania predmetu. AI gramotnosť drží koncept a debatu o jeho meraní a stránka o výskumných medzerách pokrýva, kde je táto literatúra ešte tenká.