Ce dovezi există despre intervențiile de alfabetizare în IA în învățământul superior?

Traducere automată a acestei pagini în limba engleză, încă neverificată de un vorbitor nativ.

Biroul rectorului vrea un rezultat de alfabetizare în IA în fiecare program de licență până toamna viitoare, iar planul de pe masă este un atelier de două ore plus un modul tutorial de bibliotecă. Sau un grant a finanțat „alfabetizarea în IA" la instituția ta și prima ședință de comitet este despre ce să cumperi cu banii. Cineva din sală va întreba ce vor putea face studenții după aceea, iar ce lămurește întrebarea este un argument de proiectare.

Răspunsul pentru acea sală, și starea dovezilor în învățământul superior, este acesta: alfabetizarea crește când studenții critică rezultatul IA în interiorul unei sarcini disciplinare reale, în mod repetat, cu colegii, și crește cel mai puțin când li se arată ce face instrumentul. Efectul mediu din literatura de intervenție este mare; împrăștierea în jurul acelei medii este și mai largă, așa că proiectarea ta decide mai mult decât subiectul tău. Sondajele de încredere măsoară acceptarea. Dacă vrei să pretinzi alfabetizare, testează o performanță.

Pe scurt

1. Pune alfabetizarea într-un curs pe care studenții îl urmează deja, pe o muncă pentru care sunt deja notați.

2. Fă-i să se angajeze la propriul răspuns înainte de a-l vedea pe al modelului.

3. Notează critica, folosind rubrica pe care o folosești deja pentru sarcină.

4. Rulează activitatea de mai multe ori de-a lungul semestrului.

5. Ia o sarcină de performanță drept dovada ta și ține câștigurile de încredere ca linie separată.

Construiește secvența în jurul unei critici

Cel mai puternic exemplu de clasă din baza de cunoștințe vine din psihologia de licență. Richmond și Nicholls le-au cerut studenților să noteze un comunicat de presă generat de ChatGPT cu propria rubrică a cursului, să numească erorile și să îl revizuiască. Studenții au văzut în general că proza era lustruită și că conținutul denatura obiectivele, metodele și concluziile cercetării. Față de cohorta anterioară de evaluare între colegi, grupul care a criticat IA s-a descurcat modest mai bine la revizuirea scenariului care a urmat (d = 0,36), fără un avantaj semnificativ la videoclipul final (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Literatura din care vin aceste exemple se sprijină pe intervenții scurte, pe raportare de sine și pe lucrări bazate pe proiectare, iar acest studiu poartă două dintre aceste limite. Comparația a fost istorică, deci o cohortă mai bine pregătită ar produce același tipar. Avantajul a apărut și pe artefactul intermediar și a dispărut pe cel finalizat, ceea ce este exact ce ai aștepta dacă critica a predat revizuirea.

Beck și Brodersen au construit aceeași mișcare într-un curs de economie: studenții rezolvă sau interpretează singuri o problemă autentică, apoi obțin răspunsul ChatGPT, le compară, critică IA, reflectează și discută cu colegii. Proiectarea lor înglobează alfabetizarea în IA în rutinele de învățare activă pe care cursul le rula deja, cum ar fi Think-Pair-Share. Contribuția ei este un design instrucțional transferabil, susținut de utilizarea în clasă, nu de un experiment (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Pune-o într-un curs pe care studenții îl urmează deja

Recenzia sistematică a lui Hingle și Johri sortează activitățile de alfabetizare în IA cu cadrul ICAP: expunere pasivă, manipulare activă, generare constructivă și co-construcție interactivă. Intervențiile apar în toate cele patru moduri, iar recenzia argumentează împotriva reducerii alfabetizării în IA la o sesiune de informare unidirecțională (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Practicile pe care le susține sunt cele pe care le poți construi într-o sarcină: studenții creează, critică, explică și dezbat rezultatele IA cu colegii.

Continuumul alfabetizării în IA al NC State descrie o progresie de la Neimplicat încă și Utilizare necritică prin Utilizare informată, Evaluare critică și Îmbunătățire, și a fost implementat cu peste 330 de participanți în cursuri și ateliere (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Observațiile lui sugerează o scindare: experiențele scurte i-au mișcat pe studenți spre utilizarea informată, în timp ce evaluarea critică și îmbunătățirea au apărut mai ales în munca susținută, încorporată în disciplină. Nu au existat o măsură validată pre/post și nici un grup de comparație, deci sunt dovezi bazate pe practică.

Formarea profesorilor arată același plafon dintr-un unghi diferit. Intervenția bazată pe proiectare a lui Le et al. a fost pilotată cu 14 studenți la masterat și evaluată cu 29 de studenți din formarea profesorilor. Autoeficacitatea raportată în competența IA a crescut, iar studenții s-au orientat spre o considerare pedagogică mai critică a GenAI, în timp ce câștigurile la etică au atins doar semnificație marginală. Un studiu mic bazat pe proiectare de această formă nu poate stabili competența (Development and evaluation of artificial intelligence literacy training for teacher education students).

Măsoară ce pot face studenții

O meta-analiză pe trei niveluri a 59 de studii (172 de mărimi ale efectului, 7.211 participanți) oferă cea mai clară estimare cantitativă disponibilă: un efect global mare (g = 0,837, p < 0,001). Intervalul de predicție de 95% merge de la -0,292 la 1,966, care este cifra de citat când cineva întreabă dacă intervenția va funcționa în programul tău. Doi moderatori au fost semnificativi. Intervențiile din Asia de Est și Europa le-au depășit pe cele din America de Nord, iar intervențiile axate pe cunoaștere le-au depășit pe cele orientate spre competențe, atitudini sau etică. Efecte mai mari, dar nesemnificative, au apărut pentru pedagogiile mixte sau reflective, pentru instrumentele sprijinite de GenAI și pentru rezultatele de tip sarcină de performanță.

Autorii își citesc propriul rezultat ca pe un argument pentru depășirea cunoașterii în favoarea competențelor, practicilor, eticii și atitudinilor, prin pedagogie reflexivă integrată și proiectare relevantă cultural. Pentru un comitet, două implicații fac treaba. Rezultatul pe care îl măsori modelează efectul pe care îl găsești, așa că alege rezultatul care îți pasă cu adevărat. Un interval de predicție atât de larg pledează pentru un pilot local.

Măsurarea este locul unde eșuează cele mai multe pretenții de program. Testul de performanță validat GLAT a prezis performanța într-o sarcină de învățământ superior asistată de IA. O măsură a alfabetizării în ChatGPT raportată de sine nu a prezis-o (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). În întreaga bază de cunoștințe, competența în IA raportată și cea demonstrată diverg puternic, ceea ce face din măsurarea educațională și din validitatea evaluării parte a proiectării, nu un gând de mai târziu în evaluare.

Burriss et al. ascuțesc ce contează. Studiul lor pe 22 de elevi de clasa a XI-a care compun spoturi video de interes public despre etica IA susține că scalele de alfabetizare și cadrele de competențe existente presupun o performanță măsurabilă individual, ceea ce exclude expresia colaborativă și creativă. Ei propun reflecțiile studenților, artefactele multimodale și discursul civic ca suplimente la măsurătorile convenționale. Studenții lor au dezvoltat o înțelegere critică a eticii IA prin pedagogie critică colaborativă, iar asta contestă concepțiile despre alfabetizare ca listă de competențe, împreună cu instrumentele construite pe ele. Cincisprezece din 18 răspunsuri de final de unitate au confirmat învățare nouă, iar autorii notează că proiectul rezistă evaluării sumative tradiționale ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Măsurile de acceptare sunt o altă capcană. Wang, Chuang și Wu au chestionat 831 de elevi și profesori taiwanezi din K-12 după aproximativ 30 de minute cu un ghid de alfabetizare în IA diferențiat pe vârste și au găsit o structură stabilă de acceptare cu patru factori. Jucăușenia percepută a fost cel mai puternic corelat al intenției comportamentale. Studiul a măsurat acceptarea pe termen scurt, nu câștigurile de învățare, competența etică sau utilizarea reală, iar autorii declară că constructele de acceptare „nu trebuie folosite pentru a infera eficacitatea învățării sau succesul implementării" (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Planifică pentru erorile pe care predarea nu le va remedia

A-i învăța pe studenți să formuleze prompturi sau să folosească mai bine IA nu îi face utilizatori critici de încredere. În experimentul de servilism contextual, formarea în alfabetizare în IA și în prompting a redus cât de des oglindea modelul erorile de raționament ale participanților, iar propagarea erorii în aval a supraviețuit formării (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Citește asta ca pe o limită a ce poate promite un curs. Educația pentru alfabetizare nu poate duce toată povara siguranței, iar un program care pretinde că o duce a mutat riscul în loc să îl elimine. Proiectarea instrumentelor și protecțiile la nivel de sistem rămân în plan.

Începe de unde sunt deja studenții tăi

Şan și Orhan Karsak au folosit un Test de Asociere a Cuvintelor psiholingvistic cu 436 de studenți de licență turci (1.376 de răspunsuri codate, κ inter-evaluatori = 0,87) pentru a cartografia modul în care studenții reprezintă IA. Asociațiile s-au grupat în jurul utilității instrumentale, cu confortul (f = 145) și viteza (f = 110) dominante. Transparența algoritmică, confidențialitatea și conceptele de guvernanță erau rare și structural izolate de acel grup al utilității (τ al lui Kendall = -0,819). Argumentul lor urmează: un modul de etică livrat într-o structură cognitivă fără schemă care să îl primească va eșua probabil. Curricula au nevoie de punți explicite de la cunoașterea zilnică a instrumentelor la cadrele etice și de guvernanță, iar micro-acreditările ar trebui să ordoneze conținutul ca să închidă acel gol în loc să repete ce studenții știu deja (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

O relatare situată vine din cele șapte grupuri de discuție ale lui Dai și Chan cu 28 de cercetători postuniversitari, care foloseau IA inegal de-a lungul fluxului de cercetare. Utilizarea era mai grea în munca procedurală cu miză mică, precum formatarea, traducerea și explicarea, și vizibil mai precaută acolo unde era în joc contribuția științifică. Participanții și-au tras propriile limite între asistarea și substituirea raționamentului lor. Autorii tratează alfabetizarea în IA ca pe o capacitate situată, nu ca pe o listă statică de competențe, și recomandă sprijin de tip schelă pentru fiecare dimensiune de-a lungul sarcinilor reale, în loc să impună reguli binare (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Verifică acreditarea înainte să o acorzi

Certificatele și micro-acreditările sunt locul unde alfabetizarea în IA este livrată la scară și unde evaluarea este cea mai subțire. Wu și Li au construit un sistem de indicatori ponderat de experți (AHP și Fuzzy-AHP cu verificări Monte Carlo, 18 experți) pentru programele de certificare în IA. Competența profesională a cadrelor didactice a arătat cel mai mare decalaj importanță-satisfacție, cu importanță percepută mare (0,1976) față de satisfacție actuală scăzută. Datele lor pun capacitatea cadrelor didactice înaintea infrastructurii tehnologice ca principală constrângere asupra schimbării pedagogice. Adaptabilitatea interculturală a atras cea mai mică pondere strategică (0,0735), pe care ei o citesc ca părtinire în favoarea tehnologiei în acreditarea timpurie (Evaluation Indicator System for AI Certificate Programs).

Întrebarea care urmează este cea de pus propriului tău program: certifică acreditarea o alfabetizare durabilă sau înregistrează o prezență? Și oamenii care o predau sunt echipați să judece?

Ce greșește acest public

Un atelier este un curriculum. Observațiile Continuumului pun evaluarea critică și îmbunătățirea în munca susținută, încorporată în disciplină, iar Le et al. au mișcat autoeficacitatea fără să stabilească competența.

Încrederea este un proxy pentru alfabetizare. Rezultatul GLAT este direct: un test de performanță a prezis performanța în sarcină, iar o măsură raportată de sine nu.

Un efect mediu mare înseamnă că programul va funcționa aici. Cu un interval de predicție de la -0,292 la 1,966, media descrie domeniul; cohorta ta se află undeva în interiorul acelui interval.

Formarea în alfabetizare îi face pe studenți utilizatori siguri. În experimentul de servilism, formarea a redus oglindirea și a lăsat intactă propagarea erorii.

Alfabetizarea este o singură competență care se transferă între instrumente. Dai și Chan au găsit cercetători care își trasează limite diferite în părți diferite ale unui singur flux de lucru.

Ce se va întoarce împotriva ta

„Nu este loc în curriculum." Adaugă critica la o sarcină pe care o notezi deja, așa cum Beck și Brodersen au înglobat-o în rutinele de învățare activă existente. Un curs separat costă mai mult și predă același lucru.

„Studenții noștri au crescut cu această tehnologie." Familiaritatea cu instrumentul este ce au măsurat Şan și Orhan Karsak: confort și viteză, cu confidențialitatea și guvernanța structural detașate. Fluența în folosirea unui lucru nu este înțelegerea lui.

„Dați-ne doar mărimea efectului." g = 0,837, p < 0,001, din 59 de studii, cu un interval de predicție de 95% de la -0,292 la 1,966. A doua cifră este cea care guvernează decizia ta.

„Vom chestiona studenții la finalul semestrului." Atunci vei fi măsurat acceptarea. Wang et al. spun explicit ce nu poate susține asta, pe un eșantion de 831.

„Acreditarea este mecanismul de responsabilizare." Wu și Li au găsit competența cadrelor didactice drept constrângerea obligatorie, iar adaptabilitatea interculturală cu cea mai mică pondere. Un certificat înregistrează că cineva a finalizat ceva.

„Cadrele noastre didactice nu sunt pregătite să predea asta." Dovezile sunt de acord. Capacitatea cadrelor didactice a fost cel mai mare decalaj în datele lui Wu și Li, iar niciun studiu de pe această pagină nu testează cum poate fi închis.

Ce să faci săptămâna aceasta

1. Alege o sarcină notată și adaugă un pas în care studenții își produc propriul răspuns înainte de a consulta IA.

2. Scrie promptul de critică pe rubrica ta existentă, astfel încât studenții să noteze rezultatul după standardul pe care îl folosești deja.

3. Programează o a doua rulare a aceleiași activități mai târziu în semestru, în același curs.

4. Înlocuiește o întrebare de încredere de final de semestru cu un item scurt de performanță și notează-l.

5. Întreabă pe cine deține micro-acreditarea ta ce dovadă de competență va accepta și obține răspunsul în scris.

Încotro mai departe

Cum ar trebui să integrez alfabetizarea în IA în cursul meu? duce întrebarea de proiectare în planificarea cursului. Alfabetizare în IA ține conceptul și dezbaterea despre măsurarea lui, iar pagina despre lacunele de cercetare acoperă unde această literatură este încă subțire.