Chiar îi ajută IA pe studenții mei să învețe?

Traducere automată a acestei pagini în limba engleză, încă neverificată de un vorbitor nativ.

Un student îți spune că tutorul cu IA este motivul pentru care a înțeles în sfârșit materia, iar tu nu ai cum să verifici afirmația. Sau un proiect-pilot ajunge pe biroul tău cu un chestionar de satisfacție și o captură de ecran cu note în creștere la teme, iar cineva vrea o decizie privind licența până la sfârșitul lunii. Sau stai în fața unei clase și te întrebi dacă instrumentul pe care tocmai le-ai spus să îl deschidă îi ajută să exerseze sau îi ajută să evite exersarea.

Răspunsul scurt: da, IA poate ajuta studenții să învețe, iar niciunul dintre lucrurile pe care le vei vedea cel mai probabil nu stabilește că a făcut-o: teme mai bune, finalizare mai rapidă, studenți mulțumiți sau un produs numit tutor. Ce separă cazurile în care învățarea se îmbunătățește de cele în care nu se îmbunătățește este designul activității și rezultatul pe care ai ales să îl măsori.

Pe scurt

1. Numește mai întâi competența, apoi decide ce dovezi ar arăta că s-a schimbat.

2. Măsoară aceeași competență mai târziu, cu instrumentul luat, pentru că este singura măsură care răspunde la întrebarea ta.

3. Pune încercarea proprie a studentului înaintea ajutorului și cere un răspuns la ajutor după aceea.

4. Notează verificarea: ce au controlat, ce au respins, ce au schimbat.

5. Privește rezultatele după cunoașterea prealabilă, pentru că media ascunde studenții pe care designul îi eșuează.

Decide ce înțelegi prin învățare înainte de a te uita la vreo dovadă

„Îi ajută IA pe studenți să învețe” nu este o singură întrebare. Împachetează cel puțin trei: ridică instrumentul performanța cât timp este deschis, construiește o capacitate care persistă când este închis și schimbă cine ajunge să aibă acea capacitate. Un raport de furnizor, un chestionar de pilot și un studiu randomizat pot fi toate oneste și totuși pot răspunde la întrebări diferite.

Scrie competența înainte de activitate. „Produ un raport îngrijit” este un rezultat diferit de „selectează dovezi adecvate”, de „explică o relație cauzală” sau de „detectează o concluzie nesușinută”. Evaluarea trebuie să scoată la iveală competența pe care intenționezi să o dezvolți, ceea ce este argumentul din măsurarea educațională și punctul de plecare al evaluării în IA educațională.

Corpusul susține două afirmații deodată, iar a le ține pe amândouă este disciplina pe care o cere această pagină. O sinteză a Băncii Mondiale, Can EdTech Close Learning Gaps?, a agregat 14 studii randomizate din zece economii și a estimat un efect mediu pozitiv de învățare de 0,125 deviații standard pentru tehnologia educațională adaptivă și cea bazată pe IA. A combinat totodată sistemele adaptive anterioare cu instrumente de IA generativă, nu a găsit niciun avantaj stabilit statistic pentru instrumentele generative mai noi și a recunoscut o incertitudine considerabilă în acea comparație. Rezultatul susține potențialul acestor intervenții, nu o afirmație că orice chatbot va îmbunătăți învățarea. O medie pozitivă, altfel spus, este compatibilă cu o variație foarte mare și cu nicio superioritate demonstrată pentru lucrul pe care îl analizezi de fapt.

Studiile mai utile sunt cele care variază designul în interiorul unui singur experiment. Un studiu randomizat multi-site cu 1.176 studenți din anul întâi a comparat feedbackul între colegi, feedbackul direct de IA, autoevaluarea urmată de feedback de IA și o secvență hibridă de autoevaluare, feedback între colegi și critică IA. Condițiile reflexive și hibride au produs un transfer întârziat fără IA mai puternic decât feedbackul direct de IA: studenții s-au descurcat mai bine la o sarcină nouă de argumentare științifică, nu doar la eseul pe care îl revizuiau. Acele condiții au cerut și mai multă muncă evaluativă și probabil mai mult timp, așa că studiul susține designul complet de feedback, nu o singură componentă din el.

Verifică dacă câștigul supraviețuiește după ce instrumentul este luat

Aceasta este cea mai informativă verificare disponibilă pentru tine și este ușor să o omiți dintr-un pilot.

Avertismentul cel mai clar din corpus este un experiment de teren randomizat cu aproape 1.000 de elevi de liceu, Generative AI without guardrails can harm learning. O interfață de tip generalist a ridicat scorurile de exersare asistată cu 48% față de control, iar aceiași elevi au obținut apoi cu 17% mai puțin la examenele fără asistență. Un tutor configurat cu îndrumări și indicii concepute de profesor a evitat în mare parte acea penalizare. Nu a produs o îmbunătățire semnificativă statistic a performanței la examenul fără asistență față de grupul de control. A evita prejudiciul și a demonstra învățare suplimentară sunt realizări diferite.

La scară națională, aceeași scindare apare cu o întârziere. The Generative AI Learning Penalty a urmărit 26.811 elevi chinezi din învățământul secundar, clasele 7-12, timp de 30 de luni, folosind adoptarea în valuri. Scorurile la teme au crescut cu 18%, iar timpul de finalizare a scăzut cu 30%, de la 64 la 45 de minute. Scorurile la examenele lunare cu carte închisă au scăzut cu 20% în șase luni, iar scorurile la examenele de admitere cu miză mare au scăzut cu 18-24% din nivelul de bază, dar numai după aproximativ doi ani. Pierderile s-au concentrat în rândul celor aproximativ 81% dintre utilizatori al căror comportament indica externalizarea temelor, în timp ce elevii care și-au păstrat timpul de teme comparabil cu al neutilizatorilor au învățat cam la fel de eficient. Din asta urmează două lucruri pentru cursul tău: divergența dintre performanța la teme și cea la examene este decalajul performanță-învățare într-o cohortă națională, iar întârzierea de doi ani înseamnă că o evaluare de un semestru va subestima sistematic costul.

Educația în informatică arată aceeași structură. Sinteza sistematică a 72 de studii a găsit că IA generativă a ridicat în mod fiabil finalizarea pe termen scurt și a redus timpul pe sarcină în 36 de studii, fără niciun studiu în corpus care să documenteze un efect negativ asupra performanței imediate, iar acele câștiguri „nu se transferă la performanța independentă” în 21 de studii. Studenții asistați de Codex au finalizat de două ori mai multe sarcini în timpul învățării și nu s-au descurcat mai bine decât controalele la post-testurile fără IA.

Apoi este întrebarea dacă studenții folosesc deloc ajutorul. Un experiment școlar randomizat de doi ani în 18 școli gimnaziale, One Click Away, a găsit câștiguri modeste la matematică, iar elevii s-au implicat rar în conversații de tutoriat substanțiale. Autorii au notat că câștigurile semănau cu cele raportate pentru exersarea structurată fără IA, iar designul combina exersarea individualizată cu tutoriatul cu IA, așa că nu a izolat contribuția componentei de IA. Disponibilitatea unui tutor capabil este un fapt diferit de folosirea lui productivă de către studenți.

Making AI Tutoring Productive adaugă o lecție mai ascuțită, de la peste 6.000 de elevi de gimnaziu care foloseau NUMI. Sprijinul IA a îmbunătățit recuperarea după greșeli și a încetinit progresul prin întrebări. O regulă de stăpânire de trei răspunsuri corecte la rând a ridicat succesul definit de platformă fără a îmbunătăți, prin ea însăși, învățarea o săptămână mai târziu. Cel mai puternic semnal de învățare întârziată a apărut când IA a fost integrată în fluxul de stăpânire, iar acele câștiguri erau marginal semnificative statistic și concentrate pe un material exersat anume. Este o dovadă sugestivă pentru o abordare structurată, nu o rețetă dovedită.

Construiește activitatea astfel încât studentul să facă gândirea care contează

Designul instrucțional contează mai mult decât modelul pe care îl rulezi. Designul care supraviețuiește acestor rezultate are patru tururi: o încercare, un ajutor îndreptat spre dificultate, ceva ce studentul face cu ajutorul și o aplicare nouă cu sprijinul retras.

1. Cere o încercare inițială, o predicție, o schiță, o explicație sau o interpretare.

2. Oferă asistență țintită: o indicație, o explicație, un exemplu contrastant sau feedback concentrat pe punctul unde s-au blocat.

3. Cere un răspuns la asistență. Studentul o explică, revizuiește cu ea, o verifică sau justifică de ce o acceptă ori o respinge.

4. Verifică o problemă comparabilă sau un context diferit, cu sprijinul retras.

Acesta este un punct de plecare instrucțional, nu o secvență validată, iar cantitatea și momentul potrivit ale sprijinului depind de studenți și de sarcină. Reflectă ceea ce subliniază sintezele despre sprijinul de tip schelă și învățarea activă: sprijin care îi ajută pe învățăcei să înțeleagă, să exerseze, să evalueze și, în cele din urmă, să performeze cu mai puțin din el.

Aplică principiul la obiectiv, nu mecanic la fiecare funcție. „Oferă sprijin de tip schelă, nu substitui” este o regulă bună cu o capcană în interior. Un exemplu complet rezolvat poate fi ceva din care studenții învață, iar o secvență de indicii poate deveni totuși ceva prin care se trece dând clic fără să gândești. Ce contează este ce face învățăcelul cu asistența, motiv pentru care descărcarea cognitivă și căutarea de ajutor stau la capete opuse a ceea ce poate produce același instrument.

Contraexemplul merită păstrat în vedere, pentru că te oprește să transformi efortul într-un indicator indirect al învățării. În experimentele preregistrate raportate în Coach not crutch, adulții care au exersat rescrierea scrisorilor de intenție cu IA au produs texte fără IA mai bune după aceea decât cei care au exersat singuri și au depus mai puțin efort făcând-o. Beneficiile au persistat la o urmărire de o zi, iar un al doilea experiment a constatat că vizionarea unui exemplu revizuit de IA a produs beneficii comparabile cu exersarea cu instrumentul. Acelea au fost sarcini de scriere scurte și delimitate, nu dovezi ale unei îmbunătățiri de durată în orice tip de scriere. Ele arată însă că mai puțin efort nu înseamnă automat mai puțină învățare și că ținta este să păstrezi activitatea de învățare, nu să maximizezi dificultatea.

Fă gândirea reținută vizibilă în ce notezi

Felul în care studenții folosesc instrumentul contează mai mult decât dacă îl au. În un studiu calitativ pe 38 de studenți la evaluări de eseuri nesupravegheate, implicarea a mers de la externalizare cognitivă la realocare cognitivă, deplasarea efortului de la recuperarea de nivel scăzut la evaluarea critică. Majoritatea studenților, 31 din 38, intenționau să folosească IA generativă ca asistent de învățare. În practică, 76,32% s-au bazat pe un dialog cu un singur tur, întreabă, primește răspunsul, oprește, iar 78,94% au folosit instrumentul înainte sau după redactare, nu prin sarcină. Doar 8 studenți au lucrat ca parteneri cognitivi, printr-un dialog susținut și iterativ. Acel spectru, de la externalizare la realocare, este ceea ce descrie interacțiunea student-IA. Un participant a descris efectul astfel: „viteza cu care uiți este și ea foarte mare”.

Lecția pedagogică este că permisiunile generale și interdicțiile generale îi lasă pe studenți să ghicească. Ce a schimbat comportamentul, în relatarea acelui studiu, a fost îndrumarea specifică sarcinii despre ce muncă cognitivă trebuiau să o rețină studenții și ce asistență era potrivită, direcția de design dezvoltată în Cum pot reduce trișatul cu IA la cursul meu? și Reducerea utilizării greșite a IA.

Deci fă din gândirea reținută un artefact pe care îl poți nota. La matematică, cere soluția încercată înainte de a se cere ajutor, apoi pune studenții să folosească un prompt de tipul „identifică primul pas pe care ar trebui să îl reconsider, dă-mi o singură indicație utilă și cere-mi să încerc din nou” și cere o soluție nouă plus o explicație, nu o reproducere a răspunsului IA. La scriere, pune studenții să își evalueze schița față de grila de evaluare înainte de a cere critică, apoi să explice ce sugestii au acceptat, modificat sau respins. Dacă obiectivul este construirea argumentului, proza IA nu poate ține locul dovezii că studentul poate construi un argument. Dacă obiectivul este evaluarea unor revizuiri alternative, compararea unor exemple complete este potrivită. Paginile despre educația pentru scriere și alfabetizarea în feedback conțin detaliile.

Cerința de design a recenziei este aceeași mișcare la nivel de curs: verificarea, adică citirea, testarea, modificarea, explicarea și criticarea rezultatului IA, transformată într-o componentă notată și observabilă, nu într-o aspirație lăsată la discreția studentului. Și nu orice rezultat legitim trebuie demonstrat fără IA. Un curs poate preda deliberat munca eficace sprijinită de IA, caz în care evaluezi capacitatea studentului de a selecta, verifica, revizui și apăra folosirea instrumentului, alături de fundamentele independente pe care le cere disciplina. A Human Capability Test for Learning Outcomes in the AI Era propune acea distincție tripartită între capacitatea independentă, performanța augmentată de IA și responsabilitatea verificării. Este un cadru conceptual, nu un instrument validat.

Verifică pe cine ajută instrumentul și pe cine lasă deoparte în tăcere

O îmbunătățire medie poate ascunde studenți care nu au câștigat nimic sau care au lovit o barieră nouă. Sinteza despre decalajul digital separă accesul la un instrument de competența necesară pentru a-l folosi și de cine ajunge la un rezultat util, iar toate trei contează pentru un curs.

Cunoașterea prealabilă modulează totul în recenzia despre informatică: studenții bine pregătiți transformă asistența în competență durabilă, în timp ce studenții insuficient pregătiți riscă să o folosească drept cârje care le înlătură exersarea de care au nevoie. Studiul cohortei naționale arată aceeași concentrare în felul lui, cu pierderile de învățare la cei 81% ai căror comportament la teme indica externalizarea.

Pentru o evaluare la nivel de sală de clasă, desparte rezultatele după cunoașterea prealabilă, nevoile lingvistice și cerințele de accesibilitate, în loc să raportezi o medie a cursului. A-i învăța pe studenți cum să obțină și să evalueze feedback util face parte din alfabetizarea în IA și nu vine odată cu licența. Când evaluezi învățarea independentă, înlătură asistența care furnizează gândirea-țintă și păstrează adaptările care asigură accesul la sarcină, ceea ce este distincția de care depind atât accesibilitatea, cât și echitatea în educația cu IA.

Inspectează și feedbackul pe care îl primesc de fapt studenții. Un răspuns fluent poate diagnostica greșit dificultatea, poate consolida o eroare sau poate preda un răspuns acolo unde era nevoie de un alt tip de sprijin. Folosește materiale aliniate cursului, păstrează o rută către ajutor uman și nu colecta mai multe informații despre studenți decât cere activitatea. Calitatea feedbackului de IA, siguranța pedagogică și confidențialitatea acoperă specificurile.

Nu te încrede în panoul de bord, nici în al tău

Indicatorii platformei sunt cele mai ușor de dus într-o decizie de achiziție și cele mai ușor de suprainterpretat. În o evaluare a opt agenți de predare cu IA în educația medicală, clasamentele după scorul propriu al platformei au divergat de o grilă de calitate didactică validată de experți. Agentul clasat pe locul trei de platformă a ieșit ultimul la calitatea pe grilă, pentru că scorul platformei urmărea performanța studentului în timpul interacțiunii, nu comportamentul didactic al agentului. Un indicator încorporat este o ipoteză de validat.

Același scepticism se aplică dovezilor pe care le generezi singur. Un chestionar de satisfacție măsoară satisfacția, iar învățarea percepută este o măsură de autodeclarare despre care corpusul documentează că se îndepărtează mult de învățarea măsurată. Notele la teme măsoară tema. Niciuna nu îți spune ce poate face un student peste trei săptămâni cu instrumentul închis, iar Ce măsuri și metode de cercetare poate folosi un profesor pentru a evalua intervențiile legate de IA? expune designurile de comparație care te apropie de asta.

Ce greșesc cadrele didactice aici

„Note mai mari la temă înseamnă că au învățat mai mult.” Cele două pot merge în direcții opuse. Experimentul cu garduri de siguranță a ridicat exersarea asistată cu 48%, în timp ce examenele fără asistență au scăzut cu 17%, iar cohorta națională a văzut scorurile la teme crescând cu 18% în timp ce scorurile la examenele cu carte închisă au scăzut cu 20% în șase luni. Niciunul dintre tipare nu ar apărea într-un catalog care înregistrează doar predarea finală.

„Este un tutor, deci este sigur.” Tutor este o etichetă, iar rezultatele din spatele etichetei sunt amestecate. Tutorul configurat de profesor a evitat penalizarea la examen și nu a depășit controlul la examenele fără asistență. Khanmigo a produs câștiguri modeste care semănau cu exersarea structurată, cu puțin tutoriat substanțial desfășurat. IA din NUMI a încetinit progresul prin întrebări. Un tutor poate reține soluțiile și totuși poate absorbi exersarea.

„Dacă pare mai ușor, nu îi învață nimic.” Greșit în ambele direcții, de aceea efortul este un indicator indirect prost. Coach not crutch a găsit mai puțin efort cu o scriere fără IA mai bună o zi mai târziu, așa că ușurința nu este semnalul. Ce separă cazurile este dacă studentul a făcut gândirea pe care o numește obiectivul, iar asta este o întrebare de design, nu o setare de dificultate.

„O regulă generală sau un prompt mai bun rezolvă felul în care o folosesc.” Studiul pe 38 de studenți a găsit majoritatea studenților în modul cu un singur tur, întreabă și oprește, exact în condițiile în care li se spusese că IA este un asistent de învățare. Ce a mișcat comportamentul a fost îndrumarea specifică sarcinii și o cerință notată de verificare. O linie de politică și un prompt isteț sunt amândouă intrări pentru asta și niciuna nu ține locul.

„Scorul platformei sau chestionarul de satisfacție îmi spune că funcționează.” Evaluarea celor opt agenți a găsit un clasament al platformei care s-a inversat sub o grilă de experți. Satisfacția și învățarea percepută sunt autodeclarări. Ambele merită colectate ca informații de proces și niciuna nu este o măsură a învățării.

„Accesul este problema de echitate și am rezolvat accesul.” Accesul este una dintre cele trei linii, alături de competență și de cine ajunge la un rezultat util. Cunoașterea prealabilă decide dacă ajutorul devine competență sau cârje, iar pierderile din cohorta națională s-au concentrat în grupul al cărui comportament sugera substituirea, nu în grupul fără dispozitive.

Ce se va întoarce împotriva ta

„Studenții mei spun că îi ajută.” Probabil chiar îi ajută cu munca din fața lor, iar asta este constatarea, nu o infirmare a ei. Întreabă ce pot face la o sarcină similară cu instrumentul închis și primești răspunsul care contează.

„Studiile se contrazic, deci de ce să acționez pe baza vreunuia?” Rareori se contrazic odată ce aliniezi rezultatul pe care l-a măsurat fiecare. Rezultatele pozitive tind să măsoare performanța asistată, satisfacția sau o activitate bine structurată cu verificări întârziate; cele negative măsoară performanța fără asistență, mai târziu. Sinteza Burneo face incertitudinea explicită: 0,125 deviații standard în medie pe 14 studii, niciun avantaj stabilit pentru instrumentele generative mai noi. O îmbunătățire de tip înainte și după nu poate arăta că IA a cauzat câștigul, pentru că studenții se îmbunătățesc pe parcursul restului predării, iar metodele cercetării de eficacitate expun designurile de comparație care te apropie de răspuns. Acționează pe baza afirmațiilor de design, care se replică, și rămâi deschis la mărimea efectului, care nu se replică.

„Am 200 de studenți. Nu pot face evaluări întârziate.” Ai nevoie de o sarcină scurtă de referință și de un item întârziat, nu de un studiu. Folosește același tip de sarcină trei săptămâni mai târziu fără instrument, păstrează versiunea din anul anterior a examenului ca o comparație aproximativă și eșantionează lucrările care par inconsecvente față de trimiterile anterioare. Este suficient ca să vezi un câștig asistat de 48% alături de o pierdere de 17% fără asistență, dacă se întâmplă în cursul tău.

„Khanmigo a obținut un rezultat pozitiv, deci tutoriatul funcționează.” A obținut câștiguri modeste la matematică în 18 școli gimnaziale, într-un design care îmbina exersarea individualizată cu tutoriatul cu IA, în timp ce elevii au purtat rar conversații de tutoriat substanțiale. Citește-l ca dovadă că un mediu de exersare bine structurat poate produce câștiguri mici, nu ca dovadă că le-a cauzat componenta de IA.

„Nu pot să o interzic și nu pot să o supraveghez.” Corect la ambele, și niciuna nu este necesară. Întrebarea de design este ce face ușor activitatea ta. Dacă verificarea este notată, dacă dezvăluirea nu costă nimic și dacă verificarea fără asistență există, majoritatea studenților iau drumul pe care l-ai construit.

„Nu predau IA. Nu este materia mea.” Interferența se întâmplă în interiorul materiei tale, la pasul unde IA îndeplinește exersarea pe care cursul tău există ca să o ofere. De aceea soluția este o schimbare de temă, nu o unitate nouă.

Ce să faci săptămâna aceasta

1. Ia o activitate pe care o desfășori deja și scrie fraza despre competență: ce ar trebui să poată face un student după aceea, cu instrumentul închis.

2. Adaugă o măsurătoare de referință de două minute la început și același tip de item trei săptămâni mai târziu. Notează-le pe amândouă fără IA în încăpere.

3. Schimbă un prompt pe care li-l dai studenților din „explică asta” în „dă-mi o indicație, apoi pune-mi o întrebare” și cere o încercare revizuită înainte să treacă mai departe.

4. Adaugă un artefact notat de verificare: o notă scurtă despre ce au controlat, ce au respins și ce au schimbat.

5. Desparte rezultatul după cunoașterea prealabilă pentru studenții despre care știi deja că se străduiesc și citește feedbackul de IA primit de un eșantion dintre ei.

Încotro mai departe

Ce măsuri și metode de cercetare poate folosi un profesor pentru a evalua intervențiile legate de IA? acoperă măsurile și designurile de comparație din spatele verificărilor de mai sus, iar AI Ed Evaluation este ghidul practic de evaluare. Cum îi afectează IA pe studenți? ia partea experienței studenților, Care sunt primele 10 constatări din cercetarea despre IA în educație pe care ar trebui să le știe cadrele didactice? comprimă aceleași dovezi în decizii pentru cadrele didactice, iar Limitations in AIEd Research este relatarea onestă a ceea ce această literatură nu îți poate spune încă. Dacă întrebarea ta a devenit o întrebare de evaluare, Cum pot reduce trișatul cu IA la cursul meu? este pagina următoare.