Baza de cunoștințe AIEdAIEd KB
Pe această pagină

Toate numerele

Actualizare săptămânală privind cercetarea în IA în educație #1

Traducere automată a acestei pagini în limba engleză, încă neverificată de un vorbitor nativ.

Un buletin săptămânal de la baza de cunoștințe despre IA în educație, despre ce înseamnă cercetarea publicată în săptămâna trecută pentru cadrele didactice, dezvoltatori, cercetători și administratori.

Săptămâna aceasta au apărut 71 de studii noi și două resurse noi, baza de cunoștințe ajungând la 1.805 rezumate de articole, 220 de pagini de concept, 37 de întrebări frecvente și 33 de resurse. Căutați sau folosiți IA pentru a discuta cu baza de cunoștințe.

Cuprins

Principalele concluzii și întrebări

Ambele rezultate principale ale săptămânii spun același lucru: un scor nu este rezultatul. Un studiu cu trei brațe a ridicat scorurile la exerciții de la 29,85% cu webul deschis la 71,84% cu ChatGPT fără restricții, în timp ce învățarea conceptuală nu a diferit deloc, așadar o notă mai mare în condiții de acces la IA nu este dovada că studenții au învățat mai mult. Treisprezece detectoare au semnalat manuscrise scrise de oameni la rate între 0% și 100% după o singură corectură de text, așadar un semnal de detector nu este dovada unei abateri.

Pentru profesori

Un tutor poate ridica nota la temă și poate lăsa examenul neschimbat

Chen și colegii au randomizat 153 de studenți care scriau demonstrații la Carnegie Mellon pentru a primi un tutor de demonstrații devreme sau târziu, apoi au măsurat un examen susținut fără IA în sală. Scorurile la teme au crescut cu 2,56 puncte cât timp instrumentul a fost disponibil. Scorurile la examenul de mijloc de semestru nu au diferit. După ce toți au avut acces și și-au ales singuri doza, fiecare 100 de mesaje suplimentare către chatbot au fost asociate cu un scor mai mic cu 3,02 puncte la examenul următor, iar studenții cu autoeficacitate de bază mai scăzută au fost cei care l-au folosit cel mai mult.

Ce schimbă acest lucru pentru dumneavoastră: o notă obținută cu tutorul deschis nu este dovada a ceea ce poate face un student fără el, așadar sarcina fără asistență trebuie să poarte această greutate. Înseamnă și că studenții cei mai expuși riscului de a se sprijini pe el sunt cei mai puțin încrezători la început, ceea ce se vede în utilizare înainte de a se vedea în scoruri.

Conversația fără restricții umflă scorurile mai mult decât un tutor bine construit

Într-un studiu cu trei brațe la un curs CS1 din München, 275 de studenți au petrecut 90 de minute pe un exercițiu în Java cu un tutor care dădea indicii, cu ChatGPT fără restricții sau cu webul deschis. Scorurile la exercițiu au fost de 71,84%, 57,50% și 29,85%. Câștigurile de cunoștințe conceptuale au fost de 0,83, 0,71 și 0,85 puncte, iar diferența dintre condiții nu s-a apropiat de semnificație (p = 0,773). Ambele condiții cu IA au redus frustrarea; doar tutorul a crescut motivația.

Diferența de scoruri ține în cea mai mare parte de produsul final, nu de învățare. Dacă notați exercițiul, condițiile cu IA sunt notate pe o sarcină diferită.

Chatboții construiți de profesori eșuează la intenție, nu la fapte

EduWild a colectat 1.726 de conversații de la 217 boți Playlab configurați de profesori, inclusiv 900 de la studenții cărora le fuseseră destinați. Boții au sărit peste pași obligatorii ai fluxului de lucru în 53,8% dintre conversațiile cu utilizatorii finali, nu și-au stabilit niciodată rolul în 33,4% și au supraîncărcat cursanții cu informații sau întrebări în 37,1%.

Înainte de a implementa un bot pe care l-ați construit sau l-ați moștenit, citiți-i primul schimb de replici și verificați dacă spune ce este și ce se întâmplă în continuare. Defectele documentate aici sunt în instrucțiuni și pot fi corectate în prompt fără a atinge modelul.

Verdictul unui detector nu este o dovadă

Un set de date de la un serviciu de editare le-a oferit lui Park și colegilor 135.389 de perechi de documente care păstrează neschimbate autorul, subiectul și conținutul, în timp ce se schimbă doar limba. La 13 detectoare, pozitivele false pe text academic scris de oameni au variat de la 0% la 100%, iar aceleași modificări au mutat detectoarele în direcții opuse. Separat, un grup de profesori colaboratori și-a pierdut complet detectorul pentru că acesta semnala verificatoarele gramaticale, iar acum caută referințe fabricate și deconectare de la materialele cursului.

Dacă ați pus un scor de detector în fața unui student, mai ales a unui student care scrie într-o a doua limbă, aceasta este săptămâna în care să renunțați la folosirea detectoarelor. Semnalele bazate pe lectură din al doilea studiu sunt alternativa practică.

Proiectarea evaluării este o alegere între trei constrângeri, nu o căutare a unui principiu

Pedlow, Fischer și Williams susțin că problema nu este lipsa principiilor de proiectare, ci absența unei modalități de a raționa despre cele care se contrazic. Trilema lor dublă tratează autenticitatea, observabilitatea și fezabilitatea în evaluare, respectiv specificitatea, promptitudinea și volumul de muncă în feedback, ca pe niște constrângeri între care se face un compromis deliberat.

Dacă vi se cere să redesenați o evaluare pentru IA, această încadrare transformă o întrebare deschisă într-un argument scurt pe care îl puteți consemna și apăra.

Câștigurile la vorbire din chatboți sunt inegale pe caracteristici

Soriano-Gonzalez și Belda-Medina au filtrat 306 înregistrări până la zece studii și au întrebat care dintre cele șase caracteristici CEFR ale limbii vorbite s-a schimbat efectiv. Aria de expresie și inteligibilitatea s-au îmbunătățit în câte patru studii, coerența într-unul, interacțiunea în aproape niciunul. Patru dintre cele zece au raportat un singur scor holistic, așadar câștigurile lor nu pot fi atribuite deloc unei caracteristici.

Afirmația unui furnizor privind „vorbire îmbunătățită” este compatibilă cu o schimbare pe care studiul nu a măsurat-o niciodată. Pentru ascultare, Goh și Aryadoust găsesc dovezile mult mai subțiri.

Alfabetizarea în feedback și implicarea se hrănesc reciproc

Un panel cu trei valuri pe 399 de studenți a constatat că alfabetizarea în feedbackul generat de IA prezice implicarea agentică ulterioară (β = 0,222), iar calea inversă este la fel de puternică (β = 0,263), fără nicio bază statistică pentru a ordona cele două.

A-i învăța pe studenți să citească și să folosească feedbackul nu este o condiție prealabilă pe care o încheiați înainte de a începe implicarea. Cele două se mișcă împreună, așadar un curs care construiește doar una dintre ele lucrează împotriva sa.

Pentru dezvoltatori

Cazurile dificile sunt cele în care tutorii încă eșuează, iar recuperarea strategiilor ajută modelele de gamă medie

TutorCaseBench a transformat studiile de caz calitative în 923 de dialoguri de șase replici, pe cinci tipuri de provocare, și a evaluat 11 modele față de rubrici specifice cazurilor. Cel mai bun model a satisfăcut o intervenție documentată în 55,8% dintre cazurile deschise, iar acesta este numărul față de care trebuie să proiectați. Furnizarea strategiei documentate în literatura de caz a ridicat 10 dintre cele 11 modele cu o medie de 9,9 puncte, Llama 4 Maverick trecând de la 41,0% la 64,8%, în timp ce cel mai puternic model a rămas constant la 71,3%.

Recuperarea strategiilor de referință merită construită pentru modelele pe care vi le puteți permite. Nu va salva un model de frontieră care are deja tiparul.

Validați pe conversații implementate, nu pe prompturi de laborator

Setul de date EduWild asociază fiecare conversație cu promptul de sistem și cu setările din spatele ei, ceea ce face analizabil eșecul: 53,8% dintre conversațiile cu utilizatorii finali au sărit peste un pas obligatoriu. Configurarea scrisă de profesori este o suprafață de eșec distinctă de capacitatea modelului, iar un cadru de testare la nivel de prompt a recuperat intenția fără a elimina controlul profesorului.

Dacă produsul dumneavoastră le permite profesorilor să scrie instrucțiunile, setul de test trebuie să fie instrucțiunile lor, colectate după implementare.

Dimensiunea rubricii a calității feedbackului este cea pe care nimeni nu o măsoară

Yang a examinat 68 de studii despre feedbackul generat de IA. Validitatea dovezilor apare în 47 dintre ele, utilitatea pedagogică în 58, iar alinierea la rubrica și la sarcină în 19. Alinierea este dimensiunea pe care un produs o poate controla cel mai direct și este cea mai puțin studiată.

Aceasta este o oportunitate: construiți pe rubrica pe care o folosește deja tema și spuneți-o explicit, pentru că dovezile publicate nu le vor spune cumpărătorilor dacă altcineva o face.

Posibilitatea de a acționa este o țintă de proiectare, nu un lux

Tamme, Schilling și Hantel propun înlocuirea sondajului scris de la sfârșitul semestrului cu un interviu telefonic condus de un agent de IA, pe argumentul că instrumentul scris eșuează la rata de răspuns, la profunzime și la posibilitatea de a acționa. Este o propunere, nu un test de teren. Afirmațiile de proiectare sunt suficient de concrete pentru a fi împrumutate: puneți întrebări suplimentare, cereți un motiv, returnați ceva pe baza căruia destinatarul poate acționa.

Pentru cercetători

Autoevaluarea și performanța ajung adesea la concluzii diferite

Fan și colegii au cartografiat metodele de măsurare în 2.099 de înregistrări, apoi au examinat 51 de cazuri în care un instrument de autoevaluare și un test, o evaluare sau o urmă au măsurat același construct. Răspunsul la întrebarea dacă cele două sunt de acord este adesea nu. Acolo unde diverg, observabilitatea constructului explică mai bine decât calitatea studiului.

Înlocuirea unuia cu celălalt este o decizie de măsurare cu o direcție, nu o comoditate. Raportați pe care dintre ele se sprijină afirmația dumneavoastră.

Produsele finale ascund descărcarea, deci măsurați procesul

Kontorovich și Wallach au codat cele 429 de prompturi din 59 de jurnale de conversație ca urme de autoreglare și le-au comparat pe fiecare cu lucrarea predată. Zece dintre cei cincisprezece studenți care au finalizat toate cele trei sarcini au schimbat rolul acordat modelului pe măsură ce sarcina se schimba, totuși 53 din 59 de lucrări au reprodus produsul modelului sau l-au revizuit doar formal.

O lucrare singură nu poate distinge folosirea de substituire. Datele de proces pot, iar schema de codare de aici este reutilizabilă.

O scală validată pentru dependență în sarcini deschise

Majoritatea măsurătorilor dependenței deduc dependența din faptul dacă un student a urmat un sfat corect, ceea ce necesită un răspuns verificabil. Hou și colegii au construit și validat o scală cu 16 itemi pentru învățarea bazată pe probleme, unde un astfel de răspuns nu există.

Benchmarkurile detectoarelor se degradează, deci raportați adversarul

Ren, Raghavan și Garg separă întrebarea detectării în separabilitate și mișcare. Referințele supravegheate separă aproape perfect textul uman de cel automat în distribuție, în timp ce detectorul comercial Pangram a căzut la 63,5% acuratețe echilibrată și 27% recall în fața unui prompt scris ca să îl evite.

Numerele raportate fără tentativa de evitare descriu o lume care nu mai există. Iar literatura de sinteză este subțire acolo unde contează: din 51 de studii despre feedbackul GenAI la scrierea într-o a doua limbă, 5 verifică dacă feedbackul este corect.

Pentru administratori

Cea mai mare parte a guvernanței IA în educație este îndrumare, nu lege

Elmahjub și colegii au citit cu atenție 160 de documente de guvernanță în limba engleză, din 498 de înregistrări. Doar 4 au formă juridică sau de reglementare formală, în timp ce 92 sunt îndrumări, cadre, truse de instrumente sau manuale. Responsabilitatea apare în 146 de documente, dar este asociată cu un actor de supraveghere numit în 100.

O politică fără un proprietar numit și fără un mecanism este o declarație de intenție. Sinteza vă oferă câmpurile față de care să vă auditați propriul document.

Achiziția de detectoare are nevoie de o rată a pozitivelor false

Treisprezece detectoare, text academic scris de oameni ca martor, pozitive false de la 0% la 100%. Cel puțin o instituție și-a retras deja detectorul pentru că acesta semnala verificatoarele gramaticale. Dacă un furnizor nu vă oferă o rată a pozitivelor false pe lucrări umane din disciplina dumneavoastră, nu puteți estima riscul disciplinar.

Direcția documentată în evaluare este procesul, autenticitatea și lucrul oral

Crompton și Burke analizează 72 de studii din 24 de țări și 20 de discipline și găsesc trei răspunsuri de proiectare recurente: evaluarea orientată pe proces, evaluarea autentică și evaluarea orală. Baza de dovezi este largă și metodologic subțire, majoritatea studiilor acoperă un singur curs, iar nimic din toate acestea nu schimbă direcția.

Adoptarea a depășit înțelegerea în rândul profesorilor

Printre 132 de profesori indonezieni din K-12, 96,2% sprijină folosirea IA de către profesori și 84,6% folosirea de către elevi, totuși 69,2% au dat o descriere vagă sau greșită a ceea ce face un chatbot cu o instrucțiune.

Sprijinul într-un sondaj nu este competență într-o sală de clasă. Decalajul de dezvoltare profesională se vede aici înainte de orice implementare de instrumente, iar instrumentul este suficient de scurt pentru a fi reutilizat ca evaluare a nevoilor.

Înlocuiți sondajul de curs doar dacă înlocuitorul permite acțiune

Propunerea interviului vocal vizează modurile de eșec care fac inutile sondajele de la sfârșitul semestrului: rata de răspuns, profunzimea, satisfacerea minimă și răspunsurile pe baza cărora nimeni nu poate acționa. Tratați-o ca pe o specificație pentru orice veți folosi în schimb, nu ca pe dovada că versiunea cu IA funcționează.

Concepte în prim-plan

Patru pagini de concept au dus constatările săptămânii în stratul de sinteză. Fiecare este o pagină permanentă, nu una unică, așadar noile dovezi stau alături de ceea ce susținea deja pagina.

Învățarea limbilor

Pagina spune acum clar că dovezile privind câștigurile la vorbire cu chatboți sunt inegale pe caracteristici și că patru dintre cele zece studii sintetizate au raportat un singur scor holistic, motiv pentru care câștigurile lor nu pot fi atribuite unei caracteristici. Citiți pagina despre învățarea limbilor înainte de a cumpăra sau a construi exersare orală.

Tutoriatul inteligent

Noua sa constatare este rezultatul privind recuperarea: furnizarea strategiilor de referință ridică tutorii slabi și îi lasă pe cei puternici acolo unde erau. Aceasta este o decizie de construcție, iar pagina despre tutoriatul inteligent o separă de afirmațiile mai vechi despre calitatea indiciilor.

Măsurătorile prin autoevaluare

Cel mai clar caz nou al decalajului autoevaluării este intenția, unde un singur scor a acoperit folosirea orientată spre învățare, cea orientată spre scurtături și cea mixtă în același eșantion de 340 de studenți, cu 68 de itemi aplicate din nou și opt interviuri în spatele afirmației, toate consemnate pe pagina despre măsurătorile prin autoevaluare.

Guvernanță

Pagina începe acum cu constatarea privind forma instrumentelor: 4 din 160 de documente obligatorii, 92 consultative și responsabilitatea numită ca actor în doar 100. Pagina despre guvernanță reformulează întrebarea de la ce spune o politică la dacă poate acționa.

Resurse noi

Două resurse s-au alăturat bibliotecii de resurse săptămâna aceasta, una scrisă pentru instituția care trebuie să decidă cum se construiește software cu IA și una pentru cadrul didactic care trebuie să decidă dacă codul unui student este al studentului.

Campus AI Development

Campus AI Development este un ghid web gratuit scris din perspectiva instituției. Prezintă modalitățile în care un campus poate avea software construit cu IA, de la „vibe coding” până la munca guvernată cu mai mulți agenți, și asociază fiecare modalitate cu ruta de revizuire, plafonul de date și controalele care i se potrivesc. Însoțește Campus AI Framework, care decide dacă un instrument de IA poate fi folosit deloc; acest ghid acoperă ce trebuie făcut după ce răspunsul este da. Site-ul nu publică nicio licență pentru textul său.

Code Viva

Code Viva este un instrument gratuit de browser care face sustenabilă o susținere orală: o examinare orală scrisă și cronometrată pentru fiecare student dintr-un curs de programare, câte cincisprezece până la douăzeci de minute, fără instructor în sală. Citește codul predat de student și istoricul de commituri, scrie patru până la șase întrebări despre funcțiile, numele și commiturile proprii ale studentului și îi dă fiecărui student un link personal pentru a răspunde. Întrebările provin din reguli aplicate lucrării, nu dintr-un apel la model, iar instructorul primește scoruri propuse, cu dovezile citate din spatele fiecăruia, pentru a le aproba sau a le suprascrie. Site-ul nu publică nicio licență și niciun depozit de cod sursă.

De asemenea, adăugate săptămâna aceasta

Celelalte studii, cu metode și rezumate, sunt listate zi cu zi pe pagina jurnalului.

Note despre site

Două pagini au apărut săptămâna aceasta. Arhiva buletinului păstrează fiecare număr, cu propriul flux alături de fluxul bazei de cunoștințe, iar indexul de concepte pune toate cele 220 de pagini de concept pe o singură pagină, în aceleași secțiuni ca bara laterală, astfel încât există acum unde să trimiteți un cititor care vrea întregul ansamblu.

Restul a fost muncă la ceea ce exista deja: paginile de concept și întrebările frecvente rescrise, textul strâns și traducerile aduse la zi în toate limbile.

Site-ul este o construcție statică, iar conținutul, codul și instrumentele sale sunt publice la github.com/edtechdev/aied, unde fiecare schimbare descrisă mai sus poate fi citită.

Urmăriți actualizarea

Primiți fiecare număr prin fluxul buletinului într-un cititor de fluxuri, lipind același flux în Blogtrottr pentru a vi se trimite pe e-mail numerele noi după un program pe care îl alegeți, sau urmărindu-l pe LinkedIn, unde fiecare număr este publicat ca buletin LinkedIn.

Actualizarea săptămânală privind cercetarea în IA în educație provine de la baza de cunoștințe despre IA în educație, pe care o generează un agent de IA. Acest număr a fost redactat de același agent de IA, cu îndrumare editorială din partea dezvoltatorului site-ului, iar fiecare afirmație de mai sus trimite către pagina din care provine.

Baza de cunoștințe este dedicată domeniului public sub o licență CC0 1.0. Niciun drept rezervat.

Ați găsit o problemă în conținut? Raportați-o pe GitHub sau contactați dezvoltatorul site-ului, Doug Holton.

SursăIstoricEditeazăChat

Încorporează această pagină

Copiază codul de mai jos pentru a încorpora această pagină într-un sistem de management al învățării sau pe alt site web. Versiunea încorporată arată doar conținutul paginii — ascunde antetul site-ului, navigația și subsolul.