Koje mjere i istraživačke metode nastavnik može rabiti za vrednovanje intervencija povezanih s umjetnom inteligencijom?

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Proveli ste pilot u dvije grupe, prikupili anketu na kraju cjeline i za tri tjedna imate sastanak katedre na kojem će netko pitati je li to djelovalo. Ili je recenzent pitao kakav je bio vaš usporedni uvjet, a druga je grupa radila nešto drugo. U svakom slučaju: što bi ovdje vrijedilo kao dokaz?

Uskladite metodu s tvrdnjom. Anketa vam kaže je li se studentima aktivnost svidjela. Jesu li naučili, traži mjeru izvedbe, a je li umjetna inteligencija uzrokovala dobitak traži usporedni uvjet.

Kratka verzija

1. Napišite tvrdnju u jednoj rečenici, s imenovanim ishodom. „Studenti koji su rabili tutora postigli su više na ispitu bez pomoći“ jest provjerljivo.

2. Provedite početno mjerenje, intervenciju, neposredno mjerenje nakon intervencije i kasnije mjerenje bez umjetne inteligencije.

3. Opišite usporedni uvjet jednako pažljivo kao intervenciju, čak i kad je to vaša postojeća praksa.

4. Mjerite izvedbu s pomoći i samostalno učenje odvojeno i svaki objavljeni prosjek tretirajte kao hipotezu o svojem razredu.

Odaberite metodu koju vaše pitanje može preživjeti

Stranica Istraživačke metode u AIED-u izlaže što koja opcija donosi. Randomizirani eksperimenti daju najsnažniji kauzalni zaključak. Kvazieksperimentalni nacrti prije i poslije ili nacrti sa sparivanjem grupa odgovaraju netaknutim razredima i podupiru slabije tvrdnje. Kvalitativni intervjui, fokus-grupe, promatranja i analiza artefakata otkrivaju mehanizme i neočekivano iskustvo. Mješovite metode spajaju dokaze o ishodima s objašnjenjem. Istraživanje utemeljeno na dizajnu odgovara nastavniku koji usavršava intervenciju kroz iteracije.

Kvalitativna analiza uz pomoć umjetne inteligencije pripada tom popisu uz jedan uvjet. Ona u minutama reorganizira korpus intervjua, pa je opravdivost jednako važna kao točnost: zabilježite dokumentirane reorganizacije koje čitatelju omogućuju da pregleda, ospori i revidira put od podataka do tvrdnje.

Anketa je mjera samoprijave: prava za stavove, pogrešna za učenje.

Dajte usporednom uvjetu ime

Tri uvjeta čine kauzalnu tvrdnju tumačivom: precizno opisana intervencija, dobro definiran usporedni uvjet i valjana mjera trajnog učenja. Weidlich i suradnici (2025) revidirali su 19 usporedbi ChatGPT-a u obrazovanju prema tim kriterijima. Četiri (21%) zadovoljile su sva tri. Intervencija je bila dobro definirana u 74%, kontrolna skupina u 42%, a ishod se kvalificirao kao učenje u 53%.

Obrazac neuspjeha lako je reproducirati. Alat opće namjene uveden uz nove aktivnosti, nove povratne informacije ili redizajnirano sučelje miješa medij s metodom, a značajan rezultat pripada redizajnu.

Mjerite ishode do kojih vam je doista stalo

Sinteza Vrednovanje u obrazovanju uz umjetnu inteligenciju preporučuje dobitak u učenju bez pomoći, odgođeno zadržavanje, prijenos na novi zadatak, kvalitetu zaključivanja, zablude, prihvaćanje povratne informacije i izvedbu podskupina. Angažman, zadovoljstvo, zapisi upotrebe umjetne inteligencije, samoefikasnost i percipirana korisnost razumne su sekundarne mjere i slabe zamjene za učenje. Opterećenje i ušteda vremena računaju se kao provedbeni ishodi, što je drugo pitanje.

Najmanji paket na razini učionice jest početno mjerenje, intervencija, neposredno mjerenje nakon intervencije i kasnije mjerenje bez pomoći. Dodajte usporedni uvjet gdje možete: postojeću praksu, nikakvu umjetnu inteligenciju, neograničenu umjetnu inteligenciju nasuprot umjetnoj inteligenciji s postupnom potporom ili dva alternativna dizajna. Bodujte izvedbu s pomoći i bez pomoći odvojenim instrumentima, jer će jedna rubrika to dvoje stopiti.

Čitajte svaki broj kao hipotezu

Prosječan učinak iz literature slab je vodič za jednu učionicu. O'Neillova revizija (2026) obuhvatila je 14 meta-analiza s velikim učinkom i našla da nijedna nije pružila valjanu osnovu za svoje tvrdnje. Zbirni „akademski uspjeh“ miješao je rezultate testova, motivaciju, samoefikasnost i stavove u jednu procjenu. Heterogenost je bila ekstremna: I² se kretao od 77,2% do 94,4% u 13 analiza koje su ga izvijestile, a 12 ih je bilo iznad 80%. Svih 14 procijenilo je pristranost objavljivanja nevaljalo, a 61% slučajno provjerenih primarnih studija imalo je problema s valjanošću. Četiri analize izvijestile su varijancu među studijama, dvije interval predviđanja, a oba su intervala uključivala nulu.

Prikladan rezultat može mjeriti pogrešan konstrukt. U vrednovanju osam agenata za poučavanje uz umjetnu inteligenciju agent koji je bio treći po rezultatu same platforme bio je posljednji na rubriku koju su potvrdili stručnjaci, jer su platformski rezultati mjerili izvedbu studenata tijekom interakcije. Tretirajte mjeru s nadzorne ploče kao hipotezu.

U čemu nastavnici griješe

Anketa o zadovoljstvu mjeri učenje. Ona mjeri zadovoljstvo, koje sinteza Vrednovanje u obrazovanju uz umjetnu inteligenciju navodi kao sekundarnu mjeru uz ishode učenja.

Dobitak prije i poslije pokazuje da je intervencija djelovala. Pokazuje da su ocjene porasle. Je li se mjera računala kao učenje, zasebno je pitanje, a revizija je našla ishod koji se kvalificira kao učenje u 53% pregledanih usporedbi.

Objavljene veličine učinka prenose se na moj razred. O'Neillovih 14 meta-analiza nije moglo poduprijeti tvrdnje izgrađene na njima, a oba izviještena intervala predviđanja uključivala su nulu.

Platformska analitika mjeri kvalitetu poučavanja. Zhangov agent treći po redu bio je posljednji na stručnoj rubrici.

Što će vam se vratiti kao prigovor

„Već imamo evaluacije na kraju kolegija.“ One mjere kolegij i provode se nakon semestra u kojem vam je odgovor trebao.

„Usporedna skupina nemoguća je u netaknutom kolegiju.“ Usporedite s prošlogodišnjom inačicom istog zadatka ili s drugom grupom i iskreno opišite razliku. Kvazieksperimentalni nacrti slabiji su i ipak informativni kad je alternativa tvrdnja bez usporedbe.

„Veličina učinka u meta-analizi je velika.“ Na kojem ishodu, u čijem razredu? Oba intervala predviđanja koje je O'Neill našao uključivala su nulu.

„Naša nadzorna ploča pokazuje snažan angažman.“ Angažman je sekundarna mjera na popisu Vrednovanja u obrazovanju uz umjetnu inteligenciju. Stavite mjeru učenja bez pomoći uz nju.

Što učiniti ovog tjedna

1. Napišite svoju tvrdnju kao jednu rečenicu i podcrtajte ishod.

2. Stavite kasnije mjerenje bez pomoći u kalendar, nakon intervencije, a ne istog tjedna.

3. Napišite jedan odlomak koji opisuje usporedni uvjet, s istom razinom pojedinosti kao intervenciju.

4. Izvucite brojeve s platforme koje već imate i označite svaki kao ishod artefakta ili ishod učenja.

5. Zamolite jednog kolegu da pročita nacrt i kaže što se još promijenilo tijekom semestra.

Kamo dalje

Pomaže li umjetna inteligencija studentima da uče? sažima što pokazuju dokazi o ishodima, a Istraživačke praznine u AIED-u pokrivaju gdje se oni prorjeđuju. Kako znamo da obrazovna umjetna inteligencija radi ispravno? inačica je ovog pitanja za ljude koji sustav grade ili kupuju.