Baza znanja AIEdAIEd KB
Na ovoj stranici

Sva izdanja

Tjedni pregled istraživanja o umjetnoj inteligenciji u obrazovanju #1

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Tjedni pregled iz baze znanja o umjetnoj inteligenciji u obrazovanju o tome što istraživanja objavljena u proteklom tjednu znače za nastavnike, razvijatelje, istraživače i administratore.

Ovaj je tjedan donio 71 novu studiju i dva nova resursa, čime je baza znanja došla do 1.805 sažetaka članaka, 220 stranica koncepata, 37 često postavljanih pitanja i 33 resursa. Pretražite je ili upotrijebite umjetnu inteligenciju da razgovarate s bazom znanja.

Sadržaj

Glavni naglasci i pitanja

Oba ovotjedna glavna rezultata govore istu stvar: ocjena nije ishod. Randomizirano ispitivanje s tri skupine podiglo je rezultate na vježbama s 29,85 % uz otvoreni web na 71,84 % uz neograničeni ChatGPT, dok se konceptualno učenje nije nimalo razlikovalo, pa viša ocjena uz pristup umjetnoj inteligenciji nije dokaz da su studenti naučili više. Trinaest detektora označilo je ljudski napisane rukopise po stopama od 0 % do 100 % nakon jednog lektorskog zahvata, pa oznaka detektora nije dokaz kršenja pravila.

Za nastavnike

Tutor može podići domaću zadaću, a ispit ostaviti gdje je bio

Chen i suradnici randomizirali su 153 studenta koji pišu dokaze na sveučilištu Carnegie Mellon tako da su tutora za dokaze dobili ranije ili kasnije, a zatim su mjerili ispit položen bez umjetne inteligencije u prostoriji. Ocjene domaće zadaće porasle su za 2,56 boda dok je alat bio dostupan. Ocjene na međuispitu nisu se razlikovale. Kad su svi imali pristup i sami odabrali dozu, svakih dodatnih 100 poruka chatbotu pratilo je 3,02 boda nižu ocjenu na sljedećem ispitu, a studenti s nižom početnom samodjelotvornošću bili su oni koji su ga najviše rabili.

Što to mijenja za vas: ocjena stečena s otvorenim tutorom nije dokaz onoga što student može bez njega, pa tu težinu mora nositi zadatak bez pomoći. To također znači da su studenti koji su najviše u opasnosti da se na njega oslone upravo oni koji su najmanje samopouzdani na početku, što je vidljivo u upotrebi prije nego u ocjenama.

Neograničeni razgovor napuhuje ocjene više nego dobro izgrađen tutor

U ispitivanju s tri skupine na kolegiju CS1 u Münchenu 275 studenata provelo je 90 minuta na zadatku iz Jave uz tutora koji daje savjete, uz neograničeni ChatGPT ili uz otvoreni web. Rezultati na vježbi bili su 71,84 %, 57,50 % i 29,85 %. Porast konceptualnog znanja iznosio je 0,83, 0,71 i 0,85 boda, a razlika među uvjetima nije bila ni blizu značajnoj (p = 0,773). Oba uvjeta s umjetnom inteligencijom smanjila su frustraciju; samo je tutor podigao motivaciju.

Raspon ocjena uglavnom se odnosi na artefakt, a ne na učenje. Ako ocjenjujete vježbu, uvjeti s umjetnom inteligencijom ocjenjuju se na drugom zadatku.

Chatbotovi koje su izradili nastavnici zakažu u namjeri, a ne u činjenicama

EduWild prikupio je 1.726 razgovora iz 217 Playlab chatbotova koje su konfigurirali nastavnici, uključujući 900 od studenata kojima su bili namijenjeni. Chatbotovi su preskočili obvezne korake tijeka rada u 53,8 % razgovora s krajnjim korisnicima, nikada nisu uspostavili svoju ulogu u 33,4 % i preopteretili su učenike informacijama ili pitanjima u 37,1 %.

Prije nego što pustite u rad chatbota koji ste izradili ili naslijedili, pročitajte njegov prvi odgovor i provjerite navodi li što je i što slijedi. Ovdje dokumentirane pogreške nalaze se u uputama i mogu se ispraviti u upitu bez diranja u model.

Oznaka detektora nije dokaz

Skup podataka jedne službe za uređivanje dao je Parku i suradnicima 135.389 parova dokumenata u kojima su autor, tema i sadržaj isti, a mijenja se samo jezik. Kroz 13 detektora lažno pozitivni rezultati na ljudski napisanom akademskom tekstu kretali su se od 0 % do 100 %, a isti su zahvati pomicali detektore u suprotnim smjerovima. Odvojeno, skupina vanjskih ocjenjivača izgubila je svoj detektor jer je označavao provjeru gramatike, pa sada traže izmišljene reference i nepovezanost s materijalima kolegija.

Ako ste dosad studentu stavljali rezultat detektora pred oči, posebno studentu koji piše na drugom jeziku, ovo je tjedan da prestanete rabiti detektore. Signali utemeljeni na čitanju iz druge studije praktična su alternativa.

Oblikovanje procjene izbor je među trima ograničenjima, a ne traženje načela

Pedlow, Fischer i Williams tvrde da problem nije nedostatak načela oblikovanja, nego odsutnost načina da se promišlja o onima koja se međusobno opiru. Njihova dvostruka trilema tretira autentičnost, mjerljivost i izvedivost u procjeni te specifičnost, pravodobnost i radno opterećenje u povratnim informacijama kao ograničenja kojima se namjerno trguje.

Kad se od vas traži da redizajnirate procjenu za umjetnu inteligenciju, taj okvir pretvara otvoreno pitanje u kratak argument koji možete zapisati i obraniti.

Napredak u govoru zahvaljujući chatbotovima nejednak je po značajkama

Soriano-Gonzalez i Belda-Medina pregledali su 306 zapisa i sveli ih na deset studija te pitali koja se od šest značajki govornog jezika prema CEFR-u doista pomaknula. Raspon i razumljivost poboljšali su se u po četiri studije, koherentnost u jednoj, interakcija u gotovo nijednoj. Četiri od deset izvijestile su o jednoj holističkoj ocjeni, pa se njihov napredak uopće ne može pripisati nekoj značajki.

Tvrdnja prodavača o „poboljšanom govoru“ spojiva je s promjenom koju studija nikada nije mjerila. Za slušanje Goh i Aryadoust nalaze mnogo slabije dokaze.

Pismenost o povratnim informacijama i angažiranost hrane jedna drugu

Panel s tri vala na 399 studenata preddiplomskog studija pokazao je da pismenost o povratnim informacijama umjetne inteligencije predviđa kasniju agentnu angažiranost (β = 0,222), a obrnuti put jednako je jak (β = 0,263), bez statističke osnove za utvrđivanje redoslijeda dvaju.

Podučavanje studenata da čitaju i rabe povratne informacije nije preduvjet koji završite prije nego angažiranost počne. Dvoje se kreće zajedno, pa kolegij koji gradi samo jedno od njih radi protiv sebe.

Za razvijatelje

Teški su slučajevi mjesto gdje tutori i dalje zakažu, a dohvat strategija pomaže modelima srednje razine

TutorCaseBench pretvorio je kvalitativne studije slučaja u 923 dijaloga od šest izmjena kroz pet vrsta izazova i ocijenio 11 modela prema rubrikama specifičnima za slučaj. Najbolji model zadovoljio je dokumentiranu intervenciju u 55,8 % otvorenih slučajeva, što je broj prema kojem treba oblikovati rješenje. Dodavanje dokumentirane strategije iz literature o slučajevima podiglo je 10 od 11 modela u prosjeku za 9,9 bodova, pri čemu je Llama 4 Maverick prešao s 41,0 % na 64,8 %, dok je najjači model ostao na 71,3 %.

Dohvat referentnih strategija vrijedi izgraditi za modele koje si možete priuštiti. On neće spasiti vrhunski model koji taj obrazac već ima.

Provjeravajte prema razgovorima u upotrebi, a ne prema laboratorijskim upitima

Skup podataka EduWild povezuje svaki razgovor sa sistemskim upitom i postavkama koje stoje za njim, što pogrešku čini analiziranom: 53,8 % razgovora s krajnjim korisnicima preskočilo je obvezni korak. Konfiguracija koju su napisali nastavnici zasebna je površina pogreške od sposobnosti modela, a okvir na razini upita vratio je namjeru bez oduzimanja nastavnikove kontrole.

Ako vaš proizvod dopušta nastavnicima da pišu upute, vaš testni skup moraju biti njihove upute, prikupljene nakon uvođenja u upotrebu.

Dimenzija rubrike u kvaliteti povratnih informacija ona je koju nitko ne mjeri

Yang je pregledao 68 studija o povratnim informacijama koje generira umjetna inteligencija. Valjanost dokaza pojavljuje se u njih 47, pedagoška korisnost u 58, a usklađenost s rubrikom i zadatkom u 19. Usklađenost je dimenzija koju proizvod može najizravnije kontrolirati i najmanje je proučavana.

To je prilika: gradite prema rubrici koju zadatak već rabi i recite to, jer objavljeni dokazi kupcima neće reći radi li to još netko.

Djelotvornost je cilj oblikovanja, a ne dodatak

Tamme, Schilling i Hantel predlažu da se završni pisani upitnik na kraju semestra zamijeni telefonskim intervjuom koji vodi agent umjetne inteligencije, uz argument da pisani instrument zakaže u stopi odgovora, dubini i djelotvornosti. To je prijedlog, a ne terensko ispitivanje. Tvrdnje o oblikovanju dovoljno su konkretne da se posude: postavljajte potpitanja, tražite razlog, vratite nešto na što primatelj može djelovati.

Za istraživače

Samoizvješće i izvedba često dolaze do različitih zaključaka

Fan i suradnici mapirali su metode mjerenja kroz 2.099 zapisa, a zatim ispitali 51 slučaj u kojem su instrument samoizvješća i test, ocjena ili zapis tragova mjerili isti konstrukt. Odgovor na pitanje slažu li se dvije metode često je ne. Gdje se razilaze, mjerljivost konstrukta objašnjava to bolje od kvalitete studije.

Zamjena jedne drugom mjerna je odluka sa smjerom, a ne pogodnost. Izvijestite na kojoj se od njih temelji vaša tvrdnja.

Artefakti skrivaju rasterećenje, pa mjerite proces

Kontorovich i Wallach kodirali su 429 upita u 59 zapisa razgovora kao tragove samoregulacije i svaki usporedili s predanim radom. Deset od petnaest studenata koji su dovršili sva tri zadatka mijenjali su ulogu koju su dali modelu kako se zadatak mijenjao, no 53 od 59 predanih radova reproduciralo je modelov proizvod ili ga je izmijenilo samo u obliku.

Sam predani rad ne može razlikovati upotrebu od zamjene. Podaci o procesu mogu, a ovdje opisana shema kodiranja može se ponovno upotrijebiti.

Validirana ljestvica za oslanjanje u otvorenim zadacima

Većina mjera oslanjanja zaključuje o ovisnosti iz toga je li student slijedio ispravan savjet, što traži odgovor koji se može provjeriti. Hou i suradnici izradili su i validirali ljestvicu od 16 čestica za učenje utemeljeno na problemima, gdje takav odgovor ne postoji.

Referentni rezultati detektora stare, pa navedite protivnika

Ren, Raghavan i Garg razdvajaju pitanje detekcije na razdvojivost i kretanje. Nadzirani osnovni modeli gotovo savršeno razlikuju ljudsku od strojne proze unutar distribucije, dok je komercijalni detektor Pangram pao na 63,5 % uravnotežene točnosti i 27 % odziva protiv upita sastavljenog da ga izbjegne.

Brojevi izvijesteni bez pokušaja izbjegavanja opisuju svijet koji više ne postoji. A pregledna literatura tanka je gdje je najvažnija: od 51 studije o povratnim informacijama generativne umjetne inteligencije na pisanje na drugom jeziku, njih 5 provjerava je li povratna informacija točna.

Za administratore

Većina upravljanja umjetnom inteligencijom u obrazovanju su smjernice, a ne zakon

Elmahjub i suradnici pomno su pročitali 160 dokumenata o upravljanju na engleskom jeziku, iz 498 zapisa. Samo 4 imaju formalni pravni ili regulatorni oblik, dok su 92 smjernice, okviri, priručnici ili zbirke alata. Odgovornost se pojavljuje u 146 dokumenata, ali je povezana s imenovanim nadzornim akterom u 100.

Politika bez imenovanog vlasnika i mehanizma izjava je o namjeri. Pregled vam daje polja prema kojima možete provjeriti vlastiti dokument.

Nabava detektora traži broj lažno pozitivnih rezultata

Trinaest detektora, ljudski napisan akademski tekst kao kontrola, lažno pozitivni rezultati od 0 % do 100 %. Barem jedna ustanova već je umirovila svoj detektor jer je označavao provjeru gramatike. Ako vam prodavač ne želi dati stopu lažno pozitivnih rezultata na ljudskom radu u vašoj disciplini, ne možete odrediti cijenu disciplinskog rizika.

Dokumentirani smjer u procjeni jesu proces, autentičnost i usmeni rad

Crompton i Burke pregledali su 72 studije iz 24 zemlje i 20 disciplina i pronašli tri odgovora u oblikovanju koji se ponavljaju: procjena usmjerena na proces, autentična procjena i usmena procjena. Baza dokaza široka je i metodološki tanka, većina studija obuhvaća jedan kolegij, i ništa od toga ne mijenja smjer.

Prihvaćanje je nadmašilo razumijevanje među nastavnicima

Među 132 indonezijska nastavnika u osnovnim i srednjim školama, 96,2 % podupire upotrebu umjetne inteligencije od strane nastavnika, a 84,6 % upotrebu od strane učenika, no 69,2 % dalo je nejasan ili pogrešan opis onoga što chatbot čini s uputom.

Podrška u anketi nije sposobnost u učionici. Jaz u profesionalnom razvoju ovdje se pokazuje prije bilo kakvog uvođenja alata, a instrument je dovoljno kratak da se ponovno upotrijebi kao procjena potreba.

Zamijenite anketu o kolegiju samo ako je zamjena djelotvorna

Prijedlog glasovnog intervjua cilja na načine na koje ankete na kraju semestra zakažu: stopu odgovora, dubinu, zadovoljavanje minimuma i odgovore na koje nitko ne može djelovati. Tretirajte ga kao specifikaciju za ono što rabite umjesto ankete, a ne kao dokaz da verzija s umjetnom inteligencijom djeluje.

Koncept u fokusu

Četiri stranice koncepata prenijele su ovotjedne nalaze u sloj sinteze. Svaka je stalna stranica, a ne jednokratna, pa novi dokazi stoje uz ono što je stranica već tvrdila.

Učenje jezika

Stranica sada izričito kaže da su dokazi o napretku u govoru zahvaljujući chatbotovima nejednaki po značajkama i da su četiri od deset sintetiziranih studija izvijestile o jednoj holističkoj ocjeni, zbog čega se njihov napredak ne može pripisati nekoj značajki. Pročitajte stranicu o učenju jezika prije nego kupite ili izgradite vježbanje govora.

Inteligentno poučavanje

Njegov novi nalaz jest rezultat o dohvatu: dodavanje referentnih strategija podiže slabe tutore, a jake ostavlja gdje su bili. To je odluka o izgradnji, a stranica o inteligentnom poučavanju razdvaja je od starijih tvrdnji o kvaliteti savjeta.

Mjere samoizvješća

Najoštriji novi slučaj jaza u samoizvješću jest namjera, gdje je jedna ocjena obuhvatila učenju usmjerenu, prečacima usmjerenu i mješovitu upotrebu u istom uzorku od 340 studenata, s 68 ponovno primijenjenih čestica i osam intervjua koji stoje za tvrdnjom, sve zabilježeno na stranici o mjerama samoizvješća.

Upravljanje

Stranica sada počinje nalazom o obliku instrumenta: 4 od 160 dokumenata obvezujuća su, 92 savjetodavna, a odgovornost je imenovana kao akter u samo 100. Stranica o upravljanju preusmjerava pitanje s onoga što politika kaže na to može li djelovati.

Novi resursi

Dva su se resursa pridružila knjižnici resursa ovog tjedna, jedan napisan za ustanovu koja mora odlučiti kako se softver gradi uz umjetnu inteligenciju i jedan za nastavnika koji mora odlučiti je li studentov kod doista studentov.

Campus AI Development

Campus AI Development besplatan je web-vodič napisan sa strane ustanove. Izlaže načine na koje kampus može dati izraditi softver uz umjetnu inteligenciju, od „vibe codinga“ do vođenog rada više agenata, i svakom načinu pridružuje put pregleda, granicu podataka i kontrole koje mu odgovaraju. Prati ga Campus AI Framework, koji odlučuje smije li se alat umjetne inteligencije uopće rabiti; ovaj vodič pokriva što činiti kad je odgovor potvrdan. Stranica ne navodi licenciju za svoj tekst.

Code Viva

Code Viva besplatan je preglednički alat koji usmenu obranu čini mjerljivom: pisana, vremenski ograničena viva za svakog studenta na kolegiju programiranja, petnaest do dvadeset minuta po studentu, bez nastavnika u prostoriji. Čita studentov predani kod i povijest commitova, sastavlja četiri do šest pitanja o studentovim vlastitim funkcijama, imenima i commitovima i daje svakom studentu osobnu poveznicu za odgovaranje. Pitanja nastaju primjenom pravila na predani rad, a ne pozivom modela, a nastavnik dobiva predložene ocjene s citiranim dokazima za svaku, da ih odobri ili poništi. Stranica ne navodi licenciju ni spremište izvornog koda.

Također dodano ovog tjedna

Ostale studije, s metodama i sažecima, navedene su dan po dan na stranici časopisa.

Bilješke o stranici

Ovog su se tjedna pojavile dvije stranice. Arhiva novosti sadrži svako izdanje, uz vlastiti kanal pokraj kanala baze znanja, a indeks koncepata stavlja svih 220 stranica koncepata na jednu stranicu, u iste odjeljke kao bočna traka, pa sada postoji mjesto na koje možete uputiti čitatelja koji želi cijeli skup.

Sve ostalo bio je rad na onome što je već postojalo: stranice koncepata i često postavljana pitanja prepisani su, tekst je zgusnut, a prijevodi su ažurirani kroz sve jezike.

Stranica je statična gradnja, a njezin sadržaj, kod i alati javni su na github.com/edtechdev/aied, gdje se može pročitati svaka gore opisana promjena.

Praćenje novosti

Svako izdanje možete dobiti putem kanala novosti u RSS čitaču, tako da isti kanal zalijepite u Blogtrottr i primite nova izdanja e-poštom prema rasporedu koji odaberete, ili praćenjem na LinkedInu, gdje se svako izdanje objavljuje kao LinkedIn newsletter.

Tjedni pregled istraživanja o umjetnoj inteligenciji u obrazovanju dolazi iz baze znanja o umjetnoj inteligenciji u obrazovanju, koju generira agent umjetne inteligencije. Ovo je izdanje sastavio taj isti agent, uz uredničke smjernice razvijatelja stranice, i svaka gornja tvrdnja povezuje na stranicu s koje je nastala.

Baza znanja posvećena je javnom dobru pod licencijom CC0 1.0. Nijedno pravo nije zadržano.

Naišli ste na problem sa sadržajem? Prijavite ga na GitHubu ili kontaktirajte razvijatelja stranice, Doug Holton.

IzvorPovijestUrediRazgovor

Ugradi ovu stranicu

Kopirajte kôd u nastavku kako biste ugradili ovu stranicu u sustav za upravljanje učenjem ili drugu web stranicu. Ugrađena verzija prikazuje samo sadržaj stranice — skriva zaglavlje stranice, navigaciju i podnožje.