Pomaže li upotreba umjetne inteligencije mojim studentima da doista uče?

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Student vam kaže da je tutor s umjetnom inteligencijom razlog zašto je konačno razumio gradivo, a vi tu tvrdnju ne možete nikako provjeriti. Ili vam na stol dolazi pilot-projekt s anketom o zadovoljstvu i snimkom zaslona s rastućim ocjenama zadataka, a netko želi odluku o licenciji do kraja mjeseca. Ili stojite pred razredom i pitate se pomaže li alat koji ste im upravo rekli da otvore tome da uvježbavaju ili tome da izbjegnu vježbu.

Kratak odgovor: da, umjetna inteligencija može pomoći studentima da uče, a nijedna od stvari koje ćete najvjerojatnije vidjeti ne utvrđuje da je pomogla: bolji zadaci, brže dovršavanje, zadovoljni studenti ili proizvod koji se zove tutor. Ono što razlikuje slučajeve u kojima se učenje poboljšava od onih u kojima se ne poboljšava jest dizajn aktivnosti i ishod koji ste odabrali mjeriti.

Kratka verzija

1. Najprije imenujte sposobnost, a zatim odlučite koji bi dokaz pokazao da se promijenila.

2. Izmjerite istu sposobnost kasnije, bez alata, jer je to jedina mjera koja odgovara na vaše pitanje.

3. Stavite vlastiti pokušaj studenta prije pomoći i zatražite odgovor na pomoć nakon toga.

4. Ocjenjujte provjeru: što su provjerili, što su odbili, što su promijenili.

5. Pogledajte rezultate prema prethodnom znanju, jer prosjek skriva studente koje dizajn iznevjerava.

Odlučite što mislite pod učenjem prije nego što pogledate bilo kakav dokaz

„Pomaže li umjetna inteligencija studentima da uče“ nije jedno pitanje. Ono objedinjuje barem tri: podiže li alat izvedbu dok je otvoren, gradi li sposobnost koja ostaje kada se zatvori i mijenja li to tko na kraju ima tu sposobnost. Izvještaj dobavljača, anketa iz pilot-projekta i randomizirano ispitivanje mogu svi biti pošteni i još uvijek odgovarati na različita pitanja.

Zapišite sposobnost prije aktivnosti. „Izradi uglađeno izvješće“ drukčiji je ishod od „odaberi primjerene dokaze“, „objasni kauzalni odnos“ ili „uoči nepotkrijepljen zaključak“. Ocjenjivanje mora otkriti sposobnost koju namjeravate razviti, što je argument u obrazovnom mjerenju i polazište evaluacije UI u obrazovanju.

Korpus podupire dvije tvrdnje istodobno, a držati obje disciplina je koju ova stranica traži. Sinteza Svjetske banke, Mogu li obrazovne tehnologije zatvoriti jazove u učenju?, objedinila je 14 randomiziranih studija u deset gospodarstava i procijenila pozitivan prosječni učinak na učenje od 0,125 standardnih devijacija za adaptivnu obrazovnu tehnologiju i onu potpomognutu umjetnom inteligencijom. Spojila je i ranije adaptivne sustave s alatima generativne umjetne inteligencije, nije našla statistički utvrđenu prednost za novije generativne alate i priznala znatnu nesigurnost u toj usporedbi. Rezultat podupire potencijal tih intervencija, a ne tvrdnju da će bilo koji chatbot poboljšati učenje. Pozitivan prosjek, drugim riječima, spojiv je s velikom varijacijom i s nimalo dokazanom prednošću onoga o čemu doista razmišljate.

Korisnije su studije one koje mijenjaju dizajn unutar jednog eksperimenta. Višelokacijska randomizirana studija s 1.176 studenata prve godine usporedila je povratnu informaciju vršnjaka, izravnu UI povratnu informaciju, samovrednovanje nakon kojeg slijedi UI povratna informacija te hibridni slijed samovrednovanja, povratne informacije vršnjaka i kritike umjetne inteligencije. Refleksivni i hibridni uvjeti proizveli su snažniji odgođeni prijenos bez umjetne inteligencije od izravne UI povratne informacije: studenti su bili bolji na novom zadatku znanstvene argumentacije, ne samo na eseju koji su dorađivali. Ti su uvjeti također zahtijevali više evaluacijskog rada i vjerojatno više vremena, pa studija podupire cijeli dizajn povratne informacije, a ne jednu njegovu komponentu.

Provjerite preživljava li dobitak kada se alat oduzme

To je provjera koja vam daje najviše informacija i lako ju je izostaviti iz pilot-projekta.

Najjasnije upozorenje u korpusu terenski je randomizirani eksperiment s gotovo 1.000 učenika srednjih škola, Generativna umjetna inteligencija bez zaštitnih ograda može naškoditi učenju. Sučelje u stilu opće namjene podiglo je rezultate potpomognute vježbe za 48% u odnosu na kontrolu, a isti su studenti zatim postigli 17% niže rezultate na ispitima bez pomoći. Tutor konfiguriran sa smjernicama i natuknicama koje su osmislili nastavnici uglavnom je izbjegao taj gubitak. Nije proizveo statistički značajno poboljšanje izvedbe na ispitu bez pomoći u odnosu na kontrolnu skupinu. Izbjeći štetu i dokazati dodatno učenje različita su postignuća.

Na nacionalnoj razini ista se podjela pokazuje s odgodom. Kazna u učenju od generativne umjetne inteligencije pratila je 26.811 kineskih učenika srednjih škola od 7. do 12. razreda tijekom 30 mjeseci, koristeći postupno uvođenje. Ocjene zadaće porasle su za 18%, a vrijeme dovršavanja palo je za 30%, sa 64 na 45 minuta. Rezultati mjesečnih ispita bez pomoći pali su za 20% unutar šest mjeseci, a rezultati prijamnih ispita s visokim ulogom pali su za 18-24% osnovne vrijednosti, ali tek nakon otprilike dvije godine. Gubici su se koncentrirali među otprilike 81% korisnika čije je ponašanje upućivalo na prepuštanje zadaće, dok su studenti koji su zadržali vrijeme za zadaću usporedivo s onima koji alat nisu rabili učili približno jednako učinkovito. Za vaš kolegij iz toga slijede dvije stvari: razilaženje između izvedbe na zadaći i na ispitu jest jaz između izvedbe i učenja u nacionalnoj kohorti, a dvogodišnja odgoda znači da će jednosemestarska evaluacija sustavno podcijeniti cijenu.

Računalno obrazovanje pokazuje istu strukturu. Sustavni pregled 72 studija našao je da generativna umjetna inteligencija pouzdano podiže kratkoročno dovršavanje i smanjuje vrijeme na zadatku u 36 studija, pri čemu nijedna studija u korpusu ne dokumentira negativan učinak na neposrednu izvedbu, a ti se dobici „ne prenose na samostalnu izvedbu“ u 21 studiji. Studenti koji su rabili Codex dovršili su dvostruko više zadataka tijekom učenja i nisu bili bolji od kontrolne skupine na posttestovima bez umjetne inteligencije.

Zatim je tu pitanje rabe li studenti pomoć uopće. Dvogodišnji randomizirani školski eksperiment u 18 srednjih škola, Jedan klik dalje, našao je skromne dobitke u postignućima iz matematike, a studenti su rijetko sudjelovali u suštinskim tutorskim razgovorima. Autori su napomenuli da su dobici nalikovali dobicima izviještenima za strukturiranu vježbu bez umjetne inteligencije, a dizajn je spojio individualiziranu vježbu s tutorstvom uz umjetnu inteligenciju, pa nije izolirao doprinos UI komponente. To što je sposoban tutor dostupan drukčija je činjenica od toga da ga studenti produktivno rabe.

Kako poučavanje uz umjetnu inteligenciju učiniti produktivnim dodaje oštriju lekciju dobivenu na više od 6.000 učenika srednjih škola koji rabe NUMI. UI podrška poboljšala je oporavak nakon pogrešaka i usporila napredovanje kroz pitanja. Pravilo savladanosti „tri točna odgovora zaredom“ podiglo je uspjeh definiran na platformi, a da samo po sebi nije poboljšalo učenje tjedan dana kasnije. Najsnažniji signal odgođenog učenja pojavio se kada je umjetna inteligencija bila ugrađena u tijek savladavanja, a ti su dobici bili granično statistički značajni i koncentrirani na određeni uvježbani materijal. To je sugestivan dokaz za strukturirani pristup, a ne dokazan recept.

Oblikujte aktivnost tako da student obavlja mišljenje koje je važno

Dizajn poučavanja važniji je od toga koji model pokrećete. Dizajn koji preživljava te rezultate ima četiri koraka: pokušaj, pomoć usmjerenu na poteškoću, nešto što student čini s pomoći i novu primjenu uz povučenu podršku.

1. Zatražite početni pokušaj, predviđanje, nacrt, objašnjenje ili interpretaciju.

2. Ponudite ciljanu pomoć: natuknicu, objašnjenje, suprotstavljeni primjer ili usmjerenu povratnu informaciju o mjestu na kojem su zapeli.

3. Zatražite odgovor na pomoć. Objašnjavaju je, dorađuju uz nju, provjeravaju je ili obrazlažu prihvaćanje i odbijanje.

4. Provjerite usporediv problem ili drukčiji kontekst uz povučenu podršku.

To je nastavno polazište, a ne validirani slijed, a prava količina i vrijeme podrške ovise o studentima i zadatku. Odražava ono što naglašavaju sinteze postupne potpore i aktivnog učenja: podršku koja pomaže učenicima razumjeti, uvježbavati, vrednovati i na kraju izvoditi s manje nje.

Primijenite načelo na cilj, a ne mehanički na svaku pojedinost. „Postupna potpora, ne zamjena“ dobro je pravilo s zamkom unutra. Potpuno razrađen primjer može biti nešto iz čega studenti uče, a niz natuknica i dalje može postati nešto kroz što klikću bez razmišljanja. Važno je što učenik čini s pomoći, zbog čega kognitivno rasterećenje i traženje pomoći stoje na suprotnim krajevima onoga što isti alat može proizvesti.

Protuprimjer vrijedi držati na vidiku, jer vas sprječava da trud pretvorite u pokazatelj učenja. U preregistriranim eksperimentima opisanima u Trener, a ne štake, odrasli koji su uvježbavali dorađivanje propratnih pisama uz umjetnu inteligenciju nakon toga su napisali bolje tekstove bez umjetne inteligencije od onih koji su uvježbavali sami, i pritom su uložili manje truda. Koristi su ostale i na provjeri nakon jednog dana, a drugi eksperiment našao je da je gledanje primjera koji je doradila umjetna inteligencija dalo usporedive koristi kao uvježbavanje s alatom. To su bili kratki, ograničeni zadaci pisanja, a ne dokaz trajnog poboljšanja u svakom pisanju. Pokazuju doista da manje truda nije automatski manje učenja i da je cilj sačuvati aktivnost učenja, a ne povećati težinu do najveće mjere.

Učinite zadržano mišljenje vidljivim u onome što ocjenjujete

Kako studenti rabe alat važnije je od toga imaju li ga. U kvalitativnoj studiji 38 studenata preddiplomskog studija u nadziranim esejskim provjerama, uključenost se kretala od kognitivnog prepuštanja do kognitivne preraspodjele, premještanja truda s niskorazinske reprodukcije na kritičko vrednovanje. Većina studenata, 31 od 38, namjeravala je rabiti generativnu umjetnu inteligenciju kao pomoćnika u učenju. U praksi se 76,32% oslanjalo na jednostruki obrazac pitaj, dobij odgovor, prekini dijalog, a 78,94% rabilo je alat prije ili nakon pisanja nacrta, a ne kroz zadatak. Samo je 8 studenata radilo kao kognitivni partneri kroz trajni, iterativni dijalog. Taj spektar, od prepuštanja do preraspodjele, opisuje interakcija studenta i umjetne inteligencije. Jedan sudionik opisao je učinak riječima „brzina kojom to zaboravite također je vrlo velika“.

Pedagoška je lekcija da i opće dopuštenje i opća zabrana ostavljaju studente da nagađaju. Ponašanje je, prema prikazu te studije, promijenilo usmjerenje specifično za zadatak o tome koji kognitivni rad studenti moraju zadržati i koja je pomoć primjerena, smjer dizajna razvijen u smanjenju varanja uz umjetnu inteligenciju i smanjenju zlouporabe umjetne inteligencije.

Zato učinite zadržano mišljenje artefaktom koji možete ocijeniti. U matematici zatražite pokušaj rješenja prije nego se zatraži pomoć, zatim neka studenti rabe poticaj poput „prepoznaj prvi korak koji bih trebao preispitati, daj mi jednu korisnu natuknicu i zamoli me da pokušam ponovno“, i zatražite novo rješenje uz objašnjenje, a ne reprodukciju odgovora umjetne inteligencije. U pisanju neka studenti procijene svoj nacrt prema rubrici prije nego zatraže kritiku, a zatim objasne koje su prijedloge prihvatili, izmijenili ili odbili. Ako je cilj izgradnja argumenta, UI proza ne može zamijeniti dokaz da student može izgraditi argument. Ako je cilj vrednovanje alternativnih inačica, usporedba cjelovitih primjera primjerena je. Stranice obrazovanja u pisanju i pismenosti o povratnoj informaciji nose pojedinosti.

Zahtjev za dizajn iz pregleda isti je potez na razini kolegija: provjera, što znači čitanje, testiranje, izmjena, objašnjavanje i kritika UI rezultata, postaje ocijenjena i vidljiva komponenta, a ne aspiracija prepuštena diskreciji studenata. I ne mora se svaki legitiman ishod dokazati bez umjetne inteligencije. Kolegij može namjerno poučavati djelotvoran rad potpomognut umjetnom inteligencijom, pri čemu ocjenjujete sposobnost studenta da odabere, provjeri, doradi i obrani svoju upotrebu alata uz samostalne temelje koje disciplina zahtijeva. Test ljudskih sposobnosti za ishode učenja u eri umjetne inteligencije predlaže tu trostruku razliku između samostalne sposobnosti, izvedbe pojačane umjetnom inteligencijom i odgovornosti za provjeru. To je pojmovni okvir, a ne validirani instrument.

Provjerite kome alat pomaže, a koga tiho ispušta

Prosječno poboljšanje može sakriti studente koji nisu dobili ništa ili su naišli na novu prepreku. Sinteza digitalnog jaza razdvaja pristup alatu od vještine potrebne za njegovu upotrebu i od toga tko na kraju dobiva koristan rezultat, a sve tri stvari važne su za kolegij.

Prethodno znanje ublažava sve u računalnom pregledu: dobro pripremljeni studenti pretvaraju pomoć u trajnu vještinu, dok slabije pripremljeni studenti riskiraju da je rabe kao štake koje im uklanjaju vježbu koja im je potrebna. Nacionalna kohortna studija pokazuje istu koncentraciju na svoj način, s gubicima u učenju smještenima u 81% onih čije je ponašanje sa zadaćom upućivalo na prepuštanje.

Za razrednu evaluaciju razdvojite rezultate prema prethodnom znanju, jezičnim potrebama i zahtjevima pristupačnosti, umjesto da izvijestite prosjek kolegija. Poučavanje studenata kako dobiti i ocijeniti korisnu povratnu informaciju dio je pismenosti u području umjetne inteligencije i ne dolazi s licencijom. Kada ocjenjujete samostalno učenje, uklonite pomoć koja isporučuje ciljno mišljenje, a ostavite prilagodbe koje omogućuju pristup zadatku, što je razlika na kojoj se temelje i pristupačnost i pravednost u obrazovanju o umjetnoj inteligenciji.

Pregledajte i povratnu informaciju koju studenti doista dobivaju. Tečan odgovor može pogrešno dijagnosticirati poteškoću, pojačati pogrešku ili predati odgovor tamo gdje je bila potrebna drukčija vrsta podrške. Rabite materijale usklađene s kolegijem, zadržite put do ljudske pomoći i ne prikupljajte više podataka o studentima nego što aktivnost zahtijeva. Kvaliteta UI povratne informacije, pedagoška sigurnost i privatnost pokrivaju pojedinosti.

Ne vjerujte nadzornoj ploči, ni vlastitoj

Pokazatelji platforme najlakši su dokaz koji se nosi u odluku o nabavi i najlakše ih je pretumačiti. U evaluaciji osam UI agenata za poučavanje u medicinskom obrazovanju, poredak prema vlastitom rezultatu platforme razlikovao se od rubrike kvalitete poučavanja koju su validirali stručnjaci. Agent kojeg je platforma svrstala na treće mjesto bio je posljednji po kvaliteti prema rubrici, jer je rezultat platforme pratio izvedbu studenata tijekom interakcije, a ne ponašanje agenta u poučavanju. Ugrađeni pokazatelj hipoteza je koju treba validirati.

Isto se nepovjerenje odnosi na dokaze koje sami proizvodite. Anketa o zadovoljstvu mjeri zadovoljstvo, a percipirano učenje mjera je samoprocjene za koju korpus dokumentira da znatno odstupa od izmjerenog učenja. Ocjene zadataka mjere zadatak. Nijedno vam ne kaže što student može učiniti za tri tjedna sa zatvorenim alatom, a metode evaluacije UI intervencija izlažu dizajne usporedbe koji vas približavaju tome.

U čemu nastavnici griješe u vezi s ovim

„Više ocjene na zadatku znače da su više naučili.“ To dvoje može ići u suprotnim smjerovima. Eksperiment sa zaštitnim ogradama podigao je potpomognutu vježbu za 48%, dok su ispiti bez pomoći pali za 17%, a nacionalna kohorta zabilježila je rast ocjena zadaće za 18%, dok su rezultati ispita bez pomoći pali za 20% unutar šest mjeseci. Nijedan se obrazac ne bi pokazao u imeniku koji bilježi samo završnu predaju.

„To je tutor, pa je sigurno.“ Tutor je oznaka, a rezultati iza oznake miješani su. Tutor koji su konfigurirali nastavnici izbjegao je kaznu na ispitu i nije nadmašio kontrolnu skupinu na ispitima bez pomoći. Khanmigo je proizveo skromne dobitke koji su nalikovali strukturiranoj vježbi, uz malo suštinskog tutorstva. NUMI je s umjetnom inteligencijom usporio napredovanje kroz pitanja. Tutor može uskratiti rješenja i dalje upijati vježbu.

„Ako se čini lakšim, ničemu ih ne poučava.“ Pogrešno u oba smjera, zbog čega je trud loš pokazatelj. Trener, a ne štake našao je manje truda uz bolje pisanje bez umjetne inteligencije dan kasnije, pa lakoća nije znak. Slučajeve razlikuje to je li student obavio mišljenje koje cilj imenuje, a to je pitanje dizajna, a ne postavke težine.

„Opće pravilo ili bolji poticaj rješava kako ga rabe.“ Studija sa 38 studenata našla je većinu studenata u jednostrukom obrascu pitaj i prekini upravo u uvjetima u kojima im je rečeno da je umjetna inteligencija pomoćnik u učenju. Ponašanje je pomaknulo usmjerenje specifično za zadatak i ocijenjeni zahtjev za provjerom. Rečenica u pravilniku i domišljat poticaj oboje su ulazi u to i nijedno ga ne zamjenjuje.

„Rezultat platforme ili anketa o zadovoljstvu kaže mi da djeluje.“ Evaluacija osam agenata našla je poredak platforme koji se preokrenuo prema stručnoj rubrici. Zadovoljstvo i percipirano učenje samoprocjene su. Oboje vrijedi prikupljati kao informaciju o procesu i nijedno nije mjera učenja.

„Pristup je problem pravednosti i pristup smo riješili.“ Pristup je jedna od tri linije, uz vještinu i pitanje tko dobiva koristan rezultat. Prethodno znanje odlučuje postaje li pomoć vještina ili štake, a gubici u nacionalnoj kohorti koncentrirali su se u skupini čije je ponašanje upućivalo na zamjenu, a ne u skupini bez uređaja.

Što će vam se vratiti

„Moji studenti kažu da pomaže.“ Vjerojatno doista pomaže s poslom koji je pred njima, i to je nalaz, a ne njegovo opovrgavanje. Pitajte što mogu učiniti na sličnom zadatku sa zatvorenim alatom i dobit ćete odgovor koji je važan.

„Studije si proturječe, pa zašto postupati prema bilo kojoj?“ Rijetko si proturječe kada poredate ishod koji je svaka mjerila. Pozitivni rezultati obično mjere potpomognutu izvedbu, zadovoljstvo ili dobro ustrojenu aktivnost s odgođenim provjerama; negativni mjere samostalnu izvedbu kasnije. Burneova sinteza nesigurnost čini izričitom: 0,125 standardnih devijacija u prosjeku kroz 14 ispitivanja, bez utvrđene prednosti za novije generativne alate. Poboljšanje prije i poslije ne može pokazati da je umjetna inteligencija uzrokovala dobitak, jer studenti napreduju i kroz ostatak poučavanja, a metode istraživanja učinkovitosti izlažu dizajne usporedbe koji vas približavaju tome. Postupajte prema tvrdnjama o dizajnu, koje se repliciraju, i ostanite otvoreni glede veličine učinka, koja se ne replicira.

„Imam 200 studenata. Ne mogu provoditi odgođena ocjenjivanja.“ Trebate jedan kratak početni zadatak i jednu odgođenu česticu, a ne studiju. Rabite istu vrstu zadatka tri tjedna kasnije bez alata, zadržite prošlogodišnju inačicu ispita kao grubu usporedbu i uzorkujte rad koji izgleda nedosljedno s ranijim predajama. To je dovoljno da uočite dobitak od 48% uz pomoć i gubitak od 17% bez pomoći ako se to događa u vašem kolegiju.

„Khanmigo je dobio pozitivan rezultat, pa tutorstvo djeluje.“ Dobio je skromne dobitke iz matematike u 18 srednjih škola, u dizajnu koji je spojio individualiziranu vježbu s tutorstvom uz umjetnu inteligenciju, dok su studenti rijetko vodili suštinske tutorske razgovore. Čitajte to kao dokaz da dobro ustrojeno okruženje za vježbu može proizvesti male dobitke, a ne kao dokaz da ih je uzrokovala UI komponenta.

„Ne mogu ga zabraniti i ne mogu ga nadzirati.“ Točno u oba slučaja i nijedno nije potrebno. Pitanje dizajna je što vaša aktivnost čini lakim. Ako se provjera ocjenjuje, ako otkrivanje upotrebe ništa ne stoji i ako samostalna provjera postoji, većina studenata ide putem koji ste izgradili.

„Ne poučavam umjetnu inteligenciju. To nije moj predmet.“ Smetnja se događa unutar vašeg predmeta, na koraku gdje umjetna inteligencija obavlja vježbu koju vaš kolegij postoji da bi pružio. Zbog toga je rješenje promjena zadatka, a ne nova nastavna jedinica.

Što učiniti ovaj tjedan

1. Uzmite jednu aktivnost koju već provodite i napišite rečenicu o sposobnosti: što student treba moći učiniti nakon toga, sa zatvorenim alatom.

2. Dodajte dvominutnu početnu provjeru na početku i istu vrstu čestice tri tjedna kasnije. Ocijenite oboje bez umjetne inteligencije u prostoriji.

3. Promijenite jedan poticaj koji dajete studentima s „objasni ovo“ na „daj mi jednu natuknicu, zatim mi postavi pitanje“ i zatražite dorađeni pokušaj prije nego nastave dalje.

4. Dodajte jedan ocijenjeni artefakt provjere: kratku bilješku o tome što su provjerili, što su odbili i što su promijenili.

5. Razdvojite rezultat prema prethodnom znanju za studente za koje već znate da se muče i pročitajte UI povratnu informaciju koju je dobio uzorak njih.

Kamo dalje

Metode evaluacije UI intervencija pokrivaju mjere i dizajne usporedbe iza gornjih provjera, a evaluacija UI u obrazovanju praktični je vodič za evaluaciju. Kako umjetna inteligencija utječe na studente uzima stranu iskustva studenata, deset glavnih nalaza o umjetnoj inteligenciji u obrazovanju za nastavnike sažima iste dokaze u odluke za nastavnike, a ograničenja u istraživanju UI u obrazovanju pošten su prikaz onoga što vam ta literatura još ne može reći. Ako je vaše pitanje postalo pitanje ocjenjivanja, smanjenje varanja uz umjetnu inteligenciju sljedeća je stranica.