Kako odgovoriti na uobičajene zablude o umjetnoj inteligenciji u obrazovanju?

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Vaš prorektor želi jednostranični pregled „mitova o umjetnoj inteligenciji“ za proljetni sastanak nastavnika. Ili je član uprave pročitao da chatbotovi uništavaju kritičko mišljenje i želi stav do petka. Ili ste osoba koja mora u pisanom obliku objasniti zašto katedra neće jednostavno zabraniti alat, a ponestalo vam je načina da kažete da zabrana nije pedagogija.

Svako uvjerenje na ovoj stranici počinje nečim što je razumna osoba vidjela. Tečna proza doista se čita kao točna. Uglađen predani rad doista izgleda kao učenje. Tutor koji odgovara na pitanje doista se osjeća kao pomoć, a politika s riječju „zabranjeno“ doista se osjeća kao odluka. Ispravak koji djeluje imenuje ono što opažanje ne može reći, a zatim predaje provjeru koju osoba može provesti u ponedjeljak.

Odgovor koji date kolegi u jednom dahu: obrazovni učinak umjetne inteligencije ovisi o tome tko je koristi, za koji zadatak, koje mišljenje alat obavlja, koja odgovornost ostaje osobi i kako se učenje procjenjuje. Samopouzdanje, brzina, angažman i dovršenost zadatka značajke su upotrebe. Nijedna od njih nije dokaz da se sposobnost promijenila.

Kratka verzija

1. Izvijestite o tome što učenik može raditi sa zatvorenim alatom i tu mjeru označite kao onu koja se računa.

2. Napišite uvjet za AI po koraku zadatka, imenujući radnju, a ne alat.

3. Procijenite tutora, značajku povratne informacije ili platformu po tome što student radi nakon što ona odgovori.

4. Kupujte dokaze, a ne tvrdnje o sposobnostima: ishode bez pomoći, rezultate po podskupinama, sigurnosne testove kroz više izmjena.

5. Kad ispravljate uvjerenje, zamijenite ga boljim modelom i aktivnošću koja osobi omogućuje da vidi kako staro uvjerenje pada.

Odredite što se računa kao dokaz da se učenje dogodilo

Pet uvjerenja odlučuje ima li ostatak ove stranice smisla. Svako uzima stvaran signal i u njega upisuje zaključak koji signal ne može nositi.

„Bolje su prošli s otvorenim alatom, pa su više naučili.“

U terenskom eksperimentu s gotovo 1.000 srednjoškolaca na matematici neograničen pristup generativnoj umjetnoj inteligenciji poboljšao je izvedbu tijekom pomognute vježbe i smanjio kasniju izvedbu na ispitu bez pomoći. Verzija sa zaštitnim ogradama koja je davala naputke umjesto cjelovitih odgovora uklonila je opaženu štetu za učenje (Generativna umjetna inteligencija bez zaštitnih ograda može naškoditi učenju). Oba su rezultata stvarna i stoje na različitim mjerama: samo je jedna od njih mjera koju potvrđuje izvadak ocjena. Studija vam daje smjer i nikakvu veličinu učinka za vaš kolegij.

Studenti izvode isti zaključak o vlastitom radu, a odgovor je isti: proizvod pokazuje što su student i alat proizveli zajedno. Četiri pitanja postavljena sa zatvorenim prozorom razgovora kažu vam što se dogodilo. Mogu li objasniti obrazloženje? Riješiti sličan problem? Naći slabosti u generiranom odgovoru? Prenijeti ideju u novi kontekst? Ako su iskreni odgovori ne, gledate pomognutu izvedbu pod imenom učenja. Stavite jedno od ta četiri u procjenu i recite to u rubrici.

„Studentima se povratna informacija sviđa, pa ona djeluje.“

Zadovoljstvo je dokaz o prihvatljivosti. Studenti preferiraju povratne informacije koje su neposredne, ohrabrujuće, detaljne i lako sljedive, a odgovor može imati sva četiri svojstva i biti netočan, generički, s pogrešnim prioritetima ili usmjeren na drugi cilj od vašega. Pitanja koja odlučuju dosadna su i vrijedi ih zapisati: je li točna, dijagnosticira li stvarni problem, je li dovoljno konkretna za djelovanje, je li prilagođena ovom učeniku, koristi li je student, poboljšava li se revizija, poboljšava li se kasnija samostalna izvedba. Posljednja dva su ona do kojih anketa o zadovoljstvu ne može doći. Kvaliteta povratnih informacija umjetne inteligencije i pismenost u području povratnih informacija nose pojedinosti, a praktični je potez pročitati dvadeset odgovora prema vlastitom cilju prije nego bilo što proširite.

„Prosječni je učinak bio pozitivan, pa intervencija pomaže studentima.“

Prosjeci prikrivaju upravo onu varijaciju koja odlučuje o pitanju pravednosti. Učinci se razlikuju po prethodnom znanju, dobi, disciplini, jeziku, invaliditetu, metakognitivnoj vještini, pristupu, provedbi nastavnika i vrsti upotrebe AI-ja. Malen prosječni dobitak može skriti stvarnu korist za jednu skupinu i štetu za drugu; velik može ovisiti o uvjetima koje vaša ustanova ne može reproducirati. Tražite procjene po podskupinama s njihovom nesigurnošću, vjernost provedbe, što su studenti doista radili unutar alata i obrazac odustajanja. Ograničenja dokazne osnove AIED-a i Istraživačke metode u AIED-u postavljaju usporedbe koje vas približavaju, a Pravednost u obrazovanju uz umjetnu inteligenciju objašnjava zašto je tablica po podskupinama nalaz.

„Izvijestili su da su mnogo naučili.“

Samoprocjena mjeri percepciju, prihvaćanje, anksioznost i samoučinkovitost i u sve je četiri dobra. Nije mjera pokazane sposobnosti, jer ljudi mogu biti samouvjereni i u krivu ili vješti i preskromni. Sinteza istraživanja o pismenosti nastavnika u području umjetne inteligencije u ovoj bazi znanja izvješćuje o znatnom jazu između samoprocjene i izmjerene izvedbe, a nastavnici u njoj znatno su precijenili svoju kompetenciju (Pismenost u području umjetne inteligencije: nesklad samoprocjene i izvedbe). Uparite svaku samoprocjenu sa zadatkom: prepoznati pogrešku u rezultatu, provjeriti izvor, odabrati strategiju upotrebe, uočiti pristranost ili ulizivanje, revidirati manjkav odgovor, kalibrirati samopouzdanje prema točnosti. Jedna takva stavka u anketi pretvara mišljenje u rezultat.

„Simulirani student jeftina je zamjena za stvarnoga.“

Simulacija je korisna za prototipiranje, testiranje pod pritiskom i generiranje scenarija, a nije dokaz o ljudskom učenju dok se ne validira na ljudima. Model može oponašati jezik zbunjenosti bez ustrajnosti, motivacije, prethodnoga znanja, emocija ili razvojne putanje učenika, a istraživanje sažeto u ovoj bazi znanja našlo je da simulirani studenti napuštaju dodijeljenu zabludu nakon minimalnoga ispravka, što izaziva sumnju u to predstavljaju li uopće konceptualnu promjenu (Simuliranje studenata, Simuliranje studenata ili ulizivačko rješavanje problema?). Koristite ih da nađete mane u svome upitu prije nego stvarni studenti na njega naiđu, a zatim svaku tvrdnju o učenicima tretirajte kao nevalidiranu.

Postavite uvjet za AI na koraku koji nosi učenje

Pravila ne uspijevaju kad su napisana o alatu, a uspijevaju kad su napisana o radnji. Uvjerenja u nastavku ona su koja politike drže neodređenima.

„Svaka upotreba AI-ja je varanje.“

Zrcalno je uvjerenje gore: da upotreba AI-ja ne može biti varanje jer nije prepisan nijedan čovjek. Čestitost ovisi o svrsi zadatka, pravilima nastavnika, tome koliko je posla obavio alat, je li upotreba pripisana i je li AI zamijenio sposobnost koja se procjenjuje. Razrada ideja dopuštena je u jednom zadatku, obvezna u drugom i diskvalificirajuća u trećem, i sva su tri obranjiva (Akademska čestitost). Nastavni je potez staviti pet pitanja pred studente prije nego što išta otvore: što ovaj zadatak treba pokazati da mogu, koja je pomoć dopuštena, jesam li još autor i donositelj odluka, mogu li obraniti predani rad i trebam li ga prijaviti. Izjave o upotrebi i prijavljivanju AI-ja pokazuju kako izgleda upotrebljiv obrazac za prijavu.

„Ako nitko ne može otkriti, nema štete.“

Otkrivanje odgovara na drugo pitanje od onoga koje je važno. Neotkriveno prepuštanje i dalje ostavlja studenta nesposobnim objasniti rad, odgovoriti na potpitanje, prilagoditi ga ili izvesti bez alata, a jaz izlazi kasnije na ispitu, u licencnom postupku, na praksi ili na prvom poslu. Ocjene se udaljavaju od sposobnosti dok oboje izgleda dobro. To je problem vjerodajnice prije nego problem discipline, što je argument u Valjanosti procjene i Autentičnoj procjeni. Za studenta je korisno preokretanje da je ocjena tvrdnja o njemu, a tvrdnja mora preživjeti sljedeću sobu u kojoj se testira.

„Problem je koliko često to koriste.“

Učestalost vam ne kaže ništa. Student može svakodnevno koristiti AI za usporedbu objašnjenja, generiranje vježbi i povratne informacije, a ostati kognitivno aktivan, a drugi ga može upotrijebiti jednom da proizvede argument koji je zadatak trebao potaknuti. Pitanje koje ih razvrstava jest koji je sloj mišljenja prepušten i može li student taj sloj još izvesti sam, razlika koju interakcija studenta i AI-ja dokumentira podrobno. Jezično ispravljanje daleko je od tvrdnji, dokaza i protuargumenata eseja. Potez je učiniti sloj izričitim u zadatku: imenovati mišljenje koje kolegij poučava, dopustiti pomoć svugdje drugdje i provjeriti imenovani sloj bez pomoći.

„Brže dovršavanje znači učinkovitije učenje.“

AI uklanja administrativni rad, zbrku oko oblikovanja i ponavljanje, što je dobitak. Uklanja i dosjećanje, planiranje, sastavljanje, otklanjanje pogrešaka i reviziju kroz koje se vještina oblikuje, što je gubitak. Razlika koja preživljava susret sa stvarnim zadatkom jest potporno nasuprot zamjenskom rasterećenju: jedno oslobađa pažnju za teže mišljenje, drugo obavlja mišljenje koje ste trebali naučiti (Kognitivno rasterećenje, Smanjenje zloupotrebe umjetne inteligencije). Slijed koji sprječava drugo je kratak. Pokušajte, konzultirajte alat za naputke, primjere ili usporedbu, revidirajte po vlastitoj prosudbi, a zatim proizvedite kratko objašnjenje bez pomoći. Teškoća nije cilj; cilj je sačuvati kognitivni rad.

„Opća zabrana najsigurnije je i najpravednije pravilo.“

Uvjeti bez AI-ja ispravni su kad je samostalna izvedba sposobnost koja se procjenjuje: određeni ispiti, temeljna vježba, provjere profesionalne kompetencije. Univerzalna zabrana drugi je instrument: tjera upotrebu u podzemlje, teško se dosljedno provodi i blokira pismenost u području umjetne inteligencije koja studentima treba nakon završetka kolegija. Četiri uvjeta na razini zadatka pokrivaju više: AI obvezan, AI dopušten uz prijavu, AI ograničen na imenovane funkcije, AI zabranjen jer bi pomoć poništila tvrdnju o učenju. Studenti slijede granice koje razumiju, pa pravilo treba nositi svoj razlog i mora se podudarati kroz izvedbeni plan, uputu za zadatak, povratne informacije i ocjenjivanje. Uokvirivanje upotrebe umjetne inteligencije za studente i Obrazovna politika o umjetnoj inteligenciji predlošci su za to.

Procijenite tutora po tome što student čini sljedeće

Sustav koji proizvodi odgovor i sustav koji proizvodi učenika različiti su proizvodi, a rezultat uvijek opisuje samo prvi.

„Dajte studentima moćnog tutora i učenje će se poboljšati.“

Pristup nije oblikovanje poučavanja. Isti model podupire učenje kad traži prvi pokušaj, naputke umjesto rješenja, traži obrazloženje, ispravlja zablude, povlači potporu i završava provjerom bez pomoći. Potkopava učenje kad odgovara odmah, obavlja planiranje i nagrađuje traženje odgovora. Vrijednost je u pedagoškom omotaču, što je argument u Oblikovanju učenja i logika oblikovanja koja stoji za postupnom potporom. Prije nego tutor uvedete, provedite jednu lekciju kroz njega sami i prebrojite koliko vam puta dopušta da izbjegnete mišljenje.

„Tutor koji daje točan odgovor dobar je tutor.“

Točnost je nužna i nedostatna. Točan odgovor može doći prerano, otkriti previše i zaobići poželjne poteškoće zbog kojih dosjećanje ostaje. Jači tutor dijagnosticira prije intervencije, pita umjesto da kaže, daje najmanji koristan naputak, traži objašnjenje, odgovara na konkretnu pogrešku, povlači se i kasnije provjerava izvedbu bez pomoći. Procijenite ga po tome što studenti primjećuju, pokušavaju, objašnjavaju, revidiraju i na kraju rade sami, što je standard u Inteligentnim tutorskim sustavima i Pedagoškoj sigurnosti.

„Više automatizacije i personalizacije bolje je.“

Personalizacija može poduprijeti učenje i može postati pretjerano prilagođavanje. Kad sustav planira, nadzire, odlučuje što je važno i dovršava teške korake, student postaje brži i manje agentan, a samoregulacija je ono što tiho izlazi iz sobe. Problem oblikovanja jest ukloniti nepotrebne barijere uz očuvanje truda vezanog uz cilj. Značajke koje izdrže: obvezni pokušaji, poticaji na objašnjenje, odgođeni naputci, prilagodljiva pomoć, povlačenje potpore, promišljanje o preporukama sustava, povremena vježba bez pomoći i vidljiv način da se sustav nadjača. Agentna umjetna inteligencija i agentnost pokrivaju što se događa kad sustav počne donositi odluke.

„Veći model daje sigurnijeg tutora.“

Opća sposobnost i pedagoška kvaliteta zasebna su svojstva, a veći model može rješavati teže probleme i pritom ne uspjeti odabrati strategiju, uskratiti odgovor, uskladiti se s razvojnom razinom, sačuvati produktivni neuspjeh, signalizirati nesigurnost ili ostati unutar vaših ciljeva učenja. Participativno istraživanje oblikovanja sa šest srednjoškolskih nastavnika najjasnija je izjava o tome odakle sigurnost doista dolazi. Nastavnici su neovisno osmislili „omeđene stručnjake“: usku sposobnost unutar definirane domene pod ljudskim nadzorom, s dvije granice koje ne bi prešli (autoritet, jer se odgovornost za učenje studenata ne može prenijeti, i stručnost, jer modelu nedostaje znanje o pojedinim studentima i normama učionice) i tri zaštitna sloja (ograničenja domene, filtrirani sadržaj sa standardiziranim odbijenicama i nadjačavanje od nastavnika). Tražili su potpuno bilježenje razgovora i upozorenja u stvarnom vremenu, a ne bolja objašnjenja modela (oblikovanje chatbota s omeđenim stručnjakom). Opseg i nadzor obavili su posao koji veličina modela nije mogla. Teorije učenja i Treniranje i fino podešavanje LLM-ova pokrivaju stranu oblikovanja.

„Više povratnih informacija bolje je.“

Opseg je najlakše povećati i najmanje je povezan s poboljšanjem. Odgovor koji komentira svako pitanje može zatrpati onu jednu promjenu koja je važna, a može biti i vremenski promašen, generički ili pogrešan. Povratna informacija zaslužuje svoju duljinu time što imenuje najvažniji sljedeći korak za ovog učenika u ovoj točki zadatka. Mjerite razumiju li je studenti, mogu li prosuditi njezinu kvalitetu, revidirati uz nju, izgubiti zabludu i kasnije proći bolje bez nje. Povratne informacije i pismenost u području povratnih informacija postavljaju slijed, a praktični je test može li student jednom rečenicom reći što će sljedeći put učiniti drukčije.

„AI uništava kritičko mišljenje.“

Može zamijeniti kritičko mišljenje ili postati njegov predmet, a zadatak odlučuje koje. Zadatak slabi angažman kad studenti zatraže dovršeno tumačenje i prihvate ga, a jača ga kad predviđaju prije konzultacije, uspoređuju svoje obrazloženje s modelovim, traže nepotkrijepljene tvrdnje, poboljšavaju slab odgovor, biraju među alternativama i objašnjavaju zašto su odbili preporuku. Korisna je razlika uloga koju alat igra: trener, izazivač ili izvor koji treba procijeniti, a ne zamjena za mišljenje učenika. Kritičko mišljenje i Oblikovanje učenja nose oblikovanja zadataka.

Odredite što vam dobavljač mora pokazati prije potpisa

Tu se zabluda pretvara u višegodišnji ugovor. Nijedno od pitanja u nastavku ne traži tehničku stručnost, a sva traže da se postave prije datuma obnove, a ne poslije.

„Kupnja napredne platforme preobrazit će poučavanje.“

Platforma daje sposobnosti. Poboljšanje traži usklađenost kroz kurikulum, procjenu, razvoj nastavnika, tehničku podršku, pristupačnost, privatnost, upravljanje, radno opterećenje i lokalnu evaluaciju, a bez toga ustanova kupuje sofisticiran sustav koji se koristi nedosljedno, udvostručuje posao, dodaje teret nastavnicima ili proizvodi impresivnu demonstraciju bez mjerljivog dobitka. Navedite šest stvari prije nabave: obrazovni problem, namjeravane korisnike i slučajeve upotrebe, ishode koji se računaju kao uspjeh, podatke koji se prikupljaju, potreban ljudski nadzor i uvjete pod kojima biste primjenu izmijenili ili prekinuli. Umjetna inteligencija iz perspektive administratora i Evaluacija umjetne inteligencije u obrazovanju okviri su koje treba unijeti u sobu.

„Rezultat na mjerilu dokazuje da je pedagoški djelotvoran.“

Mjerilo mjeri izvedbu pod uvjetima mjerila. Model može rješavati teške probleme, pisati tečna objašnjenja i dobro proći na rubrici za tutore, a pritom ne poboljšati zadržavanje, prijenos, samoregulaciju ni pravedne ishode. Držite rezultate mjerila odvojeno od tehničke pouzdanosti, pedagoške kvalitete, sigurnosti, upotrebljivosti, tereta provedbe, prihvaćanja u učionici i dobitaka u učenju bez pomoći. Samo terensko testiranje sa stvarnim učenicima, relevantnim uvjetom usporedbe i razumnom mjerom ishoda govori o pitanju koje doista odlučujete (vidi mjerna mjerila). Istraživači duguju istu disciplinu u suprotnom smjeru: recite koju kariku u tom lancu zauzima neka studija.

„Pouzdan je, pa su ocjene valjane.“

Pouzdanost je dosljednost, valjanost je jesu li tumačenje i upotreba ocjene opravdani, i to se dvoje može oštro razići. Veliko britansko mjerilo ocijenilo je 761 autentičan esej iz psihologije na preddiplomskoj razini i našlo da se ocjene AI-ja i ljudi slažu u pojasu ocjene samo u 35-65% slučajeva (63% na jednoj ustanovi, 53% na drugoj, 35% na trećoj), dok je pouzdanost ponovnog ocjenjivanja bila gotovo savršena, s unutarklasnim korelacijama do 1,00. Tri modela međusobno su se slagala mnogo tješnje nego s ljudima (ICC 0,91) i suglasila su se o pojasu za 56% radova kad su sva tri morala biti suglasna. Ocjene su se sabile prema sredini (rezultat sabijanja 0,47-0,82), pa je sustav bio najmanje točan upravo na granicama koje dijele prvi od višeg drugog stupnja ili prolaz od pada. Njegove su povratne informacije bile tri do osam puta dulje od ljudskog prosjeka od 100-200 riječi (automatizirano ocjenjivanje sveučilišnih eseja). Tražite pokrivenost konstrukta, usporedbu s ljudskom prosudbom, izvedbu po podskupinama, obrasce pogrešaka, nesigurnost i posljedice upotrebe, što je argument u Obrazovnom mjerenju i Automatiziranoj procjeni.

„Jedan pristojan razgovor pokazuje da je tutor siguran.“

Štete u obrazovanju nakupljaju se kroz interakciju. Sustav može primjereno odgovoriti na jedan upit i zatim, kroz izmjene, početi davati odgovore, pojačavati zabludu, poticati ovisnost ili izlaziti iz svoje tutorske uloge. Mjerilo SafeTutors sažeto u ovoj bazi znanja našlo je da pedagoške štete naglo rastu kad se sustavi procjenjuju kroz više izmjena, a ne kroz jednu razmjenu (Sigurnost AI tutora i pedagoške štete). Zahtijevajte dugotrajne razgovore, ponavljane studentske pogreške, pokušaje izravnog odgovora, emocionalne i relacijske scenarije, neprijateljsko upućivanje upita i mjeru ovisnosti kroz vrijeme. Dokazi ove vrste iz mjerila nisu procjena učenja u učionici, i oni su minimum na kojem bi sigurnosna tvrdnja trebala počivati.

„Ljudski pregled privremena je zakrpa dok se modeli ne poprave.“

Pregled je funkcija odgovornosti, a ne značajka ispravljanja pogrešaka, jer netko mora odlučiti odgovara li rezultat određenom učeniku, kolegiju, kulturi ili odluci s posljedicama, protumačiti iznimku, pribaviti kontekst koji model nema i odgovarati za ishod. Smislen aranžman imenuje tko pregledava, koje dokaze vidi, kada se pregled događa, koliko vremena ima, može li nadjačati, tko odgovara za konačnu radnju i kako se student žali. Osoba koja pregledava bez vremena, ovlasti ili informacija samo je potpis (Umjetna inteligencija s čovjekom u petlji).

„Pristupačnost, privatnost i pravednost mogu se dodati kad osnovni proizvod proradi.“

To su zahtjevi oblikovanja. Način unosa, razina čitanja, jezične pretpostavke, zahtjevi za uređajem, čuvanje podataka, personalizacija i pristranost modela odlučuju tko sustav može koristiti i kome on šteti, a naknadno dograđivanje obično poboljšava sučelje dok tijek rada, model podataka i logika odlučivanja ostaju netaknuti. Uključite pogođene učenike i edukatore rano, testirajte s raznolikim korisnicima, prikupljajte najmanje, osigurajte pristupačne alternative i ispitajte različite ishode. Sustav čije su koristi nedostupne ili neravnomjerno raspoređene nije obrazovno djelotvoran, kakav god bio njegov prosjek (pristupačnost, Univerzalno oblikovanje za učenje, privatnost).

„Chatbot je siguran za djecu ako blokira toksični sadržaj.“

Moderiranje sadržaja pokriva zabranjene riječi i teme. Pristojan sustav i dalje može odgovoriti prebrzo, pojačati zabludu, potaknuti emocionalnu ovisnost, prikupiti neprimjerene podatke, dati razvojno neprikladan savjet, poći od pretpostavki koje neki korisnici ne mogu ispuniti, istisnuti ljudsku podršku i smanjiti produktivni trud. Proizvodi namijenjeni djeci trebaju evaluaciju sigurnosti sadržaja, pedagoške sigurnosti, privatnosti, pristupačnosti, relacijskog utjecaja i učinaka ponavljane upotrebe, što je standard u K-12 obrazovanju uz umjetnu inteligenciju i pedagoškoj sigurnosti.

Odredite što ćete prihvatiti kao dokaz studentove sposobnosti

Nikada nećete utvrditi kako je datoteka nastala. Možete, uz nizak trošak, utvrditi može li student ono što datoteka naizgled pokazuje, a to je jedina tvrdnja koju ocjena mora poduprijeti.

„Iskusni nastavnici prepoznaju rad koji je generirao AI.“

Ne dovoljno pouzdano da bi sumnja bila dokaz. Generirani tekst može se urediti, stopiti s ljudskim tekstom, prevesti, parafrazirati ili proizvesti kroz više sustava, a ljudska prosudba savija se prema stilu pisanja, jezičnom podrijetlu, invaliditetu i očekivanjima o tome kako bi određeni student trebao zvučati. Detektori dijele problem i dodaju i lažno pozitivne i lažno negativne rezultate, zato je oznaka povod za pobliži pogled, a nikada za nalaz (Otkrivanje umjetne inteligencije). Provjera je obranjiva alternativa: zamolite studenta da objasni obrazloženje, razgovara o izvorima, revidira odlomak, primijeni ideju na novi slučaj ili pokaže dokaze o procesu. Svaka od tih provjera procjenjuje razumijevanje izravno i svaka je jeftina.

„Otkrivanje i nadzor riješit će problem čestitosti.“

Otkrivanje procjenjuje nalikuje li artefakt strojno generiranom radu. Obrazovanju trebaju dokazi da učenik posjeduje sposobnost, a brojke na strani otkrivanja sada su dovoljno konkretne da se citiraju u odboru. Analiza proceduralne pravde izvješćuje da nijedan od četrnaest ranih detektorskih alata nije dosegnuo 80% točnosti, da parafraziranje ili lagano uređivanje otprilike prepolovljuje ionako skromnu točnost i da alati sustavno pogrešno razvrstavaju pisce kojima engleski nije materinji, jer značajke koje se čitaju kao signali AI-ja obilježavaju i kompetentno pisanje na drugom jeziku. U prikrivenom terenskom istraživanju 94% posve AI-generiranih radova ubačenih u žive mrežne ispite na pet modula psihologije ostalo je neotkriveno, a AI radovi u prosjeku su ocijenjeni bolje od stvarnih studenata. Sveučilište Vanderbilt isključilo je svoj licencirani detektor nakon što nije uspjelo validirati oglašenu stopu lažno pozitivnih od 1%, stopu koja implicira otprilike 750 pogrešno označenih studenata među 75.000 godišnjih radova (neotkriveno nepoštenje). Nadzor dodaje troškove privatnosti, pristupačnosti, anksioznosti i pravednosti, a ni on ne utvrđuje učenje. Trajna strategija je kombinacija: objašnjena očekivanja, uvjeti bez AI-ja gdje im je mjesto, dokazi o procesu i etapni rad, usmena ili pisana provjera, prijava specifična za zadatak, redizajn procjene i postupci s ljudskim pregledom i putem za žalbu. Daljinski nadzor ispita i Kako smanjiti varanje uz AI? nose operativne pojedinosti.

„Uglađen rad dokazuje profesionalnu kompetenciju.“

Dokazuje izvedbu osobe plus alata. Kompetencija se pokazuje u tome može li netko uokviriti problem, navesti pretpostavke, provjeriti dokaze, uhvatiti suptilnu pogrešku, prilagoditi se kad se uvjeti promijene, obraniti preporuku i izvesti ključnu prosudbu bez neprimjerene pomoći. Odgovorna upotreba AI-ja i sama je legitimna profesionalna kompetencija, pa je zadatak odvojiti djelotvornu upotrebu alata od izgleda stručnosti koji alat daje (Razvoj karijere i spremnost za posao).

„Pismenost u području umjetne inteligencije znači znati napisati dobar upit.“

Upućivanje upita jedna je operativna vještina. Opseg koji je važan za nastavnika ili zaposlenika širi je: što sustavi umjetne inteligencije mogu i ne mogu pouzdano činiti, kako procijeniti točnost i pristranost, kako AI utječe na valjanost procjene, kada rasterećenje postaje istiskivanje, zahtjevi privatnosti i pristupačnosti, kako upotreba pristaje disciplini i kada je uopće ne treba koristiti. Sinteza u ovoj bazi znanja našla je da su nastavnici znatno precijenili svoju AI kompetenciju kad su se samoprocjene usporedile s mjerama izvedbe, a pokazana kompetencija predviđala je integraciju u učionicu mnogo bolje od samopouzdanja (Pismenost u području umjetne inteligencije: nesklad samoprocjene i izvedbe). Tehnike upita i stare brže od prosudbe. Poučavajte inženjering upita kao vještinu i procjenjujte nastavničku kompetenciju u području umjetne inteligencije kao širu.

„Temeljno disciplinarno znanje zastarjelo je jer ga AI može dohvatiti.“

Nadzor ovisi o stručnosti koju jaka automatizacija odvraća ljude od izgradnje. Bez domenskog znanja osoba ne vidi uvjerljiv pogrešan zaključak, nedostajuće ograničenje, opasnu preporuku, nevaljanu usporedbu, izmišljeni citat, pristranu pretpostavku ni situaciju u kojoj alatu uopće ne treba vjerovati (Prethodno znanje, Kalibracija povjerenja). Kurikulumi mogu preispitati što se pamti i koji alati ostaju dostupni. Uklanjanje temelja zato što alat može proizvesti odgovor uklanja osnovu za prosudbu tog odgovora.

„Poučavanje kritične i etičke upotrebe AI-ja košta produktivnost.“

Neprovjerena automatizacija proizvodi ponovni rad, sigurnosne incidente, diskriminatorne odluke, pravnu izloženost, štetu za ugled i lažno samopouzdanje, a svako od toga trošak je koji brojka produktivnosti nije uračunala. Zaposlenik kojeg vrijedi zaposliti jest onaj koji raspoređuje posao između ljudi i alata držeći kvalitetu, povjerljivost, odgovornost i profesionalnu prosudbu. To je argument o produktivnosti, iznesen u smjeru koji bilanca obično promašuje (Suradnja čovjeka i umjetne inteligencije, Upravljanje umjetnom inteligencijom).

Odgovorite na ono što studenti vjeruju

Studenti dolaze s radnim teorijama, a većina ih je izgrađena na nečemu što je alat doista učinio. Ispravljanje teorije dio je poučavanja i traži bolji model, a ne upozorenje.

„Ako odgovor zvuči samouvjereno i detaljno, vjerojatno je točan.“

Samopouzdanje i tečnost svojstva su generiranog jezika, a ne dokaz provjere. Model predviđa uvjerljiv tekst i ne provjerava tvrdnje prema dokazima, pa može izmišljati izvore, pogrešno navoditi činjenice, ispuštati kontekst i ponavljati zabludu u izvrsnoj prozi. Tretirajte rezultat kao hipotezu i ispitajte o čemu odgovor ovisi: o izvorima, računu, usporedbi s materijalima kolegija. Test koji treba poučavati jest bi li student istu tvrdnju prihvatio od nepoznate osobe koja nije pokazala nikakav dokaz (Rizik halucinacija).

„AI me razumije i zna što mislim.“

Odgovara na jezik, koristi razgovor i ponekad zadržava informacije, što je dovoljno da se osjeća osobnim. Nema namjeru, iskustvo, brigu ni kontekstualno razumijevanje, a praktična je posljedica to da se može složiti jer je upit sugerirao odgovor. To je ulizivanje umjetne inteligencije, i to je način neuspjeha kojem se studenti najmanje nadaju. Zamolite ga da navede slabosti u obrazloženju, ponudi protudokaze i kaže što bi njegov odgovor učinilo pogrešnim, a zatim provjerite neovisno. Slaganje nije potvrda.

„Jedan dobar upit trebao bi dati točan odgovor.“

Rezultat je osjetljiv na upit i često nedeterminiran, pa male promjene u formulaciji, kontekstu, primjerima ili pretpostavkama znatno pomiču odgovor, a ponovno pitanje nije provjera. Pet sličnih odgovora može dijeliti jednu pogrešnu premisu. Produktivna iteracija razjašnjava cilj i ograničenja, razotkriva pretpostavke, traži alternative, testira prema dokazima i provjerava preživljava li odgovor promjenu problema. To je vještina, i to neravnomjerno raspoređena. Primjer naivnog studenta koji koristi chatbot na pitanju ispita za domaću zadaću ostao je „uglađen, ali pedagoški tanak“ na multistrukturnoj razini SOLO taksonomije, a do upotrebljive petlje učenja trebalo je osam krugova intervencije na metarazini: signaliziranje preopterećenja, traženje pojednostavljenja, sužavanje opsega. Autori tu sposobnost nazivaju pismenost za interakciju s AI-jem, što znači sposobnost usmjeravanja, procjene i učenja iz iterativne interakcije, i bilježe pravednosni trn: budući da nevođena upotreba nameće vještinu upravljanja interakcijom koja je neravnomjerno raspoređena, generativna umjetna inteligencija „može najviše koristiti već privilegiranim studentima“ (pismenost za interakciju s AI-jem). Za zahtjeve samoregulacije, odnosno regulacije, koji su ispod toga pogledajte Kako razviti djelotvoran AI tutor?.

„Mladi su već pismeni u području umjetne inteligencije jer su digitalni urođenici.“

Poznavanje digitalnih proizvoda nije sposobnost procjene AI-ja. Student može otvoriti chatbot, generirati sliku i zatražiti odgovor, a pritom ne može provjeriti tvrdnju, uočiti izmišljeni dokaz, otkriti pristranost ili ulizivanje, zaštititi osobne podatke, odlučiti što ne prepustiti ni objasniti kako je AI oblikovao rad. Baza znanja sažima istraživanje u kojem se samopouzdanje sa svakodnevnom tehnologijom nije prenijelo na algoritamsko rasuđivanje, tehnološko stvaranje ni kritičku procjenu AI-ja (Iluzija kompetencije). Pismenost se poučava i pokazuje; dob i učestalost upotrebe ne daju je.

„Studenti koji koriste AI lijeni su ili nepošteni.“

Neka se zloupotreba događa, a moralno etiketiranje malo toga objašnjava i još manje sprječava. Odluke oblikuju vrijednost zadatka, vremenski pritisak, samopouzdanje, vršnjačke norme, jasnoća politike, strah od neuspjeha, raniji pristup i to izgleda li rad povezan s nečim do čega je studentu stalo, a studenti razlikuju razradu ideja, uređivanje, objašnjenje i generiranje cijelog teksta, razlike koje opće pravilo briše. Odgovor koji mijenja ponašanje spaja jasna očekivanja, smislenu procjenu, poučavanje odgovorne upotrebe, put za prijavu, provjeru učenja i razmjernu odgovornost. Tretiranje svake upotrebe kao mane karaktera gura je u tajnost, gdje gubite i informaciju i razgovor.

Odgovorite na ono što obitelji i javnost vjeruju

Pitanja izvan zgrade jednostavnija su, a odgovori moraju biti kraći, jer će se ponavljati na sjednici odbora bez ograda.

„Hoće li AI preobraziti obrazovanje ili ga uništiti?“

Obje tvrdnje preuveličavaju ono što tehnologija čini sama po sebi. AI može proširiti pristup objašnjenju, prevođenju, vježbi, povratnim informacijama i asistivnoj podršci, a može dodati dezinformacije, rizik za privatnost, pristranost, pretjerano oslanjanje i nove probleme čestitosti. Oblikovanje, poučavanje, institucionalne odluke i odgovornosti koje učenici zadržavaju odlučuju koji popis raste (Umjetna inteligencija u obrazovanju). Pitanje koje vrijedi postaviti odboru uže je i na njega se može odgovoriti: za koje učenike, zadatke i ishode, pod kojim uvjetima, ova upotreba daje više koristi nego štete.

„AI je u osnovi još jedan kalkulator.“

Usporedba djeluje za jedno svojstvo, jer oboje rasterećuje rad, a pada na opsegu. Kalkulator obavlja definiranu operaciju; generativna umjetna inteligencija proizvodi objašnjenja, argumente, planove, sažetke izvora, kod, povratne informacije i cijele zadatke, njezino je djelovanje mnogo manje prozirno, a rezultat može biti uvjerljiv i pogrešan (Generativna umjetna inteligencija). Zato je odluka o prepuštanju podrobnija. Rasterećenje rutinskog računa može osloboditi učenika za tumačenje; rasterećenje tumačenja uklanja lekciju.

„AI koji suosjeća mari za studenta.“

Sustav može proizvesti jezik koji zvuči pažljivo i podupiruće, i to može pomoći učeniku da artikulira problem ili ustraje u zadatku s niskim ulozima. Izgled brige nije briga, odgovornost ni dužnost skrbi, a model može pogrešno razumjeti situaciju, pojačati uokvirenje korisnika ili loše odgovoriti zvučeći ljubazno (Konverzacijska umjetna inteligencija). Studenti bi trebali znati kada razgovaraju sa sustavom, što se čuva i kada ih on treba uputiti kvalificiranoj odrasloj osobi.

„AI će učiniti nastavnike nepotrebnima.“

Automatizacija zadataka nije zamjena obrazovne funkcije. Izrada primjera, pripremni materijali, odgovaranje na rutinska pitanja i pomoć s povratnim informacijama mogu se preseliti u alat. Tumačenje potreba učenika, izgradnja odnosa, održavanje učionice intelektualno i emocionalno sigurnom, kontekstualiziranje disciplinarnog znanja, etička prosudba i odluka o tome kada je generirani odgovor neprimjeren ostaju uz osobu. Uloga se pomiče prema orkestratoru, oblikovatelju učenja, disciplinarnom vodiču i odgovornom donositelju odluka, što je promjena profesionalnog rada, a ne njegov nestanak (Poučavanje).

Što ljudi koji ovo vode rade pogrešno

Zablude gore pripadaju publici za koju je stranica napisana. Ove pripadaju ljudima koji pišu dopis, i zbog njih dobri ispravci ne prolaze.

„Vođeno podacima znači objektivno.“

Pristranost ulazi kroz podatke za treniranje, oznake, definicije ishoda, upite, jezične pretpostavke, odluke o pristupačnosti, pragove odlučivanja i način na koji osoblje čita rezultat. Ljudska je prosudba također pristrana, što nije dokaz da je automatizirana prosudba neutralna; automatizacija može skriti pristranost iza sučelja i primijeniti je u velikom opsegu (Ublažavanje pristranosti). Za odluke s posljedicama zahtijevajte analizu izvedbe po podskupinama, dokumentaciju uvjeta treniranja i validacije, izvješćivanje o nesigurnosti, smislen ljudski pregled, postupak žalbe, praćenje nakon uvođenja i istragu različite štete.

„Jedan račun po studentu rješava pravednost.“

Jednak pristup prva je od tri crte. Studenti se razlikuju po prethodnom znanju, iskustvu s AI-jem, jeziku, pristupu uz invaliditet, kvaliteti uređaja, raspoloživom vremenu, samopouzdanju i sposobnosti procjene rezultata, a iskusniji studenti koriste alat da prošire svoje učenje, dok slabiji ili manje metakognitivni prihvaćaju pogrešan rezultat ili prepuštaju vježbu koja im je najpotrebnija. Planirajte pristup, zatim vještinu, zatim ishode: tko ga može pouzdano koristiti, tko ga može koristiti i procijeniti, kome doista koristi i koga pogađa nova šteta (Digitalni jaz, Metakognicija).

„Jedna politika na razini ustanove okončat će nesigurnost.“

Tekst politike ne stvara zajedničko razumijevanje. Studenti i osoblje čitaju očekivanja iz institucionalnih smjernica, programskih normi, izvedbenih planova, uputa za zadatke, komentara nastavnika, ponašanja vršnjaka i ranijeg provođenja, a kad se to sukobi, ljudi izmišljaju vlastita pravila. Arhitektura koja djeluje povezuje načela ustanove s programskim očekivanjima, politikama kolegija, uputama za zadatke, razrađenim primjerima i transparentnim postupcima prijave i pregleda, uz obrazovni razlog uz svako ograničenje. Pravilo koje kaže samo „dopušteno“ ili „zabranjeno“ ostavlja prosudbu onome tko je najsamouvjereniji.

„Nespremnost nastavnika je manjak u obuci.“

Ponekad jest. Spremnost je i radno opterećenje, profesionalni identitet, disciplinarne vrijednosti, sumnje u valjanost procjene, slaba institucionalna podrška, nesigurnost oko privatnosti i obrazložena prosudba da određena primjena ne služi studentima. Razvoj zato mora pokriti praktičnu kompetenciju, pedagošku integraciju, svrhu i identitet, vrijeme, politiku, upotrebu specifičnu za disciplinu i mogućnost načelnog neusvajanja. Jednokratni prikaz značajke ne rješava profesionalnu i organizacijsku promjenu (Obrazovni razvoj).

„Dovoljno je reći ljudima točne činjenice.“

Zablude su često stabilni, uvjerljivi mentalni modeli, a ne praznine, i vlastito iskustvo osobe stalno ih potvrđuje: rezultat zvuči samouvjereno, rad izgleda dobro, zadatak je završen brže. Činjenice koje proturječe modelu s radnim objašnjenjem bivaju odbačene. Zamjenjuje ih bolji model plus način da se primijeni, što je slijed opovrgavanja u tekstu opovrgavanja i sinteza u zabludama o umjetnoj inteligenciji.

„Ispraviti nekoga znači reći mu da je bio u krivu.“

Sram proizvodi obrambenost i skrivanje, a poruke poput „samo lijeni studenti koriste AI“ ili „svatko tko vjeruje chatbotu je budala“ napadaju identitet, a ne uvjerenje. Obrađujte uvjerenje i njegove posljedice: priznajte zašto se činilo razumnim, pokažite nesklad poput samouvjerene pogreške, pozovite na predikciju prije nego otkrijete ispravak, dopustite ljudima da usporede pomognutu i samostalnu izvedbu, dajte im strategiju za sljedeći put i pojačajte novi model kroz nekoliko aktivnosti. Ljudi revidiraju mišljenje spremnije kad ih revizija ne stoji dostojanstva.

Zamijenite uvjerenje boljim

Mehanika je dovoljno kratka za sastanak nastavnika. Imenujte uvjerenje, recite zašto izgleda istinito, odbijte ga izravno, objasnite neuspjeh, dajte bolji model i predajte primjenu.

Razrađena verzija, koju možete prilagoditi bilo kojoj stavci na ovoj stranici:

Zabluda: „Dobar zadatak koji je generirala umjetna inteligencija pokazuje da je student naučio.“ Opovrgavanje: „To nije nužno točno. Proizvod pokazuje što su student i AI proizveli zajedno, ali ne otkriva koje je obrazloženje student izveo.“ Zamjena: „Učenje se bolje pokazuje kad student može objasniti, prenijeti, prilagoditi i reproducirati sposobnost.“ Primjena: „Nakon rada uz pomoć AI-ja slijedi objašnjenje, usmena obrana, zapis o procesu ili primjena bez pomoći.“

Zamjena nosi težinu. Uklanjanje zablude bez boljeg objašnjenja ostavlja osobu bez ičega s čime bi mislila, a staro se uvjerenje vraća sljedeći put kad ga iskustvo potvrdi.

Iskustva čine više od opisa. Ona koja mijenjaju uvjerenje čine njegov neuspjeh vidljivim: zamolite ljude da nađu samouvjeren izmišljen citat; usporedite nekoliko proturječnih odgovora na jedan upit; dovršite problem bez pomoći nakon pomognute vježbe; promatrajte kako model preslikava pogrešnu pretpostavku; usporedite tutora koji daje izravan odgovor s onim koji daje naputke; pregledajte rezultate kroz imena, dijalekte ili scenarije; obranite preporuku AI-ja izvornim dokazima. Svako pretvara upozorenje u nešto što je osoba vidjela da se događa i svako daje vježbu u provjeri, kalibraciji povjerenja i odluci o rasterećenju.

Što će vam se vratiti

„Detektor smo već kupili i licenca se ne vraća.“

Onda ga koristite kao jedan signal unutar postupka koji može preživjeti žalbu i proračunajte stopu pogreške umjesto da je zanemarite. Uz stopu lažno pozitivnih koju Vanderbilt nije mogao validirati, 1% od 75.000 radova znači 750 pogrešno označenih studenata, a analiza proceduralne pravde kaže da alati pogrešno razvrstavaju pisce kojima engleski nije materinji. Rezultat detektora je tvrdnja. Zabilježeno objašnjenje je zapis.

„Naši studenti to nikada ne bi učinili.“

Rezultat od 94% neotkrivenih došao je iz radova ubačenih u žive mrežne ispite, što nije priča o zlikovcima. Većina pritiska je nejasnoća i vrijeme, a praktično je pitanje koji put vaš zadatak čini najlakšim. Ako se provjera ocjenjuje, prijava ništa ne stoji i postoji provjera bez pomoći, većina studenata ide putem koji ste izgradili.

„Dobavljač nam je pokazao mjerilo i sretnu studiju slučaja.“

Pitajte što je to mjerilo mjerilo i je li ijedan student nešto naučio sa zatvorenim alatom. Rezultat na tutorskoj rubrici i dobitak u učenju u učionici različite su tvrdnje, a pilot bez uvjeta usporedbe ne može vam reći koju imate. Ista skeptičnost vrijedi i za vašu vlastitu nadzornu ploču.

„Nastavnicima samo treba više obuke.“

Nastavnici su znatno precijenili svoju AI kompetenciju kad se samoprocjena susrela s izvedbom, pa se obuka mora procjenjivati po tome što ljudi mogu, a ne po tome što kažu da znaju. Mora pokriti i svrhu, radno opterećenje i mogućnost odbijanja, inače će oni s najviše osnova za otpor biti upravo oni koji problem razumiju najbolje.

„Roditelji neće prihvatiti ništa osim zabrane.“

Roditelji pitaju je li ono pred njihovim djetetom sigurno i znači li vjerodajnica išta. Odgovorite izravno na to dvoje, pitanjima o pedagoškoj sigurnosti umjesto filtra sadržaja, i argument za zabranu gubi snagu. Pitanje odbora uže je od naslova i lakše ga je braniti.

„Ne možemo voditi usmene obrane za predavaonicu ove veličine.“

Onda ih ne vodite za svakog studenta. Objasnite obrazloženje u pisanom obliku, razgovarajte o izvorima u kratkoj snimljenoj bilješci, revidirajte odlomak, primijenite ideju na novi slučaj ili pročitajte dokaze o procesu koje već prikupljate. Uzmite uzorak radova koji izgledaju nedosljedno s ranijim radom. Provjera je navika ugrađena u kolegij, a ne zaseban događaj za svakog studenta.

„Ništa od ovoga nije naš predmet.“

Smetnja se događa unutar discipline, na koraku gdje alat obavlja praksu koju kolegij postoji da pruži. Zato je odgovor promjena zadatka i rečenica politike, a ne nova jedinica o AI-ju.

Što učiniti ovaj tjedan

1. Uzmite tri uvjerenja koja najčešće čujete i napišite svako kao opovrgavanje: uvjerenje, zašto izgleda istinito, ispravak, zamjenu, primjenu. Jedna stranica, bez citata.

2. Dodajte jednu stavku bez pomoći u procjenu koju već provodite i dajte joj dovoljnu težinu da rezultat nešto znači.

3. Prepravite AI klauzulu jednog kolegija tako da imenuje radnju i korak, i odaberite jedan od četiriju uvjeta za svaku fazu zadatka.

4. Prije sljedeće odluke o obnovi ili pilotu zatražite jednu tablicu po podskupinama, jedan sigurnosni zapis kroz više izmjena i jednu mjeru ishoda bez pomoći. Ako bilo što od toga nedostaje, recite to u pisanom obliku.

5. Provedite jednu dvadesetominutnu aktivnost koja čini da zabluda padne u sobi, koristeći izmišljen citat ili dva proturječna odgovora na isti upit.

Kamo dalje

Zablude o umjetnoj inteligenciji sinteza je koja stoji za ovom stranicom, a Tekst opovrgavanja metoda je za njezinu upotrebu pred publikom. Kako smanjiti varanje uz AI? obrađuje odluke o čestitosti, Kako redizajnirati procjenu za doba AI-ja? obrađuje što ocjena može poduprijeti, a Evaluacija umjetne inteligencije u obrazovanju vodič je za prosudbu pilota ili platforme. Na nastavnoj strani, Nastavnička kompetencija u području umjetne inteligencije i Pismenost u području umjetne inteligencije pokrivaju što ljudi u sobi trebaju moći.

Ideja koju treba zadržati, u obliku koji možete izgovoriti naglas: AI je pogrešiv kognitivni resurs, ne autoritet, ne um i ne dokaz da se učenje dogodilo. Odgovorna upotreba drži osobu odgovornom, čuva mišljenje koje učenje traži, provjerava što je važno i prosuduje uspjeh po trajnoj i pravednoj sposobnosti, a ne po tečnosti, brzini, angažmanu ili dovršenom zadatku.