Kako redizajnirati vrednovanje tako da ocjena i dalje govori nešto obranjivo o tome što student zna ili može?

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Vjerojatno držite zadatak koji je godinama djelovao, a sada vraća radove koje ne možete obraniti. Ocjena kaže pet; proizvod je možda uglavnom alatov. Ili student osporava nisku ocjenu na osnovi koju ne možete provjeriti, ili vaš program prepisuje svoju politiku vrednovanja i pita vas što bi u vašem kolegiju trebalo promijeniti do sljedećeg semestra.

Kratak odgovor: odlučite o čemu ocjena treba biti dokaz, stavite barem jedan korak u zadatak koji student dovršava bez alata i neka rubrika plaća za zaključivanje, a ne samo za proizvod. Redizajn koji preskoči drugi i treći korak mijenja način na koji rad nastaje, a ne mijenja ono što ocjena može poduprijeti.

Kratka verzija

1. Zapišite koju sposobnost ocjena predstavlja. Samostalnost, primjerena upotreba umjetne inteligencije ili sposobnost usmjeravanja i prosuđivanja umjetne inteligencije tri su različita konstrukta i jedan proizvod ne može biti dokaz za sva tri.

2. Dodajte jedan autentificirani korak svakom zadatku s visokim ulozima: kratku usmenu provjeru, primjenu u nastavi, demonstraciju uživo ili obrazloženje s bilješkama. Jedan je obično dovoljan.

3. Postavite granicu prema umjetnoj inteligenciji po koraku zadatka, a ne po kolegiju. Popišite što student radi u svakom koraku i pitajte što točno tu procjenjujete.

4. Stavite dokaze o procesu u rubriku sa stvarnim bodovima. Ako rubrika i dalje nagrađuje samo proizvod, studenti će optimizirati za proizvod.

5. Pretpostavite studenta kojega najviše mami prikrivanje, a ne najsavjesnijega, i provjerite koju opciju vaša pravila čine najlakšom.

Odlučite o čemu je ocjena dokaz

Počnite tako da izričito navedete koju sposobnost ocjena treba predstavljati. Procjenjujete li što student može samostalno, što može primjereno postići s umjetnom inteligencijom, njegovu sposobnost da prosuđuje i usmjerava umjetnu inteligenciju ili neku kombinaciju toga? Valjanost vrednovanja u ovoj bazi znanja tretira to kao problem valjanosti: uglađen proizvod više nije dovoljan dokaz da student posjeduje sposobnost koju taj proizvod naizgled pokazuje. Ovo je polovica tog argumenta koja se tiče vrednovanja; polovica koja se tiče provedbe nalazi se u smanjenju varanja uz umjetnu inteligenciju, a opći okvir valjanosti provlači se kroz vrednovanje intervencija s umjetnom inteligencijom.

Recite odgovor u izvedbenom planu, u uputi za zadatak i u rubrici. Studenti čitaju tri dokumenta i pridržavaju se onoga koji je najodređeniji. „Upotreba umjetne inteligencije dopuštena je uz navođenje“ nije izjava o tome što mjerite i studentu ne daje način da zna ugrožava li dopuštena upotreba ono što ocjenjujete.

Rizik zamjene konstrukta

Rad Od autentičnih proizvoda do provjerenih procesa naziva nastali rizik zamjenom konstrukta: procjenjivač pripisuje proizvod posredovan umjetnom inteligencijom studentu i nehotice mjeri sposobnosti alata, a ne studentove. Njegov preporučeni odgovor jest učiniti studentovo zaključivanje, prosudbu, provjeru, iteraciju i odgovornost vidljivima kroz pristupe kao što su etapne predaje, obrazloženja odluka s bilješkama, zapisi o procesu, izjave o upotrebi povratne informacije, usmene obrane i drugi oblici autentificiranih dokaza o procesu.

Taj je popis jelovnik, a koja je stavka najjeftinija ovisi o veličini vaše grupe. Za grupu od 25 studenata petominutna usmena provjera po studentu na svakom većem zadatku otprilike su dva sata ocjenjivanja koje možda već trošite. Za predavanje na 300 studenata etapne predaje i obrazloženja s bilješkama skaliraju se tamo gdje usmene obrane ne skaliraju, a provjera na uzorku radova koji izgledaju neobično ono je što ostaje praktično. Odaberite opciju koju možete održavati i u desetom tjednu.

Stavite jedan autentificirani korak u svaki zadatak

U praksi snažna arhitektura vrednovanja često spaja autentičan zadatak uz pomoć umjetne inteligencije s nekim oblikom samostalne provjere. Ovisno o disciplini, to može uključivati kratko usmeno objašnjenje, primjenu u nastavi, demonstraciju uživo, komentirani e-portfelj, kratku komponentu bez pomoći ili ispitivanje o ključnim odlukama.

Koncept autentičnog vrednovanja također naglašava realističan intelektualni rad, kognitivni izazov, autonomiju studenta, povratnu informaciju te socijalnu ili profesionalnu autentičnost. Očvršćivanje zadatka protiv umjetne inteligencije, a da pritom ne postane vrijedniji rada, ostavlja vas s istim vrednovanjem i dodatnim poslom.

Prođite zadatak korak po korak i tamo postavite granicu

Metoda na razini zadatka koja to čini rješivim jest ona koju dokumentira McCorkle: popišite svaki korak koji student obavlja, pitajte za svaki korak „što točno procjenjujem?“ i izvedite granicu prema umjetnoj inteligenciji iz odgovora, što je ujedno način na koji očekivanja iza smanjenja varanja uz umjetnu inteligenciju postaju izričita i provediva.

Provedite to jednom na svom najspornijem zadatku i upišite rezultat u uputu za zadatak. Tipičan se rezultat čisto razdvaja: rani koraci pronalaženja i skiciranja mjesta su na kojima živi konstrukt i na kojima alat čini štetu, dok su oblikovanje, provjera referencija i jezično uređivanje koraci u kojima je upotreba alata nevidljiva za vaš konstrukt i koje vjerojatno treba posve dopustiti. Sveobuhvatna dopuštenja i sveobuhvatne zabrane propadaju jednako, jer se odgovor doista razlikuje od koraka do koraka.

Neka rubrika plaća za proces

Mohamed i Temimi preusmjeravaju isti problem na nesavršenu informaciju, a ne na moral: student zna kako je rad nastao, a ustanova vidi samo proizvod i djelomične tragove, pa dizajnersko pitanje postaje koji odgovor studenta svako okruženje vrednovanja čini najprivlačnijim. Njihov model područja odgovora uspoređuje tri opcije, nikakvu upotrebu umjetne inteligencije, prijavljenu upotrebu i skrivenu upotrebu, i pokazuje da pravila, nadzor, prijava i redizajn djeluju kroz različite kanale i uspijevaju samo kad je najprivlačniji odgovor usklađen sa svrhom vrednovanja.

Dva rezultata izravno se tiču arhitekture. Odvraćanje djeluje kroz razlučivanje detektora između skrivene upotrebe i legitimnog rada, a ne kroz njegovu sirovu stopu hvatanja, pa kad lažno pozitivni rastu brže od stvarno pozitivnih, jači nadzor može prikrivanje učiniti relativno privlačnijim. A redizajn pomiče studente prema odgovornoj upotrebi samo kad rubrika doista nagrađuje dokaze o procesu; inače ostaje kozmetički. Njihovo praktično pravilo jest dizajnirati za studenta kojega najviše mami prikrivanje, a ne za najsavjesnijega.

Ako odlomak obrazloženja, dnevnik revizija ili osvrt na odbijeni prijedlog umjetne inteligencije ne nosi bodove, bit će napisan u pet minuta i neće ga pročitati nitko. Dajte dokazima o procesu dovoljnu težinu da student koji ih preskoči izgubi više nego što dobije preskakanjem, i opišite kako dobar dokaz o procesu izgleda istom određenošću koju rabite za proizvod.

Variranje zadataka po studentu uvjetovano je sposobnošću, a ne besplatno

Jedna popularna arhitektura bez nadzora jest variranje zadataka po studentu, pri čemu svaki kandidat dobiva površinski različit, ali po konstruktu ekvivalentan oblik istog zadatka, pa se odgovori ne mogu korisno dijeliti. VARIA, mjerilo od 600 generiranih varijanti u 60 ćelija uvjeta, našla je da se vrhunski modeli tijesno grupiraju na zajedničkoj ocjeni cjelovitosti (0,81 do 0,88), dok nevrhunski referentni modeli padaju na 0,50 do 0,55, i da nijedna pojedinačna strategija oblikovanja upita ne optimizira istodobno površinsku raznolikost i ekvivalentnost po konstruktu. Variranje u velikom opsegu ne može se pretpostaviti samo na temelju upita, pa ustanova treba provjeriti vlastiti par modela i upita prije nego što jamstvo shvati kao stvarno.

Za odluku na razini kolegija to znači jedan test prije nego što se obvežete: generirajte skup varijanti iz jednog vlastitog zadatka, dajte kolegi da ocijeni dvije od njih za istu sposobnost i usporedite. Ako se ocjene na varijantama razilaze, tvrdnja o ekvivalentnosti ne vrijedi za vaš zadatak i zaštita od dijeljenja odgovora plaćena je nepravednošću.

Redizajn rijetko ide zadatak po zadatak

U kvalitativnoj studiji na 12 akademskih djelatnika i 17 studenata na velikom australskom sveučilištu Nicola-Richmond i sur. našli su da se obje skupine slažu da se vrednovanje mora promijeniti, ali su naglasile sistemsko trenje: duge pripremne rokove, ograničenja akreditacije za velike generacije, opterećenje i trošak. Zaključili su da je za redizajn potrebno cijelo selo, što znači programski tim koji spaja stručnost za dizajn vrednovanja, generativnu umjetnu inteligenciju, predmetno područje, industriju i dokaze, uz točke o pismenosti u području generativne umjetne inteligencije i osiguranju učenja strateški raspoređene kroz kvalifikaciju. Ako ste jedan nastavnik s jednim kolegijem, taj je nalaz upozorenje o tome što će vas usporiti i razlog da voditelja programa uključite u prvi razgovor, a ne u posljednji.

Svrha je jednako važna kao mehanika. El Khoury i Ma tvrde da je reforma organizirana samo oko sprječavanja nedoličnog ponašanja previše obrambena i predlažu radosno vrednovanje, sigurno, emocionalno osjetljivo, osnažujuće i podupiruće za autonomiju studenta, u kojemu je čestitost posljedica dobrog dizajna, a ne njegovo polazište. Njihov razrađeni primjer rabi agenta umjetne inteligencije koji je izradio nastavnik da uvježba studente prije prosudbe i da proizvede izvješće o dokazima usklađeno s rubrikom, ali podjela rada izrečena je jasno: umjetna inteligencija organizira dokaze, nastavnik ih tumači.

Što će vam se vratiti

„Nemam sati za usmene provjere.“ Onda ih ne provodite na svemu. Jedna autentificirana komponenta u zadatku s najvišim ulozima, uz provjeru na uzorku radova koji izgledaju nedosljedno u odnosu na ranije predaje, rješava većinu rizika uz djelić troška. Stavke koje skaliraju jesu etapne predaje i obrazloženja s bilješkama.

„Akreditacija i odobrenje programa neće se kretati tako brzo.“ Gore navedena studija imenuje duge pripremne rokove i ograničenja akreditacije za velike generacije kao središnje trenje. Pojedini kolegij može promijeniti ono što se događa unutar postojećeg vrednovanja, a da ne mijenja njegov naziv, težinu ni ishode učenja, i to je obično dovoljno za početak.

„Ovo kažnjava anksiozne studente i studente s invaliditetom.“ Može. Usmene komponente uživo traže prilagodbe planirane unaprijed, izbor formata gdje konstrukt to dopušta i pozornost na jezične razlike i pristranost procjenjivača. Provjerite sposobnost, a ne uvjete izvedbe.

„Trebamo jednostavno kupiti detektor.“ Rezultat o razlučivanju govori protiv toga da bude okosnica dizajna: ako lažno pozitivni rastu brže od stvarno pozitivnih, jači nadzor čini prikrivanje relativno privlačnijim. Otkrivanje može imati mjesto u odgovoru koji ujedno redizajnira zadatak, a trebamo li rabiti detektore umjetne inteligencije pokriva taj argument.

„Studenti će ionako rabiti umjetnu inteligenciju.“ Hoće, a dizajnersko je pitanje koji odgovor vaš zadatak čini najlakšim. Ako prijava studenta ništa ne stoji, a rubrika plaća za proces, većina će je prihvatiti; ako prijava poziva na sumnju, prikrivanje postaje racionalan izbor.

Što učiniti ovaj tjedan

1. Napišite jednu rečenicu koja imenuje sposobnost koju ocjenjuje vaš sljedeći veliki zadatak. Stavite je u uputu za zadatak.

2. Odaberite jedini najjeftiniji autentificirani korak koji možete održavati i dodajte ga tom zadatku.

3. Popišite korake zadatka i označite svaki kao nositelja konstrukta ili ne. Dopustite umjetnu inteligenciju tamo gdje nije, ograničite je tamo gdje jest.

4. Dodajte dokaze o procesu u rubriku s pridruženim bodovima i recite kako izgleda dobro.

5. Odnesite promjenu voditelju programa i uredu koji odobrava prilagodbe, prije početka nastave, a ne nakon prve žalbe.

Kamo dalje

Argument valjanosti koji stoji za cijelom stranicom nalazi se u valjanosti vrednovanja; prateća stranica o provedbi je smanjenje varanja uz umjetnu inteligenciju, s politikom kolegija o umjetnoj inteligenciji uz nju. Najbolje prakse za poučavanje pisanja uz umjetnu inteligenciju pokrivaju formulacije kojih se studenti doista drže, a vrednovanje intervencija s umjetnom inteligencijom pokriva djeluje li alat oko kojega uopće dizajnirate.