Ako mám prestavať hodnotenie, aby známka stále hovorila niečo obhájiteľné o tom, čo študent vie alebo dokáže?

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Pravdepodobne držíte úlohu, ktorá roky fungovala a teraz vracia práce, ktoré nedokážete obhájiť. Známka hovorí A; artefakt môže byť väčšinou dielom nástroja. Alebo študent napáda nízku známku z dôvodov, ktoré nedokážete overiť, alebo váš program prepisuje pravidlá hodnotenia a pýta sa vás, čo sa má vo vašom kurze zmeniť do budúceho semestra.

Krátka odpoveď: rozhodnite, čoho má byť známka dôkazom, a zaradte do úlohy aspoň jeden krok, ktorý študent absolvuje bez nástroja, a nastavte rubriku tak, aby platila za uvažovanie, a nie len za produkt. Prestavba, ktorá vynechá druhý a tretí krok, mení to, ako práca vzniká, bez toho, aby zmenila to, čo známka dokáže podporiť.

Krátka verzia

1. Napíšte, ktorú schopnosť známka zastupuje. Samostatnosť, primerané používanie AI alebo schopnosť AI viesť a posudzovať sú tri rôzne konštrukty a jeden artefakt nemôže byť dôkazom všetkých troch.

2. Pridajte do každej úlohy s vysokou váhou jeden overený krok: krátku ústnu kontrolu, aplikáciu v triede, živú ukážku alebo anotované odôvodnenie. Jeden zvyčajne stačí.

3. Stanovte hranicu pre AI pri každom kroku úlohy, nie pre celý kurz. Urobte inventár toho, čo študent v každom kroku robí, a spýtajte sa, čo tam konkrétne hodnotíte.

4. Dajte dôkaz o postupe do rubriky so skutočnými bodmi. Ak rubrika stále odmeňuje len artefakt, študenti budú optimalizovať artefakt.

5. Predpokladajte študenta, ktorý má najväčšie pokušenie zatajiť, a nie toho najsvedomitejšieho, a overte, ktorú voľbu vaše pravidlá robia najľahšou.

Rozhodnite, čoho je známka dôkazom

Začnite tým, že výslovne uvediete, ktorú schopnosť má známka zastupovať. Hodnotíte to, čo študent dokáže samostatne, to, čo dokáže primerane s AI, jeho schopnosť AI posúdiť a viesť, alebo nejakú kombináciu? Validita hodnotenia vo vedomostnej báze to berie ako problém validity: vypracovaný artefakt už nie je dostatočným dôkazom toho, že študent má schopnosť, ktorú artefakt zjavne preukazuje. Toto je hodnotiaca polovica toho istého argumentu; polovica o vynucovaní je v Ako môžem vo svojom predmete znížiť podvádzanie s AI? a všeobecný rámec validity prechádza cez Aké meradlá a výskumné metódy môže inštruktor použiť na hodnotenie intervencií súvisiacich s AI?.

Odpoveď povedzte v sylabe, v zadaní úlohy a v rubrike. Študenti čítajú tri dokumenty a riadia sa tým najkonkrétnejším. „Použitie AI je povolené s uvedením“ nie je tvrdenie o tom, čo meriate, a nedáva študentovi spôsob, ako zistiť, či povolené použitie podkopáva to, čo hodnotíte.

Riziko zámeny konštruktu

Článok Od autentických produktov k overeným postupom nazýva výsledné riziko zámena konštruktu: hodnotiteľ pripisuje produkt sprostredkovaný AI študentovi a nechtiac meria schopnosti nástroja namiesto schopností študenta. Odporúčaná odpoveď je urobiť uvažovanie, úsudok, overovanie, iteráciu a zodpovednosť študenta viditeľnými prostredníctvom prístupov, ako sú etapové odovzdávania, anotované odôvodnenia rozhodnutí, záznamy o postupe, vyhlásenia o využití spätnej väzby, ústne obhajoby a iné formy overeného dôkazu o postupe.

Ten zoznam je menu a to, ktorá položka je najlacnejšia, závisí od veľkosti vašej triedy. Pri skupine 25 študentov je päťminútová ústna kontrola na študenta pri každej veľkej úlohe približne dve hodiny hodnotenia, ktoré možno už aj tak venujete. Pri prednáške pre 300 sa etapové odovzdávania a anotované odôvodnenia škálujú tam, kde ústne obhajoby nie, a náhodná ústna kontrola prác, ktoré vyzerajú anomálne, je to, čo zostáva praktické. Vyberte si možnosť, ktorú dokážete udržať v behu aj v desiatom týždni.

Do každej úlohy zaradte jeden overený krok

V praxi silná architektúra hodnotenia často spája autentickú úlohu s podporou AI s nejakou formou samostatného overenia. Podľa disciplíny to môže byť krátke ústne vysvetlenie, aplikácia v triede, živá ukážka, anotované portfólio, krátka časť bez pomoci alebo otázky o kľúčových rozhodnutiach.

Koncept autentického hodnotenia tiež zdôrazňuje realistickú intelektuálnu prácu, kognitívnu výzvu, agentúru študenta, spätnú väzbu a sociálnu alebo profesijnú autentickosť. Zosilniť úlohu proti AI bez toho, aby ste ju urobili hodnejšou vykonania, vám nechá to isté hodnotenie a prácu navyše.

Prejdite úlohu krok za krokom a stanovte hranicu tam

Metóda na úrovni úlohy, ktorá to robí zvládnuteľným, je tá, ktorú dokumentuje McCorkle: urobte inventár každého kroku, ktorý študent vykoná, pri každom sa spýtajte „čo konkrétne hodnotím?“ a odvodte hranicu pre AI z odpovede, čo je aj spôsob, akým sa očakávania za Ako môžem vo svojom predmete znížiť podvádzanie s AI? stávajú výslovnými a vynútiteľnými.

Prejdite to raz na svojej najspornejšej úlohe a výstup zapíšte do zadania úlohy. Typický výsledok sa delí čisto: rané kroky vyhľadávania a písania konceptu sú miestom, kde žije konštrukt a kde nástroj spôsobuje škodu, kým formátovanie, kontrola odkazov a jazyková úprava sú kroky, v ktorých je používanie nástroja pre váš konštrukt neviditeľné a pravdepodobne by sa mali povoliť úplne. Paušálne povolenia aj paušálne zákazy zlyhávajú, pretože odpoveď sa skutočne líši krok od kroku.

Nastavte rubriku tak, aby platila za postup

Mohamed a Temimi preformulúvajú ten istý problém ako problém nedokonalých informácií, a nie morálky: študent vie, ako práca vznikla, a inštitúcia vidí len artefakt plus čiastočné stopy, takže dizajnová otázka sa stáva otázkou, ktorú odpoveď študenta robí každé hodnotiace prostredie najatraktívnejšou. Ich model reakčných oblastí porovnáva tri voľby, žiadne používanie AI, vykázané používanie a skryté používanie, a ukazuje, že pravidlá, monitorovanie, vykazovanie a prestavba pôsobia rôznymi kanálmi a uspejú len vtedy, keď sa najatraktívnejšia odpoveď zhoduje s účelom hodnotenia.

Dva výsledky sa týkajú architektúry priamo. Odstrašenie prebieha cez rozlišovaciu schopnosť detektora medzi skrytým používaním a legitímnou prácou, a nie cez jeho hrubú mieru záchytu, takže keď falošné pozitíva rastú rýchlejšie než skutočné, silnejšie monitorovanie môže urobiť zatajovanie relatívne atraktívnejším. A prestavba posúva študentov k zodpovednému používaniu len vtedy, keď rubrika skutočne odmeňuje dôkaz o postupe; inak zostáva kozmetickou. Ich praktické pravidlo je navrhovať pre študenta s najväčším pokušením zatajiť, a nie pre toho najsvedomitejšieho.

Ak odsek s odôvodnením, záznam o revíziách alebo reflexia odmietnutého návrhu AI nemajú žiadne body, napíšu sa za päť minút a nikto ich neprečíta. Dajte dôkazu o postupe toľko váhy, aby študent, ktorý ho vynechá, stratil viac, než získa vynechaním, a opíšte, ako vyzerá dobrý dôkaz o postupe, s rovnakou konkrétnosťou, akú používate pri produkte.

Variácia úloh podľa študenta je podmienená schopnosťou, nie zadarmo

Jednou populárnou architektúrou bez dohľadu je variácia úloh podľa študenta, kde každý skúšaný dostane na povrchu odlišnú, ale z hľadiska konštruktu ekvivalentnú verziu tej istej úlohy, takže odpovede sa nedajú užitočne zdieľať. VARIA, Benchmark so 600 generovanými variantmi v 60 bunkách podmienok, zistil, že frontierové modely sa tesne zhlukujú v spoločnom skóre integrity (0,81-0,88), kým nefrontierové referencie klesajú na 0,50-0,55, a že žiadna jednotlivá stratégia promptovania neoptimalizuje povrchovú rozmanitosť a ekvivalenciu konštruktu zároveň. Variáciu vo veľkom sa nedá predpokladať len z promptovania, takže inštitúcia by mala overiť svoju vlastnú dvojicu modelu a promptu skôr, než tú záruku bude považovať za skutočnú.

Pre rozhodnutie na úrovni kurzu to znamená jeden test pred záväzkom: vygenerujte sadu variantov z jednej zo svojich úloh, dajte kolegovi oznámkovať dva z nich na tú istú schopnosť a porovnajte. Ak sa známky na variantoch rozídu, tvrdenie o ekvivalencii pre vašu úlohu neplatí a ochrana pred zdieľanými odpoveďami je zaplatená nespravodlivosťou.

Prestavba zriedka prebieha úlohu po úlohe

V kvalitatívnej štúdii 12 akademikov a 17 študentov na veľkej austrálskej univerzite Nicola-Richmond a spol. zistili, že obe skupiny súhlasili, že hodnotenie sa musí zmeniť, ale zdôraznili systémové trenie: dlhé dodacie lehoty, akreditačné obmedzenia veľkých ročníkov, pracovné zaťaženie a náklady. Dospeli k tomu, že prestavba potrebuje celú dedinu, teda tím na úrovni programu, ktorý spája expertízu v dizajne hodnotenia, generatívnej AI, odbore, priemysle a dôkazoch, s bodmi AI gramotnosti a zabezpečenia učenia strategicky rozmiestnenými naprieč kvalifikáciou. Ak ste jeden vyučujúci s jedným kurzom, to zistenie je varovaním pred tým, čo vás spomalí, a dôvodom, prečo vziať vedúceho programu do prvého rozhovoru, a nie do posledného.

Účel záleží rovnako ako mechanika. El Khoury a Ma tvrdia, že reforma organizovaná len okolo predchádzania nečestnému konaniu je príliš defenzívna, a navrhujú radostné hodnotenie, bezpečné, emocionálne vnímavé, posilňujúce a podporujúce agentúru študenta, v ktorom je integrita dôsledkom dobrého dizajnu, a nie jeho východiskom. Ich vypracovaný príklad používa vyučujúcim vytvoreného agenta AI na to, aby študenti nacvičovali pred hodnotením a aby vznikla správa o dôkazoch zosúladená s rubrikou, ale deľba práce je uvedená priamo: AI organizuje dôkazy, vyučujúci ich interpretuje.

Čo sa vám vráti

„Nemám hodiny na ústne kontroly.“ Potom ich nespúšťajte na všetko. Jedna overená zložka v úlohe s najvyššou váhou plus náhodná kontrola prác, ktoré vyzerajú nekonzistentné s predchádzajúcimi odovzdaniami, rieši väčšinu rizika za zlomok nákladov. Škálovateľné položky sú etapové odovzdávania a anotované odôvodnenia.

„Akreditácia a schvaľovanie programu sa tak rýchlo nepohnú.“ Štúdia vyššie uvádza dlhé dodacie lehoty a akreditačné obmedzenia veľkých ročníkov ako ústredné trenie. Jeden kurz môže zmeniť to, čo sa deje v existujúcom hodnotení, bez zmeny jeho názvu, jeho váhy alebo výstupov učenia, a to zvyčajne stačí na začiatok.

„Toto znevýhodňuje úzkostlivých študentov a študentov so zdravotným postihnutím.“ Môže. Živé ústne zložky potrebujú úpravy podmienok naplánované vopred, výber formátu tam, kde to konštrukt dovoľuje, a pozornosť voči jazykovej odlišnosti a skresleniu hodnotiteľa. Overujte schopnosť, nie podmienky výkonu.

„Mali by sme si jednoducho kúpiť detektor.“ Výsledok o rozlišovacej schopnosti hovorí proti tomu, aby bol chrbtovou kosťou dizajnu: ak falošné pozitíva rastú rýchlejšie než skutočné, silnejšie monitorovanie robí zatajovanie relatívne atraktívnejším. Detekcia môže mať miesto v odpovedi, ktorá zároveň prestavuje úlohu, a Mali by sme používať detektory AI? pokrýva ten argument.

„Študenti budú AI používať tak či tak.“ Budú, a dizajnová otázka je, ktorú odpoveď vaša úloha robí najľahšou. Ak vykázanie študenta nič nestojí a rubrika platí za postup, väčšina ho prijme; ak vykázanie vyvoláva podozrenie, zatajenie sa stáva racionálnou voľbou.

Čo urobiť tento týždeň

1. Napíšte jednu vetu, ktorá pomenuje schopnosť, ktorú vaša najbližšia veľká úloha hodnotí. Dajte ju do zadania úlohy.

2. Vyberte jediný najlacnejší overený krok, ktorý dokážete udržať, a pridajte ho do tej úlohy.

3. Urobte inventár krokov úlohy a označte každý ako nesúci konštrukt alebo nie. Povoľte AI tam, kde konštrukt nenesie, obmedzte ju tam, kde ho nesie.

4. Pridajte do rubriky dôkaz o postupe s pridelenými bodmi a povedzte, ako vyzerá dobrý.

5. Vezmite zmenu k vedúcemu programu a k úradu, ktorý schvaľuje úpravy podmienok, pred začiatkom semestra, a nie po prvom odvolaní.

Kam ďalej

Argument validity za celou touto stránkou je v Assessment Validity; sprievodná stránka o vynucovaní je Ako môžem vo svojom predmete znížiť podvádzanie s AI?, s Ako napísať politiku používania AI v predmete a komunikovať ju študentom? vedľa nej. Aké sú osvedčené postupy pre výučbu písania v kontexte AI? pokrýva formulácie, ktorými sa študenti skutočne riadia, a Aké meradlá a výskumné metódy môže inštruktor použiť na hodnotenie intervencií súvisiacich s AI? pokrýva, či nástroj, okolo ktorého navrhujete, vôbec funguje.