Jak přepracovat hodnocení, aby známka stále říkala něco obhajitelného o tom, co student zná nebo umí?

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

Pravděpodobně držíte v ruce zadání, které roky fungovalo a teď vrací práci, kterou nedokážete obhájit. Známka říká A, artefakt ale může být z větší části dílem nástroje. Nebo student zpochybňuje nízkou známku z důvodů, které nemůžete ověřit, anebo váš program přepisuje zásady hodnocení a ptá se, co se má ve vašem kurzu změnit do příštího semestru.

Krátká odpověď: rozhodněte, o čem má být známka důkazem, zařaďte do zadání alespoň jeden krok, který student splní bez nástroje, a nastavte rubriku tak, aby platila za uvažování, a ne jen za produkt. Redesign, který vynechá druhý a třetí krok, mění to, jak práce vzniká, aniž by měnil to, co známka může podepřít.

Stručně

1. Zapište, kterou schopnost známka zastupuje. Samostatnost, přiměřené používání AI a schopnost AI vést a posuzovat jsou tři různé konstrukty a jeden artefakt nemůže být důkazem všech tří.

2. Přidejte do každého vysoce rizikového zadání jeden autentizovaný krok: krátkou ústní kontrolu, aplikaci v hodině, živou demonstraci nebo okomentované zdůvodnění. Jeden obvykle stačí.

3. Hranici pro AI stanovte pro každý krok úlohy, ne pro celý kurz. Zmapujte, co student v každém kroku dělá, a ptejte se, co přesně tam hodnotíte.

4. Dejte důkazům o procesu v rubrice skutečné body. Pokud rubrika odměňuje jen artefakt, studenti budou optimalizovat artefakt.

5. Počítejte se studentem, kterého nejvíc láká něco zatajit, a ne s tím nejsvědomitějším, a prověřte, kterou volbu vaše pravidla činí nejsnazší.

Rozhodněte, o čem je známka důkazem

Začněte tím, že výslovně uvedete, kterou schopnost má známka zastupovat. Hodnotíte to, co student dokáže samostatně, co dokáže přiměřeně s AI, jeho schopnost AI posuzovat a vést, nebo nějakou kombinaci těchto věcí? Validita hodnocení ve znalostní bázi to pojímá jako problém validity: vypilovaný artefakt už není dostatečným důkazem, že student disponuje schopností, kterou tento artefakt zjevně předvádí. Toto je hodnoticí polovina téhož argumentu; donucovací polovina je v Jak omezit podvádění s pomocí AI ve svém kurzu? a obecné rámování validity prostupuje Jaké měřicí nástroje a výzkumné metody může pedagog použít k hodnocení intervencí souvisejících s AI?.

Odpověď řekněte v sylabu, v zadání i v rubrice. Studenti čtou tři dokumenty a řídí se tím nejkonkrétnějším. „Použití AI je povoleno s uvedením“ není tvrzení o tom, co měříte, a studentovi nedává žádný způsob, jak zjistit, jestli povolené použití nepodkopává to, co známkujete.

Riziko záměny konstruktu

Článek Od autentických produktů k autentizovaným procesům nazývá výsledné riziko záměna konstruktu: hodnotitel připisuje AI zprostředkovaný produkt studentovi a neúmyslně měří schopnosti nástroje, a ne studenta. Jeho doporučenou odpovědí je učinit studentovo uvažování, úsudek, ověřování, iteraci a odpovědnost viditelnými prostřednictvím postupů, jako jsou stupňované odevzdávky, okomentovaná zdůvodnění rozhodnutí, záznamy o procesu, prohlášení o využití zpětné vazby, ústní obhajoby a další formy autentizovaných důkazů o procesu.

Tento seznam je menu a to, která položka je nejlevnější, závisí na velikosti vaší třídy. U skupiny o 25 studentech je pětiminutová ústní kontrola na studenta u každého velkého zadání zhruba dvě hodiny známkování, které možná už stejně trávíte. U přednášky pro 300 studentů se stupňované odevzdávky a okomentovaná zdůvodnění škálují tam, kde ústní obhajoby ne, a tím, co zůstává praktické, je namátková ústní kontrola u práce, která vypadá anomálně. Zvolte variantu, kterou udržíte v chodu i v desátém týdnu.

Zařaďte do každého zadání jeden autentizovaný krok

V praxi silná architektura hodnocení často kombinuje autentickou úlohu s podporou AI s nějakou formou nezávislého ověření. Podle oboru to může být krátké ústní vysvětlení, aplikace v hodině, živá demonstrace, okomentované portfolio, krátká složka bez podpory nebo dotazování na klíčová rozhodnutí.

Koncept autentické hodnocení také zdůrazňuje realistickou intelektuální práci, kognitivní výzvu, agenturnost studenta, zpětnou vazbu a sociální či profesní autenticitu. Zpevnit úlohu proti AI, aniž by stála za větší úsilí, vám nechá stejné hodnocení a práci navíc.

Projděte zadání krok za krokem a stanovte hranici tam

Metoda na úrovni úlohy, která to činí zvládnutelným, je ta, kterou dokumentuje McCorkle: zmapujte každý krok, který student provádí, u každého se ptejte „co přesně tady hodnotím?“ a hranici pro AI odvoďte z odpovědi, což je zároveň způsob, jak se očekávání stojící za Jak omezit podvádění s pomocí AI ve svém kurzu? stanou výslovnými a vymahatelnými.

Proveďte to jednou na svém nejspornějším zadání a výstup zapište do zadání. Typický výsledek se čistě rozdělí: rané kroky vybavování a návrhu jsou tam, kde žije konstrukt a kde nástroj působí škodu, zatímco formátování, kontrola referencí a jazyková úprava jsou kroky, v nichž je použití nástroje pro váš konstrukt neviditelné a pravděpodobně by mělo být povoleno bez omezení. Plošná povolení i plošné zákazy selhávají, protože odpověď se skutečně krok od kroku liší.

Nastavte rubriku tak, aby platila za proces

Mohamed a Temimi přerámovávají stejný problém jako problém nedokonalé informace, a ne morálky: student ví, jak práce vznikla, a instituce vidí jen artefakt plus částečné stopy, takže návrhovou otázkou se stává, kterou studentskou reakci každé hodnoticí prostředí činí nejpřitažlivější. Jejich model reakčních oblastí porovnává tři volby, žádné použití AI, uvedené použití a skryté použití, a ukazuje, že pravidla, monitoring, uvádění a redesign působí různými kanály a uspějí jen tehdy, když se nejpřitažlivější reakce sladí s účelem hodnocení.

Dva výsledky se týkají architektury přímo. Odstrašení prochází rozlišovací schopností detektoru mezi skrytým použitím a legitimní prací, a ne jeho hrubou mírou záchytu, takže když falešně pozitivní případy rostou rychleji než skutečně pozitivní, silnější monitoring může učinit zatajování relativně přitažlivějším. A redesign posouvá studenty k odpovědnému používání jen tehdy, když rubrika skutečně odměňuje důkazy o procesu; jinak zůstává kosmetický. Jejich praktické pravidlo zní: navrhujte pro studenta, kterého nejvíc láká něco zatajit, a ne pro toho nejsvědomitějšího.

Pokud odstavec se zdůvodněním, protokol revizí nebo reflexe zamítnutého návrhu od AI nenesou žádné body, bude napsán za pět minut a nikdo ho nepřečte. Dejte důkazům o procesu takovou váhu, aby student, který je vynechá, ztratil víc, než získá, a popište, jak vypadá dobrý důkaz o procesu, se stejnou konkrétností, jakou používáte u produktu.

Variabilita úloh pro jednotlivé studenty je podmíněná schopností, ne zdarma

Jednou oblíbenou architekturou bez dohledu je variabilita úloh pro jednotlivé studenty, kdy každý zkoušený dostane povrchově odlišnou, ale konstruktově ekvivalentní verzi téže úlohy, takže odpovědi nelze užitečně sdílet. VARIA, Benchmark se 600 generovanými variantami napříč 60 buňkami podmínek, zjistila, že modely na špičkové úrovni se těsně shlukují ve skóre integrity (0,81-0,88), zatímco nešpičkové reference se propadají na 0,50-0,55, a že žádná jednotlivá strategie promptování neoptimalizuje povrchovou rozmanitost a konstruktovou ekvivalenci zároveň. Variabilitu ve velkém nelze předpokládat jen z promptování, takže instituce by měla ověřit svou vlastní dvojici modelu a promptu, než tuto záruku bude považovat za skutečnou.

Pro rozhodnutí na úrovni kurzu to znamená jeden test, než se zavážete: vygenerujte sadu variant z jedné ze svých vlastních úloh, nechte kolegu oznámkovat dvě z nich na stejnou schopnost a porovnejte. Pokud se známky na variantách rozcházejí, tvrzení o ekvivalenci pro vaši úlohu neplatí a ochrana proti sdíleným odpovědím je zaplacena nespravedlností.

Redesign zřídka probíhá zadání po zadání

V kvalitativní studii 12 akademiků a 17 studentů na velké australské univerzitě zjistili Nicola-Richmond et al., že obě skupiny souhlasí, že hodnocení se musí změnit, ale zdůraznily systémové tření: dlouhé lhůty, omezení akreditace u velkých ročníků, pracovní zátěž a náklady. Uzavřely, že redesign chce celou vesnici, tedy tým na úrovni programu kombinující expertizu v návrhu hodnocení, v generativní AI, v oboru, v praxi a v důkazech, s body gramotnosti v GenAI a zajišťování učení strategicky rozmístěnými napříč kvalifikací. Pokud jste jeden vyučující s jedním kurzem, je toto zjištění varováním o tom, co vás zpomalí, a důvodem přizvat vedoucího programu k prvnímu rozhovoru, a ne k poslednímu.

Účel záleží stejně jako mechanika. El Khoury a Ma argumentují, že reforma organizovaná jen kolem předcházení podvodům je příliš defenzivní, a navrhují radostné hodnocení, bezpečné, emočně vnímavé, posilující a podporující agenturnost studenta, v němž je integrita důsledkem dobrého designu, a ne jeho východiskem. Jejich zpracovaný příklad používá AI agenta vytvořeného vyučujícím k tomu, aby studenty nechal nacvičit situaci před posouzením a aby vyprodukoval zprávu o důkazech v souladu s rubrikou, rozdělení práce je však řečeno jasně: AI organizuje důkazy, vyučující je interpretuje.

Co vám na to řeknou

„Nemám hodiny na ústní kontroly.“ Pak je nedělejte u všeho. Jedna autentizovaná složka v nejrizikovějším zadání plus namátková kontrola u práce, která nevypadá v souladu s dřívějšími odevzdávkami, pokryje většinu rizika za zlomek nákladů. Škálovatelné položky jsou stupňované odevzdávky a okomentovaná zdůvodnění.

„Akreditace a schvalování programu se tak rychle nepohnou.“ Výše uvedená studie označuje dlouhé lhůty a omezení akreditace u velkých ročníků za ústřední tření. Jediný kurz může změnit to, co se děje v rámci stávajícího hodnocení, aniž by měnil jeho název, váhu nebo výsledky učení, a to obvykle stačí na začátek.

„Tohle znevýhodňuje úzkostné studenty a studenty s postižením.“ Může. Živé ústní složky vyžadují úpravy naplánované předem, volbu formátu tam, kde to konstrukt dovolí, a pozornost k jazykové odlišnosti a ke zkreslení hodnotitele. Ověřujte schopnost, ne podmínky předvedení.

„Měli bychom prostě koupit detektor.“ Výsledek o rozlišovací schopnosti mluví proti tomu, aby byl páteří návrhu: pokud falešně pozitivní případy rostou rychleji než skutečně pozitivní, silnější monitoring činí zatajování relativně přitažlivějším. Detekce může mít místo v reakci, která zároveň přepracovává úlohu, a tomuto argumentu se věnuje Máme používat AI detektory?.

„Studenti budou AI používat tak jako tak.“ Budou, a návrhovou otázkou je, kterou reakci vaše zadání činí nejsnazší. Pokud studenta uvedení nic nestojí a rubrika platí za proces, většina z nich ho zvolí; pokud uvedení vzbuzuje podezření, stává se racionální volbou zatajení.

Co udělat tento týden

1. Napište jednu větu, která pojmenuje schopnost, již vaše příští velké zadání známkuje. Dejte ji do zadání.

2. Vyberte jediný nejlevnější autentizovaný krok, který dokážete udržet, a přidejte ho do tohoto zadání.

3. Zmapujte kroky zadání a každý označte jako nesoucí či nenesoucí konstrukt. Kde ho nenese, povolte AI; kde ho nese, omezte ji.

4. Přidejte do rubriky důkazy o procesu s přiřazenými body a řekněte, jak vypadá dobrá podoba.

5. Odneste změnu vedoucímu programu a úřadu, který schvaluje úpravy, ještě před začátkem semestru, a ne až po prvním odvolání.

Kam dál

Argument validity, na němž stojí celá stránka, je v Assessment Validity; protějšek na straně vymáhání je Jak omezit podvádění s pomocí AI ve svém kurzu? a vedle něj Jak napsat politiku AI pro kurz a sdělit ji studentům?. Jaké jsou osvědčené postupy pro výuku psaní v kontextu AI? pokrývá formulace, kterými se studenti skutečně řídí, a Jaké měřicí nástroje a výzkumné metody může pedagog použít k hodnocení intervencí souvisejících s AI? pokrývá to, jestli nástroj, kolem kterého navrhujete, vůbec funguje.