Cum îmi regândesc evaluarea astfel încât o notă să îmi mai spună ceva defendabil despre ce știe sau ce poate face studentul?

Traducere automată a acestei pagini în limba engleză, încă neverificată de un vorbitor nativ.

Probabil ții în mână o temă care a funcționat ani de zile și care acum întoarce lucrări pe care nu le poți apăra. Nota spune A; produsul poate fi în mare parte al instrumentului. Sau un student contestă o notă mică pe temeiuri pe care nu le poți verifica, sau programul tău își rescrie politica de evaluare și te întreabă ce ar trebui schimbat în cursul tău până la semestrul următor.

Răspunsul scurt: decide despre ce anume trebuie să fie dovadă nota, pune în temă cel puțin o etapă pe care studentul o încheie fără instrument și fă rubrica să plătească raționamentul, nu doar produsul. Regândirea care sare peste a doua și a treia etapă schimbă felul în care se produce munca fără să schimbe ce poate susține nota.

Pe scurt

1. Scrie care competență o reprezintă nota. Independența, folosirea adecvată a IA sau capacitatea de a dirija și judeca IA sunt trei constructe diferite, iar un singur produs nu poate fi dovadă pentru toate trei.

2. Adaugă o etapă autentificată la fiecare temă cu miză mare: o scurtă verificare orală, o aplicație în clasă, o demonstrație live sau o justificare adnotată. Una este de obicei suficientă.

3. Stabilește granița IA pentru fiecare etapă a sarcinii, nu pentru curs. Inventariază ce face studentul la fiecare etapă și întreabă ce anume evaluezi acolo.

4. Pune dovada procesului în rubrică, cu puncte reale. Dacă rubrica recompensează în continuare doar produsul, studenții vor optimiza pentru produs.

5. Pornește de la studentul cel mai tentat să ascundă, nu de la cel mai conștiincios, și verifică ce alegere fac regulile tale cea mai ușoară.

Decide despre ce anume este dovadă nota

Începe prin a enunța explicit ce competență ar trebui să reprezinte nota. Evaluezi ce poate face un student independent, ce poate realiza în mod adecvat cu IA, capacitatea lui de a evalua și dirija IA sau o combinație a acestora? Validitatea evaluării din baza de cunoștințe tratează asta ca pe o problemă de validitate: un produs lustruit nu mai este o dovadă suficientă că studentul posedă competența aparent demonstrată de acel produs. Aceasta este jumătatea dinspre evaluare a aceluiași argument; jumătatea dinspre aplicare strictă este în Reducerea trișatului cu IA, iar cadrul general de validitate trece prin Evaluarea intervențiilor cu IA: metode.

Spune răspunsul în programa de curs, în fișa temei și în rubrică. Studenții citesc trei documente și îl respectă pe cel care este cel mai specific. „Folosirea IA este permisă cu menționare” nu este o afirmație despre ce măsori și nu îi dă studentului nicio cale să știe dacă folosirea permisă subminează exact lucrul pe care îl notezi.

Riscul substituirii de construct

Articolul De la produse autentice la procese autentificate numește riscul care rezultă substituire de construct: evaluatorul atribuie studentului un produs mediat de IA și măsoară din neatenție capacitățile instrumentului, nu pe ale studentului. Răspunsul recomandat este să faci vizibile raționamentul, judecata, verificarea, iterația și responsabilitatea studentului prin abordări precum predările etapizate, justificările adnotate ale deciziilor, înregistrările de proces, declarațiile despre folosirea feedbackului, apărările orale și alte forme de dovadă autentificată a procesului.

Acea listă este un meniu, iar care element este cel mai ieftin depinde de mărimea clasei tale. Pentru o grupă de 25, o verificare orală de cinci minute pe student, la fiecare temă majoră, înseamnă aproximativ două ore de notare pe care poate le cheltuiești deja. Pentru un curs cu 300 de studenți, predările etapizate și justificările adnotate se scalează acolo unde apărările orale nu o fac, iar o verificare orală pe eșantion la lucrările care par anomale este ce rămâne practic. Alege opțiunea pe care o poți ține în funcțiune și în săptămâna a zecea.

Pune o etapă autentificată în fiecare temă

În practică, o arhitectură solidă de evaluare combină adesea o sarcină autentică cu IA activată cu o formă de verificare independentă. În funcție de disciplină, asta poate însemna o scurtă explicație orală, o aplicație în clasă, o demonstrație live, un portofoliu adnotat, o componentă scurtă fără ajutor sau întrebări despre deciziile-cheie.

Conceptul de evaluare autentică subliniază de asemenea munca intelectuală realistă, provocarea cognitivă, autonomia studentului, feedbackul și autenticitatea socială sau profesională. A întări o sarcină împotriva IA fără a o face să merite mai mult te lasă cu aceeași evaluare și cu muncă în plus.

Parcurge tema pas cu pas și pune granița acolo

Metoda la nivel de sarcină care face asta tratabilă este cea pe care o documentează McCorkle: inventariază fiecare etapă pe care o parcurge studentul, întreabă la fiecare „ce anume evaluez aici?” și derivă granița IA din răspuns, ceea ce este și felul în care așteptările din spatele reducerii trișatului cu IA devin explicite și aplicabile.

Rulează metoda o dată pe tema ta cea mai contestată și scrie rezultatul în fișa temei. Un rezultat tipic separă curat: etapele timpurii de recuperare a informației și de schițare sunt locul unde trăiește constructul și unde instrumentul face daunele, în timp ce formatarea, verificarea referințelor și editarea lingvistică sunt etape în care folosirea instrumentului este invizibilă pentru constructul tău și probabil ar trebui permisă fără rezerve. Permisiunile generale și interdicțiile generale eșuează amândouă pentru că răspunsul diferă efectiv de la etapă la etapă.

Fă rubrica să plătească procesul

Mohamed și Temimi reformulează aceeași problemă ca pe una de informație imperfectă, nu de morală: studentul știe cum a fost produsă lucrarea, iar instituția vede doar produsul plus urme parțiale, așa că întrebarea de proiectare devine ce răspuns al studentului face cel mai atractiv fiecare mediu de evaluare. Modelul lor de regiuni de răspuns compară trei alegeri, lipsa folosirii IA, folosirea divulgată și folosirea ascunsă, și arată că regulile, monitorizarea, divulgarea și regândirea acționează prin canale diferite și reușesc doar când răspunsul cel mai atractiv se aliniază cu scopul evaluării.

Două rezultate privesc direct arhitectura. Descurajarea trece prin discriminarea pe care o face un detector între folosirea ascunsă și munca legitimă, nu prin rata lui brută de prindere, așa că, atunci când pozitivele false cresc mai repede decât cele reale, o monitorizare mai strictă poate face ascunderea relativ mai atractivă. Iar regândirea îi mișcă pe studenți spre folosire responsabilă doar când rubrica recompensează efectiv dovada procesului; altfel rămâne cosmetică. Regula lor practică este să proiectezi pentru studentul cel mai tentat să ascundă, nu pentru cel mai conștiincios.

Dacă un paragraf de justificare, un jurnal de revizuiri sau o reflecție despre o sugestie IA respinsă nu poartă puncte, va fi scris în cinci minute și nu îl va citi nimeni. Dă dovezii procesului destulă greutate încât un student care o sare să piardă mai mult decât câștigă sărind-o, și descrie cum arată o dovadă bună a procesului cu aceeași specificitate pe care o folosești pentru produs.

Variația sarcinii pe student este condiționată de competență, nu gratuită

O arhitectură populară fără supraveghere este variația sarcinii pe student, în care fiecare examinat primește o versiune distinctă la suprafață, dar echivalentă ca construct, a aceleiași sarcini, așa încât răspunsurile să nu poată fi împărtășite util. VARIA, un etalon de 600 de variante generate în 60 de celule de condiții, a constatat că modelele de frontieră se strâng la un scor comun de integritate (0,81-0,88), în timp ce referințele non-frontieră se prăbușesc la 0,50-0,55, și a constatat că nicio singură strategie de inginerie a prompturilor nu optimizează deodată diversitatea la suprafață și echivalența de construct. Variația la scară nu poate fi presupusă doar din promptare, așa că o instituție ar trebui să își valideze propria pereche model-prompt înainte să trateze garanția ca reală.

Pentru o decizie la nivel de curs asta înseamnă un singur test înainte să te angajezi: generează un set de variante dintr-una din temele tale, pune un coleg să noteze două dintre ele pentru aceeași competență și compară. Dacă notele se despart la variante, afirmația de echivalență nu rezistă pentru tema ta, iar protecția împotriva răspunsurilor împărtășite este plătită cu nedreptate.

Regândirea se întâmplă rar temă cu temă

Într-un studiu cualitativ cu 12 cadre universitare și 17 studenți la o universitate australiană mare, Nicola-Richmond et al. au constatat că ambele grupuri erau de acord că evaluarea trebuie să se schimbe, dar au subliniat frecarea sistemică: termene lungi de implementare, constrângeri de acreditare pentru cohorte mari, volum de muncă și cost. Au concluzionat că regândirea are nevoie de un sat, adică de o echipă la nivel de program care să combine expertiză în proiectarea evaluării, în IA generativă, în conținutul disciplinei, în industrie și în dovezi, cu puncte de alfabetizare în GenAI și de asigurare a învățării plasate strategic de-a lungul unei calificări. Dacă ești un singur cadru didactic cu un singur curs, acea constatare este un avertisment despre ce te va încetini și un motiv să aduci coordonatorul de program în prima discuție, nu în ultima.

Scopul contează tot atât cât mecanica. El Khoury și Ma susțin că o reformă organizată doar în jurul prevenirii abaterilor este prea defensivă și propun evaluarea bucuroasă, sigură, receptivă emoțional, care împuternicește și care sprijină autonomia studentului, în care integritatea este o consecință a proiectării bune, nu punctul ei de plecare. Exemplul lor lucrat folosește un agent IA construit de cadrul didactic pentru a exersa studenții înainte de judecare și pentru a produce un raport de dovezi aliniat rubricii, dar împărțirea muncii este spusă deschis: IA organizează dovezile, cadrul didactic le interpretează.

Ce se va întoarce împotriva ta

„Nu am orele pentru verificări orale.” Atunci nu le face pentru tot. O componentă autentificată în tema cu cea mai mare miză, plus o verificare pe eșantion la lucrările care par inconsecvente față de predările anterioare, abordează cea mai mare parte a riscului la o fracțiune din cost. Elementele scalabile sunt predările etapizate și justificările adnotate.

„Acreditarea și aprobarea programului nu se vor mișca atât de repede.” Studiul de mai sus numește termenele lungi și constrângerile de acreditare pentru cohorte mari drept frecarea centrală. Un singur curs poate schimba ce se întâmplă în interiorul unei evaluări existente fără să îi schimbe numele, ponderea sau rezultatele învățării, și de obicei asta este suficient pentru început.

„Asta îi penalizează pe studenții anxioși și pe studenții cu dizabilități.” Poate. Componentele orale live au nevoie de adaptări planificate dinainte, de o alegere a formatului acolo unde constructul permite și de atenție la diferența lingvistică și la părtinirea evaluatorului. Verifică competența, nu condițiile de performanță.

„Ar trebui pur și simplu să cumpărăm un detector.” Rezultatul despre discriminare argumentează împotriva lui ca coloană vertebrală a proiectării: dacă pozitivele false cresc mai repede decât cele reale, o monitorizare mai strictă face ascunderea relativ mai atractivă. Detectarea poate avea un loc într-un răspuns care regândește și sarcina, iar Ar trebui să folosim detectoare de IA? acoperă acel argument.

„Studenții vor folosi IA oricum.” Vor folosi, iar întrebarea de proiectare este ce răspuns face tema ta cel mai ușor de ales. Dacă divulgarea nu îl costă nimic pe student și rubrica plătește procesul, cei mai mulți o aleg; dacă divulgarea atrage suspiciunea, ascunderea devine alegerea rațională.

Ce să faci săptămâna aceasta

1. Scrie o propoziție care numește competența pe care o notează următoarea ta temă majoră. Pune-o în fișa temei.

2. Alege singura etapă autentificată cea mai ieftină pe care o poți susține și adaug-o la acea temă.

3. Inventariază etapele temei și marchează fiecare dacă poartă construct sau nu. Permite IA acolo unde nu poartă, restrânge-o acolo unde poartă.

4. Adaugă dovada procesului în rubrică, cu puncte atașate, și spune cum arată ceva bun.

5. Du schimbarea la coordonatorul programului și la orice birou care aprobă adaptările, înainte să înceapă semestrul, nu după prima contestație.

Încotro mai departe

Argumentul de validitate din spatele întregii pagini este în validitatea evaluării; pagina însoțitoare dinspre aplicare strictă este Reducerea trișatului cu IA, cu Politica de curs privind IA alături. Bune practici pentru predarea scrierii cu IA acoperă formularea pe care o urmează efectiv studenții, iar Evaluarea intervențiilor cu IA: metode acoperă dacă instrumentul în jurul căruia proiectezi funcționează măcar.