Hvordan redesigner jeg bedømmelsen, så en karakter stadig siger noget forsvarligt om, hvad den studerende ved eller kan?

Automatisk maskinoversættelse af denne engelske side, der endnu ikke er blevet gennemgået af en modersmålstalere.

Du sidder sandsynligvis med en opgave, der virkede i årevis og nu returnerer arbejde, du ikke kan forsvare. Karakteren siger 12; produktet er måske mest værktøjets. Eller en studerende anfægter en lav karakter på et grundlag, du ikke kan tjekke, eller dit uddannelsesprogram skriver sin bedømmelsespolitik om og spørger dig, hvad der skal ændres i dit kursus inden næste semester.

Det korte svar: beslut, hvad karakteren skal være evidens for, læg mindst ét trin ind i opgaven, som den studerende gennemfører uden værktøjet, og lad rubrikken betale for ræsonneringen snarere end kun for produktet. Et redesign, der springer andet og tredje trin over, ændrer, hvordan arbejdet produceres, uden at ændre, hvad karakteren kan understøtte.

Den korte version

1. Skriv ned, hvilken kompetence karakteren repræsenterer. Uafhængighed, hensigtsmæssig brug af AI og evnen til at styre og bedømme AI er tre forskellige konstrukter, og ét produkt kan ikke være evidens for alle tre.

2. Tilføj ét autentificeret trin til hver opgave med høj indsats: et kort mundtligt tjek, en anvendelse i timen, en live-demonstration eller en annoteret begrundelse. Én er som regel nok.

3. Sæt AI-grænsen pr. opgavetrin, ikke pr. kursus. Kortlæg, hvad den studerende gør ved hvert trin, og spørg, hvad du specifikt bedømmer der.

4. Sæt procesbevis i rubrikken med rigtige point. Hvis rubrikken stadig kun belønner produktet, vil de studerende optimere mod produktet.

5. Antag, at det er den studerende, der er mest fristet til at skjule, ikke den mest samvittighedsfulde, og tjek, hvilket valg dine regler gør lettest.

Beslut hvad karakteren er evidens for

Begynd med at angive eksplicit, hvilken kompetence karakteren skal repræsentere. Bedømmer du, hvad en studerende kan gøre uafhængigt, hvad de kan opnå hensigtsmæssigt med AI, deres evne til at evaluere og styre AI, eller en kombination af disse? Vidensbasens bedømmelsesgyldighed behandler dette som et gyldighedsproblem: et poleret produkt er ikke længere tilstrækkelig evidens for, at den studerende besidder den kompetence, produktet tilsyneladende udviser. Dette er bedømmelsessidens halvdel af samme argument; håndhævelsessidens halvdel står i Hvordan kan jeg reducere AI-snyd i mit kursus?, og den generelle gyldighedsramme løber gennem Hvilke mål og forskningsmetoder kan en underviser bruge til at evaluere AI-relaterede interventioner?.

Sig svaret i studieordningen, i opgavebeskrivelsen og i rubrikken. Studerende læser tre dokumenter og retter sig efter det, der er mest specifikt. »AI-brug er tilladt med angivelse« er ikke en udtalelse om, hvad du måler, og det giver ikke den studerende nogen måde at vide, om den tilladte brug underminerer det, du bedømmer.

Risikoen for konstruktsubstitution

Artiklen Fra autentiske produkter til autentificerede processer kalder den resulterende risiko konstruktsubstitution: bedømmeren tilskriver et AI-formidlet produkt til den studerende og måler utilsigtet værktøjets formåen snarere end den studerendes. Dens anbefalede svar er at gøre den studerendes ræsonnering, dømmekraft, verifikation, iteration og ansvar synlig gennem tilgange som trinvis aflevering, annoterede beslutningsbegrundelser, procesregistreringer, erklæringer om brug af feedback, mundtlige forsvar og andre former for autentificeret procesbevis.

Den liste er en menu, og hvilket punkt der er billigst, afhænger af din holdstørrelse. For et hold på 25 er et mundtligt tjek på fem minutter pr. studerende pr. større opgave omkring to timers bedømmelse, du måske allerede bruger. For et forelæsningshold på 300 skalerer trinvis aflevering og annoterede begrundelser, hvor mundtlige forsvar ikke gør, og et stikprøvetjek af det arbejde, der ser anomalt ud, er det, der forbliver praktisk. Vælg den mulighed, du stadig kan holde kørende i uge ti.

Læg ét autentificeret trin i hver opgave

I praksis kombinerer en stærk bedømmelsesarkitektur ofte en AI-muliggjort autentisk opgave med en form for uafhængig verifikation. Afhængigt af faget kan det omfatte en kort mundtlig forklaring, anvendelse i timen, live-demonstration, annoteret portefølje, en kort del uden hjælp eller spørgsmål om centrale beslutninger.

Begrebet autentisk bedømmelse understreger også realistisk intellektuelt arbejde, kognitiv udfordring, studerendes handlekraft, feedback og social eller professionel autenticitet. At hærde en opgave mod AI uden at gøre den mere værd at udføre efterlader dig med samme bedømmelse og ekstra arbejde.

Gå opgaven igennem trin for trin, og sæt grænsen der

Den opgaveniveau-metode, der gør dette håndterbart, er den McCorkle dokumenterer: kortlæg hvert trin, en studerende udfører, spørg ved hvert trin »hvad bedømmer jeg specifikt?«, og udled AI-grænsen af svaret, hvilket også er måden, forventningerne bag Hvordan kan jeg reducere AI-snyd i mit kursus? bliver eksplicitte og håndhævelige.

Kør den én gang på din mest omstridte opgave, og skriv resultatet ind i opgavebeskrivelsen. Et typisk resultat skiller rent: de tidlige trin med at hente og udkaste er der, hvor konstruktet bor, og hvor værktøjet gør skaden, mens formatering, referencekontrol og sproglig redigering er trin, hvor værktøjsbrug er usynligt for dit konstrukt og sandsynligvis bør tillades helt. Generelle tilladelser og generelle forbud fejler begge, fordi svaret virkelig er forskelligt fra trin til trin.

Lad rubrikken betale for processen

Mohamed og Temimi omformulerer samme problem som et spørgsmål om imperfekt information snarere end moral: den studerende ved, hvordan arbejdet blev produceret, og institutionen ser kun produktet plus delvise spor, så designspørgsmålet bliver hvilket studerendesvar hvert bedømmelsesmiljø gør mest attraktivt. Deres responsområdemodel sammenligner tre valg, ingen AI-brug, oplyst brug og skjult brug, og viser, at regler, overvågning, oplysning og redesign virker gennem forskellige kanaler og kun lykkes, når det mest attraktive svar stemmer overens med bedømmelsens formål.

To resultater rammer arkitekturen direkte. Afskrækkelse løber gennem en detektors diskriminationsevne mellem skjult brug og legitimt arbejde, ikke gennem dens rå fangstrate, så når falske positiver stiger hurtigere end sande positiver, kan stærkere overvågning gøre skjul relativt mere attraktivt. Og redesign flytter kun studerende mod ansvarlig brug, når rubrikken faktisk belønner procesbevis; ellers forbliver det kosmetisk. Deres praktiske regel er at designe for den studerende, der er mest fristet til at skjule, snarere end den mest samvittighedsfulde.

Hvis et begrundelsesafsnit, en revisionslog eller en refleksion over et afvist AI-forslag ikke giver point, bliver det skrevet på fem minutter og læst af ingen. Giv procesbeviset nok vægt til, at en studerende, der springer det over, taber mere, end de vinder ved at springe over, og beskriv, hvordan godt procesbevis ser ud, med samme konkrethed som du bruger på produktet.

Opgavevariation pr. studerende er kompetencebetinget, ikke gratis

En populær overvågningsfri arkitektur er opgavevariation pr. studerende, hvor hver eksaminand får en overfladisk forskellig, men konstruktaekvivalent version af samme opgave, så svar ikke nyttigt kan deles. VARIA, en Benchmark med 600 genererede varianter fordelt på 60 betingelsesceller, fandt, at frontiermodeller klumper tæt sammen på en samlet integritetsscore (0,81-0,88), mens ikke-frontier-referencemodeller falder til 0,50-0,55, og at ingen enkelt promptstrategi optimerer overfladisk diversitet og konstruktaekvivalens på én gang. Variation i skala kan ikke antages ud fra prompting alene, så en institution bør validere sit eget model- og promptpar, før den behandler garantien som reel.

For en beslutning på kursusniveau betyder det én test, før du binder dig: generér et sæt varianter ud fra en af dine egne opgaver, lad en kollega bedømme to af dem efter samme kompetence, og sammenlign. Hvis karaktererne divergerer på varianterne, holder ækvivalenspåstanden ikke for din opgave, og beskyttelsen mod delte svar er betalt med uretfærdighed.

Redesign sker sjældent opgave for opgave

I et kvalitativt studie af 12 akademikere og 17 studerende på et stort australsk universitet fandt Nicola-Richmond et al., at begge grupper var enige om, at bedømmelsen skal ændres, men understregede systemisk friktion: lange ledetider, akkrediteringsbegrænsninger ved store hold, arbejdsbyrde og omkostninger. De konkluderede, at redesign kræver en landsby, altså et programdækkende team, der kombinerer ekspertise i bedømmelsesdesign, generativ AI, fagligt indhold, industri og evidens, med punkter om GenAI-kompetence og sikring af læring placeret strategisk på tværs af en uddannelse. Hvis du er én underviser med ét kursus, er det fund en advarsel om, hvad der vil bremse dig, og en grund til at tage uddannelseslederen ind i den første samtale snarere end den sidste.

Formålet betyder lige så meget som mekanikken. El Khoury og Ma argumenterer for, at reform, der kun er organiseret omkring at forhindre forseelser, er for defensiv, og foreslår glædesfuld bedømmelse, sikker, følelsesmæssigt lydhør, styrkende og understøttende for den studerendes handlekraft, hvor integritet er en konsekvens af godt design snarere end dets udgangspunkt. Deres gennemarbejdede eksempel bruger en underviserbygget AI-agent til at øve de studerende før bedømmelsen og til at producere en rubrikafstemt evidensrapport, men arbejdsdelingen siges klart: AI'en organiserer evidensen, underviseren fortolker den.

Det, du vil få igen

»Jeg har ikke timerne til mundtlige tjek.« Så kør dem ikke på alt. Én autentificeret komponent i den mest afgørende opgave plus et stikprøvetjek af arbejde, der ser uforeneligt ud med tidligere afleveringer, håndterer det meste af risikoen til en brøkdel af omkostningen. De skalerbare punkter er trinvis aflevering og annoterede begrundelser.

»Akkreditering og programgodkendelse flytter sig ikke så hurtigt.« Undersøgelsen ovenfor nævner lange ledetider og akkrediteringsbegrænsninger ved store hold som den centrale friktion. Et enkelt kursus kan ændre, hvad der sker inde i en eksisterende bedømmelse, uden at ændre dens navn, dens vægt eller dens læringsmål, og det er som regel nok til at begynde.

»Det her straffer ængstelige studerende og studerende med handicap.« Det kan det. Mundtlige komponenter live kræver tilpasninger planlagt på forhånd, et valg af format hvor konstruktet tillader det, og opmærksomhed på sproglig forskel og bedømmerbias. Verificér kompetencen, ikke præstationsbetingelserne.

»Vi skal bare købe en detektor.« Resultatet om diskriminationsevne taler imod det som designerens rygrad: hvis falske positiver stiger hurtigere end sande positiver, gør stærkere overvågning skjul relativt mere attraktivt. Detektion kan have en plads i et svar, der også redesignede opgaven, og Skal vi bruge AI-detektorer? dækker det argument.

»De studerende bruger AI alligevel.« Det gør de, og designspørgsmålet er, hvilket svar din opgave gør lettest. Hvis oplysning ikke koster den studerende noget, og rubrikken betaler for proces, tager de fleste den; hvis oplysning indbyder til mistanke, bliver skjul det rationelle valg.

Det, du kan gøre i denne uge

1. Skriv én sætning, der navngiver den kompetence, din næste store opgave bedømmer. Sæt den i opgavebeskrivelsen.

2. Vælg det enkelt billigste autentificerede trin, du kan holde kørende, og føj det til den opgave.

3. Kortlæg opgavens trin, og markér hvert af dem som konstruktbærende eller ej. Tillad AI der, hvor det ikke er tilfældet, og begræns det der, hvor det er.

4. Tilføj procesbevis til rubrikken med point på, og sig, hvordan godt ser ud.

5. Tag ændringen med til din uddannelsesleder og til det kontor, der godkender særlige vilkår, før semesterstart snarere end efter den første klage.

Hvor du kan gå videre

Gyldighedsargumentet bag hele siden står i Assessment Validity; håndhævelsessidens følgesvend er Hvordan kan jeg reducere AI-snyd i mit kursus?, med Hvordan skriver jeg en AI-politik for et kursus og kommunikerer den til studerende? ved siden af. Hvad er bedste praksis for skriveundervisning i en AI-kontekst? dækker den ordlyd, de studerende faktisk følger, og Hvilke mål og forskningsmetoder kan en underviser bruge til at evaluere AI-relaterede interventioner? dækker, om det værktøj du designer omkring overhovedet virker.