Hvordan redesigner jeg vurderingen slik at karakteren fortsatt sier noe forsvarlig om hva studenten kan?

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Du holder sannsynligvis i en oppgave som fungerte i årevis og nå leverer arbeid du ikke kan forsvare. Karakteren sier A; arbeidet kan i stor grad være verktøyets. Eller en student bestrider en lav karakter på grunnlag du ikke kan sjekke, eller programmet ditt skriver om vurderingspolicyen sin og spør deg hva som bør endres i emnet ditt innen neste termin.

Det korte svaret: bestem hva karakteren skal være evidens for, legg inn minst ett trinn i oppgaven som studenten fullfører uten verktøyet, og la vurderingsmatrisen betale for resonnementet i stedet for bare produktet. Et redesign som hopper over det andre og tredje trinnet, endrer hvordan arbeid produseres uten å endre hva karakteren kan underbygge.

Kortversjonen

1. Skriv ned hvilken kompetanse karakteren representerer. Uavhengighet, hensiktsmessig bruk av AI, eller evnen til å styre og vurdere AI er tre ulike konstrukter, og ett arbeid kan ikke være evidens for alle tre.

2. Legg ett autentisert trinn til hver oppgave med høy innsats: en kort muntlig sjekk, en anvendelse i klassen, en live demonstrasjon eller en annotert begrunnelse. Ett er vanligvis nok.

3. Sett AI-grensen per oppgavetrinn, ikke per emne. Kartlegg hva studenten gjør ved hvert trinn, og spør hva du spesifikt vurderer der.

4. Legg prosessevidens inn i vurderingsmatrisen med reelle poeng. Hvis matrisen fortsatt bare belønner arbeidet, vil studentene optimalisere for arbeidet.

5. Ta utgangspunkt i studenten som er mest fristet til å skjule, ikke den mest samvittighetsfulle, og sjekk hvilket valg reglene dine gjør lettest.

Bestem hva karakteren er evidens for

Begynn med å si eksplisitt hvilken kompetanse karakteren skal representere. Vurderer du hva en student kan gjøre uavhengig, hva de kan oppnå hensiktsmessig med AI, evnen deres til å evaluere og styre AI, eller en kombinasjon av disse? Kunnskapsbasens Vurderingsvaliditet behandler dette som et validitetsproblem: et polert arbeid er ikke lenger tilstrekkelig evidens for at studenten har kompetansen arbeidet tilsynelatende viser. Dette er vurderingssiden av samme argument; håndhevingssiden står i Hvordan kan jeg redusere AI-juks i emnet mitt?, og den generelle validitetsinnrammingen går gjennom Hvilke mål og forskningsmetoder kan en underviser bruke for å evaluere AI-relaterte tiltak?.

Si svaret i emnebeskrivelsen, i oppgavearket og i vurderingsmatrisen. Studenter leser tre dokumenter og følger det som er mest spesifikt. «AI-bruk er tillatt med anerkjennelse» er ikke en erklæring om hva du måler, og det gir en student ingen måte å vite om den tillatte bruken undergraver det du vurderer.

Risikoen for konstruktsubstitusjon

Artikkelen Fra autentiske produkter til autentiserte prosesser kaller risikoen som følger, konstruktsubstitusjon: vurdereren tilskriver et AI-formidlet produkt til studenten og måler utilsiktet verktøyets kapabiliteter i stedet for studentens. Den anbefalte responsen er å gjøre studentens resonnement, dømmekraft, verifisering, iterasjon og ansvar synlig gjennom tilnærminger som trinnvise innleveringer, annoterte beslutningsbegrunnelser, prosessregistreringer, erklæringer om bruk av tilbakemelding, muntlige forsvar og andre former for autentisert prosessevidens.

Den listen er en meny, og hvilket punkt som er billigst, avhenger av kullstørrelsen din. For en gruppe på 25 er en fem minutters muntlig sjekk per student per stor oppgave omtrent to timer sensur du kanskje allerede bruker. For en forelesning med 300 skalerer trinnvise innleveringer og annoterte begrunnelser der muntlige forsvar ikke gjør det, og en stikkprøve med muntlig sjekk på arbeidet som ser avvikende ut, er det som forblir praktisk. Velg alternativet du fortsatt klarer å holde gående i uke ti.

Legg ett autentisert trinn i hver oppgave

I praksis kombinerer en sterk vurderingsarkitektur ofte en autentisk oppgave som muliggjøres av AI med en eller annen form for uavhengig verifisering. Avhengig av disiplin kan det omfatte en kort muntlig forklaring, anvendelse i klassen, live demonstrasjon, annotert portefølje, kort uassistert komponent eller spørsmål om sentrale beslutninger.

Begrepet autentisk vurdering vektlegger også realistisk intellektuelt arbeid, kognitiv utfordring, studentautonomi, tilbakemelding og sosial eller profesjonell autentisitet. Å herde en oppgave mot AI uten å gjøre den mer verdt å gjøre, gir deg samme vurdering og ekstra arbeid.

Gå oppgaven trinn for trinn og sett grensen der

Metoden på oppgavenivå som gjør dette håndterbart, er den McCorkle dokumenterer: kartlegg hvert trinn en student utfører, spør ved hvert trinn «hva, spesifikt, vurderer jeg?», og utled AI-grensen fra svaret, som også er hvordan forventningene bak Hvordan kan jeg redusere AI-juks i emnet mitt? blir eksplisitte og håndhevbare.

Kjør den én gang på din mest omstridte oppgave og skriv resultatet inn i oppgavearket. Et typisk resultat skiller seg rent: de tidlige trinnene med kildeinnhenting og utkastskriving er der konstruktet bor og der verktøyet gjør skaden, mens formatering, referansesjekk og språkvask er trinn der verktøybruk er usynlig for konstruktet ditt og sannsynligvis bør tillates helt. Generelle tillatelser og generelle forbud feiler begge fordi svaret virkelig er ulikt fra trinn til trinn.

La vurderingsmatrisen betale for prosessen

Mohamed og Temimi rammer inn samme problem som et spørsmål om ufullstendig informasjon snarere enn moral: studenten vet hvordan arbeidet ble produsert, og institusjonen ser bare arbeidet pluss delvise spor, så designspørsmålet blir hvilken studentrespons hvert vurderingsmiljø gjør mest attraktiv. Deres responsregionmodell sammenligner tre valg, ingen AI-bruk, opplyst bruk og skjult bruk, og viser at regler, overvåking, opplysning og redesign virker gjennom ulike kanaler og lykkes bare når den mest attraktive responsen er i tråd med vurderingens formål.

To resultater treffer arkitekturen direkte. Avskrekking går gjennom en detektors diskriminering mellom skjult bruk og legitimt arbeid, ikke gjennom dens rå fangstrate, så når falske positive stiger raskere enn sanne positive, kan sterkere overvåking gjøre skjuling relativt mer attraktivt. Og redesign flytter studentene mot ansvarlig bruk bare når vurderingsmatrisen faktisk belønner prosessevidens; ellers forblir det kosmetisk. Deres praktiske regel er å designe for studenten som er mest fristet til å skjule, snarere enn den mest samvittighetsfulle.

Hvis et begrunnelsesavsnitt, en revisjonslogg eller en refleksjon over et forkastet AI-forslag ikke gir poeng, blir det skrevet på fem minutter og lest av ingen. Gi prosessevidensen nok vekt til at en student som hopper over den, taper mer enn de vinner på å hoppe over den, og beskriv hvordan god prosessevidens ser ut med samme spesifisitet som du bruker på produktet.

Oppgavevariasjon per student er betinget av kapasitet, ikke gratis

En populær arkitektur uten overvåking er oppgavevariasjon per student, der hver kandidat får en overfladisk forskjellig, men konstruktlikeverdig versjon av samme oppgave, slik at svar ikke kan deles på nyttig vis. VARIA, en Benchmark med 600 genererte varianter fordelt på 60 betingelsesceller, fant at frontiermodeller klynger seg tett på en samlet integritetsskår (0,81-0,88) mens referanser utenfor frontlinjen faller sammen til 0,50-0,55, og at ingen enkelt promptstrategi optimaliserer både overflatemangfold og konstruktlikeverdighet samtidig. Variasjon i skala kan ikke antas ut fra prompting alene, så en institusjon bør validere sitt eget modell- og promptpar før den behandler garantien som reell.

For en beslutning på emnenivå betyr det én test før du forplikter deg: generer et sett varianter fra en av dine egne oppgaver, la en kollega sensurere to av dem for samme kompetanse, og sammenlign. Hvis karakterene spriker på variantene, holder ikke likeverdighetspåstanden for oppgaven din, og beskyttelsen mot delte svar er betalt med urettferdighet.

Redesign skjer sjelden oppgave for oppgave

I en kvalitativ studie av 12 akademikere og 17 studenter ved et stort australsk universitet fant Nicola-Richmond et al. at begge grupper var enige om at vurdering må endres, men vektla systemisk friksjon: lange ledetider, akkrediteringsbegrensninger ved store kull, arbeidsbelastning og kostnad. De konkluderte med at redesign krever en hel landsby, altså et team på programnivå som kombinerer kompetanse på vurderingsdesign, generativ AI, fag, bransje og evidens, med GenAI-kompetanse og punkter for kvalitetssikring av læringsutbytte plassert strategisk gjennom en studieplan. Hvis du er én underviser med ett emne, er funnet en advarsel om hva som vil bremse deg, og en grunn til å ta programlederen inn i den første samtalen i stedet for den siste.

Formålet betyr like mye som mekanikken. El Khoury og Ma argumenterer for at reform som bare er organisert rundt å forhindre uredelighet, er for defensiv, og foreslår gledesfull vurdering, trygg, emosjonelt responsiv, bemyndigende og støttende for studentens Learner Agency, der integritet er en konsekvens av godt design snarere enn utgangspunktet. Deres gjennomarbeidede eksempel bruker en underviserbygget AI-agent for å øve studentene før vurdering og produsere en rapport om evidens i tråd med vurderingsmatrisen, men arbeidsdelingen sies rett ut: AI-en organiserer evidensen, underviseren tolker den.

Hva som kommer tilbake på deg

«Jeg har ikke timene til muntlige sjekker.» Kjør dem da ikke på alt. Én autentisert komponent i oppgaven med høyest innsats, pluss en stikkprøve på arbeid som ser inkonsistent ut med tidligere innleveringer, håndterer det meste av risikoen til en brøkdel av kostnaden. De skalerbare punktene er trinnvise innleveringer og annoterte begrunnelser.

«Akkreditering og programgodkjenning beveger seg ikke så fort.» Studien over navngir lange ledetider og akkrediteringsbegrensninger ved store kull som den sentrale friksjonen. Et enkelt emne kan endre hva som skjer inne i en eksisterende vurdering uten å endre navnet, vekten eller læringsutbyttene, og det er vanligvis nok til å begynne.

«Dette straffer engstelige studenter og studenter med funksjonsnedsettelser.» Det kan det. Muntlige komponenter krever tilrettelegging planlagt på forhånd, et valg av format der konstruktet tillater det, og oppmerksomhet mot språkforskjeller og sensorforutinntatthet. Verifiser kompetansen, ikke prestasjonsbetingelsene.

«Vi bør bare kjøpe en detektor.» Diskrimineringsresultatet taler imot det som designets ryggrad: hvis falske positive stiger raskere enn sanne positive, gjør sterkere overvåking skjuling relativt mer attraktivt. Deteksjon kan ha en plass i en respons som også redesigner oppgaven, og Bør vi bruke AI-detektorer? dekker det argumentet.

«Studenter vil bruke AI uansett.» Det vil de, og designspørsmålet er hvilken respons oppgaven din gjør lettest. Hvis opplysning ikke koster studenten noe og vurderingsmatrisen betaler for prosessen, tar de fleste den; hvis opplysning vekker mistanke, blir skjuling det rasjonelle valget.

Hva du kan gjøre denne uken

1. Skriv én setning som navngir kompetansen din neste store oppgave vurderer. Sett den i oppgavearket.

2. Velg det ene billigste autentiserte trinnet du klarer å opprettholde, og legg det til i den oppgaven.

3. Kartlegg oppgavens trinn og merk hvert av dem som konstruktbærende eller ikke. Tillat AI der det ikke er, begrens det der det er.

4. Legg prosessevidens inn i vurderingsmatrisen med poeng knyttet til, og si hvordan god prosessevidens ser ut.

5. Ta endringen til programlederen din og til det kontoret som godkjenner tilrettelegging, før semesteret starter i stedet for etter den første klagen.

Hvor du kan gå videre

Validitetsargumentet bak hele siden står i Assessment Validity; følgesiden på håndhevingssiden er Hvordan kan jeg redusere AI-juks i emnet mitt?, med Hvordan skriver jeg en AI-policy for emnet og kommuniserer den til elevene? ved siden av. Hva er beste praksis for skriveundervisning i en AI-kontekst? dekker ordlyden studentene faktisk følger, og Hvilke mål og forskningsmetoder kan en underviser bruke for å evaluere AI-relaterte tiltak? dekker om verktøyet du designer rundt, virker i det hele tatt.