Hur gör jag om bedömningen så att ett betyg fortfarande säger något försvarbart om vad studenten kan eller vet?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

Du sitter förmodligen med en uppgift som fungerade i åratal och som nu ger dig arbete du inte kan försvara. Betyget säger A; produkten kan till stor del vara verktygets. Eller en student bestrider ett lågt betyg på grunder du inte kan kontrollera, eller ditt program skriver om sin bedömningspolicy och frågar vad som borde ändras i din kurs till nästa termin.

Det korta svaret: bestäm vad betyget ska vara evidens för, lägg in minst ett steg i uppgiften som studenten genomför utan verktyget, och låt bedömningsmatrisen betala för resonemanget och inte bara för produkten. En omdesign som hoppar över det andra och tredje steget ändrar hur arbetet produceras utan att ändra vad betyget kan stödja.

Kortversionen

1. Skriv ner vilken förmåga betyget representerar. Självständighet, lämplig användning av AI och förmågan att styra och bedöma AI är tre olika konstrukt, och en produkt kan inte vara evidens för alla tre.

2. Lägg till ett autentiserat steg i varje avgörande uppgift: en kort muntlig kontroll, en tillämpning i klassrummet, en demonstration i realtid eller en kommenterad motivering. Ett räcker oftast.

3. Sätt AI-gränsen per steg i uppgiften, inte per kurs. Inventera vad studenten gör i varje steg och fråga vad du specifikt bedömer där.

4. Lägg processbevis i bedömningsmatrisen med riktiga poäng. Om matrisen fortfarande belönar bara produkten kommer studenterna att optimera för produkten.

5. Räkna med den student som är mest frestad att dölja, inte den mest samvetsgranna, och kontrollera vilket val dina regler gör enklast.

Bestäm vad betyget är evidens för

Börja med att uttryckligen ange vilken förmåga betyget ska representera. Bedömer du vad en student kan göra självständigt, vad hen kan åstadkomma på lämpligt sätt med AI, hens förmåga att värdera och styra AI, eller någon kombination av dessa? Kunskapsbasens Bedömningsvaliditet behandlar detta som ett validitetsproblem: en polerad produkt är inte längre tillräcklig evidens för att studenten har den förmåga som produkten uppenbart uppvisar. Det här är bedömningshalvan av samma argument; kontrollhalvan finns i Att minska AI-fusk, och den allmänna validitetsramen löper genom Att utvärdera AI-interventioner: metoder.

Säg svaret i kursplanen, i uppgiftsbladet och i bedömningsmatrisen. Studenterna läser tre dokument och följer det som är mest specifikt. ”AI-användning är tillåten med redovisning” är inget påstående om vad du mäter, och det ger studenten ingen möjlighet att veta om den tillåtna användningen undergräver det du betygssätter.

Risken för konstruktsubstitution

Artikeln Från autentiska produkter till autentiserade processer kallar den resulterande risken konstruktsubstitution: bedömaren tillskriver studenten en AI-förmedlad produkt och mäter oavsiktligt verktygets förmågor i stället för studentens. Dess rekommenderade svar är att göra studentens resonemang, omdöme, verifiering, iteration och ansvar synliga genom sådana grepp som etappvisa inlämningar, kommenterade beslutsmotiveringar, processprotokoll, redogörelser för hur återkoppling använts, muntliga försvar och andra former av autentiserat processbevis.

Den listan är en meny, och vilken post som är billigast beror på din gruppstorlek. För en grupp på 25 är en femminuters muntlig kontroll per student och stor uppgift ungefär två timmar av den rättning du kanske redan lägger ner. För en föreläsning med 300 är etappvisa inlämningar och kommenterade motiveringar skalbara där muntliga försvar inte är det, och en stickprovsmässig muntlig kontroll på det arbete som ser avvikande ut är det som återstår som praktiskt. Välj det alternativ du fortfarande orkar hålla igång i vecka tio.

Lägg in ett autentiserat steg i varje uppgift

I praktiken kombinerar en stark bedömningsarkitektur ofta en AI-möjliggjord autentisk uppgift med någon form av oberoende verifiering. Beroende på disciplin kan det innebära en kort muntlig förklaring, en tillämpning i klassrummet, en demonstration i realtid, en kommenterad portfölj, en kort ohjälpt del eller frågor om centrala beslut.

Konceptet Autentisk bedömning betonar också realistiskt intellektuellt arbete, kognitiv utmaning, studentens handlingsutrymme, återkoppling och social eller professionell autenticitet. Att härda en uppgift mot AI utan att göra den mer värd att göra lämnar dig med samma bedömning och extra arbete.

Gå igenom uppgiften steg för steg och sätt gränsen där

Metoden på uppgiftsnivå som gör detta hanterbart är den som McCorkle dokumenterar: inventera varje steg en student genomför, fråga för varje steg ”vad, specifikt, bedömer jag?”, och härled AI-gränsen ur svaret, vilket också är hur förväntningarna bakom Att minska AI-fusk blir uttryckliga och genomförbara.

Kör den en gång på din mest omtvistade uppgift och skriv resultatet i uppgiftsbladet. Ett typiskt resultat delar upp sig renodlat: de tidiga stegen för källsökning och utkast är där konstruktet bor och där verktyget gör skadan, medan formatering, referenskontroll och språkredigering är steg där verktygsanvändning är osynlig för ditt konstrukt och förmodligen borde tillåtas rakt av. Generella tillstånd och generella förbud misslyckas båda eftersom svaret verkligen skiljer sig mellan steg.

Låt bedömningsmatrisen betala för processen

Mohamed och Temimi formulerar om samma problem som ett om ofullständig information snarare än moral: studenten vet hur arbetet producerades och institutionen ser bara produkten plus partiella spår, så designfrågan blir vilket studentrespons varje bedömningsmiljö gör mest attraktivt. Deras responsregionmodell jämför tre val, ingen AI-användning, redovisad användning och dold användning, och visar att regler, övervakning, redovisning och omdesign verkar genom olika kanaler och lyckas bara när det mest attraktiva responsen sammanfaller med bedömningens syfte.

Två resultat har direkt bäring på arkitekturen. Avskräckning går genom en detektors diskriminationsförmåga mellan dold användning och legitimt arbete, inte genom dess råa träfffrekvens, så när falska positiva ökar snabbare än sanna positiva kan starkare övervakning göra döljande relativt sett mer attraktivt. Och omdesign flyttar studenterna mot ansvarsfull användning bara när bedömningsmatrisen faktiskt belönar processbevis; annars förblir den kosmetisk. Deras praktiska regel är att utforma för den student som är mest frestad att dölja, inte den mest samvetsgranna.

Om ett motiveringsstycke, en revisionslogg eller en reflektion över ett förkastat AI-förslag inte bär några poäng kommer det att skrivas på fem minuter och läsas av ingen. Ge processbeviset tillräcklig vikt för att en student som hoppar över det förlorar mer än hen vinner på att hoppa över det, och beskriv hur bra processbevis ser ut med samma specificitet som du använder för produkten.

Variation per student är förmågeberoende, inte gratis

En populär övervakningsfri arkitektur är variation per student, där varje examinerad får en ytligt distinkt men konstruktekvivalent version av samma uppgift så att svar inte kan delas på ett användbart sätt. VARIA, en benchmark med 600 genererade varianter över 60 villkorsceller, fann att frontier-modeller klustrade tätt på en sammansatt integritetspoäng (0,81-0,88) medan icke-frontier-referenser faller till 0,50-0,55, och att ingen enskild promptstrategi optimerar ytdiversitet och konstruktekvivalens samtidigt. Variation i skala kan inte antas enbart utifrån promptning, så en institution bör validera sitt eget modell- och promptpar innan den behandlar garantin som verklig.

För ett beslut på kursnivå betyder det ett test innan du binder dig: generera en uppsättning varianter från en av dina egna uppgifter, låt en kollega betygssätta två av dem för samma förmåga och jämför. Om betygen går isär på varianterna håller inte ekvivalenspåståendet för din uppgift, och skyddet mot delade svar betalas med orättvisa.

Omdesign sker sällan uppgift för uppgift

I en kvalitativ studie av 12 akademiker och 17 studenter vid ett stort australiskt universitet fann Nicola-Richmond m.fl. att båda grupperna var ense om att bedömningen måste förändras men betonade systemisk friktion: långa ledtider, ackrediteringsbegränsningar för stora kullar, arbetsbelastning och kostnad. De drog slutsatsen att omdesign kräver en hel by, alltså ett programövergripande team som kombinerar bedömningsdesign, generativ AI, ämneskunskap, branschkunskap och evidenskompetens, med punkter för GenAI-kompetens och kvalitetssäkring av lärandet strategiskt placerade över en examen. Om du är en enskild lärare med en enda kurs är det rönet en varning om vad som kommer att bromsa dig och ett skäl att ta in programansvarig i det första samtalet i stället för det sista.

Syftet betyder lika mycket som mekaniken. El Khoury och Ma hävdar att reform som enbart organiseras kring att förhindra otillåtet beteende är för defensiv och föreslår glädjefull bedömning, trygg, emotionellt lyhörd, stärkande och stöttande av studentens autonomi, där integritet är en konsekvens av god design snarare än dess utgångspunkt. Deras genomarbetade exempel använder en lärarbyggd AI-agent för att repetera med studenterna före bedömningen och för att producera en matrisanpassad evidensrapport, men arbetsdelningen sägs rakt ut: AI:n organiserar evidensen, läraren tolkar den.

Vad som kommer att slå tillbaka mot dig

”Jag har inte timmarna för muntliga kontroller.” Kör dem då inte på allt. En autentiserad komponent i den mest avgörande uppgiften, plus en stickprovskontroll på arbete som ser inkonsekvent ut med tidigare inlämningar, hanterar det mesta av risken till en bråkdel av kostnaden. De skalbara posterna är etappvisa inlämningar och kommenterade motiveringar.

”Ackreditering och programgodkännande kommer inte att röra sig så fort.” Studien ovan namnger långa ledtider och ackrediteringsbegränsningar för stora kullar som den centrala friktionen. En enskild kurs kan ändra vad som händer inom en befintlig bedömning utan att ändra dess namn, dess vikt eller dess lärandemål, och det räcker oftast för att börja.

”Det här missgynnar ängsliga studenter och studenter med funktionsnedsättning.” Det kan det göra. Muntliga komponenter i realtid behöver anpassningar planerade i förväg, ett val av format där konstruktet tillåter det, och uppmärksamhet på språklig skillnad och bedömarpartiskhet. Verifiera förmågan, inte förutsättningarna för prestationen.

”Vi borde bara köpa en detektor.” Diskriminationsresultatet talar emot det som designens ryggrad: om falska positiva ökar snabbare än sanna positiva gör starkare övervakning döljandet relativt sett mer attraktivt. Detektion kan ha en plats i ett svar som också gör om uppgiften, och Bör vi använda AI-detektorer? täcker det argumentet.

”Studenterna kommer att använda AI ändå.” Det kommer de, och designfrågan är vilket respons din uppgift gör enklast. Om redovisning inte kostar studenten något och matrisen betalar för processen tar de flesta den; om redovisning väcker misstanke blir döljande det rationella valet.

Vad du ska göra den här veckan

1. Skriv en mening som namnger den förmåga din nästa stora uppgift betygssätter. Sätt den i uppgiftsbladet.

2. Välj det enskilt billigaste autentiserade steget du kan hålla igång, och lägg till det i uppgiften.

3. Inventera uppgiftens steg och markera varje steg som konstruktbärande eller inte. Tillåt AI där det inte är det, begränsa det där det är det.

4. Lägg processbevis i bedömningsmatrisen med poäng knutna, och säg hur bra ser ut.

5. Ta förändringen till din programansvarige och till det kontor som godkänner anpassningar, före terminsstart i stället för efter det första överklagandet.

Vart du går härnäst

Validitetsargumentet bakom hela sidan finns i Bedömningsvaliditet; kontrollhalvans följeslagare är Att minska AI-fusk, med AI-policy för kursen bredvid. Bästa praxis för skrivundervisning med AI täcker formuleringarna som studenterna faktiskt följer, och Att utvärdera AI-interventioner: metoder täcker huruvida verktyget du utformar kring fungerar över huvud taget.