Hoe herontwerp ik toetsing zodat een cijfer nog iets verdedigbaars zegt over wat de student weet of kan?

Automatische machinale vertaling van deze Engelse pagina, nog niet nagekeken door een moedertaalspreker.

U hebt waarschijnlijk een opdracht in handen die jarenlang werkte en nu werk teruggeeft dat u niet kunt verdedigen. Het cijfer zegt 8; het product is misschien grotendeels van de tool. Of een student betwist een laag cijfer op gronden die u niet kunt controleren, of uw opleiding herschrijft haar toetsingsbeleid en vraagt u wat er volgend semester in uw vak moet veranderen.

Het korte antwoord: bepaal waarvan het cijfer bewijs moet zijn, zet minstens één stap in de opdracht die de student zonder de tool uitvoert, en laat de rubric betalen voor de redenering en niet alleen voor het product. Een herontwerp dat de tweede en derde stap overslaat, verandert hoe werk wordt gemaakt zonder te veranderen wat het cijfer kan ondersteunen.

De korte versie

1. Schrijf op welke bekwaamheid het cijfer vertegenwoordigt. Zelfstandigheid, passend gebruik van AI, of het vermogen om AI aan te sturen en te beoordelen zijn drie verschillende constructies, en één product kan geen bewijs van alle drie zijn.

2. Voeg één geauthenticeerde stap toe aan elke opdracht met hoge inzet: een korte mondelinge controle, een toepassing in de klas, een live demonstratie, of een geannoteerde onderbouwing. Eén is meestal genoeg.

3. Stel de AI-grens per taakstap in, niet per vak. Inventariseer wat de student bij elke stap doet en vraag wat u daar specifiek beoordeelt.

4. Zet procesbewijs in de rubric met echte punten. Als de rubric nog steeds alleen het product beloont, gaan studenten op het product optimaliseren.

5. Ga uit van de student die het meest geneigd is te verbergen, niet van de meest plichtsgetrouwe, en kijk welke keuze uw regels het gemakkelijkst maken.

Bepaal waarvan het cijfer bewijs is

Begin met expliciet te stellen welke bekwaamheid het cijfer moet vertegenwoordigen. Beoordeelt u wat een student zelfstandig kan, wat hij met AI op passende wijze kan bereiken, zijn vermogen om AI te evalueren en aan te sturen, of een combinatie daarvan? De toetsingsvaliditeit in de kennisbank behandelt dit als een validiteitsprobleem: een gepolijst product is niet langer voldoende bewijs dat de student de bekwaamheid bezit die dat product kennelijk laat zien. Dit is de toetsingshelft van hetzelfde argument; de handhavingshelft staat in AI-fraude verminderen, en het algemene validiteitskader loopt door het evalueren van AI-interventies.

Zeg het antwoord in de studiegids, in de opdrachtinstructie en in de rubric. Studenten lezen drie documenten en houden zich aan het document dat het meest specifiek is. 'AI-gebruik is toegestaan mits vermeld' is geen uitspraak over wat u meet, en het geeft een student geen enkele manier om te weten of het toegestane gebruik ondermijnt wat u beoordeelt.

Het risico van constructiesubstitutie

Het artikel Van authentieke producten naar geauthenticeerde processen noemt het resulterende risico constructiesubstitutie: de beoordelaar schrijft een AI-bemiddeld product toe aan de student en meet onbedoeld de capaciteiten van de tool in plaats van die van de student. De aanbevolen reactie is het redeneren, het oordeel, de verificatie, de iteratie en de verantwoordelijkheid van de student zichtbaar te maken via benaderingen als gefaseerde inleveringen, geannoteerde beslissingsonderbouwingen, procesverslagen, verklaringen over feedbackgebruik, mondelinge verdedigingen en andere vormen van geauthenticeerd procesbewijs.

Die lijst is een menu, en welk item het goedkoopst is, hangt af van uw groepsgrootte. Voor een groep van 25 is een mondelinge controle van vijf minuten per student per grote opdracht ruwweg twee uur beoordelen die u misschien al besteedt. Voor een hoorcollege van 300 schalen gefaseerde inleveringen en geannoteerde onderbouwingen waar mondelinge verdedigingen dat niet doen, en een steekproefsgewijze mondelinge controle op werk dat afwijkend lijkt, is wat praktisch blijft. Kies de optie die u in week tien nog steeds kunt volhouden.

Zet één geauthenticeerde stap in elke opdracht

In de praktijk combineert een sterke toetsingsarchitectuur vaak een authentieke taak met AI met een vorm van onafhankelijke verificatie. Afhankelijk van de discipline kan dat een korte mondelinge uitleg zijn, een toepassing in de klas, een live demonstratie, een geannoteerd portfolio, een kort onderdeel zonder hulp, of ondervraging over belangrijke beslissingen.

Het concept authentieke toetsing benadrukt ook realistisch intellectueel werk, cognitieve uitdaging, eigen regie van de student, feedback en sociale of professionele authenticiteit. Een taak harder maken tegen AI zonder haar meer de moeite waard te maken, laat u achter met dezelfde toetsing en extra werk.

Loop de opdracht stap voor stap door en zet daar de grens

De methode op taakniveau die dit hanteerbaar maakt, is degene die McCorkle documenteert: inventariseer elke stap die een student uitvoert, vraag bij elke stap 'wat beoordeel ik hier specifiek?', en leid de AI-grens af uit het antwoord, wat ook de manier is waarop de verwachtingen achter AI-fraude verminderen expliciet en handhaafbaar worden.

Voer dit één keer uit op uw meest betwiste opdracht en schrijf de uitkomst in de opdrachtinstructie. Een typisch resultaat valt netjes uiteen: de vroege stappen van bronnen zoeken en schrijven zijn waar de constructie zit en waar de tool de schade aanricht, terwijl opmaak, referenties controleren en taalredactie stappen zijn waar toolgebruik onzichtbaar is voor uw constructie en waarschijnlijk zonder meer toegestaan zou moeten zijn. Algemene toestemmingen en algemene verboden falen allebei, omdat het antwoord werkelijk per stap verschilt.

Laat de rubric betalen voor het proces

Mohamed en Temimi herformuleren hetzelfde probleem als een van onvolmaakte informatie in plaats van moraliteit: de student weet hoe het werk is gemaakt en de instelling ziet alleen het product plus gedeeltelijke sporen, dus wordt de ontwerpvraag welke reactie van de student elke toetsingsomgeving het aantrekkelijkst maakt. Hun responsregiomodel vergelijkt drie keuzes, geen AI-gebruik, gemeld gebruik en verborgen gebruik, en laat zien dat regels, monitoring, openbaarmaking en herontwerp via verschillende kanalen werken en alleen slagen wanneer de aantrekkelijkste reactie aansluit bij het doel van de toetsing.

Twee resultaten raken de architectuur rechtstreeks. Afschrikking loopt via het onderscheidend vermogen van een detector tussen verborgen gebruik en legitiem werk, niet via de ruwe trefkans, dus wanneer fout-positieven sneller stijgen dan terecht-positieven, kan sterkere monitoring verberging relatief aantrekkelijker maken. En herontwerp beweegt studenten alleen naar verantwoord gebruik wanneer de rubric procesbewijs werkelijk beloont; anders blijft het cosmetisch. Hun praktische regel is te ontwerpen voor de student die het meest geneigd is te verbergen in plaats van de meest plichtsgetrouwe.

Als een onderbouwingsalinea, een revisielog of een reflectie op een verworpen AI-suggestie geen punten oplevert, wordt die in vijf minuten geschreven en door niemand gelezen. Geef het procesbewijs genoeg gewicht dat een student die het overslaat meer verliest dan hij wint, en beschrijf hoe goed procesbewijs eruitziet met dezelfde specificiteit die u voor het product gebruikt.

Variatie per student is afhankelijk van bekwaamheid, niet gratis

Een populaire architectuur zonder toezicht is variatie per student, waarbij elke kandidaat een aan de oppervlakte verschillende maar constructiegelijke versie van dezelfde taak krijgt, zodat antwoorden niet nuttig gedeeld kunnen worden. VARIA, een benchmarktoets van 600 gegenereerde varianten over 60 conditiecellen, vond dat frontiermodellen strak clusterden op een gezamenlijke integriteitsscore (0,81-0,88) terwijl niet-frontier-referenties wegzakten naar 0,50-0,55, en dat geen enkele promptstrategie tegelijk oppervlaktediversiteit en constructie-equivalentie optimaliseert. Variatie op schaal kan niet alleen uit prompten worden aangenomen, dus een instelling zou haar eigen combinatie van model en prompt moeten valideren voordat ze de garantie als echt behandelt.

Voor een beslissing op vakniveau betekent dat één test voordat u zich vastlegt: genereer een set varianten uit een van uw eigen taken, laat een collega er twee beoordelen op dezelfde bekwaamheid, en vergelijk. Als de cijfers op de varianten uiteenlopen, houdt de equivalentieclaim voor uw taak geen stand en is de bescherming tegen gedeelde antwoorden betaald met oneerlijkheid.

Herontwerp gebeurt zelden opdracht voor opdracht

In een kwalitatieve studie onder 12 academici en 17 studenten aan een grote Australische universiteit vonden Nicola-Richmond et al. dat beide groepen het erover eens waren dat toetsing moest veranderen, maar dat ze systemische wrijving benadrukten: lange doorlooptijden, accreditatiebeperkingen bij grote cohorten, werklast en kosten. Ze concludeerden dat herontwerp een heel dorp vraagt, dat wil zeggen een opleidingsbreed team dat expertise in toetsontwerp, generatieve AI, vakinhoud, industrie en bewijs combineert, met punten voor GenAI-geletterdheid en assurance of learning strategisch over een kwalificatie verdeeld. Als u één docent bent met één vak, is die bevinding een waarschuwing over wat u zal vertragen en een reden om de opleidingsleider in het eerste gesprek te betrekken en niet in het laatste.

Het doel doet er evenveel toe als de mechaniek. El Khoury en Ma stellen dat hervorming die alleen rond het voorkomen van wangedrag is georganiseerd te defensief is, en bepleiten blijde toetsing: veilig, emotioneel responsief, versterkend en ondersteunend voor de autonomie van studenten, waarin integriteit een gevolg is van goed ontwerp in plaats van het uitgangspunt. Hun uitgewerkte voorbeeld gebruikt een door de docent gebouwde AI-agent om studenten te laten oefenen voor de beoordeling en om een rubric-conform bewijsverslag te produceren, maar de taakverdeling wordt ronduit genoemd: de AI ordent het bewijs, de docent interpreteert het.

Wat er op u afkomt

'Ik heb de uren niet voor mondelinge controles.' Voer ze dan niet bij alles uit. Eén geauthenticeerd onderdeel in de opdracht met de hoogste inzet, plus een steekproefsgewijze controle op werk dat inconsistent lijkt met eerdere inzendingen, dekt het meeste risico tegen een fractie van de kosten. De schaalbare items zijn gefaseerde inleveringen en geannoteerde onderbouwingen.

'Accreditatie en opleidingsgoedkeuring gaan niet zo snel.' De studie hierboven noemt lange doorlooptijden en accreditatiebeperkingen bij grote cohorten als de centrale wrijving. Een enkel vak kan veranderen wat er binnen een bestaande toetsing gebeurt zonder de naam, het gewicht of de leeruitkomsten te wijzigen, en dat is meestal genoeg om te beginnen.

'Dit benadeelt angstige studenten en studenten met een beperking.' Dat kan. Live mondelinge onderdelen vragen om aanpassingen die vooraf zijn gepland, om een keuze in vorm waar de constructie dat toelaat, en om aandacht voor taalkundige verschillen en vertekening bij de beoordelaar. Verifieer de bekwaamheid, niet de omstandigheden waaronder wordt gepresteerd.

'We kunnen beter gewoon een detector kopen.' Het resultaat over onderscheidend vermogen pleit ertegen om die als ruggengraat van het ontwerp te nemen: als fout-positieven sneller stijgen dan terecht-positieven, maakt sterkere monitoring verberging relatief aantrekkelijker. Detectie kan een plaats hebben in een reactie die de taak ook herontwerpt, en moeten we AI-detectoren gebruiken behandelt dat argument.

'Studenten gebruiken AI toch wel.' Dat doen ze, en de ontwerpvraag is welke reactie uw opdracht het gemakkelijkst maakt. Als openbaarmaking de student niets kost en de rubric voor proces betaalt, nemen de meesten die; als openbaarmaking argwaan oproept, wordt verberging de rationele keuze.

Wat u deze week kunt doen

1. Schrijf een zin die de bekwaamheid benoemt die uw volgende grote opdracht beoordeelt. Zet die in de opdrachtinstructie.

2. Kies de goedkoopste geauthenticeerde stap die u kunt volhouden, en voeg die aan die opdracht toe.

3. Inventariseer de stappen van de opdracht en markeer elke stap als constructiedragend of niet. Sta AI toe waar dat niet zo is, beperk haar waar dat wel zo is.

4. Voeg procesbewijs aan de rubric toe met punten eraan verbonden, en zeg hoe goed eruitziet.

5. Neem de verandering mee naar uw opleidingsleider en naar het bureau dat aanpassingen goedkeurt, voordat het semester begint en niet na het eerste beroep.

Waar u verder kunt gaan

Het validiteitsargument achter deze hele pagina staat in toetsingsvaliditeit; de handhavingskant is AI-fraude verminderen, met AI-beleid voor je vak ernaast. beste praktijken voor schrijfonderwijs met AI behandelt de formulering die studenten werkelijk volgen, en het evalueren van AI-interventies behandelt of de tool waarom u heen ontwerpt überhaupt werkt.