Comment repenser l'évaluation pour qu'une note me dise encore quelque chose de défendable sur ce que l'étudiant sait ou sait faire ?

Traduction automatique de la page anglaise, non encore relue par une personne de langue maternelle.

Vous tenez probablement un devoir qui a fonctionné pendant des années et qui revient désormais avec du travail que vous ne pouvez pas défendre. La note dit A ; la production est peut-être en grande partie celle de l'outil. Ou bien un étudiant conteste une note basse pour des raisons que vous ne pouvez pas vérifier, ou bien votre programme réécrit sa politique d'évaluation et vous demande ce qui devrait changer dans votre cours d'ici le prochain trimestre.

La réponse courte : décidez de quoi la note est censée être la preuve, placez dans le devoir au moins une étape que l'étudiant réalise sans l'outil, et faites en sorte que la grille paie le raisonnement plutôt que seulement le produit. Une refonte qui saute la deuxième et la troisième étape change la façon dont le travail est produit sans changer ce que la note peut étayer.

La version courte

1. Écrivez quelle capacité la note représente. L'autonomie, l'usage approprié de l'IA, ou la capacité à diriger et juger l'IA sont trois construits différents, et une seule production ne peut pas être la preuve des trois.

2. Ajoutez une étape authentifiée à chaque devoir à forts enjeux : une courte vérification orale, une application en classe, une démonstration en direct ou une justification annotée. Une seule suffit généralement.

3. Fixez la frontière de l'IA étape par étape, non cours par cours. Inventoriez ce que l'étudiant fait à chaque étape et demandez ce que vous y évaluez précisément.

4. Mettez les preuves de processus dans la grille avec de vrais points. Si la grille ne récompense encore que la production, les étudiants optimiseront pour la production.

5. Supposez l'étudiant le plus tenté de dissimuler, pas le plus consciencieux, et vérifiez quel choix vos règles rendent le plus facile.

Décider de quoi la note est la preuve

Commencez par énoncer explicitement quelle capacité la note est censée représenter. Évaluez-vous ce qu'un étudiant sait faire de façon autonome, ce qu'il sait accomplir de manière appropriée avec l'IA, sa capacité à évaluer et à diriger l'IA, ou une combinaison de ces éléments ? La validité de l'évaluation de la base de connaissances traite cela comme un problème de validité : une production soignée ne suffit plus comme preuve que l'étudiant possède la capacité que cette production semble démontrer. C'est la moitié « évaluation » du même argument ; la moitié « application » se trouve dans Comment puis-je réduire la triche par IA dans mon cours ?, et le cadrage général de la validité traverse Quelles mesures et méthodes de recherche un enseignant peut-il utiliser pour évaluer les interventions liées à l'IA ?.

Dites la réponse dans le plan de cours, dans la consigne du devoir et dans la grille. Les étudiants lisent trois documents et se conforment à celui qui est le plus précis. « L'usage de l'IA est permis avec mention » n'énonce pas ce que vous mesurez, et ne donne à l'étudiant aucun moyen de savoir si l'usage permis sape ce que vous évaluez.

Le risque de substitution de construit

L'article Des produits authentiques aux processus authentifiés nomme le risque qui en résulte : la substitution de construit, où l'évaluateur attribue à l'étudiant une production médiée par l'IA et mesure par inadvertance les capacités de l'outil plutôt que celles de l'étudiant. La réponse qu'il recommande est de rendre visibles le raisonnement, le jugement, la vérification, l'itération et la responsabilité de l'étudiant par des approches comme les remises par étapes, les justifications de décisions annotées, les traces de processus, les déclarations d'usage de la rétroaction, les soutenances orales et d'autres formes de preuves de processus authentifiées.

Cette liste est un menu, et l'élément le moins coûteux dépend de la taille de votre classe. Pour un groupe de 25, une vérification orale de cinq minutes par étudiant et par devoir majeur représente environ deux heures de notation que vous consacrez peut-être déjà. Pour un amphithéâtre de 300, les remises par étapes et les justifications annotées passent à l'échelle là où les soutenances orales ne le font pas, et une vérification orale par échantillon sur les travaux qui semblent anormaux reste ce qu'il y a de praticable. Choisissez l'option que vous pourrez encore tenir en semaine dix.

Placer une étape authentifiée dans chaque devoir

En pratique, une architecture d'évaluation solide combine souvent une tâche authentique assistée par l'IA avec une forme de vérification autonome. Selon la discipline, cela peut inclure une brève explication orale, une application en classe, une démonstration en direct, un portfolio annoté, un court volet sans aide, ou un questionnement sur les décisions clés.

Le concept d'évaluation authentique insiste aussi sur un travail intellectuel réaliste, la difficulté cognitive, l'autonomie de l'étudiant, la rétroaction et l'authenticité sociale ou professionnelle. Durcir une tâche contre l'IA sans la rendre plus digne d'être faite vous laisse avec la même évaluation et du travail en plus.

Parcourir le devoir étape par étape et y fixer la frontière

La méthode au niveau de la tâche qui rend cela traitable est celle que documente McCorkle : inventorier chaque étape que réalise un étudiant, demander pour chacune « qu'est-ce que j'évalue précisément ? », et dériver la frontière de l'IA de la réponse, ce qui est aussi la manière dont les attentes derrière Comment puis-je réduire la triche par IA dans mon cours ? deviennent explicites et applicables.

Faites-le une fois sur votre devoir le plus contesté et écrivez le résultat dans la consigne. Un résultat typique se sépare nettement : les étapes initiales de recherche et de rédaction sont là où réside le construit et où l'outil fait les dégâts, tandis que le formatage, la vérification des références et l'édition linguistique sont des étapes où l'usage d'un outil est invisible pour votre construit et devraient probablement être autorisées sans réserve. Les autorisations générales et les interdictions générales échouent toutes deux parce que la réponse diffère réellement selon l'étape.

Faire payer le processus par la grille

Mohamed et Temimi reformulent le même problème comme un problème d'information imparfaite plutôt que de moralité : l'étudiant sait comment le travail a été produit et l'établissement ne voit que la production plus des traces partielles, si bien que la question de conception devient quelle réponse étudiante chaque environnement d'évaluation rend la plus attrayante. Leur modèle de régions de réponse compare trois choix — aucun usage de l'IA, un usage déclaré et un usage dissimulé — et montre que les règles, la surveillance, la déclaration et la refonte opèrent par des canaux différents et ne réussissent que lorsque la réponse la plus attrayante s'aligne sur la finalité de l'évaluation.

Deux résultats portent directement sur l'architecture. La dissuasion passe par la discrimination d'un détecteur entre usage dissimulé et travail légitime, et non par son taux de détection brut : lorsque les faux positifs augmentent plus vite que les vrais, une surveillance plus forte peut rendre la dissimulation relativement plus attrayante. Et la refonte n'oriente les étudiants vers un usage responsable que si la grille récompense réellement les preuves de processus ; sinon, elle reste cosmétique. Leur règle pratique est de concevoir pour l'étudiant le plus tenté de dissimuler plutôt que pour le plus consciencieux.

Si un paragraphe de justification, un journal de révisions ou une réflexion sur une suggestion de l'IA rejetée ne porte aucun point, il sera écrit en cinq minutes et lu par personne. Accordez aux preuves de processus assez de poids pour que l'étudiant qui les saute perde plus qu'il ne gagne à les sauter, et décrivez à quoi ressemblent de bonnes preuves de processus avec la même précision que celle que vous employez pour la production.

La variation de tâche par étudiant dépend de la capacité, et n'est pas gratuite

Une architecture sans surveillance populaire est la variation de tâche par étudiant, où chaque candidat reçoit une version superficiellement distincte mais équivalente au plan du construit de la même tâche, de sorte que les réponses ne puissent pas être utilement partagées. VARIA, un banc d'essai de 600 variantes générées réparties sur 60 cellules de conditions, a trouvé que les modèles de pointe se regroupent étroitement sur un score d'intégrité conjoint (0.81-0.88) tandis que les références non de pointe s'effondrent à 0.50-0.55, et qu'aucune stratégie de sollicitation n'optimise à la fois la diversité superficielle et l'équivalence de construit. La variation à grande échelle ne peut pas être supposée à partir de la seule sollicitation : un établissement devrait donc valider sa propre paire modèle-invite avant de traiter la garantie comme réelle.

Pour une décision au niveau du cours, cela signifie un test avant de vous engager : générez un ensemble de variantes à partir d'une de vos propres tâches, faites corriger deux d'entre elles par un collègue pour la même capacité, et comparez. Si les notes divergent sur les variantes, l'affirmation d'équivalence ne tient pas pour votre tâche et la protection contre les réponses partagées se paie en injustice.

La refonte se fait rarement devoir par devoir

Dans une étude qualitative portant sur 12 universitaires et 17 étudiants d'une grande université australienne, Nicola-Richmond et al. ont trouvé que les deux groupes s'accordaient sur la nécessité de changer l'évaluation mais soulignaient des frictions systémiques : délais longs, contraintes d'accréditation pour les grands effectifs, charge de travail et coût. Ils concluaient que la refonte demande tout un village, c'est-à-dire une équipe à l'échelle du programme combinant expertise en conception d'évaluation, en IA générative, en contenu disciplinaire, en industrie et en données probantes, avec des points de littératie en IA générative et d'assurance de l'apprentissage placés stratégiquement au long d'un diplôme. Si vous êtes un enseignant seul avec un cours, ce constat est un avertissement sur ce qui vous ralentira et une raison d'amener le responsable de programme dans la première conversation plutôt que dans la dernière.

La finalité compte autant que la mécanique. El Khoury et Ma soutiennent qu'une réforme organisée uniquement autour de la prévention des fautes est trop défensive et proposent une évaluation joyeuse, sûre, émotionnellement réactive, émancipatrice et favorable à l'autonomie de l'étudiant, dans laquelle l'intégrité est une conséquence d'une bonne conception plutôt que son point de départ. Leur exemple travaillé utilise un agent IA construit par l'enseignant pour faire répéter les étudiants avant le jugement et produire un rapport de preuves aligné sur la grille, mais la division du travail est énoncée clairement : l'IA organise les preuves, l'enseignant les interprète.

Les objections qui vous reviendront

« Je n'ai pas les heures pour des vérifications orales. » Alors ne les faites pas sur tout. Un volet authentifié dans le devoir le plus lourd, plus une vérification par échantillon sur les travaux qui semblent incohérents avec les remises antérieures, traite l'essentiel du risque pour une fraction du coût. Les éléments qui passent à l'échelle sont les remises par étapes et les justifications annotées.

« L'accréditation et l'approbation des programmes n'iront pas si vite. » L'étude citée plus haut nomme les délais longs et les contraintes d'accréditation des grands effectifs comme la friction centrale. Un cours isolé peut changer ce qui se passe à l'intérieur d'une évaluation existante sans changer son nom, son poids ni ses résultats d'apprentissage, et cela suffit généralement pour commencer.

« Cela pénalise les étudiants anxieux et les étudiants en situation de handicap. » C'est possible. Les volets oraux en direct exigent des aménagements planifiés à l'avance, un choix de format lorsque le construit le permet, et une attention à la différence linguistique et au biais de l'évaluateur. Vérifiez la capacité, pas les conditions de performance.

« Il suffit d'acheter un détecteur. » Le résultat sur la discrimination plaide contre cette solution comme colonne vertébrale du dispositif : si les faux positifs augmentent plus vite que les vrais, une surveillance plus forte rend la dissimulation relativement plus attrayante. La détection peut avoir sa place dans une réponse qui refond aussi la tâche, et Devrait-on utiliser des détecteurs d'IA ? couvre cet argument.

« Les étudiants utiliseront l'IA de toute façon. » Ils l'utiliseront, et la question de conception est de savoir quelle réponse votre devoir rend la plus facile. Si la déclaration ne coûte rien à l'étudiant et que la grille paie le processus, la plupart la choisissent ; si la déclaration invite au soupçon, la dissimulation devient le choix rationnel.

À faire cette semaine

1. Écrivez une phrase qui nomme la capacité que votre prochain devoir majeur note. Mettez-la sur la consigne.

2. Choisissez la seule étape authentifiée la moins coûteuse que vous puissiez tenir dans la durée, et ajoutez-la à ce devoir.

3. Inventoriez les étapes du devoir et marquez chacune comme porteuse de construit ou non. Autorisez l'IA là où elle ne l'est pas, restreignez-la là où elle l'est.

4. Ajoutez les preuves de processus à la grille avec des points attachés, et dites à quoi ressemble une bonne preuve.

5. Portez le changement à votre responsable de programme et au bureau qui approuve les aménagements, avant le début du semestre plutôt qu'après le premier appel.

Où aller ensuite

L'argument de validité qui sous-tend toute la page se trouve dans Validité de l'évaluation ; le complément côté application est Comment puis-je réduire la triche par IA dans mon cours ?, avec Comment rédiger une politique d'usage de l'IA pour un cours et la communiquer aux étudiants ? à côté. Quelles sont les bonnes pratiques pour enseigner l'écriture dans le contexte de l'IA ? couvre la formulation que les étudiants suivent réellement, et Quelles mesures et méthodes de recherche un enseignant peut-il utiliser pour évaluer les interventions liées à l'IA ? couvre la question de savoir si l'outil autour duquel vous concevez fonctionne tout court.