Base de connaissances AIEdAIEd KB
Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Concepts

Validité de l'évaluation

Création 2026-08-09 · Mise à jour 2026-10-10

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

La validité de l'évaluation — la question de savoir si les évaluations mesurent ce qu'elles prétendent mesurer. L'IA en éducation soulève des questions fondamentales de validité : les évaluations notées par l'IA évaluent-elles l'apprentissage des étudiants ou leur compétence à rédiger des invites pour l'IA ? L'usage de l'IA invalide-t-il les hypothèses de l'évaluation traditionnelle ?

Questions à examiner

  • La validité demande si une évaluation mesure ce qu'elle prétend mesurer. Avant de lire, si vous voyiez un étudiant rendre une dissertation soignée que vous soupçonneriez assistée par l'IA, penseriez-vous que le plus grand problème est la triche, ou que la tâche ne mesurait plus ce que vous pensiez qu'elle mesurait ?
  • Cette page pose une question incisive : lorsque les étudiants utilisent l'IA, le score reflète-t-il le savoir de l'étudiant ou sa compétence à rédiger des invites pour l'IA ? Pouvez-vous penser à une évaluation que vous avez conçue ou passée, et dont le score vous en dirait peut-être maintenant plus sur l'outil que sur l'apprenant ?
  • Un constat clé est que la même entrée d'un apprenant peut recevoir des réponses sémantiquement différentes selon le LLM sous-jacent employé — introduisant une « variance non pertinente au construit » qui menace la fiabilité et l'équité. Si deux étudiants reçoivent un soutien différent de l'IA pour la seule raison du modèle qui la porte, quelle équité revêt la comparaison qui en résulte ?
  • La page soutient que même lorsqu'un LLM note bien, transposer les interprétations humaines des scores exige une similarité de la structure latente des réponses — et que les LLM en divergent. Qu'est-ce que cela suggère quant à la confiance accordée à une IA qui « réussit » un examen conçu pour des humains ?
  • Plutôt que d'essayer de détecter l'usage de l'IA, la base de connaissances plaide pour refondre les évaluations afin qu'elles restent valides pour des étudiants capables d'utiliser l'IA. Pourquoi refondre la tâche serait-il une stratégie plus fidèle à la validité que de surveiller si l'IA a été utilisée ?
  • L'IA sert désormais de candidat, de concepteur d'épreuves, de notateur et d'analyste — rendant opaque la chaîne interprétative. Lorsque chaque rôle d'une évaluation est occupé par l'IA, que signifie même le fait de dire qu'une évaluation est « valide » pour l'apprenant humain qui se trouve en son milieu ?

Introduction

Les défis de validité

  • Validité de construit : lorsque les étudiants utilisent l'IA sur des évaluations, le score reflète-t-il le savoir de l'étudiant ou la capacité de l'IA ? La recherche sur la performance contre l'apprentissage traite directement cette question.

  • Variance non pertinente au construit entre LLM dans l'évaluation conversationnelle : Hao (2026) montre que, même pour un unique tour de parole conversationnel, le contenu sémantique des réponses générées par les LLM varie selon les modèles et les conditions de contexte conversationnel. La similarité intramodèle dépasse systématiquement la similarité intermodèles (0.715–0.795 contre 0.443–0.604), et l'ajout d'un historique de conversation modifie sensiblement le contenu des réponses (similarité inter-historiques médiane d'environ 0.40–0.45). Parce que la même entrée d'un apprenant peut recevoir des réponses sémantiquement différentes selon le modèle sous-jacent, la sollicitation par invite et le contexte ne peuvent à eux seuls préserver la cohérence des réponses — introduisant une variance non pertinente au construit potentielle, qui menace la validité, la fiabilité et l'équité. Maintenir des conditions d'évaluation cohérentes à mesure que les LLM évoluent constitue donc un défi d'infrastructure (règles symboliques, modèles de réponse, couches de validation), et pas seulement un défi d'ingénierie des invites.

  • Des preuves présentes qui n'atteignent jamais le notateur : Abreu, Stari et Martí (2026) nomment une menace de non-pertinence au construit qui précède tout raisonnement : dans l'examen par l'IA de rapports de travaux pratiques de physique expérimentale, une équation, un graphique, un tableau ou une unité peuvent figurer correctement dans un rapport sans être retrouvés dans le contenu traité à partir duquel le modèle travaille, et parce qu'un signe, une valeur ou une unité modifiés altèrent l'interprétation physique, un désaccord avec l'enseignant n'indique pas nécessairement une erreur de raisonnement. Leur remède est procédural — des PDF haute résolution plutôt que des scans photographiés, des équations écrites dans un éditeur d'équations, des axes et des unités lisibles à l'intérieur des figures, et des consignes exigeant une citation concrète pour chaque note — parce que la qualité du document fixe le plafond de la prétention à la validité que le score résultant peut supporter.

  • Validité de la structure latente entre humains et LLM : Strugatski et al. (2026) ajoutent une condition de validité plus profonde : même lorsqu'un LLM note bien, transposer les interprétations humaines des scores exige une similarité de la structure latente des réponses. En comparant six LLM multimodaux à des cohortes humaines sur des instruments de chimie et de raisonnement quantitatif, ils constatent que les structures factorielles LLM-humain divergent systématiquement (congruence LLM-humain inférieure à la référence humain-humain), si bien que la performance à un examen normé sur des humains constitue une preuve faible des capacités des LLM sur les construits que les items étaient censés mesurer.

  • Validité des conséquences : les évaluations médiées par l'IA ont-elles des conséquences équitables ? Les études sur les biais linguistiques montrent que la notation par l'IA peut désavantager les locuteurs non natifs.

  • Une cible mouvante dans les tests de langue. Des tests à fort enjeu comme le TOEFL iBT, l'IELTS, le PTE Academic et le Duolingo English Test exigent encore de la lecture et de l'écriture sans aide et chronométrées, tandis que les étudiants emploient désormais GenAI pour ces tâches dans leur vie académique, si bien que l'inférence d'extrapolation — des scores sans assistance à la performance académique réelle — est l'étape la plus affectée (Gonulal (2026)).

  • La portée d'une règle est elle-même une propriété de validité : Wright (2026) soutient que les interdictions rédigées dans l'enseignement supérieur depuis 2023 visent l'« IA générative » sans la précision technique permettant de séparer la génération du contenu évalué de la conversion d'un format, puisque la reconnaissance optique de caractères, la reconnaissance d'écriture manuscrite et la conversion de la parole en texte sont des Technologies de l'IA de reconnaissance, qui infèrent ce qui est déjà présent plutôt qu'elles ne produisent un nouveau contenu. Là où une règle s'attache à l'identité de la plateforme plutôt qu'à la fonction, elle est sur-inclusive par accident définitionnel : elle capture l'usage de transcription seule d'un outil multifonctionnel et sanctionne un étudiant qui n'a pas fait la chose que la règle était conçue pour empêcher, ce qui pèse le plus lourdement sur les apprenants qui s'appuient sur ces outils pour des raisons d'accessibilité — une inférence que l'évaluation ne peut supporter au sujet du construit qu'elle prétend mesurer. Il propose une rédaction fondée sur la fonction, assortie de quatre critères opérationnels (fidélité, non-augmentation, traçabilité, attestation) pour les cas limites, et traite le recours à la production des détecteurs et aux heuristiques de style comme la preuve de la faiblesse du fondement probatoire de la règle elle-même.

  • La réalisation par un agent supprime l'hypothèse de production humaine : Hadjisolomou & El-Haddad (2026) étendent l'analyse de validité de l'assistance générative à la réalisation agentique : des agents d'IA autonomes peuvent désormais se connecter à un LMS, lire les matériaux et accomplir de bout en bout des travaux asynchrones non surveillés (démontré sur un cours réel — un questionnaire noté 10/10 en moins de 5 minutes, et une réflexion sur un forum de discussion fabriquée mais crédible). En plaçant une « hypothèse de production humaine » à la base de la chaîne d'inférence fondée sur l'argumentation de Kane, ils montrent que la réalisation par un agent supprime silencieusement le soutien de l'inférence de notation, sur laquelle reposent toutes les inférences de généralisation, d'extrapolation et de décision — si bien que chaque note asynchrone non surveillée, y compris celles honnêtement gagnées, perd son appui interprétatif, l'auteur étant invérifiable. Leur démarche décisive consiste à classer cela comme un échec de validité plutôt qu'un échec d'intégrité : une institution peut sanctionner une faute et manquer néanmoins de fondements pour les notes qu'elle rapporte. La détection est structurement insuffisante (classificateurs peu fiables et biaisés ; la surveillance du LMS voit les mêmes clics que ferait un étudiant), si bien que le remède est une refonte de l'évaluation en vue d'une présence humaine vérifiée (une brève composante orale, des brouillons à processus visible, des références propres à une séance de cours), assortie d'un menu d'options qui préserve l'équité plutôt que d'un mandat de surveillance.

  • Variance non pertinente au construit dans la notation humaine de travaux assistés par l'IA générative : Luo & Dawson (2026) fournissent une démonstration empirique directe du fait que la notation humaine de travaux assistés par GenAI est traversée de variance non pertinente au construit. Dans des entretiens fondés sur des scénarios menés auprès de 33 enseignants d'université, les décisions de notation étaient régies par des valeurs orientées vers la personne (honnêteté et diligence de l'étudiant), vers la capacité (indépendance vis-à-vis de l'IA, compétence en GenAI, maîtrise disciplinaire), vers la relation (confiance bâtie avec les étudiants) et vers la justice (équité, bienfaisance) — autant de facteurs qui peuvent faire varier les notes pour des raisons sans lien avec les résultats évalués. Baisser la note d'un travail assisté par GenAI est justifié, soutiennent-ils, si et seulement si l'usage de l'IA a empêché les étudiants de démontrer les résultats évalués ; autrement, une notation régie par des valeurs menace la validité. L'étude ancre le cadrage de la validité dans la pratique réelle de l'enseignant et appelle à une transparence « dans les deux sens » — les enseignants clarifiant l'effet de l'usage de GenAI sur les notes, et pas seulement les étudiants déclarant leur usage.

  • La variation à grande échelle exige une génération de variantes équivalentes du point de vue du construit : VARIA (Lee 2026) soumet la prémisse de « variation à grande échelle » de l'évaluation authentique intégrant l'IA (AIAA) — qui remplace la surveillance par examen par une variation des tâches par étudiant — à un contrôle empirique et falsifiable. Parce que chaque candidat reçoit une tâche de performance unique mais équivalente, la garantie d'intégrité est conditionnée à la capacité des LLM à générer des variantes qui soient simultanément distinctes en surface, équivalentes du point de vue du construit, applicables par une grille et appariées en difficulté. En évaluant trois familles de modèles de pointe selon quatre stratégies d'invites sur 600 variantes, VARIA constate que les générateurs de pointe ne satisfont les critères conjoints d'intégrité qu'à la marge (score conjoint 0.81–0.88), tandis que les références non de pointe s'effondrent (0.50–0.55), et qu'aucune stratégie d'invites unique ne domine les quatre propriétés — si bien que « la variation à grande échelle ne peut être résolue par la seule conception d'invites » si le seuil de diversité est fixé de manière ambitieuse, et les institutions doivent valider leur couple modèle-invite spécifique.

  • Le biais de sous-notation dans la notation par IA avec intervention humaine est une caractéristique de validité, et non un défaut : Curi et al. (2026) montrent que, dans une évaluation nationale d'écriture à grande échelle, le biais systématiquement conservateur (sous-notation) d'un notateur LLM, tout en étant problématique comme décision finale, est précisément ce qui rend la délégation sûre : les réponses « réussies » notées par l'IA peuvent être acceptées avec confiance, tandis que les réponses « échouées » notées par l'IA (15.3–16.5% des cas) sont orientées vers un examen par des experts — maintenant la menace de validité que constitue l'erreur de l'IA à l'écart du résultat final. Leur pipeline de théorie de la réponse à l'item et de méthode Bookmark rend lisible l'impact de la notation par l'IA sur le niveau de compétence, au lieu de traiter l'accord brut sur les scores comme le seul signal de validité.

  • L'inflation des notes pilotée par l'IA comme menace pour la validité : Chirikov (2026) identifie un mécanisme nouveau et technologique d'inflation des notes, opérant en amont de la notation — sur la production des travaux notés. Dans une étude par doubles différences portant sur plus de 500,000 notes réparties sur 319 cours (2018–2025), les cours comportant davantage de tâches exposées à l'IA (écriture, codage) ont vu la part des notes A augmenter de 13 points de pourcentage après la sortie de ChatGPT, avec une compression de la distribution des notes. Une analyse par triples différences montre que l'effet se concentre dans les cours chargés en devoirs — la preuve que le déplacement des tâches par l'IA (l'IA accomplissant les tâches notées avant que les enseignants ne les observent) gonfle les notes sans hausse correspondante des compétences. Cela réduit la comparabilité des notes entre cours et érode la valeur informationnelle des relevés de notes, d'une manière difficile à détecter à partir des seules distributions de notes.

  • La susceptibilité au niveau du programme au passage ou à l'échec, et les critères de notation qui la fixent : Ivory et al. (2026) ont jugé la production de ChatGPT pour chaque évaluation de travaux de cours d'un diplôme de psychologie de trois ans (40 évaluations, 16 types) selon un critère binaire de réussite ou d'échec, la décision que les correcteurs prennent réellement à une première lecture : 36 des 40 ont passé. Deux implications de validité en découlent. Premièrement, la variable opérante est le seuil de réussite, et non la détection — une notation qui récompense la fluidité structurelle et le bon choix d'analyse, tout en tolérant des valeurs incorrectes, laisse des statistiques fabriquées et des références hallucinées franchir le seuil de réussite, si bien que l'évaluation certifie la production de l'outil comme compréhension de l'étudiant, en raison de la manière dont elle est notée, et non parce que quelqu'un aurait été trompé. Deuxièmement, les items à choix multiples livraient leurs propres réponses : ChatGPT répondait correctement aux questions de statistiques sans que le tableau de chiffres ou de résultats ne soit montré aux étudiants, parce que l'énoncé de l'item et les options impliquaient la réponse, ce qui fait de la conception des options de réponse une propriété de validité de l'item, plutôt qu'une propriété de l'IA.

  • L'exactitude et l'accord comme signaux de validité distincts : Falahat, Das, Bhaumik & Thambi (2026) ont noté un examen de pharmacie à 21 items avec ChatGPT-5, et ont constaté qu'une exactitude en pourcentage modérée coexistait fréquemment avec de faibles coefficients de corrélation-concordance — une distinction méthodologique entre l'exactitude de la notation et l'accord, qui limite la fiabilité de l'IA comme substitut de notation, même là où l'exactitude brute semble acceptable. L'accord était fort sur les items objectifs (CCC 0.935–1.000), mais quasi nul sur les réponses brèves et modeste sur les dissertations (0.341–0.854), et la fourniture d'une grille ne comblait pas systématiquement l'écart.

  • Validité des items générés par l'IA : l'étude de la qualité des examens générés par l'IA montre que les questions générées par l'IA, validées par la théorie de la réponse à l'item bayésienne, atteignent une difficulté et une discrimination comparables à celles des items d'examens standardisés écrits par des experts (fiabilité de 0.79 contre 0.72) — ce qui soutient la validité d'évaluations générées par l'IA et adaptées au cours, lorsqu'elles sont étayées par une évaluation psychométrique.

  • Évaluation authentique : l'évaluation authentique et l'échelle d'évaluation pour l'IA proposent des refontes de l'évaluation qui préservent la validité.

  • Confiance et calibration : les systèmes conscients de la confiance améliorent la validité en signalant les évaluations incertaines.

  • Preuves incarnées et multimodales : une évaluation fondée sur la seule parole peut prendre la fluidité verbale pour un savoir conceptuel ; Morphew et al. montrent que l'analyse des gestes par vision artificielle, couplée à l'analyse de la parole par LLM, accroît la validité de construit et l'équité en captant la compréhension exprimée par le geste, et pas seulement par les mots — réduisant le biais contre les apprenants qui s'expriment de manière non verbale.

  • Les devoirs cessent de certifier la capacité lorsqu'un modèle peut résoudre la tâche : Mikhasenko et al. (2026) documentent une invalidation concrète des devoirs comme mesure de la capacité, dans un cours de physique des particules de Bochum : dès lors qu'un modèle génératif peut produire une solution correcte, une dérivation rendue n'établit plus que l'étudiant sait résoudre le problème de manière indépendante. Leur réponse sépare les deux fonctions — des devoirs en forme de recherche, autorisant l'IA, conservés comme travaux exploratoires et porteurs de bonus, et un examen écrit sans outils, devenu le seul déterminant de la note finale — une division du travail guidée par la validité, plutôt qu'un régime de détection.

  • Validité orientée vers la décision pour la notation par l'IA à grande échelle : Curi et al. (2026) illustrent une vision de la validité orientée vers la décision, dans l'évaluation nationale d'écriture Acredita EB : au lieu de demander seulement si les scores de l'IA concordent avec ceux des humains, ils demandent si les erreurs de l'IA peuvent changer une décision de certification. Les seuils de notation automatisés par la théorie de la réponse à l'item et la méthode Bookmark reproduisaient fidèlement les seuils opérationnels, et la sous-notation systématique par l'IA était neutralisée en orientant les résultats d'échec de l'IA vers un examen humain — cela notablement face à un standard de référence lui-même contesté, puisque dix experts notant les mêmes 50 textes n'ont jamais atteint l'unanimité sur aucun item de la grille.

  • Les préoccupations de validité du côté des étudiants lorsque l'IA sert de notateur : AlGhamdi (2026) ajoute la voix de l'apprenant à la question de la validité : 13 étudiants d'informatique, dont la tâche d'écriture manuscrite avait été notée par ChatGPT, se sont demandé si un notateur d'IA pouvait valablement interpréter l'intention, l'effort et les normes de notation institutionnelles — l'un demandant avec à-propos : « If ChatGPT [is] checking the exams, why are we going to university? »

  • L'autorisation ne dégrade pas à elle seule la tâche, et les taux d'usage sont le mauvais signal de validité : Zou et al. (2026) ont interrogé 85 étudiants enseignants dont les évaluations autorisaient explicitement l'IA générative, et ont constaté que l'engagement dans l'évaluation était élevé et statistiquement non affecté par le fait que les étudiants l'aient utilisée ou non (moyenne 4.21/5, SD 0.46 ; U de Mann–Whitney = 781.5, r = 0.07, p = 0.536). Avec 62.4% (53) refusant d'utiliser l'IA générative du tout, et l'usage des adoptants largement confiné à la relecture (43.8%) et aux vérifications de clarté (34.4%), le taux d'adoption renseigne peu sur le point de savoir si l'évaluation justifiait encore une inférence sur l'apprentissage — et un non-usage motivé par la crainte d'une accusation de plagiat injustifiée (41.5% des non-adoptants) n'est pas davantage une preuve de validité.

  • La validité du cadre d'échantillonnage lorsqu'un test de niveau scolaire est lu comme une preuve de système : Restrepo Morales et al. (2026) donnent à l'inférence allant des scores aux affirmations portant sur un système un traitement quantitatif. Une évaluation pilote menée auprès de 1,198 étudiants volontaires dans 171 écoles salvadoriennes, sur le Test for Schools fondé sur PISA, a produit des résultats annoncés comme comparables à ceux de l'Allemagne et de la Suède, mais l'instrument produit des estimations pour une école et n'est pas administré dans le cadre d'échantillonnage national, avec ses normes de taux de réponse, ses limites d'exclusion et sa pondération — si bien qu'une comparaison entre une estimation de niveau scolaire et une moyenne nationale comporte au moins trois sources d'incertitude non rapportées (erreur d'échantillonnage de niveau scolaire, erreur d'échantillonnage de la moyenne nationale, et erreur de raccordement de l'équivalence des échelles). Plutôt que de tester l'affirmation sur l'apprentissage, les auteurs la bornent : avec les 5.5% supérieurs de la distribution salvadorienne en mathématiques correspondant à la moyenne allemande en l'absence de tout apprentissage, et la participation volontaire étant réputée biaiser les tests de réussite vers le haut, les preuves publiées ne peuvent séparer un effet réel d'un échantillon sélectionné. C'est un échec de l'inférence de validité de la comparaison, et non des étudiants ni de l'instrument.

Une proposition conceptuelle soulève une frontière de validité qui s'applique à chaque évaluation médiée par l'IA de cette page : El Khoury et Ma (2026) soutiennent que la vitesse n'est pas la validité, et que les invites, exemples et rapports fondés sur des transcriptions générés par l'IA doivent encore être testés pour leur exactitude, leur réactivité culturelle, leur accessibilité, leur interprétabilité et leur alignement sur les résultats du cours. Ils élargissent aussi ce qui compte comme preuve : là où le dialogue devient l'artefact évalué, la transcription est un enregistrement de processus, dans lequel le jugement, l'empathie, la clarification et la prise de décision partagée se déploient en contexte, et la question de conception devient celle de savoir si cette preuve supporte l'inférence qu'on en tire — la même question à laquelle fait face la notation automatisée, à laquelle on répond par l'alignement entre tâche, rétroaction et preuves d'apprentissage, et non par la nouveauté technologique.

  • Les métadonnées d'items attribuées par l'IA ne sont pas une preuve psychométrique. Sur une étude de science des données de 10 semaines portant sur 311 items à choix multiples déployés, les notations de difficulté par LLM suivaient les propres étiquettes de Bloom du modèle (rho = 0.90), mais non la difficulté empirique des items (rho = 0.06), si bien que la difficulté d'un item doit être établie à partir des données de réponses plutôt qu'à partir des étiquettes du modèle générateur (An & Wang, 2026)).

  • Les jugements des étudiants sur l'alignement curriculaire suivent la difficulté, et non le contenu. Vogt et al. (2026) ont demandé à des étudiants de noter si chaque item d'un examen noté à 60 items s'alignait sur le programme du cours, et ont constaté que les notations corrélaient avec la difficulté des items à ρ = 0.762 (les items plus faciles jugés alignés, les items plus difficiles jugés non alignés, ρ = −0.762, p < 0.001), tandis que les notations ne différaient pas selon la source des items. Là où un instrument demande aux étudiants de juger l'adéquation curriculaire d'une évaluation, le score qui en résulte est en partie une notation de difficulté, et ne peut être lu comme une preuve indépendante d'alignement.

  • Réaligner le triangle de l'évaluation plutôt que rapiécer un sommet. Koretsky et al. (2026) formulent le problème de l'IA générative à travers le triangle de l'évaluation — cognition (ce qui est évalué), observation (comment les preuves d'apprentissage sont sollicitées) et interprétation (l'inférence tirée) — et soutiennent que les trois sommets doivent être réalignés ensemble, puisque refondre les tâches sans réparer l'interprétation laisse l'inférence sans soutien. Leur revue de cadrage fait aussi de la fidélité des matériaux d'évaluation générés par l'IA une propriété de validité en soi, en cataloguant les dimensions de contenu, linguistique, cognitive, comportementale, structurelle et pédagogique, et en exigeant une évaluation avec intervention humaine avant que de telles tâches ne fondent une évaluation.

La refonte plutôt que la détection

La base de connaissances soutient que maintenir la validité de l'évaluation exige de refondre les évaluations pour des étudiants capables d'utiliser l'IA, et non de détecter l'usage de l'IA. Un problème de validité parallèle traverse la mesure dans la recherche : beaucoup d'affirmations sur l'IA en éducation reposent sur des données auto-déclarées, qui ne peuvent supporter une inférence sur l'apprentissage ou la compétence, aussi bien validé que soit l'instrument lui-même. Les approches au-delà de la détection et l'évaluation représentent une pensée tournée vers la validité.

Les produits à emporter et la césure qualitative/quantitative. Brunnström et Palmqvist (2026) donnent à l'argument de la refonte une proposition spécifique ancrée dans la taxonomie SOLO. En travaillant une question d'examen à emporter de sciences cognitives avec un agent conversationnel, ils constatent que GenAI est la plus forte exactement là où la taxonomie est la plus basse — produisant un contenu complet, fluide et factuel au niveau quantitatif (multistructurel) — tandis que le niveau qualitatif (mettre en relation, évaluer, généraliser) n'émergeait que par une calibration répétée menée par l'apprenant. Leur recommandation est donc différenciée par construit : les évaluations à emporter devraient mettre l'accent sur les preuves d'une compréhension qualitative, tandis que le savoir fondé sur le rappel quantitatif est mieux évalué en classe, là où GenAI n'est pas disponible. La démonstration souligne aussi qu'un artefact rendu et soigné constitue une preuve faible dans les deux sens, et qu'une refonte valide doit tenir compte de la difficulté que présente un apprentissage légitime soutenu par l'IA (L'évaluation sommative, Intégrité académique).

Une contrepartie au niveau de la conception vient de la même population que l'argument de la refonte ignore d'ordinaire. Zou et al. (2026) ont constaté que les tâches réflexives et personnalisées étaient largement jugées trop personnelles pour recevoir l'aide de l'IA, tandis qu'une évaluation riche en connaissances, dans un autre cours, suscitait une forte intention d'utiliser l'IA générative pour les références — si bien que ce que les étudiants faisaient avec l'IA suivait le construit que la tâche leur demandait d'attester. La leçon pour la validité est précise plutôt que célébratrice : la conception peut retirer tout gain à la substitution générique, mais la même étude met en garde contre la lecture d'une cohorte de non-adoptants comme une preuve qu'elle y serait parvenue, puisqu'une part substantielle du non-usage était attribuée à la crainte d'une accusation de plagiat injustifiée, plutôt qu'à la résistance de la tâche à l'IA.

Sharma (2026) fournit un argument de refonte du côté de l'intégrité, qui transforme les preuves d'intégrité en preuves de validité. En étendant le cadrage postplagiat d'Eaton (2023) à la conception de l'évaluation, il soutient que les modèles d'intégrité fondés sur la détection et la vérification sont mal alignés sur un travail dans lequel le jugement humain et la génération machinique sont entrelacés, et recadre l'intégrité comme une pratique pédagogique accomplie par l'jugement évaluatif — la capacité de peser des options, de justifier des choix académiques et d'assumer la responsabilité face à l'incertitude épistémique. La conséquence pour la conception est que l'intégrité devrait être attestée plutôt qu'inférée : des pistes de décision annotées, la vérification des affirmations issues de GenAI, la soutenance orale et l'historique des versions sont proposés comme artefacts d'intégrité, et il est explicite sur le fait que la différence d'avec l'évaluation authentique est épistémique — l'authenticité demande si une tâche reflète une pratique du monde réel, la conception orientée vers l'intégrité demande si les apprenants peuvent justifier des décisions et assumer la responsabilité face aux standards disciplinaires, si bien que l'intégrité devient un critère évaluable, intégré dans l'architecture de la tâche. Il nomme le risque de validité de sa propre proposition, plutôt que de le laisser implicite : exiger un raisonnement documenté privilégie les apprenants férus de discours réflexif et risque « le remplacement d'un régime de conformité par un autre », parce que le jugement comme preuve « demeure relationnel et situé plutôt que mécaniquement vérifiable » — le même problème de fiabilité interprétative que cette page consigne pour chaque évaluation médiée par l'IA.

Weidlich (2026) recadre la refonte comme la question de savoir quelle inférence un changement est censé protéger. En partant de la validité fondée sur l'argumentation de Kane, il sépare cinq pressions que le débat tend à confondre en une seule : la sous-représentation du construit, la variance non pertinente au construit, l'attribution de la performance, l'extrapolation conditionnelle et l'usage de scores non étayé. L'usage de l'IA n'est pas automatiquement une menace, parce que l'usage d'un outil est pertinent là où le construit visé est le jugement professionnel soutenu par l'IA, et contourne la performance visée là où il s'agit d'un raisonnement sans assistance, si bien que le construit et les conditions d'usage de l'IA doivent être spécifiés ensemble. Sa mise en garde pour la refonte en découle, puisque les interventions échangent une pression contre une autre : les soutenances orales peuvent renforcer l'attribution tout en réduisant la fiabilité ou l'accessibilité.

Connexions

La validité de l'évaluation est liée à l'évaluation authentique, à la notation automatisée, à l'évaluation consciente de la confiance, à l'évaluation formative, à l'intégrité académique et aux essais contrôlés randomisés (qui reposent sur des mesures de résultats valides).

L'IA met au défi la validité au niveau épistémique : Hathcoat, Slotnick & Miller (2026) soutiennent que lorsque les LLM servent de candidats, de concepteurs d'épreuves, de notateurs et d'analystes, la chaîne interprétative devient opaque et l'objet de la mesure perd sa définition — recadrant la validité comme exigeant un jugement « cyborg » férus d'IA, et Green et al. (2026) montrent que les scores de l'IA peuvent s'aligner sur ceux des évaluateurs humains (87% sur la liste de contrôle) tandis que la justification sous-jacente diverge, en particulier sur la qualité de la mesure et les rapports faibles.

Lorsque l'IA génère l'artefact évaluable. Kumar, Wongsirichot et Nanthaamornphong (2026) donnent au problème de validité son cas disciplinaire le plus incisif : dans l'enseignement de l'informatique, l'IA produit l'artefact noté — le code source — si bien que l'usage de l'outil, l'apprentissage et l'évaluation fusionnent en une seule interaction, et une base de code rendue ne sépare plus l'apprentissage de la délégation. Sur 72 études, ils constatent des gains d'efficacité qui ne se transfèrent pas à la performance sans assistance (21 études), les connaissances préalables modérant le point de savoir si l'aide de l'IA devient une compétence (6 études), et la recherche sur la détection pratiquement absente du corpus de preuves (3 études), tandis que la refonte de l'évaluation est comparativement bien étayée par des preuves (25 études). Leur conclusion pour la pratique est spécifique au construit et peu technique : ajouter une composante orale ou un autre élément rendant le processus visible à au moins une évaluation à fort enjeu par cours — l'intervention à levier le plus élevé de la revue — et exiger un engagement critique envers les productions de l'IA comme composante notée et observable, plutôt qu'une disposition optionnelle (Intégrité académique, Évaluation).

La validité sous information imparfaite

Le recadrage récent le plus incisif traite le problème de l'IA générative comme un problème probatoire. L'étudiant sait comment un travail a été produit ; l'institution observe l'artefact et, au mieux, des traces partielles du processus — un écart entre produit et processus que Mohamed et Temimi (2026) formalisent comme la validité de l'évaluation sous information imparfaite. Selon ce compte, la question n'est pas de savoir si une règle a été enfreinte, mais si l'évaluation produit encore des preuves crédibles du raisonnement, de l'effort et du jugement de l'étudiant, et chaque mécanisme institutionnel — interdiction, surveillance, divulgation, refonte — est évalué selon la réponse de l'étudiant qu'il rend la plus attractive. La lentille de la validité dissout aussi une fausse séparation : l'intégrité et la validité sont le même problème, vu par ses deux bouts, parce qu'un constat de faute est lui-même une affirmation de validité sur ce que le travail atteste.

Un cadre du côté de l'apprenant nomme les cibles d'inférence qu'un artefact ne peut régler à lui seul. Sak (2026) propose une validité d'attribution pour les jugements de potentiel de surdouance portés sur des travaux assistés par l'IA : la relation allant de la capacité au produit est multiple-à-un, parce que la compétence de l'apprenant, la capacité du modèle, la direction qu'il imprime, l'adéquation humain-IA et le contexte se combinent différemment pour produire des artefacts équivalents, si bien que le produit ne peut identifier la capacité qui se cache derrière lui. Le cadre sépare quatre cibles d'inférence — la compétence indépendante, l'autonomie intellectuelle, la capacité hybride, et le report développemental — et nomme trois erreurs qui suivent lorsque la preuve d'une cible est lue comme celle d'une autre : la surattribution, l'illusion développementale, et l'équivalence de capacité présumée. Sa exigence à l'égard du dossier reflète la discipline probatoire que cette section tire de la littérature sur les fautes : nommer la capacité sur laquelle porte un jugement, documenter comment le travail a été produit (modèle et version, interface, fonctions autorisées, médiation adulte, conditions d'accès), et exiger des preuves ultérieures de transfert avant de lire une performance assistée comme un changement chez l'apprenant.

Teichmann (2026) en tire la conséquence procédurale : là où l'usage interdit ne peut être détecté, un régime qui accuse néanmoins sur la foi de scores de détecteur ne peut justifier l'inférence qu'il tire, et produit donc de l'injustice sans efficacité. Il plaide pour remplacer la question médico-légale — l'étudiant a-t-il utilisé l'IA ? — par une question de validité — l'étudiant a-t-il démontré la capacité que la tâche était conçue pour certifier ? — ce qui déplace l'effort institutionnel vers une évaluation au niveau du programme, à travers des tâches liées, des éléments oraux et supervisés aux points de certification, et l'jugement évaluatif comme objet explicite d'évaluation.

La même section du corpus de preuves fournit la contrepartie issue des dossiers d'affaires, et elle est plus inconfortable que la seule littérature sur la détection. Munoz et al. (2026) ont codé chaque affaire de faute liée à l'IA générative dans une université régionale australienne sur trois ans — 1,162 affaires portant 1,855 éléments de preuve discrets — et ont noté chaque item pour sa valeur probante, selon la pertinence, la crédibilité et la force inférentielle. Les catégories les plus solides étaient celles qui ne dépendent pas de la classification probabiliste de textes (aveux des étudiants, comportements interdits observés en examen, et références fabriquées vérifiées de manière indépendante), tandis que la production des détecteurs attirait les notations les plus faibles de toutes les catégories : les rapports de similarité ou de Turnitin étaient entièrement faibles en force inférentielle, et les productions autonomes d'un détecteur entièrement faibles en crédibilité, leur part tombant de 8.8% des éléments en 2024 à 0.5% en 2025. L'échec de validité est procédural autant qu'instrumental — aucune étape du pipeline ne fixait de seuil probatoire minimal ni n'exigeait des enquêteurs qu'ils pèsent la valeur probante avant de faire avancer une allégation, si bien que la qualité des preuves ne montrait aucun lien fiable avec les issues des affaires, ce qui correspond exactement au problème de standard probatoire catalogué sous questions juridiques et risques. Leur proposition d'appliquer un cadre d'accréditation au moment de l'allégation plutôt qu'au seul moment de la décision est une exigence de validité : une allégation est une affirmation sur ce que le travail atteste, et elle devrait être justifiée par des matériaux capables de la soutenir. Hadra, Cambridge et Mesbah (2026) montrent à quel point l'instrument est éloigné de ce standard, avec une exactitude macro de 0.69 (Originality) contre 0.61 (Turnitin) sur 192 textes, un échec quasi total sur l'écriture hybride humain-IA (sensibilité de 0.02 et 0.31), une exactitude déclinante avec la longueur des textes et sur l'écriture scientifique, et une tendance à la limite de la significativité à classer erronément l'écriture d'étudiants d'anglais langue étrangère comme étant de l'IA — si bien qu'un score de détecteur ne peut établir le fait qu'un constat de faute affirme.

Le repère de la notation humaine et son plafond

La comparaison OpRaise de trois modèles de pointe par confrontation à 761 dissertations authentiques réparties sur trois universités britanniques fait du repère une part de l'argument de validité. Les notes humaines ont servi de vérité de terrain, sur le fondement explicite que le jugement académique est le standard socialement accepté, tandis que les auteurs reconnaissent que les correcteurs humains ne s'accordent que modérément entre eux — ce qui plafonne l'accord IA-humain qu'on pourrait raisonnablement exiger, et signifie qu'une corrélation ne peut être lue comme un verdict de disponibilité sans point de référence. Dans ce cadre, les échecs apparaissaient comme une structure systématique plutôt que comme une erreur aléatoire : les notes se comprimaient vers le milieu de l'échelle, si bien que les meilleures et les pires dissertations étaient les plus mal jugées ; l'accord était le plus faible aux frontières de notes ; et les notes de l'IA suivaient l'ampleur du vocabulaire, les connecteurs et la complexité des phrases, tandis que les notes humaines y étaient globalement insensibles. La leçon pratique est à double tranchant, parce que la même étude a constaté que la fiabilité était excellente — des renotations identiques dans le temps et un fort accord entre modèles. Une argumentation de validité en faveur de la notation automatisée ne peut donc reposer ni sur la stabilité ni sur l'accord moyen ; elle doit montrer l'absence d'écart systématique, ce que ces preuves n'ont précisément pas trouvé.

La stabilité d'une exécution à l'autre n'est cependant pas garantie : répéter la même notation sur des travaux identiques cinq jours plus tard a donné un alpha de Krippendorff de 0.625, la variation se concentrant dans les notes moyennes, et les notes A et F étant absentes des décomptes de la séance répétée (Brevik et al. (2026)).

  • La taille du modèle n'est pas un indicateur de la validité de l'évaluation. Sur huit configurations de quatre familles portant sur 114 dissertations notées, l'accord exact sur les bandes allait de 18.4% à 54.4%, et suivait la famille plutôt que le nombre de paramètres — le plus grand modèle, GPT-OSS 120B, sous-notait de 1.316 bandes, et la température n'y changeait rien (Kerwat et al. (2026)).

  • L'accord et l'erreur du repère se font passer pour de l'apprentissage. Deux études de 2026 montrent des voies distinctes par lesquelles un score peut sembler valide tout en établissant autre chose. Une étude ouverte sur l'écriture marketing a trouvé un accord absolu LLM-humain de seulement ICC(2,1) .435, et un hybride significativement pire que le seul LLM, la composition par ancres faisant passer l'accord de .338 à .902 (Agreement and error in automated scoring of student marketing posts). Un audit d'experts portant sur six repères de physique a attribué 95.20% des rejets audités à des items ou des notateurs défectueux plutôt qu'à une erreur de modèle, faisant passer le CritPt mean@5 de 32.29% à 87.50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Dans les deux cas, la menace est une variance non pertinente au construit, située à l'extérieur du modèle évalué.

  • L'accord entre codeurs LLM est de la consistance, et non de la validité. Sur un corpus de dialogues éducatifs étiqueté par des experts, un filtre d'accord intermodèles n'a retenu que 33 des 74 assertions comportementales dérivées du corpus et 11 des 48 assertions dérivées des construits, et des erreurs partagées entre modèles ont survécu au filtre, si bien que l'accord intermodèles ne peut tenir lieu de validité de construit (Bernado et al., 2026)).

  • L'exposition est mesurable, et le remède est un faisceau de preuves suffisant plutôt qu'une sécurité maximale. Villanueva (2026) a noté 53,915 items d'évaluation selon le format publié, la surveillance et le poids de la note, et a constaté que l'essentiel des points notés portaient sur des travaux dont la paternariat ne pouvait être vérifiée après soumission ; il soutient que les programmes ont besoin de preuves d'apprentissage suffisantes aux étapes clés, et non que chaque unité soit rendue sûre.

  • Une mesure valide peut néanmoins être dangereuse à optimiser. Ajuster finement un tuteur LLM contre une métrique d'adaptativité de type grille a élevé la métrique (de +0.05 à +0.42), tandis que les notations d'experts en aveugle chutaient (de 4.46 à 3.03), parce qu'une métrique qui note les décisions indépendamment est maximisée en répétant la décision unique la meilleure (Domínguez Figaredo & Fernández De la Cruz, 2026)).

Concepts liés

Articles liés

FAQ liées

Métadonnées

Évaluation et mesureÉvaluation authentique, Évaluation automatisée, L'évaluation formative
Méthodes de recherche et évaluationECR (essai contrôlé randomisé)
Équité, éthique et usage responsableRéduction des biais, L'équité
Fondements de l'IA dans l'éducationIntégrité académique
SourceHistoryEditChat

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.