Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

Limites de la recherche en AIED (Limitations in AIEd research) — les faiblesses et contraintes récurrentes qui affectent le degré de confiance que l'on peut accorder aux résultats sur l'IA en éducation, et la manière dont les lecteurs devraient les interpréter. Celles-ci traversent les études individuelles : limites méthodologiques (généralisabilité, taille d'échantillon, validité, auto-déclaration), le problème de la vitesse (l'IA et les résultats se datent rapidement tandis que la publication tarde), limites entre recherche et pratique (reproductibilité, pratiques FAIR, outils propriétaires), et usage faible des théories. Les limites méthodologiques sont mesurables plutôt qu'impressionnistes : dans une revue critique de 80 études en IHC sur la pensée critique avec l'IA, 42 (52 %) ne comportaient aucun groupe témoin et la plupart des autres s'appuyaient sur l'auto-déclaration, si bien que les résultats positifs du champ reposent sur des dispositifs qui ne permettent pas de séparer l'effet de l'IA de la réflexion ordinaire (A Critical Review of Critical Thinking in HCI Research About AI). Le codage des résultats est inégal de la même manière : une revue systématique de 103 études dans l'enseignement supérieur a classé son corpus selon une typologie de résultats à quatre niveaux et en a placé 56 % dans un seul schéma conditionnel, où la confiance et la motivation augmentaient sans gain correspondant en compétence durable (Generative AI in higher education: A systematic review of empirical uses, outcomes, and risks).. Reconnaître ces limites est essentiel pour lire la littérature avec un esprit critique et pour concevoir des études plus solides.

Questions à examiner

  • Quelle confiance accorderiez-vous à un titre comme « le tutorat par IA augmente l'apprentissage de 30 % » si vous appreniez qu'il provient de 30 étudiants dans un seul cours d'une seule institution ? La page signale la généralisabilité et les petits échantillons comme des limites récurrentes — que voudriez-vous savoir avant d'agir sur la base d'un résultat isolé ?
  • Une limite frappante est le « problème de la vitesse » : l'IA évolue plus vite que les résultats ne sont publiés, si bien qu'une étude portant sur une génération de modèles peut déjà décrire un système obsolète. Comment cela devrait-il changer la confiance que vous accordez à la recherche sur l'IA en éducation ?
  • De nombreuses études s'appuient sur des attitudes et des usages auto-déclarés, qui sont biaisés — les gens surestiment leur compétence et sous-déclarent les usages abusifs. Avez-vous déjà répondu à une enquête sur vos propres compétences ou comportements d'une manière qui ne correspondait pas à la réalité ? Pourquoi les mesures fondées sur la perception divergent-elles si souvent de la performance objective ?
  • La page relève que des cadres familiers comme la taxonomie de Bloom sont souvent mal lus comme des échelles strictes, et que même des théories largement utilisées comme celle de la charge cognitive ont été contestées. Quand avez-vous vu une théorie invoquée comme une vérité établie dans un contexte où ses propres preuves étaient en réalité contestées ?
  • La plupart des recherches sur l'IA dépendent de modèles propriétaires et opaques dont vous ne pouvez inspecter les données ni les mises à jour. Si vous ne pouvez pas vérifier exactement quel modèle a produit un résultat, quelle confiance pouvez-vous accorder aux affirmations bâties sur lui — et qu'est-ce qui rendrait les résultats plus reproductibles ?
  • Si vous êtes un enseignant ou un concepteur sans le temps de lire la recherche primaire, comment décidez-vous quelles affirmations sur l'IA sont assez fiables pour changer votre pratique — étant donné que la littérature est fragmentée, provisoire, et écrite pour des chercheurs ?

Introduction

L'IA en éducation est un champ en évolution rapide et hétérogène, et son corpus de données probantes porte un ensemble distinctif de limites que les chercheurs, les praticiens et les décideurs devraient peser avant d'utiliser un résultat quelconque. Certaines sont partagées avec la littérature plus large sur les sciences de l'apprentissage et la psychologie ; d'autres sont amplifiées ou rendues uniques par la nature même de l'IA. Cette page les organise en quatre domaines transversaux.

Limites méthodologiques

La page méthodes de recherche de la base de connaissances détaille les forces et les limites de chaque dispositif. Plusieurs limites reviennent à travers les dispositifs et méritent une attention particulière :

  • Généralisabilité. Les résultats issus d'un seul cours, d'une seule institution, d'une seule discipline ou d'un seul contexte national peuvent ne pas se transférer. De petits échantillons de commodité, ou tirés d'une seule institution, limitent la validité externe ; les résultats portant sur un outil d'IA s'étendent rarement à un autre outil ou à un autre contexte.

  • Les comparaisons transnationales de croyances comportent un risque de mesure. Une enquête menée dans cinq pays auprès de 1 405 enseignants du primaire et du secondaire a utilisé une traduction automatique par machine, sans traduction inverse ni test d'invariance de mesure, et a mesuré les préoccupations relatives au plagiat et à la créativité par des items uniques, si bien que ses contrastes entre pays ne peuvent être lus comme des construits équivalents (Xiu et al. (2026)).

  • La rigueur au niveau de la synthèse est un axe distinct de la rigueur des études primaires. Une méta-analyse peut satisfaire ses propres critères d'inclusion et néanmoins regrouper des études qui diffèrent par le dispositif, la fidélité de la mise en œuvre et la mesure des résultats, sans en pondérer aucun de ces aspects : Doğan et ses collègues (2026) déclarent sans détour qu'ils n'ont utilisé aucun outil formel d'évaluation de la qualité et ont traité les critères d'inclusion comme le seuil de rigueur, si bien qu'une étude quasi expérimentale et une étude randomisée contribuaient à égalité à l'estimation regroupée sur les STIM. La même revue montre un risque connexe de communication des résultats : son hétérogénéité est citée comme I² = 82,98 % sous un modèle à effets fixes et I² = 15,75 % sous un modèle à effets aléatoires, ce qui signifie que les lecteurs qui reprennent un seul chiffre d'hétérogénéité sans son modèle ne peuvent dire à quel point le corpus est réellement incohérent. Évaluez une synthèse sur la manière dont elle a traité les tailles d'effet dépendantes, la qualité et l'hétérogénéité, et pas seulement sur le fait qu'elle a suivi un protocole de recherche.

  • La conception de la recherche documentaire fixe les chiffres phares d'une synthèse. Dans une revue de cadrage de 195 études sur la formation des enseignants, la compétence numérique et le TPACK étaient des descripteurs de recherche explicites tandis que la conception pédagogique et l'évaluation n'avaient pas d'équivalent, si bien que les 46,5 % et 1,9 % rapportés décrivent le corpus retrouvé plutôt que le champ (Patiño Hernández et al. (2026)).

  • Petites tailles d'échantillon. De nombreuses études en AIED manquent de puissance — trop peu de participants pour détecter de manière fiable des effets significatifs ou pour étayer les affirmations fortes qu'on en tire parfois.

  • Les scores de fin de parcours peuvent masquer l'objet étudié. Dans une revue PRISMA de 103 études sur l'enseignement supérieur, 56 % rapportaient des gains conditionnés par l'étayage ou la vérification, et des différences nulles de note accompagnaient souvent de réels changements de processus — plus de débogage, plus de cycles de vérification — si bien que les notes seules ne peuvent dire si l'IA générative a renforcé ou vidé de sa substance la pratique (Hawi et Samaha (2026)).

  • Le dispositif de validation peut fabriquer le chiffre phare. Nanayakkara et Halloluwa (2026) ont évalué quinze modèles sur la familiarité fondée sur l'EEG et montrent que la validation croisée stratifiée standard permet une fuite temporelle et rapporte un F1 allant jusqu'à 0,9853, tandis que la validation Group K-Fold indépendante des essais fait chuter le pic à 0,6038 F1 — encore au-dessus du hasard, mais loin du résultat cité.

  • Les repères de référence peuvent fournir les échecs qu'ils rapportent. Le recalcul par des experts de 250 items de physique rejetés a attribué 238 (95,20 %) de ces rejets à des erreurs de repère ou de correcteur, et seulement 12 (4,80 %) à de véritables erreurs du modèle, si bien que le taux d'erreur mesuré d'un modèle ne peut tomber sous le taux de défaut de l'instrument.(Ansari et al. (2026))

  • Validité et mesure. La validité de construit est souvent mince : les indicateurs indirects de l'« apprentissage », de l'« engagement » ou de la « littératie » varient largement, et les instruments ne sont pas toujours validés pour la population ou le construit étudiés. La précision d'un repère de référence n'équivaut pas à l'efficacité éducative.

  • Données d'auto-déclaration et données d'enquête. Une grande part du corpus s'appuie sur des attitudes, une motivation et des usages auto-déclarés. L'auto-déclaration est sujette à des biais — les répondants surestiment leur compétence, sous-déclarent les usages abusifs, et jugent mal leur propre comportement — si bien que les mesures fondées sur la perception divergent fréquemment de la performance objective (voir How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures et La mesure en éducation).

  • Le contexte et la communication des validations peuvent être quantifiés à l'échelle d'une littérature. Une revue PRISMA-ScR de 421 études sur le TAL appliqué aux commentaires d'évaluation de l'enseignement a trouvé le pays non résolu dans 221 études, des portées mono-institution dans 232 des 284 cas résolus (81,7 %), une validation externe dans 33 (7,8 %) et un accord inter-annotateurs dans 54 (12,8 %) (Eicher et da Silva (2026)).

  • La richesse de la communication est mesurable, et le type de méthode la prédit. Dans 888 articles sur l'automatisation des revues, 38,0 % des articles logiciels/produits depuis 2023 ne rapportaient aucune évaluation, contre 9,3 % des articles sur les grands modèles de langue, et 52 % des 118 articles sur les grands modèles de langue à résultats positifs seuls signalaient encore un seuil de fiabilité non atteint — le schéma qui sous-tend les cinq niveaux de divulgation de PRISMA-LLM (Zabaleta et Lin (2026)).

  • Standardiser à l'intérieur de chaque jeu de données peut masquer une présentation erronée de la dispersion. Lorsque des cohortes éducatives synthétiques étaient standardisées par leur propre dispersion, le fait que leur structure hebdomadaire variait de 2,6 à 4,9 fois moins que celle des cohortes réelles est devenu invisible aux statistiques rapportées — un prétraitement de routine, selon les mots des auteurs, et non une crainte hypothétique (Inoue et Yasutake, 2026).

  • Les étiquettes générées par des modèles ne sont pas la vérité terrain. Lorsque les étiquettes qui entraînent ou évaluent un système sont elles-mêmes produites par des modèles de langue, l'accord entre annotateurs ne peut établir la validité : Bernado et al. (2026) n'ont jamais validé leurs annotations d'assertions contre des étiquettes de référence humaines, et les 49 classifieurs à encodeur qu'ils publient héritent de cette provenance et peuvent ne pas être valides là où les applications diffèrent sur des dimensions significatives. Leur schéma a aussi nettement sous-performé par rapport au classifieur ajusté entraîné sur des données annotées par des experts (macro-F1 0,673 contre 0,76), ce qui laisse les corpus étiquetés par des experts dignes d'intérêt lorsqu'une grande confiance est requise.

Le problème de la vitesse : l'IA évolue plus vite que les résultats

L'IA change continuellement, et les conclusions tirées d'un modèle ou d'un système donné peuvent devenir rapidement obsolètes. Une étude portant sur une génération de grands modèles de langue peut ne pas décrire la suivante ; les scores aux repères de référence, la qualité du tutorat, et même l'utilité pratique d'un résultat se déplacent à mesure que les modèles s'améliorent. En s'ajoutant à cela, le processus de publication est lent — de la conception de l'étude à la publication évaluée par les pairs, il peut s'écouler un an ou plus — si bien qu'un résultat publié peut déjà décrire un système obsolète. Les évaluateurs et les lecteurs devraient donc traiter les résultats en AIED comme des affirmations provisoires et sensibles à la date, plutôt que comme des vérités stables, et préférer les travaux récents, orientés vers la réplication et explicites quant à la version.

Thoeni et Fryer (2026) rendent concrète la conséquence pour une littérature : parce que les systèmes fondés sur la RAG ne sont devenus accessibles au public qu'en novembre 2023, ils soutiennent que les résultats antérieurs à 2023 sur le tutorat intelligent — reposant sur des systèmes de TAL fondés sur des règles, l'appariement de mots-clés ou des heuristiques, qui présentent peu de ressemblance fonctionnelle avec les grands modèles de langue actuels — devraient être traités comme un contexte historique plutôt que comme des preuves directement comparables, et ils rapportent que leur revue n'a trouvé aucun ECR publié examinant un agent conversationnel fondé sur la RAG dans l'enseignement du premier cycle sur un semestre académique complet. L'implication est que les questions fondatrices sur la manière dont l'IA générative affecte l'apprentissage pourraient devoir être reposées à chaque nouvelle génération de modèles, plutôt que tranchées en regroupant des résultats plus anciens.

Limites relatives aux pratiques de recherche

Plusieurs limites concernent la conduite et l'infrastructure de la recherche elle-même :

  • Manque de reproductibilité. Les études ne rapportent souvent pas assez de détails (invites, versions des modèles, hyperparamètres, données, code d'analyse) pour que d'autres puissent reproduire ou vérifier les résultats — un problème particulier étant donné la sensibilité de la sortie des grands modèles de langue aux invites et aux réglages.
  • Pratiques de recherche FAIR. La pratique ouverte et reproductible — données et code trouvables, accessibles, interopérables et réutilisables, pré-enregistrement, et repères de référence partagés — est inégalement adoptée en AIED. Une faible adhésion aux principes FAIR rend plus difficiles la réutilisation, la comparaison et la construction à partir des études.
  • Outils et modèles propriétaires. Une grande part de la recherche dépend de systèmes d'IA fermés et propriétaires dont le comportement interne, les données d'entraînement et les mises à jour des modèles sont opaques et peuvent changer sans préavis. Cela limite la reproductibilité, rend la réplication exacte impossible, et peut lier les résultats à la feuille de route d'un fournisseur. Cela soulève aussi des questions sur l'indépendance de l'évaluation (voir Évaluation de l'IA en éducation).

Usage faible ou limité des théories

Une critique récurrente est que de nombreux articles empiriques ont un cadrage théorique limité ou dépassé. Les chercheurs peuvent :

  • Adopter des théories de manière acritique. Les cadres sont empruntés parce qu'ils sont familiers, sans engager pleinement leurs hypothèses, leur portée ou leur corpus de preuves.
  • Interpréter à tort les cadres comme des séquences fixes. Plusieurs cadres largement utilisés sont traités comme des échelles ordonnées que les apprenants doivent gravir d'un stade « bas » vers un stade « haut » — mais les preuves n'étayent pas le fait de toujours commencer par le bas. Par exemple :
    • La taxonomie de Bloom est souvent lue comme une hiérarchie stricte (mémorisation → application → évaluation), alors que les objectifs d'ordre supérieur n'exigent pas de répéter d'abord ceux d'ordre inférieur ; des tâches peuvent être conçues pour engager l'évaluation ou la création dès le départ (voir Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs).
    • ADDIE et d'autres modèles de conception pédagogique sont parfois traités comme des phases linéaires rigides plutôt que comme les heuristiques de planification itératives et flexibles qu'ils sont censés être (voir Conception pédagogique).
  • Négliger les théories contestées. Certaines théories largement utilisées en AIED ont elles-mêmes été contestées. La théorie de la charge cognitive, par exemple, a été critiquée et ses affirmations empiriques ont été réfutées ou disputées dans des études antérieures, et pourtant elle continue d'être invoquée comme un fondement établi dans les nouveaux travaux en AIED.

L'implication n'est pas que les théories et les cadres sont inutiles, mais qu'ils devraient être utilisés en portant attention à leur corpus de preuves réel, à leur portée visée, et à leurs critiques connues — plutôt que comme des étayages allant de soi ou des séquences procédurales rigides.

La crise des preuves méta-analytiques

Un corpus croissant de méta-recherche — des revues qui examinent les revues — soutient que les affirmations phares du champ sur les gains d'apprentissage dus à l'IA reposent sur un corpus de données probantes bien plus faible qu'il n'y paraît. Trois critiques complémentaires étayent cette thèse avec une force inhabituelle :

  • Le biais de synthèse positive est sévère et quantifiable. Bartoš et al. (2026), dans une méta-méta-analyse au niveau des études portant sur 1 840 tailles d'effet issues de 67 méta-analyses, ont trouvé de fortes preuves de biais de publication (tous les tests d'Egger avec p < ,0001) et une hétérogénéité entre études extrême (τ = 0,869). Les effets ajustés du biais de publication représentaient environ un tiers de la grandeur communément rapportée (SMD = 0,196 contre une médiane de 0,67 dans la littérature publiée), avec un intervalle de prédiction s'étendant de −1,521 à +1,908 — allant d'un préjudice important à un bénéfice important. Aucun sous-groupe de résultat, de champ, de niveau ou de rôle de l'IA ne montrait de gains cohérents, et il n'y avait aucune différence entre les études antérieures et postérieures à 2023. Leur verdict : les affirmations larges de gains d'apprentissage généralisés sont prématurées.
  • Les méthodes méta-analytiques sont systématiquement mal appliquées. L'audit médico-légal de O'Neill (2026) portant sur 14 méta-analyses en AIED à fort impact a trouvé qu'aucune ne fournissait de base valide à ses affirmations : aucune n'avait un construit cohérent (traitant l'outil « ChatGPT » comme s'il s'agissait d'une intervention unique, et regroupant notes de test, motivation, sentiment d'efficacité personnelle et attitudes en un seul nombre de « réussite scolaire ») ; l'hétérogénéité rapportée était sévère, avec un I² allant de 77,2 % à 94,4 % dans les 13 méta-analyses qui le rapportaient, dont 12 sur ces 13 au-dessus de 80 %, et elle n'était jamais résolue (aucune n'atteignait la taille minimale de sous-groupe de dix études, cinq s'appuyaient sur des sous-groupes d'une seule étude, et trois autres sur des sous-groupes de deux) ; douze traitaient comme indépendantes des tailles d'effet dépendantes issues de la même étude, gonflant les preuves apparentes ; et aucune n'évaluait valablement le biais de publication (les métriques de fail-safe N discréditées et les tests d'Egger mal appliqués étaient courants). Parce que l'I² dépend de la précision, il ne peut pas à lui seul établir à quel point les véritables effets sont éloignés, et la communication des résultats qui le montrerait était largement absente : seulement quatre méta-analyses rapportaient la variance entre études (τ²) et seulement deux un intervalle de prédiction, tous deux incluant le zéro. Une majorité (61 %) des études primaires examinées au hasard étaient problématiques, et une étude aux références fabriquées était incluse par six des 14 méta-analyses.
  • Le « traitement » est une boîte noire. Weidlich et al. (2025) réactivent le débat médias/méthodes pour soutenir que « ChatGPT » est un outil, et non une méthode — demander s'il « améliore l'apprentissage » est un non sequitur. En auditant un sous-ensemble des études qui sous-tendent la méta-analyse de Deng et al. (2025), ils ont trouvé que seulement 21 % des comparaisons avaient un traitement bien défini, un groupe témoin et une mesure valide de l'apprentissage ; les tailles d'effet rapportées (g = 0,7) dépassaient même celles de systèmes de tutorat intelligent conçus à cet effet (0,66), signal d'alarme indiquant que le « traitement » était une « recette secrète » hétérogène.

La convergence de ces trois critiques indépendantes est elle-même une preuve : à travers différentes méthodes, corpus et cadrages, ils aboutissent à la même conclusion — à savoir que les tailles d'effet positives en AIED, en particulier celles des premières méta-analyses, reflètent probablement le biais de publication, l'incohérence des construits et les raccourcis méthodologiques autant (ou plus) que de véritables gains d'apprentissage. Cela ne signifie pas que les outils d'IA n'ont aucune valeur éducative ; cela signifie plutôt que les preuves au niveau du champ sur leur valeur sont actuellement gonflées et doivent être lues en conséquence. Cela déplace aussi la responsabilité vers la qualité de la synthèse : une méta-analyse n'est digne de confiance qu'à proportion de la cohérence de ses construits, de l'indépendance de ses tailles d'effet, de l'adéquation de son analyse des modérateurs et de l'hétérogénéité, et de la validité de son évaluation du biais de publication — autant d'aspects que les critiques montrent régulièrement violés.

Lire la littérature AIED avec un esprit critique

Prises ensemble, ces limites plaident pour une lecture critique et multi-signaux de la recherche en AIED : vérifiez si un résultat se généralise et dispose d'une puissance suffisante ; vérifiez comment les construits ont été mesurés (et si les affirmations reposent sur l'auto-déclaration) ; préférez les travaux récents, explicites quant à la version et reproductibles ; et interrogez le cadrage théorique plutôt que de traiter les cadres familiers comme allant de soi. C'est le complément d'un choix de méthode et d'une évaluation rigoureux : de bonnes méthodes et une bonne évaluation sont nécessaires, mais lire en portant attention aux limites est ce qui transforme les preuves en décisions défendables.

De la recherche à la pratique

Une limite supplémentaire, pratique, est le défi que représente l'application de la recherche à l'enseignement et à la conception pédagogique. Les praticiens — enseignants, concepteurs pédagogiques et responsables du développement pédagogique — manquent souvent du temps ou de l'expertise spécialisée pour lire, évaluer et traduire la recherche primaire en décisions concrètes de classe. La littérature est vaste, fragmentée, et écrite pour des chercheurs ; les résultats sont rapportés avec un détail statistique et méthodologique qui n'est pas immédiatement actionable ; et parce que les affirmations sont provisoires (voir le problème de la vitesse ci-dessus), un praticien ne peut pas simplement prendre une étude isolée au pied de la lettre. Cela crée un fossé entre ce que les preuves étayent et ce qui atteint réellement la pratique enseignante.

Le but de cette base de connaissances est d'aider à combler ce fossé — de rendre plus facile le fait de suivre, d'interpréter et d'appliquer la recherche sur l'IA en éducation à la pratique — en rassemblant des résultats en accès libre dans des résumés structurés et accessibles, en reliant les travaux apparentés par des pages de concepts, et en signalant les limites que les lecteurs devraient peser. Elle vise à soutenir une pratique fondée sur les preuves en enseignement et en conception pédagogique, et, ce faisant, à faire aussi émerger les lacunes et les questions qui peuvent éclairer de nouvelles recherches et de nouveaux développements. Comprendre les limites de la recherche n'est donc pas une fin en soi : c'est ce qui permet aux praticiens d'appliquer les résultats de manière appropriée et aux chercheurs de concevoir des études plus solides qui servent mieux la pratique.

Concepts liés

Articles liés

FAQ liées

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.