Méta-analyse et revue systématique

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

Méta-analyse et revue systématique (Meta-Analysis and Systematic Review) — la famille de méthodes de synthèse des preuves que les chercheurs utilisent pour agréger et évaluer un corpus d'études, plutôt que pour mener une seule nouvelle expérience. Une revue systématique applique un protocole transparent et reproductible pour rechercher, trier, évaluer et synthétiser la littérature sur une question circonscrite ; une méta-analyse va plus loin en regroupant statistiquement les tailles d'effet des études éligibles afin de produire une estimation synthétique pondérée et de tester les modérateurs. Dans l'IA en éducation, ces méthodes sont centrales pour établir le corpus de données probantes permettant de savoir si les outils d'IA fonctionnent, dans quelles conditions et pour qui — et pour mettre au jour les lacunes, les biais et la qualité méthodologique du champ.(A meta-analysis of the effect of generative AI on productivity and learning in programming)(Comprehensive Review of Intelligent Tutoring Systems)

Questions à examiner

• Imaginez que vous lisiez dix études sur l'efficacité du tutorat par IA — deux montrant de grands gains, trois aucun, cinq de petits effets positifs. Comment décideriez-vous de ce qu'il faut conclure ? Cette tension est exactement ce que les revues systématiques et les méta-analyses sont faites pour résoudre.
• Une revue systématique et une méta-analyse sont souvent traitées comme la même chose, mais la page les distingue : une revue synthétise selon un protocole documenté, tandis qu'une méta-analyse regroupe statistiquement les tailles d'effet. Quand le regroupement serait-il inapproprié ou impossible, même si une revue soigneuse existe ?
• Les revues systématiques occupent le sommet de la hiérarchie des preuves en partie parce qu'elles compensent les petits échantillons, les dispositifs hétérogènes et les résultats contradictoires entre études. Où avez-vous vu une seule étude spectaculaire façonner l'opinion alors que les preuves regroupées étaient bien plus nuancées ?
• Les méta-analyses produisent une estimation synthétique pondérée — un nombre unique comme « un effet moyen de 0,125 écart-type ». Qu'est-ce qu'une moyenne regroupée masque au sujet des conditions, des apprenants ou des contextes où l'effet diffère — et pourquoi cela importe-t-il pour décider d'agir sur sa base ?
• Les deux méthodes s'engagent à suivre un protocole transparent et reproductible (souvent PRISMA) précisément parce que les choix de ce qu'on recherche et de ce qu'on inclut peuvent biaiser le résultat. Quelle confiance accorderiez-vous à une revue qui ne divulguerait pas ses décisions de recherche et de triage ?

Introduction

Les revues systématiques et les méta-analyses occupent le sommet de la hiérarchie traditionnelle des preuves précisément parce qu'elles synthétisent de nombreuses études individuelles, compensant les petits échantillons, les dispositifs hétérogènes et les résultats contradictoires qui caractérisent tout champ appliqué en évolution rapide. Dans l'IA en éducation, où de nouveaux outils et de nouvelles études apparaissent constamment, les revues jouent le rôle crucial de faire le point : cartographier ce qui a été étudié, agréger ce qui est connu, et signaler là où les preuves sont minces ou méthodologiquement faibles. Elles se distinguent d'une revue de littérature narrative ou intégrative, qui fournit une synthèse qualitative, par leur engagement envers un protocole documenté et (pour la méta-analyse) le regroupement statistique.(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Revue systématique vs. méta-analyse

Les deux suivent PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) comme norme de communication des résultats, qui documente le processus de recherche, de triage et d'inclusion pour la transparence et la reproductibilité. Une revue intégrative peut suivre les principes PRISMA par souci de transparence tout en s'arrêtant avant le regroupement statistique.(A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade)(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Synthèse des preuves en IA en éducation

Ce que les revues accomplissent

Les revues systématiques et les méta-analyses en IA en éducation servent plusieurs objectifs distincts :

• Établir le corpus de données probantes — déterminer si les outils d'IA (tutorat, rétroaction, évaluation, agents conversationnels) produisent des gains d'apprentissage, et quelle est l'ampleur de ces gains.
• Cartographier le champ et ses lacunes — une revue de cadrage documente ce qui a été étudié, où les preuves sont concentrées, et où elles manquent (par exemple, les milieux de travail, les travaux non anglophones, les cas d'échec).(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
• Identifier les modérateurs et les conditions — la méta-analyse teste si les effets diffèrent selon la population d'apprenants, le domaine, le type de système d'IA ou le dispositif d'étude, révélant pour qui et dans quelles conditions un outil fonctionne. Mais un modérateur n'est digne de confiance qu'à hauteur des études qui le sous-tendent : dans une méta-analyse de 2026 sur l'écriture en L2 assistée par l'IA générative, le seul modérateur qui a survécu au contrôle méthodologique était la classification du risque de biais des études, tandis qu'une différence de modèle pédagogique qui avait paru significative en analyse de sous-groupes s'est effondrée dès que la qualité des études et la taille d'échantillon ont été introduites. C'est la qualité méthodologique, et non la pédagogie, qui portait l'effet — si bien que des modérateurs pédagogiques apparents méritent le même examen que les estimations regroupées. Les modérateurs nuls portent la même leçon en sens inverse. Dans la méta-analyse de Chen et Wei sur les technologies numériques et d'IA pour les compétences en langues étrangères (40 études, 3 367 participants, g regroupé = 0,962), les modérateurs qui ont survécu étaient le dispositif d'étude (quasi-expériences g = 1,019 contre expériences véritables g = 0,474), la durée de l'intervention et le nombre d'outils, tandis que le type de compétence langagière, le type de technologie, le niveau d'enseignement, le contexte et la taille d'échantillon ne montraient aucune différence significative entre groupes, ce qui a conduit les auteurs à conclure que l'efficacité ne peut être attribuée à une étiquette de technologie ni à une catégorie de compétence. La méta-analyse de Yu et ses collègues sur l'éducation à l'IA dans le primaire et le secondaire (16 études, 57 tailles d'effet, g = 0,892) a trouvé ses trois modérateurs testés (source de publication, année de publication, niveau scolaire) tous nuls et a lu l'hétérogénéité résiduelle (I2 = 94,68 %) comme la preuve que le champ ne s'est mis d'accord sur aucune manière de mesurer la littératie en IA. Lorsqu'un modérateur revient nul et que l'hétérogénéité reste élevée, la conclusion de la synthèse porte souvent autant sur le construit de résultat ou sur les dispositifs des études primaires que sur l'i... [tronqué]
• Exposer la qualité méthodologique — les revues constatent régulièrement que le champ s'appuie sur des dispositifs sous-puissants, pré-expérimentaux ou quasi expérimentaux et sur des post-tests immédiats, ce qui tempère les conclusions.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)(Comprehensive Review of Intelligent Tutoring Systems) La minceur de la communication sur ce qui a réellement été fait fait partie de ce tableau, et elle borne ce que toute synthèse ultérieure peut affirmer : la revue systématique de Yalcin et de ses collègues sur l'IA générative dans l'enseignement de la programmation n'a pas pu identifier une approche pédagogique dans 26 de ses 46 études, et 32 des 46 paraissaient dans des actes de colloque, si bien que la revue n'a pu coder la pédagogie pour moins de la moitié de son corpus et se conclut par des preuves d'impact nuancées (certaines études montraient une amélioration de la performance à l'examen et en programmation, tandis que d'autres ne trouvaient aucune différence significative par rapport à la rétroaction de l'enseignant). Une synthèse hérite des habitudes de communication de son champ.

La fiabilité du triage peut dépendre du construit : dans une revue de cadrage PRISMA-ScR de 123 études sur l'IA générative, le délestage cognitif et l'autonomie de l'apprenant, l'accord sur les titres et résumés (κ de Fleiss = 0,7103) tombait à κ = 0,4884 en texte intégral, ce que les auteurs attribuent à la frontière interprétative entre la pertinence large à l'IA générative et la pertinence substantielle au mécanisme (Wang et al. (2026)).

Exemples issus de la base de connaissances

• Méta-analyse sur l'IA générative et la programmation — regroupe les preuves sur le compromis entre productivité et apprentissage, trouvant des gains de productivité significatifs mais aucun gain d'apprentissage significatif (g ≈ 0), ce qui illustre la capacité de la méta-analyse à séparer l'efficience de court terme de l'apprentissage durable.(A meta-analysis of the effect of generative AI on productivity and learning in programming)

• Méta-analyse sur l'IA générative dans l'apprentissage des étudiants sous l'angle du TPACK — regroupe 71 études (74 tailles d'effet) pour aboutir à un effet moyen à élevé (g = 0,752) qui se décompose de manière inégale : de forts gains cognitifs (g = 0,831) et affectifs (g = 0,729) mais un effet faible et non significatif sur l'engagement comportemental (SMD = 0,057, p = 0,828) (Liu et Zhong, 2025).

• Revue systématique de l'IA dans l'EFP — première revue systématique de 26 études, documentant le fossé entre un constructivisme de nom et un behaviorisme de pratique, ainsi que l'absence d'études en milieu de travail.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)

• Revue systématique de l'IA générative dans l'enseignement supérieur — cartographie les opportunités, les défis et les innovations pédagogiques sur une fenêtre de cinq ans.

• Revue complète des STI — une revue systématique des systèmes de tutorat intelligent axée sur la rigueur méthodologique.

• Revue systématique de ChatGPT et de la pensée critique/créative — synthétise les preuves sur le point de savoir si l'usage des grands modèles de langue soutient ou sape la pensée d'ordre supérieur.

• Corpus de données probantes sur l'IA dans le primaire et le secondaire — examine la solidité des preuves relatives au tutorat par IA dans les écoles.

• Méta-analyse des interventions en littératie en IA — méta-analyse à trois niveaux de 59 études (172 effets, 7 211 participants) estimant un effet global important (g = 0,837) tout en montrant que l'efficacité varie selon la région et la focale sur les résultats d'apprentissage (les interventions axées sur les connaissances ont surpassé celles qui ciblaient les compétences, les attitudes ou l'éthique).

• Heptagone de la littératie en IA — une revue de littérature intégrative suivant les principes PRISMA, illustrant une synthèse qualitative qui s'arrête avant la méta-analyse.(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

• Méta-analyse des technologies numériques et d'IA pour les compétences en langues étrangères — Chen et Wei (2026) regroupent 40 études expérimentales et quasi expérimentales (3 367 participants) pour aboutir à un effet important (g = 0,962, IC à 95 % de 0,765 à 1,159) avec une hétérogénéité élevée (I2 = 85,178) et des vérifications du biais de publication qui étayent l'estimation (N de fail-safe d'Orwin = 5853 ; test d'Egger p = 0,84465). La partie instructive tient au modérateur de dispositif : les quasi-expériences rapportaient g = 1,019 contre g = 0,474 pour les expériences véritables, et les profils non linéaires de durée et de nombre d'outils reposent sur des sous-groupes d'une ou deux études.

• Méta-analyse de l'IA générative et des résultats d'apprentissage dans l'enseignement supérieur — Jing et ses collègues (2026) regroupent 35 études et 175 tailles d'effet pour aboutir à g = 0,53 (IC à 95 % [0,48, 0,64]), le plus élevé pour les compétences professionnelles (g = 0,72), puis la performance académique (g = 0,46) et l'attitude émotionnelle (g = 0,44). La durée modère chaque dimension, et le déclin est le point central : les effets sur la performance académique tombent de g = 5,07 pour des interventions de 0 à 4 semaines à g = 0,64 entre 4 et 12 semaines et g = 0,01 au-delà de 12 semaines (Q = 35,19, p < 0,001). Le type de discipline et la méthode d'apprentissage n'étaient pas des modérateurs significatifs.

• Méta-analyse de l'éducation à l'IA et de la littératie en IA dans le primaire et le secondaire — Yu et ses collègues (2026) regroupent 16 études (57 tailles d'effet, 3 837 étudiants, tous les effets positifs) pour aboutir à g = 0,892 (IC à 95 % [0,548, 1,236]), l'ajustement par trim-and-fill le laissant à g = 0,952. Les trois modérateurs testés (source de publication, année, niveau scolaire) sont tous revenus nuls, et les auteurs attribuent l'hétérogénéité de 94,68 % à la mesure : les études opérationnalisaient la littératie en IA comme tout à la fois des connaissances en IA et l'éthique, des attitudes, le sentiment d'efficacité personnelle et l'intérêt pour la carrière.

• Revue systématique de l'IA générative dans l'enseignement de la programmation — Yalcin et ses collègues (2026) trient selon PRISMA 151 références pour aboutir à 46 études, dont 26 ne donnent aucune description utilisable de l'approche pédagogique et 38 examinent un seul outil (ChatGPT seul apparaît dans 35 des 46). La revue cartographie les outils, les langages et les lieux de publication de manière fiable, mais ne peut coder la pédagogie pour moins de la moitié de son corpus, ce qui démontre nettement que la minceur de la communication des études primaires plafonne ce qu'une synthèse peut conclure.

• Revue de cadrage et carte des preuves du TAL dans l'évaluation de l'enseignement par les étudiants — Eicher et da Silva (2026) évaluent 421 études sur un axe technique et quatre dimensions de valeur, codant l'exploitabilité sur une échelle à six niveaux allant de l'utilité affirmée à l'impact mesuré sur les décisions, et aboutissent à une production exploitable dans 258 des 421 études (61,3 %) contre une évaluation par les utilisateurs visés dans seulement 49 (11,6 %). Transformer une lacune en dimension codée permet à la revue de nommer la frontière de 49,7 points entre « le modèle fonctionne » et « la rétroaction change l'enseignement » comme son constat central plutôt que comme une réserve.

• Revue PRISMA 2020 de l'IA générative dans l'apprentissage par scénarios en santé — Neto et ses collègues (2026) ont recherché systématiquement dans cinq bases de données (9 novembre 2025) des études évaluées par les pairs sur l'IA générative dans l'enseignement en santé par scénarios, cas, problèmes et simulation, triant 1 151 références pour aboutir à 23 études incluses évaluées avec le méthodes mixtes Appraisal Tool (MMAT). Leur synthèse thématique a fait émerger six thèmes transversaux ancrés sur la conception des invites comme spécification pédagogique, et a documenté des lacunes dans la standardisation de la validation, les dispositifs longitudinaux/comparatifs et la quantification de l'efficience — un modèle pour une revue systématique rigoureuse de l'IA générative propre à un domaine.

• Revue systématique des enseignants de langues et de l'IA générative — une revue alignée sur PRISMA de 23 études empiriques indexées SSCI (décembre 2022–septembre 2024) sur la manière dont les enseignants de langues perçoivent, adoptent et apprennent à intégrer l'IA générative, synthétisée à travers la typologie aristotélicienne des savoirs que sont l'episteme (compréhension théorique), la techne (habileté pratique) et la phronesis (sagesse pratique). Elle documente une adoption prudente et sélective, pondérée vers la préparation en coulisses, des lacunes de compétence persistantes dans les trois types de savoir, et seulement trois interventions structurées de développement professionnel — ce qui illustre comment une revue peut exposer à la fois le corpus de données probantes et les lacunes méthodologiques du champ (ici, la rareté des études structurées sur le développement professionnel).

• Revue systématique de l'IA et de la prestation de services dans l'enseignement supérieur mondial — Nyamboga (2026) synthétise 155 études dans cinq domaines et évalue la certitude de chacun selon des critères adaptés de CASP et inspirés du JBI, notant élevée l'intégration de l'IA et la préparation des infrastructures, modérée le leadership, et faibles la gouvernance éthique et la durabilité. La revue tourne aussi vers son propre corpus une optique de qualité : 117 études (75,5 %) rapportaient une mise en œuvre réussie, 124 (80,0 %) ne couvraient que l'impact de court terme, et seulement 23 (14,8 %) rapportaient des échecs en matière d'éthique, d'équité ou de gouvernance. Une synthèse peut rapporter le degré de certitude des preuves, domaine par domaine, plutôt que seulement la direction qu'elles indiquent.

• Revue systématique de l'apprentissage par renforcement en éducation — Riedmann, Schaper et Lugrin (2025) ont appliqué un protocole conforme à PRISMA pour synthétiser 89 études sur l'apprentissage par renforcement (2000–2024). La revue est une étude de cas instructive sur les méthodes de synthèse et leurs limites : elle cartographie un champ en croissance rapide mais méthodologiquement inégal — plus de la moitié des études (n = 54) ne rapportaient aucun test statistique — et ne mène une analyse des tailles d'effet que sur 15 articles propres au regroupement, rapportant des effets intermédiaires à élevés (d de Cohen) issus d'évaluations en direct. Elle a aussi effectué des vérifications du biais de publication (graphique en entonnoir, test d'Egger, PET-PEESE) qui n'ont trouvé aucun biais significatif mais avaient une puissance limitée (n = 6), et elle s'arrête à une synthèse thématique plus une synthèse quantitative limitée plutôt qu'à une méta-analyse complète, précisément parce que des protocoles d'évaluation hétérogènes empêchaient un regroupement plus large — une illustration concrète des limites d'hétérogénéité et de qualité des données d'entrée décrites plus bas.

• Revue de cadrage de la pensée critique dans la recherche en IHC sur l'IA — Inie et ses collègues (2026) cartographient 80 articles empiriques et n'effectuent délibérément aucune évaluation de la qualité, si bien que l'influence « revendiquée » signifie la conclusion que chaque article énonce. Seuls 23 articles (29 %) définissent la pensée critique, 46 (57 %) ne peuvent se voir attribuer une position théorique, et 49 (61 %) mesurent le construit par l'auto-déclaration, ce qui permet à 50 articles (62 %) de rapporter une influence positive. Lorsqu'un construit est aussi peu défini et que ses mesures sont incommensurables, cartographier le champ est plus informatif que le regrouper, et retenir l'évaluation déplace l'affirmation d'un effet vers une description de ce que les études ont revendiqué.

• Revue de cartographie de l'intégration de l'IA dans l'enseignement supérieur (FACETS + SAMR) — une revue PRISMA 2020 qui trie 959 références pour aboutir à 22 études d'intervention, illustrant comment un cadre de codage (FACETS : Forme, Cas d'usage de l'IA, Contexte, Focale éducative, Technologie, SAMR) associé à une optique évaluative (SAMR) cartographie une littérature fragmentée et évalue la profondeur de transformation. La plupart des études incluses se situaient au niveau Substitution/Augmentation du modèle SAMR, ce qui montre que les revues de cartographie peuvent révéler un champ d'intégration large mais peu profond — une alternative au regroupement des effets lorsque le but est de décrire un paysage plutôt que d'estimer un effet.

• Revue systématique de l'intervention des enseignants dans l'enseignement primaire et secondaire fondé sur l'IA — Lee (2026) a trié 1 565 références pour aboutir à 29 études, avec deux évaluateurs indépendants à chaque étape (κ = 0,655 au triage, κ = 0,647 à l'éligibilité) et une évaluation de la qualité par le MMAT qui a écarté une étude. C'est un exemple instructif de synthèse qui s'arrête délibérément avant le regroupement : parce que l'effet indépendant de l'intervention de l'enseignant ne pouvait être séparé de la conception du système d'IA, de la structure pédagogique et du contexte de classe dans la plupart des études incluses, la revue rapporte des résultats conditionnels et un cadre explicatif de processus, de stratégie et d'effet plutôt qu'une taille d'effet — la même limite qui sépare une revue d'une méta-analyse.

• Revue systématique des valeurs et normes éthiques en AIED — Agarwal et ses collègues (2026) ont trié 736 références dans Web of Science, ERIC, IEEE CSDL et ACM DL (plus un échantillonnage boule de neige rétrospectif) pour aboutir à 25 articles inclus, consolidant la littérature fragmentée sur l'éthique de l'AIED en six principales valeurs éthiques (non-discrimination, gestion responsable des données, supervision humaine, bienveillance, explicabilité, pertinence éducative) et en cartographiant les normes éthiques sur une matrice croisant acteurs et valeurs. La revue illustre comment un protocole systématique peut synthétiser une littérature conceptuellement fragmentée et largement non empirique (seuls trois des 25 articles étaient des articles méthodologiques ou des recherches originales) et la transformer en un cadre exploitable — ici, un fondement pour la gouvernance et l'élaboration de politiques.

• Méta-analyse à trois niveaux de l'IA générative dans l'AEP/l'APp — Chen et ses collègues (2026) regroupent 22 études contrôlées et 66 tailles d'effet pour aboutir à un effet important sur les résultats internes à l'apprenant (g = 0,819, IC à 95 % [0,655, 0,983]), puis rapportent qu'une correction pour petites études par PET-PEESE abaisse l'estimation à g = 0,378 tandis que le modèle de performance du produit (g = 1,958, six études) porte un intervalle de prédiction qui croise le zéro. Deux autres études ont été écartées pour avoir échoué au seuil d'équivalence des lignes de base de 0,25 écart-type du What Works Clearinghouse. L'effet rapporté dépend des corrections de biais et des filtres de dispositif qu'une synthèse applique, et les deux appartiennent à l'interprétation plutôt qu'à une note de bas de page.

Revue interdisciplinaire de l'IA pour la dyslexie

Dabaghi, D'Urso et Sciarrone (2026) présentent une revue systématique interdisciplinaire guidée par PRISMA (2018–2024, n = 72) portant sur l'IA et l'IA générative pour soutenir les élèves dyslexiques en éducation. La revue cartographie l'IA dans la détection, le soutien assistif et l'apprentissage personnalisé, constatant que ces fils évoluent en parallèle plutôt qu'en intégration, davantage poussés par l'opportunité technologique que par une théorie éducative consolidée. Elle documente que l'IA générative est sous-utilisée dans ce domaine (la recherche sur l'IAG, entièrement issue de 2024, se regroupe en agents conversationnels, soutien à la formation des enseignants et études exploratoires) et que les outils d'aide à l'éducation fondés sur l'apprentissage automatique se répartissent en cinq domaines (applications spécifiques, engagement, personnalisation, recommandation, soutien générique) tout en privilégiant la performance technique à la validité écologique. Les défis ouverts incluent une validation expérimentale limitée, l'extensibilité et l'accessibilité des outils de diagnostic, les préoccupations d'éthique et de vie privée relatives aux données sensibles des élèves, un soutien limité aux enseignants, et les barrières linguistiques et culturelles. Les propres limites méthodologiques de la revue — biais de classification interprétative, exclusion des études non anglophones, protocoles d'évaluation hétérogènes qui empêchent la synthèse quantitative, et un corpus de preuves sur l'IAG en évolution rapide — illustrent la tension centrale de la famille des revues systématiques : un protocole transparent peut cartographier un champ fragmenté, mais l'hétérogénéité de l'évaluation empêche le regroupement statistique, si bien que la revue s'arrête à une synthèse thématique plutôt qu'à une méta-analyse.

Défi de synthèse à l'ère de l'IA : productivité contre apprentissage

Les revues d'interventions fondées sur l'IA générative font face à un défi distinctif que la recherche sur la synthèse de la base de connaissances met en lumière : séparer les gains de productivité des gains d'apprentissage durables. Parce que l'IA générative peut gonfler la performance immédiate sur une tâche (devoirs, pratique assistée) sans produire d'apprentissage, les méta-analyses doivent être attentives au résultat qu'elles regroupent. La méta-analyse sur l'IA générative et la programmation a trouvé d'importants gains de productivité mais aucun gain d'apprentissage significatif (g ≈ 0) — une illustration nette. Les études de terrain à grande échelle et la recherche sur les mesures sans assistance montrent que l'effet mesuré dépend de ce que les résultats sont assistés par l'IA ou surveillés/sans assistance. Les revues devraient donc rapporter séparément les résultats assistés et non assistés, distinguer la performance de l'apprentissage, et signaler les études qui ne mesurent qu'une performance immédiate soutenue par l'IA. Une mise en garde complémentaire émerge de la méta-analyse sur la littératie en IA : le résultat regroupé façonne aussi la réponse — les interventions en littératie en IA axées sur les connaissances ont montré des effets plus importants que celles qui ciblaient les compétences, les attitudes ou l'éthique, si bien qu'une revue qui ne regroupe que les résultats de connaissances peut surestimer ce que l'enseignement de la littératie en IA atteint globalement. Cela rejoint l'évaluation d'une intervention d'IA en éducation et l'évaluation sommative.

Le même artefact apparaît dans la dimension temporelle. La méta-analyse de 2026 de Jing et de ses collègues sur l'IA générative dans l'enseignement supérieur (35 études, 175 tailles d'effet, g regroupé = 0,53) rapporte des effets sur la performance académique qui tombent de g = 5,07 pour des interventions de 0 à 4 semaines à g = 0,64 entre 4 et 12 semaines et g = 0,01 au-delà de 12 semaines (Q = 35,19, p < 0,001), les effets sur l'attitude émotionnelle chutant d'un pic de g = 2,05 à g = 0,18 sur le même intervalle. Des effets aussi importants, et si précoces, enregistrent surtout de l'assistance au niveau de la tâche plutôt qu'un apprentissage durable, si bien qu'une estimation regroupée dominée par des études courtes devrait être lue comme une borne supérieure de ce qu'une mise en œuvre réelle soutiendra. Les revues qui regroupent des résultats devraient donc consigner la durée de l'intervention à côté de la taille d'effet, parce que la durée est l'un des rares modérateurs qui ait tenu à travers ces synthèses.

Forces et limites

Forces :

• Synthèse efficiente d'une littérature vaste et fragmentée
• La méta-analyse produit des estimations d'effet regroupées, accroît la puissance statistique, et détecte les modérateurs et l'hétérogénéité
• Les protocoles systématiques améliorent la transparence et la reproductibilité par rapport aux revues narratives
• Essentiels pour une pratique fondée sur les preuves et pour l'identification des lacunes de recherche

Limites :

• Qualité des données d'entrée déterminant la qualité de la synthèse (garbage-in/garbage-out) — la synthèse ne vaut que la qualité des études incluses ; des dispositifs primaires faibles produisent des conclusions regroupées faibles
• Biais de publication — les résultats nuls ou négatifs sont peu publiés, ce qui gonfle les effets regroupés
• Hétérogénéité — des dispositifs, des mesures de résultat et des systèmes d'IA variés rendent le regroupement direct difficile et peuvent saper le sens d'une taille d'effet unique. La méta-analyse sur l'écriture assistée par l'IA générative rend cela concret : un avantage regroupé important et statistiquement significatif s'accompagnait d'une hétérogénéité entre études si extrême que l'intervalle de prédiction pour une nouvelle mise en œuvre croisait encore le zéro, ce qui signifie qu'un déploiement récent pourrait plausiblement ne produire aucun bénéfice. La direction de la moyenne était robuste ; son ampleur ne l'était pas — ce qui explique pourquoi l'intervalle de prédiction, et non la seule estimation regroupée, devrait éclairer une décision d'adoption. L'hétérogénéité non résolue peut aussi venir du côté des résultats plutôt que du côté des dispositifs : la méta-analyse sur la littératie en IA dans le primaire et le secondaire a trouvé un I2 = 94,68 % qu'aucun modérateur n'expliquait, et l'a rattaché à l'absence d'une mesure convenue de la littératie en IA, les 16 études mêlant résultats cognitifs et affectifs sous une seule étiquette. Une hétérogénéité due à ce qui a été mesuré autant qu'à ce qui a été fait ne peut être résolue par le regroupement.
• Obsolescence rapide — le paysage des outils d'IA change vite, si bien que les revues se datent rapidement
• Contraintes de portée — des recherches limitées à une seule base de données ou à l'anglais peuvent manquer des travaux pertinents.(A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade)(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)

La méta-recherche avertit que la base de synthèse en AIED est actuellement faible. Un ensemble croissant de critiques documente que les tailles d'effet phares du champ sur l'IA — en particulier celles des premières méta-analyses — sont gonflées par le biais de publication, l'incohérence des construits et les raccourcis méthodologiques. Bartoš et al. (2026), en méta-analysant 1 840 tailles d'effet issues de 67 méta-analyses, estiment l'effet de l'IA ajusté du biais de publication à environ un tiers de l'ampleur rapportée (SMD ≈ 0,196), avec une hétérogénéité extrême. O'Neill (2026) audite 14 méta-analyses en AIED à fort impact et constate qu'aucune n'avait un construit cohérent, une évaluation valide du biais de publication, ou une hétérogénéité résolue ; douze traitaient des tailles d'effet dépendantes comme indépendantes. Weidlich et al. (2025) montrent que la plupart des comparaisons primaires n'ont pas de traitement, de groupe témoin et de mesure de l'apprentissage bien définis. Cela signifie que les lecteurs devraient traiter les tailles d'effet regroupées en AIED comme des bornes supérieures jusqu'à ce que la qualité des synthèses s'améliore — voir Limites de la recherche en AIED pour l'analyse complète.

• Les normes de communication n'ont pas suivi le rythme de l'automatisation. PRISMA-LLM analyse SciLitBench, un corpus de 888 articles sur l'automatisation des revues comportant 14 726 annotations, et documente un taux de croissance proche de 4,7 % par mois aux côtés d'un déficit de responsabilité : depuis 2023, 38,0 % des articles logiciels et produits ne rapportaient aucune évaluation, contre 9,3 % des articles sur les grands modèles de langue, et 52 % des évaluations à résultats positifs seuls sur les grands modèles de langue rapportaient une préoccupation de haut niveau non satisfaite. Parce que les pipelines fondés sur les grands modèles de langue et les logiciels participent désormais à des étapes qui peuvent altérer le corpus de données probantes, le cadre exige la divulgation de l'endroit du flux de travail de la revue où l'automatisation est intervenue, de ce qui a été évalué, et des limites qui ont été vérifiées — une extension directe du problème de transparence que les critiques des revues en AIED ont documenté pour les méta-analyses des effets sur l'apprentissage. (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews)

Relation avec les autres méthodes

Dans le paysage méthodologique de la base de connaissances, la méta-analyse et la revue systématique constituent la famille de la synthèse, qui complète les dispositifs primaires :

• Les études primaires (expériences, enquêtes, travaux qualitatifs, recherche par la conception) produisent des résultats individuels ; les revues les agrègent. Voir Les méthodes de recherche en AIED.
• La communication des tailles d'effet dans les études primaires (par exemple, les ECR) est ce qui rend la méta-analyse ultérieure possible — les revues dépendent d'études qui rapportent des tailles d'effet comparables et extractibles.
• L'évaluation (Évaluation de l'IA en éducation, Référentiel) porte sur des systèmes individuels ; les revues portent sur la littérature relative aux systèmes et aux interventions.
• La mesure en éducation (La mesure en éducation, Validité de l'évaluation) concerne la qualité des mesures de résultat que les revues regroupent.

Implications pour les chercheurs

1. Rapporter des tailles d'effet extractibles. Pour qu'une littérature soit susceptible de méta-analyse, les études primaires doivent rapporter des tailles d'effet comparables et des détails méthodologiques adéquats — une responsabilité de toute étude en AIED.(Les méthodes de recherche en AIED) Un détail adéquat inclut l'approche pédagogique : une revue systématique de l'IA générative dans l'enseignement de la programmation n'a pu coder la pédagogie pour moins de la moitié de ses 46 études parce que 26 ne décrivaient jamais ce qu'elles faisaient, et le détail que les auteurs primaires omettent est celui que les synthèses ultérieures ne peuvent récupérer.
2. Suivre un protocole transparent. La recherche, le triage et l'évaluation guidés par PRISMA rendent les revues reproductibles et défendables.
3. Interpréter les effets regroupés avec prudence. Prêter attention à l'hétérogénéité, au biais de publication et à la qualité des études incluses avant de tirer des conclusions fortes.
4. Utiliser les revues pour fixer l'agenda. Les lacunes documentées par les revues (cas d'échec, milieux de travail, travaux non anglophones et non indexés, résultats de long terme) devraient guider là où de nouvelles recherches primaires sont nécessaires.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
5. Traiter les modérateurs nuls comme des résultats. Lorsque les modérateurs reviennent nuls et que l'hétérogénéité reste élevée, cela constitue une preuve sur l'état du champ (incohérence des construits, minceur de la communication des dispositifs) autant que sur l'intervention, et cela appartient au récit de la synthèse plutôt qu'à la poubelle.(The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis)(The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis)

L'IA générative dans l'apprentissage par scénarios en santé

• Revue PRISMA 2020 de l'IA générative dans l'apprentissage par scénarios en santé. Neto et ses collègues (2026) ont recherché systématiquement dans cinq bases de données (9 novembre 2025) des études évaluées par les pairs sur l'IA générative dans l'enseignement en santé par scénarios, cas, problèmes et simulation, triant 1 151 références pour aboutir à 23 études incluses évaluées avec le méthodes mixtes Appraisal Tool (MMAT). Leur synthèse thématique a fait émerger six thèmes transversaux ancrés sur la conception des invites comme spécification pédagogique, et a documenté des lacunes dans la standardisation de la validation, les dispositifs longitudinaux/comparatifs et la quantification de l'efficience — un modèle pour une revue systématique rigoureuse de l'IA générative propre à un domaine.

Concepts liés

• Interpréter et appliquer la recherche sur l'IA en éducation
• Les méthodes de recherche en AIED
• ECR (essai contrôlé randomisé)
• Évaluation de l'IA en éducation
• Recherche éducative assistée par IA — Recherche éducative assistée par IA
• Référentiel
• La mesure en éducation
• Validité de l'évaluation
• Gains d'apprentissage
• L'évaluation sommative
• L'IA en éducation
• Enseignement supérieur
• Simulation

Articles liés

• Integrating Generative Artificial Intelligence into Student Learning: A Systematic Review from a TPACK Perspective — Revue systématique de l'IA générative dans l'apprentissage des étudiants sous l'angle du TPACK

• A meta-analysis of the effect of generative AI on productivity and learning in programming — Méta-analyse de l'effet de l'IA générative sur la productivité et l'apprentissage en programmation

• Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness — Première revue systématique de l'IA dans l'enseignement et la formation professionnels

• A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade — Revue systématique PRISMA de l'apprentissage collaboratif soutenu par l'IA

• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025) — Revue systématique de l'IA générative dans l'enseignement supérieur

• Comprehensive Review of Intelligent Tutoring Systems — Revue systématique complète des systèmes de tutorat intelligent

• The cognitive impact of ChatGPT in higher education: A systematic review of critical and creative thinking outcomes — Revue systématique de ChatGPT et de la pensée critique/créative

• The Evidence Base on AI in K-12: A 2026 Review — Corpus de données probantes sur l'IA dans le primaire et le secondaire

• AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators — Méta-analyse des effets des interventions en littératie en IA

• Effectiveness of GenAI in Enhancing Writing Performance: A Meta-Analysis — Méta-analyse de l'écriture en L2 assistée par l'IA générative : un effet regroupé important miné par une hétérogénéité extrême et un modérateur lié à la qualité

• The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education — Revue de littérature intégrative des dimensions de la littératie en IA (guidée par PRISMA)

• Generative AI in Scenario-Based Healthcare Education: A Systematic Review of Applications, Validation Practices, and Pedagogical Integration — Revue systématique de l'IA générative dans l'apprentissage par scénarios en santé (Neto et al. 2026)

• Mapping artificial intelligence integration in higher education: A systematic review using the FACETS and SAMR frameworks — Revue de cartographie classant 22 études sur l'intégration de l'IA avec FACETS + SAMR ; la plupart se situent au niveau Substitution/Augmentation

• Identifying the ethical values and norms for artificial intelligence in education: A systematic literature review — Valeurs et normes éthiques pour l'IA en éducation

• A Systematic Review of Language Educators' Practices and Development with GenAI — Pratiques et développement des enseignants de langues avec l'IA générative

• Artificial intelligence to help people with dyslexia in education: An interdisciplinary literature review — L'IA pour aider les personnes dyslexiques en éducation

• Reinforcement Learning in Education: A Systematic Literature Review

• ChatGPT in Education: An Effect in Search of a Cause — ChatGPT dans l'éducation : un effet en quête d'une cause (critique de la comparaison des médias)

• Effect of Artificial Intelligence on Learning: A Meta-Meta-Analysis — Méta-méta-analyse : les effets de l'IA ajustés des biais représentent environ 1/3 de la taille rapportée

• Presumed Effective: The Manufacturing of an Evidence Base for AI-in-Education Through Flawed Meta-Analysis — Présumé efficace : audit médico-légal de 14 méta-analyses en AIED

• Teacher intervention in K-12 AI-based instruction: a systematic review of processes, strategies, and effects — L'intervention des enseignants dans l'enseignement primaire et secondaire fondé sur l'IA : une revue systématique

• The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis — Méta-analyse des outils numériques et d'IA pour les compétences en langues étrangères : le modérateur de dispositif fait plus que doubler les estimations d'effet quasi expérimentales

• The Impact of Generative Artificial Intelligence on Learning Outcomes in Higher Education: A Meta-Analysis — Méta-analyse de l'IA générative dans l'enseignement supérieur : les effets des interventions courtes s'effondrent à mesure que la durée s'allonge

• The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis — Méta-analyse de l'éducation à l'IA dans le primaire et le secondaire : un effet important avec des modérateurs nuls et une hétérogénéité attribuée à la mesure

• Mapping Research on Generative Artificial Intelligence for Programming Education: A Systematic Review — Revue systématique de l'IA générative dans l'enseignement de la programmation : une communication pédagogique mince dans 26 études sur 46

• Generative AI, Cognitive Offloading, and Learner Agency in Higher Education: A Scoping Review — Revue de cadrage de 123 études cartographiant l'IA générative, le délestage cognitif et l'autonomie de l'apprenant dans l'enseignement supérieur