在人工智能教育研究中，报告与解读研究结果的最佳实践是什么？

本页是英文页面的机器翻译，尚未经母语者审校。

你的草稿摘要里有一个头条数字，而审稿人刚刚问了一句：对照组到底做了什么。或者你就是那位审稿人，手上是一份合并效应量为 0.67、方法部分长达一页半的元分析。或者你的院系正在写关于员工应如何报告 AI 研究的指引，想要比“遵循标准”更具体的东西。

六处遗漏决定了其中多数情形：用的是哪个 AI 系统、它被配置去做什么、它扮演什么教学角色、是否有人设计或审阅它的输出、结果测量实际捕捉了什么、以及作者对偏倚、成本和局限做了什么。“无法评估”是这些缺失时诚实的判定，而它与“被否证”是不同的判定。

简要版

1. 把 AI 当作一种处理来描述，而不是当作一个供应商。模型、版本、配置、提示词、角色，以及谁设计或审阅了输出。

2. 写明教学法依据和主动对照。产品名不是方法，照常上课也不是公平的对照。

3. 让测量匹配你的主张，包括结果是否延迟、是否在无辅助条件下测得。

4. 报告你的分析实际具有的不确定性：相依效应、研究间方差、预测区间、亚组规模、发表偏倚。

5. 验证每一项自动化判断，指明金标准和裁定者。

6. 报告配重：治理、算力成本、你自己使用 AI 的情况、零结果，以及只引你核查过的文献。

把 AI 描述成别人能重建的处理

这是多数投稿通不过的那一关。RAISE 框架（Reporting AI Studies in Education，Allison 2026）是一份 30 项清单，覆盖十个主题域，它的诊断性主张很具体：投稿普遍遗漏用了哪个模型、如何配置、扮演什么角色，以及是否有人类行动者设计或审阅其输出。审稿人于是剩下四个无法回答的问题。AI 到底在做什么？它是否必要？这项研究可复现吗？关于学习的主张可信吗？

RAISE 从教育合理性一路排到 API 层面的规格、学习者与 AI 的互动、可及性与文化契合、参与者与场景、人的参与、设计、伦理、透明度与可复现性，直到局限。它配套的伦理与风险矩阵覆盖对学习者能动性、公平、数据治理和算法透明度的风险。Hwang, Xie, Wah and Gašević (2026)提供了一个精简的替代方案。TEP-AIED 把透明度、伦理与教学法折进一个相互依赖的结构，给出一张映射到论文七个章节的指引表，并要求作者增加一个题为“透明度、伦理与教学法考量”的方法小节。他们的理由很实际：RAISE 很全面，对常规实证使用来说颗粒度太细。这项披露归在AI 使用披露之下，正是它让关于隐私和伦理的主张变得可核查。

教育合理性在 RAISE 里排第一位，因为 AI 不是中性的工具。价值取决于学习问题、理论依据，以及从目标到结果测量的映射这三者之间的对齐。O'Neill (2026)发现，在 14 项受审查的元分析中，除两项之外，其余都把处理定义成一个工具、ChatGPT、GenAI 或笼统的“AI”。产品名不是教学法。把接触 ChatGPT 当作同一种共同干预，相当于对“纸”的效果做元分析。

Weidlich et al. (2025)对原始研究提出了同一论点。他们审查了一项知名元分析背后的一部分比较，发现只有 21% 具有明确定义的处理、对照组和有效的学习测量。报告的效应量（g = 0.7）也超过了专门构建的智能导师系统（0.66），而这个差距是一个警示信号：一种胜过专门构建的导师系统的处理，很可能是把不同的东西裹在同一个标签下。

检验只有一个问题：一个合格的读者能否仅凭方法部分重建你的干预，并得到同样的东西？

决定你的测量允许你主张什么

在 O'Neill 对 46 项随机抽取的原始研究的证据审查中，28 项（61%）存在效度问题。因变量不匹配最常见（n = 15），其次是自变量不匹配（n = 11）、实验设计问题（n = 7）、数据提取问题（n = 6）、缺少对照组（n = 6）和非随机分组（n = 6）。多维结果被例行合并，仿佛可以互换，考试成绩、作业质量、动机、自我效能、态度和参与度被压成一个“学业成就”数字。

两个报告习惯可以防止这一点。说明该工具测量的是什么构念，以及它是否针对该人群做过效度验证；自我报告测量展示了基于感知的测量在何处与行为分岔，评价效度则覆盖构念效度。然后报告一个不依赖学习者对这份辅助之信念的结果。在辅助下的即时任务表现不是学习增益，而认知卸载是最有可能把两者分开的机制。对 493 条记录与 14 项优先研究的 2026 年小型综述发现，没有任何一项把核查成功与随后的依赖决定一起，对照一个独立裁定的输出质量标准来测量，也很少有研究越过即时表现去看延迟保持或迁移。

在讨论部分明确写出天花板。一项测量了开着工具做的测验的研究，可以支撑关于有辅助表现的主张。它不能支撑关于学生学到了什么的主张，而这句话只花一行。

报告你的分析实际具有的不确定性

对综合研究而言，要报告相依效应的处理方式、研究间方差、预测区间和发表偏倚评估。仅靠 I² 不够。O'Neill 发现，凡给出异质性的地方都很严重，13 项元分析从 77.2% 到 94.4%，其中 12 项高于 80%，而且从未被解决：没有任何调节分析达到十项研究的最低亚组规模。12 项元分析把同一研究内的相依效应量当作独立处理，这会放大表面上的证据。只有 4 项报告了研究间方差（τ²），只有 2 项报告了预测区间，而两个区间都包含零。这一组里没有任何一项对发表偏倚做过有效评估。

异质性数字需要附上它的模型，因为 I² 依赖精度。AIEd 研究中的局限记录了一项综合在固定效应模型下 I² = 82.98%、在随机效应下为 15.75%。只拿到第一个数字的读者无法判断这批文献有多不一致。把 τ² 和预测区间一并报告，这也是综述文献所要求的惯例。

然后给你自己的头条数字打折。Bartoš et al. (2026)合并了来自 67 项元分析的 1,840 个效应量，发现一旦对发表偏倚建模，平均效应降到已发表中位数的大约三分之一（SMD = 0.196，对比 0.67），预测区间从 -1.521 到 +1.908。对一个假想的新研究来说，这个区间横跨实质性伤害到实质性收益。这是论文里最有用的数字，也是最容易被从摘要里丢掉的那个。

说明这项主张能走多远

公平性与适用范围以同样的方式失效：一个大效应，含义却比它看起来更小。14 项受审查的元分析中有 11 项没有设定人群边界，于是“学生”从儿童一直覆盖到医学受训者。单一课程、单一院校、单一学科或单一国家都不能支撑一个普遍主张，而某个工具的结果很少能迁移到另一个工具。

三种解释涵盖了多数大效应，而每一种都可报告。新颖性是一种。额外的任务用时是另一种。第三种是对照条件接受的是照常教学，而不是主动对照。报告对照组实际做了什么、每个臂花了多少时间、以及这个工具有多新。也要写明人群边界，因为效应在不同学习者群体之间不同，而一个未写明的边界正是让一个合并数字代表他们所有人的原因；不同学习者群体间的差异效应列出了这种差异。

把工具当作移动的靶子。专有系统会无预告地变更，所以一项发现绑定在某个模型版本上，而某个基准在某个版本里令人振奋，下一个版本里未必成立。版本与访问日期因此属于方法部分，不只是为了可复现性。

验证那些自动化判断

AIED 评估越来越多地把评分交给模型，这就使验证程序成为结果的一部分，而不是附录。Khan Academy 对其AI 导师指标的说明报告说，认知参与度由一个以人类教学专家为标定基准的大语言模型评审者打分，F1 为 0.83，而那些指标的变动来自五个月内 40 多项在线实验，而不是离线评估（Udeshi et al. 2026）。Tseng et al. (2026)表明，人机之间关于前测题质量的分歧是系统性的而非随机的，而评分细则的可操作化比“先讲理由”的提示方式更重要。

与人工编码者的一致是另一回事，与质量无关，把它当作质量来报告是审稿人会盯上的问题。Liu et al. (2026)让一位独立专家在不知道来源的情况下评判 855 组配对编码。人与大语言模型的一致平均 Jaccard 为 0.30，而人与人的一致为 0.52，同时盲法核查者偏好人工编码与机器编码的比率无法区分（51.5% 对 48.5%，p = 0.537）。报告标定目标、金标准，以及谁裁定了分歧。这三项才让读者能判断这个自动化分数能承载多少分量。

披露成本和你自己的使用

一项对所有 AIED 2025 会议论文的审查发现了一种采用大语言模型而不加披露的模式：多数项目使用了大语言模型，而报告资源消耗或碳足迹的不到寥寥几个。那篇论文提供了一套开源方法，配有针对本地与云端硬件的测量工具，以及一个估算参数规模未公开的前沿模型算力开销的公式。它的论点是：不报告这些成本本身就是一种伦理问题。数据治理、知情同意、可及性与文化契合属于同一段（RAISE 条目；通用学习设计、可及性）。教育领域的人工智能研究应当如何纳入公平、无障碍、隐私、伦理与教学安全？有更完整的处理。

你自己在研究过程中使用 AI 也需要同样的披露。Zabaleta 与 Lin 的 PRISMA-LLM 分析考察了 888 篇综述自动化论文，显示这种报告有多不均衡。自 2023 年以来，38.0% 的软件与产品类论文完全没有报告评估，而大语言模型类论文为 9.3%。报告丰富度的均值为大语言模型论文 6.3、软件与产品类论文 3.3。84.1% 的大语言模型使用依赖专有或托管系统，只有 4.9% 是开放权重。他们的框架把实施披露与后果敏感型评估分开，分五个披露层级，这是描述一个工具在综述里做了什么时可行的模板。

Dai 与 Chan (2026)补上了作者这一侧的图景。28 名研究生中有 27 名在构思、文献综述、解释、数据处理、编程、学术写作、编辑和翻译中用到了生成式 AI。他们按利害与学科规范来校准使用。他们所在院校的政策针对的是教学与评价，而不是研究实践，这就把报告的决定留给了作者。

发表零结果，并核查每一条引文

Denny et al. (2026)核实了 14 篇论文中 30 条伪造的参考文献，其中一个技术研讨会的数量从 2025 年的 3 条升到 2026 年的 17 条，占当年会议论文集的 2.3%。有大语言模型辅助写作，伪造一条看起来合理的引文成本极低，这就是核查必须在投稿之前、而不是录用之后进行的原因。

你引用那项审查时，它里面的配重同样重要。被标记的参考文献多数是无害的：229 条是 ACM 元数据不匹配而 PDF 本身正确，188 条是合法的书目变体。伪造的数量是有意给出的下界，而无害的多数不是可以四舍五入掉的误差。凡是你无法亲自核查的条目，都要验。

报告零结果和负面结果，是诚实的证据基础的另一半。Bartoš 等人发现了强力证据表明零结果被压制（每一项 Egger 检验 p < .0001），异质性极高（τ = 0.869），没有任何结果、领域、层级或 AI 角色亚组显示出稳定的增益。他们还发现 2023 年 1 月前后发表的研究之间没有差异，这削弱了“现代生成式工具特别能带来增益”这一说法。

研究者在这件事上搞错的地方

“效应量是模态的属性。” 教育中的 AI并没有一个可报告的效应。受审查的元分析除两项之外全都把处理定义成一个工具名称，受审查的比较中只有 21% 有定义明确的处理、对照组和有效测量，而合并的 g = 0.7 高于专门构建的智能导师系统的 0.66。效应量属于某个设计、某个人群和某次测量场合。

“合并均值就是我的学生会遇到的情况。” 均值描述的是这组研究，其中没有任何东西指定任何一间教室。偏倚调整后的平均为 SMD = 0.196，预测区间从 -1.521 到 +1.908。13 项元分析中有 12 项报告的异质性高于 80%，而更大池子里没有任何亚组显示稳定增益。学生层面的变化无法从这两个数字中的任何一个辨识出来。

“零结果意味着工具没用。” 零结果是关于某个设计在给定精度下的陈述，而单项研究中检测不到效应是那项研究的事实。偏倚调整后的 SMD = 0.196 来自一批每一项 Egger 检验都显著的文献，所以对这批语料站得住的解读是一个很小且不确定的平均值。更大池子里也没有任何结果、领域、层级或 AI 角色亚组显示稳定增益。这批文献有据可查的问题是压制。

“一项研究就能定论。” 基础比率说的正相反。受审查的原始研究有 61% 存在效度问题，单一课程或院校不能支撑普遍主张，而专有系统是绑定在某个模型版本上的移动靶子。单项研究只是一个附带着设计的数据点。

“与人工编码者高度一致说明模型评的是对的东西。” 人与大语言模型的一致为 0.30，而人与人为 0.52，盲法核查者也无法把两组编码区分开，51.5% 对 48.5%。一致测量的是与某个编码者的一致性，而质量是另一个问题，需要金标准和裁定者。

你会听到的反对意见

“审稿人要的是新颖性，不是方法细节。” 期刊正在往相反方向走。RAISE 与 TEP-AIED 给编辑提供了一个可以要求的构念，而 TEP-AIED 的方法小节是一个低摩擦的入口。方法细节正是把一篇无法评估的论文变成一篇可引用论文的东西。

“我们没有篇幅。” 那五个披露层级是报告层级而不是风险层级，所以评估深度可以只有一两句话。版本、提示词和角色放在一小段里就够。成本与治理放在一句局限里就够。

“大家都是这么报的。” 数字说明这种常态本身就是问题：受审查的原始研究 61% 有效度问题，13 项元分析中有 12 项异质性高于 80%，38.0% 的软件与产品类论文没有评估。

“我们的工具是专有的，所以没法报告模型。” 报告版本、访问日期、配置、你提供的提示词、角色与防护措施。如果供应商不肯说，这个限制就属于局限部分，作为对主张的一项约束。

“报告零结果会害了我们。” 被压制的零结果正是 SMD = 0.196 这个偏倚调整均值的成因机制。把它们发表出来，才是让你的正面结果保持可读的原因。

本周可以做的事

1. 把你的摘要对着方法部分读一遍，删掉方法支撑不了的每一处主张。关于测量天花板的一句话通常就够了。

2. 加上规格那一段：模型、版本、访问日期、配置、提示词、角色，以及谁设计或审阅了输出。

3. 把 τ²、预测区间和发表偏倚评估从附录挪到结果里，或者明说没有计算它们。

4. 把人群边界和对照条件写进设计陈述，包括每个臂花了多少时间。

5. 核实每一条你没亲自读过的参考文献，先查作者字段。

接下来可以去哪里

AI 教育研究方法讲的是这些报告决定底下的设计选择，AIEd 研究中的局限是带有数字的失效模式目录。解读与应用 AIEd 研究是同一个问题的读者一侧，关于持久学习的证据是这些测量大多想抵达的东西，教师可以用哪些测量工具与研究方法去评价与人工智能相关的干预？覆盖测量与对照设计，而如何判断一个教育 AI 是否真的有效，而不只是分数好看？是这个问题更短的版本。关于这批文献尚未填补的空白，见关于教育中人工智能的研究文献有哪些值得注意的空白？。