本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

本页是英文页面的机器翻译,尚未经母语者审校。

基金申请还有八天截止,背景部分需要一句话说明这个领域目前还不知道什么。或者同事已经跟委员会说,AI 辅导能提高成绩,引用的是横跨 18 所初中的一项为期两年的实验,而你正是那个必须说清这项研究能承载什么的人。又或者你在选题,而每一个版本看上去都已经有人做过了。

真正重要的空白在于强度、具体性与可适用性。AI 能够完成教学任务;尚未回答的问题是,某个特定设计是否产生持久收益、对谁产生、通过什么机制、在什么条件下产生。这个区分决定你案头的两件事:接下来研究什么,以及在此期间不要再声称什么。AIEd 研究中的局限是本页背后的清单。关于智能辅导系统、预测性学习分析、生成式 AI与自主智能体的证据同样不能互换,而用 AI 支持学习的研究,与教人理解 AI 的研究也不是一回事,AI 教育概览对此有说明。

简版要点

1. 把 AI 与一个强的非 AI 方案作比较,保持课程内容、练习与支持不变,并说明 AI 增加了什么。

2. 测量延迟的、无辅助的表现,并明确说明辅助下的表现不是学习收益。

3. 报告这套组合里是哪一部分起了作用,以及你主张的是哪种机制。

4. 用真实学习者验证每一个自动化评分与模拟学习者,包括不在你开发样本里的学习者。

5. 说明人群边界,因为合并后的平均值回答不了公平性问题。

6. 把安排描述得足够清楚,让别人能重建它。

选择一个能把 AI 单独隔离出来的对照

严格的课堂实验是存在的,所以“我们需要随机试验”这句话已经指不出空白在哪里。更尖锐的问题是:在额外的练习、更好的材料、及时的反馈或更多的教学支持之外,AI 这一部分是否还带来了价值。

One Click Away报告了横跨 18 所初中的温和成绩提升,同时学生对辅导工具的实际投入相当有限,作者也指出,这些提升与没有 AI 的结构化练习所带来的提升相似。这是关于一个已落地组合的证据,它无法分离出其中的 AI 增加了什么。

下面这个问题既是实证的,也是概念上的。“ChatGPT”是一个工具的名字,不是一种方法。Weidlich 等人(2025)审查了 19 项 ChatGPT 教育应用对照研究:只有 4 项(21%)同时具备可复制的处理、可操作化的对照与有效的学习测量(74% 的处理定义清楚,42% 的对照定义清楚,53% 有学习结果测量)。当新的 AI 与新的活动、反馈或界面设计一同到来时,媒介与方法就混在了一起,任何效应都不再属于 AI。

能解决问题的是:与现实的非 AI 替代方案作对照,把课程内容、练习机会与支持尽可能保持恒定,并在机构、教师、学科与模型上做独立重复。方法在这里回答的是不同的问题。质性研究与设计本位研究解释落实过程,而设计良好的实验承载因果主张,效力研究方法对此有说明。

在工具被拿走之后测量学习

使用 AI 时作品变好,并不能证明有学习在辅助结束之后仍然留存。学习收益与认知卸载两篇综述反复划出同一条线:辅助下的表现、留存的知识、独立的推理与迁移,是四件不同的事。

Making AI Tutoring Productive用一项涉及 6,000 多名初中生的随机实验展示了这个测量问题。连续三次答对的掌握规则提高了平台定义的“成功”,但它本身并没有在一周后产生可检测的学习收益。最强的延迟测试证据出现在 AI 被嵌入掌握学习流程之内、并且集中在练过的材料上时。

剩余的空白关乎能力的发展轨迹,而多加一次后测并不能把它补上。还没有人确立跨月的保持、跨任务的迁移、撤除辅助后的表现,或学习者判断自己知道什么的准确度;这个领域也还没有把“未能习得某项技能”与“已建立的技能发生退化”区分开。卸载研究仍需说明:委托在什么时候支持这些轨迹,又在什么时候取代了建构它们所需的练习。

弄清这套组合里是哪一部分起了作用

“AI 支持的学习”通常打包了好几项变化:新的反馈、增加的反思、同伴讨论、不同的任务顺序、被改变的评估激励。一个成功的组合不会告诉你哪些成分是必要的。

以人为中心的生成式 AI 反馈设计在这个问题上是一次真正的推进。在 1,176 名一年级本科生中,反思式与混合式设计在延迟的、不使用 AI 的迁移任务上优于直接的AI 反馈。混合条件把自评、同伴反馈与 AI 批评组合在一起。这就把“反馈如何组织与使用”和“学生究竟有没有机会获得反馈”分开了。

仍然开放的是:初始独立尝试、自我解释、同伴输入、纠正性反馈、提示与逐渐撤除的辅助各自的贡献与时序,以及它们各自如何与先备知识和任务难度相互作用。

理论上的空白与之并行。给一项学习理论命名并不等于检验它。一项研究需要一个与特定系统行为绑定的理论预测,以及一个可测量的学习过程;统计中介能支持这种解释,却无法确立因果机制。AI 教育中的理论发展与脚手架把论证推得更远。

先验证测量工具,再解释测量结果

投入度、批判性思维、AI 素养、个性化这类构念在这批文献里被测量得并不一致。自我报告描述的是感知,不能替代已展示出来的能力。技术准确性、专家评定的输出质量与学生的学习,是三个不同的评估对象。教育测量与AI 教育评估把这些区分当作基础。

有一个空白就藏在测量问题内部:用AI 系统去评估别的 AI 系统。在Simulating Students or Sycophantic Problem Solving?中,模拟学生常常在收到纠正性反馈后放弃被指定的错误概念,无论这条反馈是否针对那个错误概念,因此它们的回答可能让无效的教学看起来有效。有针对性的训练改善了该研究的忠实度指标,而那个指标上的改善并不是针对人类学习的验证。

缺的是整条评估链的验证:从模型行为到教学判断,到学习者反应,再到教育结果,而且要在开发阶段没有使用过的学习者和情境上做。人的判断也需要同样的审视,因为评分者之间的一致性并不能证明所测的就是正确的构念。

判断一项评估还能证明什么

AI 带来两个相互关联的评估问题:它帮助生产被评估的作品,它也能影响这份作品如何被评分。

知识库中关于 AI 智能体完成 LMS 评估任务的研究记录了智能体在真实的本科课程中穿行并完成被评估的活动。这展示了一种能力,它动摇了关于学生产出证据的假设。它并没有确立这种用法有多普遍,也没有推翻异步评估这一类别。

研究问题是:哪些设计仍能支持关于学习者的可辩护结论。作品集、反思、分阶段提交与活动日志都需要作为证据被验证,而不能假定它们能确立作者身份或理解。研究应当把多种证据的组合与独立观察到的能力作对照检验,同时考虑无障碍、工作量、隐私与学生焦虑。评估效度保留了细节。

对于自动化评分,LLMs Do Not Grade Essays Like Humans报告了现成模型与人类评分者之间的系统性分歧。这些发现与具体配置有关,它们说明了为什么内部一致性无法支撑一项效度主张。

A Human Capability Test for Learning Outcomes in the AI Era提议分别评估:学习者必须独立完成什么、可以借助 AI 完成什么、必须验证并为之辩护什么。这是一个尚待实证验证的框架。

检测是这个领域里最清楚的死胡同。Karr 等人(2026)在 642 篇已发表的英文摘要上以 τ = 0.50 运行了两个商业检测器。符合指南的轻度 AI 编辑被标记的比例为 38-80%。未修改的 2023-25 年原文被标记的比例为 9-15%,其中非STEM作品远高于 STEM,p < 0.001。经过“人性化”处理后,这些工具抓到的被标为 AI 改写的文本不到 4%,假阴性率高于 96%。一个既惩罚诚实辅助、又漏掉规避行为的分数,无法为关于学习者的结论提供依据。

不要再把素养得分当作行为的证据

AI 素养干预研究已经足够多,可以做综合了。AI Literacy Interventions in Education覆盖 59 项研究、7,211 名参与者,报告了正向的平均效应,同时也报告了相当大的变异,预测区间很宽并跨越零。以知识为焦点的结果比技能、态度或伦理更强。

更尖锐的空白是:素养教学是否改变了人们使用 AI 时的实际行为,而再出一份能力框架并不能把它补上。学习者能否识别没有依据的主张、核实来源、拒绝误导性建议、察觉不恰当的附和,并在该不委托的时候选择不委托?这些在时间压力下还成立吗?它们能迁移到陌生的系统和学科吗?

要解决这个问题,需要基于表现的评估,加上对实际决策的观察与延迟追踪,并且把概念性知识、操作熟练度与批判性判断分开而不是合并。AI 素养与信任校准提供了这些区分。

说明这项发现把谁漏在了外面

来自一门课程、一所机构、一种语言或一个学习者人群的研究发现,很少能为别处的决策背书;AIEd 研究中的局限综述把这一点视为反复出现的问题。效应在发展阶段、学科、先备知识、残障、语言与资源条件之间如何变化,基本仍未被测量。

公平性研究还必须把可及性、技能与结果分开。数字鸿沟综述明确指出,拥有设备与工具访问权并不等于具备同等的受益能力。Does School-Based AI Education Narrow Readiness Gaps?追踪了 752 名香港初中生:心理准备度上的差距缩小了,而客观 AI 素养测验上的差异依然存在。每一组都有进步,不平等并没有缩小。先前的学习画像不是随机分配的,因此其在因果上的作用仍然未知。

覆盖的薄弱之处也很具体。不同学习者群体间的差异效应按人群清点文献:第二语言与多语学习者和残障学生是最深的两条线,性别与神经多样性次之,第一代大学生在这个语料库中有两项研究——一项是使用差异,一项是效应估计——国际学生则只有一项,资优与高成就学生实际上无人研究,难民、移民与流离失所的学习者一项都没有。这样形状的证据基础无法靠聚合来回答公平性问题。

能力在一个国家体系内部也有差异。Adeniranye 等人(2026)给 45 所尼日利亚高校的 AI 整合程度打分,发现总体采用处于中等水平(M = 4.79,10 分制上范围 1.83-7.83),在控制校龄与地理之后,机构类型并不能预测整合程度(校龄 β = 0.43;位于西南部 β = 0.31)。各项内部能力之间相关为 r = 0.79-0.80,国际合作与产业合作之间为 r = 0.74,因此联系紧密的机构会累积起叠加的优势。哪些能力建设设计能改变较新、联系较少的机构的结果,尚未被检验。

研究上的优先事项是找出那些能缩小已展示能力、参与度与能动性上差异的设计,并在报告平均收益的同时报告分组结果与负担。无障碍本身带着一个未解的问题:一项设计是在移除参与的障碍,还是在替代学习者本应发展的能力。见AI 教育中的公平与可及性。

说清控制权在谁手里,以及它何时转移

当系统能够规划、发起行动、保存记忆并协调工具时,教育问题就变成:学习过程的哪些部分应当由谁控制,以及这种控制应在何时转移。

Agentic AI in Education: A Scoping Review梳理了 474 项研究,发现纵向验证有限、研究集中在高等教育与 STEM、与教育理论的整合薄弱:只有 29% 的受评研究明确援引了教育理论——这是关于那批文献的发现,而不是关于全部 AIED 工作的发现。

开放的问题随之而来。由学习者发起的帮助,与由智能体发起的帮助,会产生不同的结果吗?支持能否随着能力发展而撤除而不造成损失?学习者是否保留质疑系统的能力?智能体式 AI与人机协作两篇综述补充了多智能体情境下的教师介入与问责问题——在那里还没有人确立由谁为智能体的决定负责。更高的自主性是一种教学法上的设计选择,其证据基础仍待建立。

用真实学习者检验安全失效

教育安全超出了事实准确性与被禁止的请求。一个辅导工具可以给出正确答案,同时拿走学习者推理的机会、强化一个错误概念,或养成依赖。教学安全性讨论的就是这个构念。

SafeTutors识别出若干失效,包括过度披露答案与放弃脚手架,而在多轮测试下失效明显更多。这些是在特定条件下的基准测试发现,不是对课堂上伤害发生频率的估计。

当这些失效在持续使用中遇到真实学习者时会发生什么,尚不清楚。哪些造成暂时困惑,哪些造成持久的错误概念,哪些削弱动机,哪些削弱独立能力,都没有被测量。也没有人确立哪些防护措施能在不引起过度拒答或挫败感的前提下降低这些风险。更长期的工作还需要把信任、寻求人类帮助的意愿、学习者能动性,以及与同伴和教师的关系当作结果来测量。对儿童而言,这需要发展上适宜的、能把系统行为与教育和关系结果连接起来的研究。

把采用与落实分开

技术能力并不确立一个工具会被用好,专业发展也不会自动抵达学生。缺失的一环通常是从教师准备,经过课堂实践的改变,到学生结果。

Pedagogy First, Technology Second是一项涉及 46 名教师与 2,832 名学生的多层次研究。教学法层面的 AI 知识与学生的感知和意向相关,而所测量的教师知识成分没有一个与学生的 AI 知识增长直接相关。这类关联并不能确立一次培训干预会带来更好的学习。

开放的问题是:辅导、课程对齐、复盘常规、排课与机构支持的哪些组合能带来持续改进;研究需要观察实际发生的教学,而不是教师的信心或采用意向。教师 AI 能力与教育发展覆盖了这片领域。

比较成本效益是第二个空白。评估应当把验证、纠错、培训、督导、维护与实施时间,连同订阅和模型使用成本一起计入,并把 AI 支持的供给与现实的替代方案作比较。值得回答的问题是:这套完整安排用它消耗的资源换来了什么教育收益。

把治理文件当作意图来读

伦理原则与治理框架是必要的,但它们的存在并不确立它们改变了实践或保护了学习者。

Agarwal 等人评述了 25 篇文章,发现伦理文献中的最终用户基本是被动的,学生的声音几乎缺席,同时还存在价值之间的张力与利益相关者之间的权力不对称。这描述的是被评述的那批文献,而不是在断言学生从不参与 AIED 的设计。

缺的是关于哪些治理安排带来了可测量差异的证据。学生与教师的参与是否改变了采购、工具设计、评估规则,或出错之后的补救?人工复核程序能否抓住后果严重的错误?被要求使用 AI 的人,是否真的有不使用它的替代选项?隐私研究有平行的空白:额外数据收集的教育价值通常被假定,而数据最小化的设计很少在学习与学习者自主两方面同时与更具侵入性的设计作过比较。见AI 治理与隐私。

让这项研究可以被重建

AIED 有一个异常困难的可复现问题。研究省略了提示词、模型版本、设置、代码与教学细节,而专有系统可能在干预期间或之后发生变化。AIEd 研究中的局限记录了这种模式。

重建一项研究意味着既描述模型,也描述教学安排:学习任务、内容来源、允许的动作、界面、教师支持、评估条件,以及部署期间发生的任何变化。复现一种配置,与检验它的教学原则能否迁移到另一种配置,是两件不同的成就,效力研究方法中的报告指南对两者都有回应。

综合也需要同样的谨慎。元分析与系统综述把薄弱的原始研究、发表偏倚、异质的干预与互不兼容的结果列为汇总结论的限制,而单一的“AI 效应”平均值掩盖了教育者需要的那些区分。综述应当把辅助下的表现与独立学习分开,区分干预类型与对照条件,并让编码决定可供审计。

综合文献本身也是一个空白。O'Neill(2026)的取证式审计审查了 14 项高影响力元分析,发现没有一项为其主张提供了有效基础。没有一贯的构念:一个工具被当作一种干预,多维的结果被合并。14 项全部在发表偏倚上作了无效的评估。在报告了 I² 的每一项分析中,I² 从 77.2% 到 94.4%,13 项中有 12 项高于 80%。随机抽查的原始研究中有 61% 存在效度方面的隐忧。这 14 项分析在大约 16 个月内累计获得 2,000 多次引用,而一项已被撤稿的元分析,在撤稿后的引用文献中仍有 60% 把它当作权威引用而未加说明。在引用另一项受审计元分析的 14 篇论文中——那项元分析的摘要把“AI 教育”宣传为一个大效应,而它实际测量的是教学生了解 AI——只有 2 篇引用得当,8 篇把它读成“整合 AI 能改善学习”的证据,4 篇在别的方面出错。这项审计要求期刊对元分析实施完整的数据透明(检索方案、编码的研究特征、提取的统计数据、分析代码),要求编辑不要把发表记录当作审稿能力的证明,并要求撤稿信息在文章被发现、导出或被引用的任何地方都可见。可复现性覆盖的是综合链条,而不只是单项研究。

想把这些问题落到课堂层面的教师,可以接着读教师可以用哪些测量工具与研究方法去评价与人工智能相关的干预?。

研究人员和教师容易搞错的地方

这个领域缺少研究。 它缺的是把变量说清楚的研究。这里有多点实验、涉及数千名学生的随机试验,以及 14 项高影响力元分析。受审计的对照中只有 21% 把处理、对照与结果定义得足以归因。

给理论命名就是在检验它。 引用一项学习理论是一个框定上的决定。检验需要预测、实现该预测的系统行为,以及一个可能得出相反结果的过程测量。

经过验证的自动化评分就是经过验证的结果。 与人类编码者一致,确立的是与那些编码者的一致性。模拟学生在一项忠实度指标上有改善,却没有针对人类学习作过验证,而从模型行为到结果的链条仍未建成。

可及性就是公平。 在香港那项研究中,心理准备度的差距缩小了,而客观测验上的差异仍在,每一组都在进步,不平等却没有缩小。设备与许可证改变的是谁能接触到工具。

更多的自主就是进步。 智能体的更大独立性是一个设计选择。474 项智能体研究中只有 29% 援引教育理论,纵向验证也有限,没有人证明把控制权移交给系统能改善学习。

你会听到的反对意见

“空白只是我们需要更多随机试验。” 现在已经有大量随机试验,而问题出在“设计标签”的上游:一项把新反馈、新任务与新界面打包在一起的试验,无法把任何效应归给 AI。真正要做功夫的地方是对照条件。

“我没办法做多年追踪。” 那就测量一次延迟的、无辅助的表现,并说明它覆盖多长的间隔。一周也是真实的发现,而掌握规则那项研究正是靠把 AI 嵌入流程、把练习集中在练过的材料上,在一周时得到了结果。

“在我的课上没法随机化。” 设计本位与质性研究能回答试验回答不了的落实问题,这个领域两者都需要。在可以随机分配的地方,随机分配仍然承载因果主张。

“合并后的效应量已经告诉我什么有效了。” 那 14 项受审计的元分析把处理定义为一个工具,合并了互不兼容的结果,并在给出 I² 的 13 项分析中有 12 项报告 I² 高于 80%。那个合并数字描述的是一批存在构念问题的研究。

“模拟学生更便宜,所以验证可以往后放。” 在那项谄媚研究中,无论反馈是否针对错误概念,模拟学生都常常放弃它们——这正是让无效辅导看起来有效的失效模式。

本周可以做的事

1. 用一句话写出你正在设计的研究的对照条件。如果它是“照常进行”,那么在改任何别的东西之前先改它。

2. 在设计里加入一项延迟的、无辅助的测量,并在方法部分写明间隔。

3. 把人群边界先写进设计说明,再写进摘要,这样主张就无法走到样本之外。

4. 拿出你当前草稿里最强的那条主张,删掉你的测量承载不了的那个版本。保留关于上限的那句话。

5. 对研究中的任何自动化评分或模拟学习者,在数据收集开始之前就写明人类金标准与裁决者。

接下来可以去哪里

在人工智能教育研究中,报告与解读研究结果的最佳实践是什么?是本页在报告方面的对应页,AI 教育中的研究方法涵盖每个空白背后的设计选择。教师可以用哪些测量工具与研究方法去评价与人工智能相关的干预?处理测量与对照设计,如何判断一个教育 AI 是否真的有效,而不只是分数好看?是效力问题的短版本,使用人工智能真的能帮助我的学生学习吗?汇集了关于持久学习已知的东西。教育人工智能中的理论发展与教育领域的人工智能研究应当如何纳入公平、无障碍、隐私、伦理与教学安全?把理论与公平两条线推得更远。

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。