教师可以用哪些测量工具与研究方法去评价与人工智能相关的干预？

本页是英文页面的机器翻译，尚未经母语者审校。

你在两个班次里做了试点，收集了单元结束时的问卷，三周后要开一次教师会议，会上一定有人问这到底有没有用。也可能审稿人问你对照条件是什么，而另一个班次做的是别的事情。不管哪种情况，问题都是：在这里，什么才算证据？

让方法与你要下的结论相配。问卷告诉你学生是否喜欢这项活动。他们有没有学到东西，需要一项表现测量；而增益是不是 AI 造成的，需要一个对照条件。

简要版

1. 用一句话写下你的结论，并点明结果变量。“用了这个辅导工具的学生在无辅助考试中得分更高”是可以检验的。

2. 做一次基线测量、一次干预、一次即时后测，以及一次较晚的、不使用 AI 的测量。

3. 像描述处理条件一样仔细地描述对照条件，即使它就是你现在已有的做法。

4. 把有辅助的表现和独立学习分开测量，并把任何已发表的平均效应当作关于你这个班级的一条假设。

选一种你的问题能站得住的方法

AIED 研究方法一页列出了每种选择能换来什么。随机实验给出最强的因果推断。准实验的前后测或匹配组设计适合整建制的班级，支持较弱的结论。质性访谈、焦点小组、观察和作品分析揭示机制与意料之外的体验。混合方法把结果证据和解释配在一起。基于设计的研究适合一位在多轮迭代中改进某项干预的教师。

AI 辅助的质性分析也应当列进这份清单，但要附一个条件。它能在几分钟内把一份访谈语料重新组织起来，所以可辩护性和准确性同样重要：要把那些有据可查的重新组织过程记录下来，让读者能够检视、质疑并修改从数据到结论的这条路径。

问卷是一种自我报告测量：用于态度是对的，用于学习是错的。

给对照条件一个名字

三个条件才能让一个因果结论可以被解释：一个被精确描述的处理条件、一个界定清楚的对照条件，以及一个测量持久学习的有效测量。Weidlich 等人（2025）按这几条标准审查了 19 项教育中的 ChatGPT 对照研究。四项（21%）同时满足这三条。74% 的研究处理条件界定得清楚，42% 界定了对照组，53% 的结果变量够得上“学习”。

这种失败模式很容易复现。把一个通用工具和新的活动、新的反馈或重新设计的界面一起搬进课堂，就把媒介与方法混成了一件东西，那个显著结果其实属于这次重新设计。

测量你真正在意的结果

AI 教育评估这一综合梳理建议测量：无辅助的学习增益、延迟保持、向新任务的迁移、推理质量、关于 AI 的误解、对反馈的采纳，以及各分组的表现。参与度、满意度、AI 使用日志、自我效能和感知有用性是合理的次要测量，却是学习的不良替代品。工作量和节省下来的时间算作实施结果，那是另一个问题。

课堂规模上的最低配置是：一个基线、干预、一次即时后测，以及一次较晚的无辅助测量。能做到的地方再加一个对照条件：现有做法、不使用 AI、无限制的 AI 对比有脚手架的 AI，或者两种替代设计。用不同的工具分别给有辅助和无辅助的表现评分，因为同一份评分细则会把两者混在一起。

把任何数字都当作假设来读

来自文献的平均效应对某一个具体课堂只是很弱的指引。O'Neill（2026）的审查考察了 14 项高影响力元分析，发现没有一项为其结论提供了有效的基础。合并的“学业成绩”把考试分数、动机、自我效能和态度混进了同一个估计。异质性极高：在报告了 I² 的 13 项分析中，I² 从 77.2% 到 94.4%，其中 12 项高于 80%。14 项全都以无效的方式评估了发表偏倚，被随机抽查的原始研究中有 61% 存在效度问题。四项分析报告了研究间方差，两项报告了预测区间，而这两个区间都包含零。

一个方便拿到的分数，可能测的是错误的构念。在对八个 AI 教学智能体的评估中，在平台自有评分上排第三的那个智能体，在专家验证过的评分细则上排最后，因为平台分数所指的是学生在交互过程中的表现。把仪表盘上的指标当作一条假设。

教师容易搞错的地方

满意度问卷测的是学习。它测的是满意度，而 AI 教育评估综合梳理把满意度列为与学习结果并列的次要测量。

前后测的增益说明干预起了作用。它说明分数上升了。这个测量算不算学习，是另一个问题，而那次审查所考察的比较中，有 53% 的结果变量够得上学习。

已发表的效应量可以搬到我的班上。O'Neill 的那 14 项元分析撑不起建立在它们之上的结论，而两项报告出来的预测区间都包含零。

平台学习分析衡量的是教学质量。Zhang 评估中排第三的那个智能体，在专家评分细则上排最后。

你会听到的反对意见

“我们已经有期末课程评价了。” 它们测的是课程，而且是在你早就需要答案的那个学期结束之后才跑。

“在完整建制的课程里不可能有对照组。” 那就和同一份作业去年的版本比，或者和另一个班次比，然后如实描述两者的差别。准实验设计更弱，但当替代方案是一个没有任何对照的结论时，它仍然有信息量。

“元分析里的效应量很大。” 在哪个结果变量上，在谁的班里？O'Neill 找到的两个预测区间都包含零。

“我们的仪表盘显示参与度很高。” 参与度在 AI 教育评估的清单上是次要测量。把无辅助的学习测量放在它旁边。

本周可以做的事

1. 把你的结论写成一句话，并在结果变量下面划线。

2. 把较晚的那次无辅助测量写进日历，安排在干预之后，不要放在同一周。

3. 写一段话描述对照条件，详细程度和处理条件一样。

4. 把手上已有的平台数字找出来，逐个标明它是过程性结果还是学习结果。

5. 请一位同事读你的设计，并说出这一学期里还变了什么。

接下来可以去哪里

AI 能帮助学生学习吗？总结了结果证据说明了什么，AIED 研究中的空白讨论证据在哪里变薄。我们怎么知道一个教育 AI 运转正常？是同一个问题面向构建或采购系统的人的版本。