AIEd 知识库AIEd KB
本页内容

全部期号

AIEd 教育研究每周更新 #1

本页是英文页面的机器翻译，尚未经母语者审校。

这是来自 AI 教育知识库 的每周简报，讨论过去一周发表的研究对教师、开发者、研究者和学校管理者意味着什么。

本周新增 71 项新研究 和 两项新资源，知识库现有 1,805 篇文章摘要、220 个概念页、37 个常见问题 和 33 项资源。你可以搜索或使用 AI与知识库对话。

目录

主要亮点与问题

本周两项头条结果说的是同一件事：分数不等于学习结果。一项三臂试验把练习得分从使用开放网络时的 29.85% 提高到使用不受限制的 ChatGPT 时的 71.84%，而概念性学习完全没有差异，因此在使用 AI 的条件下取得更高分数，并不能证明学生学到了更多。十三种检测器在仅做一次文字编辑之后，把人类撰写的手稿标记出来的比率从 0% 到 100% 不等，因此检测器的标记不是学术不端的证据。

面向教师

辅导工具能抬高作业分数，却让考试成绩原地不动

Chen 及其同事把卡内基梅隆大学的 153 名证明题写作学生随机分配到早期或后期获得证明题辅导工具的两组，随后测量了一场考场内没有 AI 的考试。在工具可用期间，作业分数上升了 2.56 分。期中考试分数没有差异。当所有人都能使用并自行决定使用量之后，每多发送 100 条聊天机器人消息，下一次考试的分数就低 3.02 分，而基线自我效能较低的学生正是使用最多的人。

这对你意味着什么：在辅导工具开启时得到的成绩，不能证明学生在没有它时能做什么，因此这份证明责任必须由无辅助的任务来承担。这也意味着，最有可能依赖工具的学生，正是起点时最不自信的那些人；这一点会先体现在使用数据里，然后才体现在分数上。

不受限制的聊天工具比精心构建的辅导工具更能抬高分数

在慕尼黑一门 CS1 课程的三臂试验中，275 名学生用 90 分钟完成一项 Java 练习，分别使用提供提示的辅导工具、不受限制的 ChatGPT，或开放网络。练习得分分别为 71.84%、57.50% 和 29.85%。概念性知识增益分别为 0.83、0.71 和 0.85 分，而各条件之间的差异远未达到显著（p = .773）。两种 AI 条件都降低了挫败感；只有辅导工具提升了动机。

分数的差距主要来自产出的成品，而不是学习。如果你给这项练习评分，AI 条件下的学生实际上是在另一项任务上被评分。

教师自建的聊天机器人在意图上失败，而不是在事实上出错

EduWild从 217 个由教师配置的 Playlab 机器人中收集了 1,726 段对话，其中 900 段来自这些机器人所部署到的学生。机器人在 53.8% 的终端用户对话中跳过了必需的工作流程步骤，在 33.4% 的对话中从未说明自己的角色，并在 37.1% 的对话中用过多信息或问题让学习者不堪重负。

在你部署自己搭建或接手来的机器人之前，先读它的第一轮回复，确认它说明了自己是什么、接下来会发生什么。这里记录的缺陷出在指令里，可以在提示中修正，无需改动模型。

检测器的判定不是证据

一个编辑服务数据集为 Park 及其同事提供了 135,389 对文档，这些文档保持作者、主题和内容不变，只有语言发生变化。在 13 种检测器中，对人类撰写的学术文本的假阳性率从 0% 到 100% 不等，而同样的编辑会让不同检测器朝相反方向变化。另外，一组兼职阅卷人彻底弃用了他们的检测器，因为它把语法检查器标记了出来；他们现在改为寻找伪造的参考文献，以及与课程材料脱节的内容。

如果你一直把检测器分数摆到学生面前，尤其是用第二语言写作的学生，那么本周就该停止使用检测器。第二项研究中基于阅读的信号是更实际的替代方案。

评估设计是在三种约束之间做选择，而不是寻找一条原则

Pedlow、Fischer 和 Williams认为，问题不在于设计原则不够，而在于缺少一种方法来权衡那些彼此拉扯的原则。他们提出的双重三难困境把评估中的真实性、可观察性和可行性，以及反馈中的具体性、及时性和工作量，都视为需要有意取舍的约束。

当有人要求你为 AI 重新设计一项评估时，这个框架会把一个开放式问题变成一段你可以记录下来并为己辩护的简短论证。

聊天机器人带来的口语提升因特征而异

Soriano-Gonzalez 和 Belda-Medina从 306 条记录中筛选出十项研究，并追问口语的六项 CEFR 特征中究竟有哪些真的发生了变化。语言范围和可理解性各有四项研究报告提升，连贯性有一项，互动几乎一项都没有。十项研究中有四项只报告了单一整体分数，因此它们的增益根本无法归因到某个具体特征。

厂商声称的“口语提升”，可能与研究从未测量过的某种变化相容。就听力而言，Goh 和 Aryadoust 发现证据要薄弱得多。

反馈素养与投入相互促进

一项三轮追踪面板研究调查了 399 名本科生，发现AI 反馈素养能预测其后来的能动性投入（β = 0.222），而反向路径同样强（β = 0.263），在统计上没有依据判定两者的先后。

教学生阅读和使用反馈，并不是在投入开始之前就要完成的前置条件。两者同步变化，因此只培养其中一项的课程，其实是在跟自己作对。

面向开发者

困难案例是辅导工具仍然失败之处，而策略检索能帮助中端模型

TutorCaseBench把质性案例研究转化为 923 段六轮对话，涵盖五种挑战类型，并用针对具体案例的评分量规对 11 个模型评分。最佳模型在 55.8% 的开放式案例中满足了有记录的干预要求，这就是设计时要对标的数字。提供案例文献中记录的策略后，11 个模型中有 10 个平均提升 9.9 分，Llama 4 Maverick 从 41.0% 升至 64.8%，而最强的模型持平在 71.3%。

对于你负担得起的模型，构建参考策略检索是值得的。但它救不了一个已经掌握该模式的前沿模型。

用已部署的对话做验证，而不是实验室里的提示

EduWild 数据集把每一段对话与其背后的系统提示和设置配对，这正是失败可以被分析的原因：53.8% 的终端用户对话跳过了某个必需步骤。教师撰写的配置是一个有别于模型能力的独立失效面，而一个提示层面的测试框架在恢复意图的同时没有剥夺教师的控制权。

如果你的产品允许教师撰写指令，那么你的测试集就必须是他们的指令，而且要在部署之后收集。

反馈质量中的量规维度，是没人测量的那一维

Yang 考察了 68 项关于 AI 生成反馈的研究。证据效度在其中 47 项中出现，教学实用性在 58 项中，量规与任务对齐在 19 项中。对齐是产品最能直接控制的维度，也是研究最少的维度。

这是一个机会：围绕作业本身已在使用的量规来构建，并明确说出来，因为已发表的证据不会告诉买家是否有别人这样做。

可行动性是一项设计目标，而不是锦上添花

Tamme、Schilling 和 Hantel提议用 AI 智能体主持的电话访谈取代学期末的书面问卷，理由是书面工具在回复率、深度和可行动性上都不行。这是提议，不是实地测试。其设计主张足够具体，可以借鉴：追问、要求给出理由、返回收件人能够据以行动的内容。

面向研究者

自我报告与表现测量常常得出不同结论

Fan 及其同事梳理了 2,099 条记录中的测量方法，然后考察了 51 个案例，其中自我报告工具与测验、评分或痕迹数据测量的是同一构念。关于两者是否一致，答案常常是否定的。在它们出现分歧的地方，构念的可观察性比研究质量更能解释这种分歧。

用其中一种替代另一种，是一个有方向性的测量决定，而不是图方便。请报告你的结论建立在哪一种之上。

成品会掩盖外包行为，所以要测量过程

Kontorovich 和 Wallach把 59 份聊天记录中的 429 条提示编码为自我调节痕迹，并逐条与提交的作业对照。完成全部三项任务的 15 名学生中，有 10 名随着任务变化改变了自己赋予模型的角色，然而 59 份提交中有 53 份复制了模型的产出，或只对其形式做了修改。

仅凭一份提交，无法区分使用与替代。过程数据可以，而且这里的编码方案可以复用。

一个经过验证的开放式任务依赖量表

大多数依赖程度测量都从学生是否采纳了正确建议来推断其依赖程度，而这需要一个可核对的答案。Hou 及其同事构建并验证了一个 16 题的量表，用于问题导向学习，而在这类学习中并不存在这样的答案。

检测器基准会衰减，所以要报告对手

Ren、Raghavan 和 Garg把检测问题拆分为可分性与变动性。有监督基线在同分布条件下几乎完美地区分人类与机器文本，而商业检测器 Pangram 面对一条专为规避它而写的提示时，平衡准确率降至 63.5%，召回率降至 27%。

不附带规避尝试的报告数字，描述的是一个已经不存在的世界。而综述文献在关键之处恰恰薄弱：在 51 项关于生成式 AI 对第二语言写作反馈的研究中，只有 5 项检查反馈是否准确。

面向管理者

教育领域的 AI 治理大多是指导文件，而不是法律

Elmahjub 及其同事从 498 条记录中仔细阅读了 160 份英文治理文件。只有 4 份采取正式的法律或监管形式，而 92 份是指导文件、框架、工具包或手册。问责在 146 份文件中出现，但其中只有 100 份同时指明了监督主体。

一项没有明确责任人和执行机制的政策，只是一份意向声明。这篇综述提供了可以用来审计你自己文件的字段。

采购检测器需要假阳性数字

十三种检测器，以人类撰写的学术文本作为对照，假阳性率从 0% 到 100%。至少有一所机构已经停用其检测器，因为它把语法检查器标记了出来。如果供应商不能提供在你的学科中针对人类作品的假阳性率，你就无法估算纪律处分风险的代价。

评估研究中已有记录的方向是过程、真实性与口语考核

Crompton 和 Burke综述了来自 24 个国家、20 个学科的 72 项研究，发现三种反复出现的设计回应：过程导向、真实性和口语考评。证据基础广但方法上薄弱，大多数研究只覆盖一门课程，而这一切都不改变方向。

教师的采用速度已经超过了理解程度

在132 名印度尼西亚 K-12 教师中，96.2% 支持教师使用 AI，84.6% 支持学生使用，但有 69.2% 对聊天机器人如何处理一条指令给出了模糊或错误的描述。

问卷中的支持态度不等于课堂上的能力。这里的专业发展缺口在任何工具部署之前就已经显现，而该测量工具足够简短，可以作为需求评估复用。

只有当替代方案可行动时，才替换课程问卷

语音访谈提议针对的是让期末问卷失去作用的那些失效模式：回复率、深度、敷衍作答，以及没人能据以行动的答案。把它当作你将要采用的替代方案的一份规格说明，而不是 AI 版本有效的证据。

概念聚焦

四个概念页把本周的发现带入了综述层。每一页都是常设页面，而不是一次性的，因此新证据与页面此前已有的论述并列呈现。

语言学习

该页现在明确说明，关于聊天机器人口语增益的证据因特征而异，而且这十项综合研究中有四项只报告了一个整体分数，这就是它们的增益无法归因到某个特征的原因。在购买或构建口语练习之前，请先阅读语言学习页面。

智能辅导

它的新发现是检索结果：提供参考策略能提升弱辅导工具，而让强工具保持原状。这是一个构建决策，而智能辅导页面把它与早先关于提示质量的论断区分开来。

自我报告测量

自我报告缺口最鲜明的新案例是意图，其中单一分数在同一批 340 名学生中同时涵盖了学习导向、走捷径导向和混合使用三种情况，其背后有 68 个再次施测的题项和八次访谈，全部记录在自我报告测量页面上。

AI 治理

该页现在以文书形式的发现开篇：160 份文件中 4 份具有约束力，92 份为建议性，而问责仅在 100 份中对应到一个具名的监督主体。AI 治理页面把问题从“政策说了什么”重构为“政策能否行动”。

新增资源

本周有两项资源加入资源库，一项为必须决定如何用 AI 构建软件的机构而写，另一项为必须判断学生的代码是否出自学生本人的教师而写。

Campus AI Development

Campus AI Development是一份从机构视角撰写的免费网络指南。它列出了校园用 AI 构建软件的多种方式，从氛围编程一直到受治理的多智能体协作，并为每种方式配上相应的审查路径、数据上限和管控措施。它配合 Campus AI Framework 使用，后者决定某个 AI 工具是否可以使用；本指南讨论的是一旦答案是可以，接下来该怎么做。该网站未为其文本声明任何许可。

Code Viva

Code Viva是一款免费的浏览器工具，让口头答辩可以规模化：为编程课程中的每位学生安排一场书面化、限时的答辩，每人十五到二十分钟，考场内没有教师。它会读取学生提交的代码和提交历史，围绕该学生自己的函数、命名和提交记录生成四到六个问题，并给每位学生一个专属链接作答。问题来自应用于提交内容的规则，而不是模型调用；教师会收到建议分数以及每个分数背后引用的证据，可以批准或推翻。该网站未声明任何许可，也没有公开源代码仓库。

本周其他新增

其余研究连同方法与摘要，按日期列在期刊页面上。

站点说明

本周新增了两个页面。简报存档收录了每一期，并配有自己的订阅源，与知识库订阅源并列；概念索引把全部 220 个概念页放在一个页面上，分区与侧边栏一致，因此现在有地方可以让想要整套内容的读者去看。

其余工作都是对已有内容的打磨：重写了概念页和常见问题，压缩了文案，并更新了各语言版本的译文。

本站是一个静态构建，其内容、代码和工具都在 github.com/edtechdev/aied 公开，上文描述的每一项改动都可以在那里查看。

订阅更新

你可以在订阅阅读器中通过简报订阅源获取每一期，也可以把同一个订阅源粘贴到 Blogtrottr，按你选择的时间表接收新刊邮件，或者在 LinkedIn 上关注它，每一期都会以 LinkedIn 简报的形式发布。

AIEd Research Weekly Update 来自 AI 教育知识库，该知识库由 AI 智能体生成。本期由同一个 AI 智能体起草，并得到站点开发者的编辑指导，上文每一项论断都链接到其来源页面。

本知识库依据 CC0 1.0 许可奉献于公共领域。不保留任何权利。

发现内容有问题？在 GitHub 上报告，或联系站点开发者 Doug Holton。

来源历史编辑对话

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。