本页内容

全部期号

AIEd 教育研究每周更新 #3

本页是英文页面的机器翻译,尚未经母语者审校。

一份来自教育中的 AI 知识库的每周简报,说明过去一周发表的研究对教师、开发者、研究者与管理者意味着什么。

自上一期以来,159 项新研究、八个新概念页面、两个新常见问题和三项新资源加入了知识库。知识库目前收录2,085 篇文章摘要、230 个概念页面、44 个常见问题和40 项资源。你可以搜索或使用 AI与知识库对话。

目录

本周要点与问题

  • AI 反馈能取代教师的反馈吗? 在一项有 312 名一年级写作者参与的随机试验中,AI 生成的反馈与教师反馈在改善论文修改方面效果相当。教师反馈更能提升动机,因为学生感到与给出反馈的人有联结。AI 可以承担一遍修改;教师仍然承载着关系。
  • 支持性聊天机器人能替代同伴吗? 在一项有 296 名一年级学生参与的随机试验中,一个支持性聊天机器人在降低孤独感方面与写日记效果相同;随机分配的同伴则降低了孤独感。机器人表达了更多共情,而学生回馈的更少,因此要直接测量孤独感本身。
  • 一个短小的伦理模块能改变 AI 判断吗? 一个为期四周的信息伦理模块提升了学生在 AI 相关伦理判断情境上的得分,该试验随机分配了 16 个班级。约 60% 的提升在四周后仍然保持,AI 使用最频繁的学生提升最大。基于案例的教学显示出前景。
  • 更多的 AI 协助能改善创造性工作吗? 四项随机实验共涉及 728 名成年人,发现当 AI 承担更多工作时,评审者对由此产生的创新提案评分更低,主要原因是参与者投入的认知工作更少。协助越多,成果越弱。
  • 由 AI 创作的游戏能比讲授教得更好吗? 一款悬疑角色扮演游戏在法学知识与推理上胜过同一位教师的讲授,试验随机分配了 84 名法学生。游戏由生成式 AI 构建;比较的是游戏与讲授,因此结果支持游戏化学习,聊天机器人的使用则仍未得到检验。
  • 学生表现报告会改变教学吗? 刚接触某在线数学辅导系统的教师被随机提示打开一份学习分析仪表盘报告,内容为学生第一次作业的表现。打开报告既没有改变开始下一次作业的学生比例,也没有改变学生的测验得分提升,尽管下一次作业的完成率有所上升,且主要出现在较小的班级。
  • 与人工评分者一致,就能让 AI 评分者安全吗? 一项审计让六个 AI 模型为 300 份简答题评分,发现当被告知该学生成绩优异时,所有模型都给同一份作业打了更高的分,在十分制上高出 0.28 至 0.75 分。一致性可能掩盖与学生既往成绩记录相关的偏见;应隐去该记录。
  • 为什么 AI 生成的语言如此难以理解? AI 文本过度使用罕见的词语搭配、名词动用、无生命主语、缩减的宾语关系从句、名词堆叠和长依存,因为针对数学、代码与推理的后训练奖励的是压缩的答案,而不是清晰的解释。对教育而言,这意味着 AI 撰写的解释、反馈和阅读材料即使可读性分数看起来正常,也可能让学生更难加工,这是阅读教育的一个问题,而公式无法捕捉。[编辑说明:提醒一下,本简报与 AIEd 知识库均由 AI 生成。站点开发者给出了详尽的编辑指导,以提升可读性与实用性;在这些指导之后,AI 智能体应用了 Humanizer 技能,并遵循了一条明确指令:以肯定方式写作,避免“不是 X,而是 Y”的句式。]

新增常见问题

本周有两个新回答加入了常见问题。

AI 如何帮助支持学生的阅读与阅读理解?

关于阅读的回答把阅读水平标签当作粗略的估计:几位真实读者的评分胜过一条公式,而一个被要求假扮学生的 AI 无法告诉你一段文本会有多难。用 AI 寻找、简化和注释阅读材料,然后与学生一起试用结果,并把原文放在旁边。

AI 偏见与不公平如何在教育中显现,我们又能做什么?

关于偏见的回答要求提供你所教群体的错误率,因为平均值可能掩盖差距,而失效可能出在评分、辅导、仪表盘或检测环节。把分组报告和申诉渠道写入采购要求,并修复流程本身。

新增概念

本周有八个概念页面加入了知识库。

阅读教育

阅读教育现在有了一个页面,它区分了常被同一个标签涵盖的四件事:帮助读者、评估阅读、改编文本,以及测量难度。页面引用了一项193 名学生为 3,954 个句子评分的研究;即使 Flesch 分数显示相反,仍有 72.8% 被评为容易或非常容易,因此年级水平标签只能微弱地指示某位特定读者会怎样体验一段文本。

反思

反思有了一个新页面,把它与当下进行的监控——元认知——区分开来。第一个设计问题是:这段反思是否由学生自己写。在一项302 名成年人参与的实验中,反思提示使花在反馈上的时间翻倍,练习减少了 40%,掌握程度因此更低,为 65% 对 79%,所以时机与提示本身同样重要。

自动化偏见

自动化偏见指的是这样一种人类习惯:它能把一个正确的 AI 建议变成错误的决定——接受一个若是自己得出便会质疑的答案。页面收集了这种现象在教育中发生的地方,从论文分数、早期预警到监考,并说明一个只存在于纸面上的复核步骤如何无法发现它。

公民与政治教育

公民与政治教育描绘了证据中的一个空白,并综述了这一领域。对310 份 AI 生成的教案的分析发现,90% 的活动只要求回忆、理解或基本应用;94% 几乎没有多元文化内容;语料库中没有任何研究测量公民学习。

图书馆

图书馆把图书馆视为一个场所、一项服务和一群专业人员。一项对 29 项研究的综述发现,采用集中在参考咨询与编目,而公共 AI 图书馆试点把共享的、有人员支持的访问作为公平性的论据。

AI 化身与合成教师

AI 化身梳理了一个合成人可以承担的角色,从录制的讲师、辅导者到模拟病人和考官。证据参差不齐,一张逼真的脸对学习几乎没有说明力;披露与信任与模型本身同样重要。

传感器与注视分析

传感器与注视分析涵盖眼动追踪、脑与心脏信号,以及摄像头姿态,用它们推断注意力与参与度和认知负荷。这一领域更擅长观察学习者,而不擅长改变教学,页面把隐私、偏见以及身体信号与心理状态之间的差距视为核心问题。

信息与媒介素养

信息与媒介素养把两者视为同一个教学问题:信息素养问的是一个来源是否值得相信,媒介素养问的是谁制造了信息、为什么。生成式人工智能使这两个问题都失效,因为流畅的文本隐藏了它的来源;页面发现关于合并课程的证据很少。

新增资源

本周有三项资源加入了资源库。

LearnHarness

LearnHarness是一款免费、开源的桌面应用。在其中,AI 智能体会弄清学习者已经知道什么,梳理达成目标所需的概念,一次教一个推理步骤,并调整练习。

Learning Commons

Learning Commons为课程产品发布开放的基础组件:一份标准与课程的地图、用于为生成文本评分的工具,以及面向教师的现成AI 工作流。

Public AI Libraries

Public AI Libraries是一个试点项目,在美国公共图书馆中设置共享的 AI 工作站,提供对话、图像与视频生成、编程工作区、教育指南,以及为每位读者提供的私人账户。

面向教师

AI 反馈在修改上与教师相当,动机却落后

在一项312 名写作者的随机试验中,AI 与教师反馈使同样的论文获得了大致相同的提升。教师反馈对动机的作用更大,因为学生感到与给出反馈的人有联结。

让反馈周围保留人的声音。把生成的评语与教师简短的回应配对,或者用 AI 做第一遍、让教师来谈这份作业。

另见:大规模 AI 反馈

五分之一的学生论文完全由聊天机器人写成

一项针对 77 名大学写作者的研究记录了每一次提示、回答与粘贴。15 人,也就是五分之一,提交了由聊天机器人代写的论文,而其中多数人仍觉得这篇论文是自己的。

要求学生交出中间过程:提示、修改,以及一段关于改了什么、为什么改的简短说明。在还来得及教学的时候,让移交变得可见。

另见:为 AI 时代重新设计评价

中学生几乎普遍使用 AI,成绩较低者用得更多

一项为期一年、涉及 4,062 名德国中学生的研究发现,AI 使用近乎普遍:95% 的人用过,成绩较低者更多用它来完成任务。这一模式预测了此后更少的努力。

这使面向学生的 AI 使用框架和自我调节学习成为课程的一部分,并在全年反复重访。问学生在这项任务上这个工具是做什么用的,并为成绩较低的学生提供一条以理解作业为起点的支持路径。

另见:减少对 AI 的过度依赖

支持性聊天机器人与写日记相当,而同伴降低了孤独感

在一项为期两周、涉及 296 名一年级学生的随机试验中,一个支持性聊天机器人在降低孤独感方面与写日记效果相同,而随机分配的同伴降低了孤独感。机器人表现出更多共情,而学生回馈的更少。

机器人可以作为有用的初次接触,同时让同伴或咨询师保持可用。把这条人的路径建进你推荐的任何学生支持服务中,并测量孤独感本身。

另见:AI、焦虑与幸福感

把 AI 模拟当作有监督的排练

一项对 14 项研究的综述发现,护理学生看重可重复、低压力的 AI 模拟,并报告了更高的信心,尤其是在沟通与临床推理方面。真实感、身体语言和响应延迟仍然是弱项。

向学生说明局限,要求他们核查生成的内容,并在事后进行复盘。当练习的重点是非语言沟通或持续共情时,保留人际互动。

另见:护理教育

毕业设计的代码量增至三倍,注释比例基本不变

十个学期、260 个毕业设计项目的数据(属于计算机科学教育)显示,代码行数中位数从约 3,400 行升至 10,000 行,而注释比例仍接近 8%。提交次数上升;单次提交的规模几乎没有变化。

评估设计决策、对代码的解释,以及学生改变代码的能力。作品现在可以比它本应展示的学习增长得更快。

另见:为 AI 时代重新设计评价

面向开发者

没有图形时,AI 辅导者应当拒答

六个具备图像能力的 AI 模型处理了 376 道中学数学题,这些题目的图形承载着关键信息。有图形时,表现最好的模型只解出了略多于一半;没有图形时,它们几乎每次都拒答。

把拒答视为缺少上下文的信号。在没有图形的情况下产生的分数或个人画像更新,测量的是另一项任务。

另见:数学教育

一个提问并把写作留给学生的写作辅导工具

MAIKE提出问题并诊断论证,同时把论文文本留给学生。在 65 名中学生中,其提升与对照聊天机器人相当,为 40% 对 41%,MAIKE 的使用者把更多轮次花在想法上;没有人下降。

测量在对话中讨论过的想法是否变成了修改。写作工具如果只改善最终文本,就可能绕过这项作业本要培养的推理。

另见:人工智能语境下的写作教学最佳实践

讲解进行时放大并高亮幻灯片

GuideSlide为幻灯片讲解配音,并利用可视化放大正在讨论的部分。在一项 24 人在手机上观看的研究中,负荷下降,理解度从 9 分制中的 5.5 升至 6.5,22 人中有 21 人更喜欢它。

一天后的优势在统计上不显著,因此该研究支持的是观看时的注意;持久的学习仍未得到检验。把提示线索建进叙述本身。

另见:把 AI 设计进学习

经过微调的检测器可以在没有姓名偏见的情况下对学生文本去标识化

五个工具在 13,613 份学生文本文件上接受了测试。一个经过微调的 GPT-4o-mini 找出了约 96% 的身份识别信息,每个 token 的价格约为 Azure 的六分之一;微软的工具更常漏掉非洲与亚洲姓名。

在十份记录上训练后能在新数据集上奏效,说明这一方法可以迁移。当精度重要时,为第二轮核查留出预算,并报告你的工具漏掉了哪些群体。

另见:机构 AI 政策

视频分析达到与人类相当的一致性,但仍需人留在回路中

GAIVA为学习分析转写、标注并解读课堂视频。在五段录像上,其标注与人类评审者的一致程度,与两位评审者之间的一致程度大致相当,并且它揭示出原有理论未曾命名的一类参与。

把模型当作编码伙伴:提示可追溯,每个阶段都由人做决定。模型也会揭示人类评审者可能不会去寻找的模式。

另见:AI 辅助教育研究

面向研究者

很大的平均效应仍可能意味着没有可靠的收益

一项对四项对照研究的综述涉及 420 名计算机与工程专业学生,发现平均提升很大,但各研究之间分歧明显,可能的区间包含“没有收益”。证据被评定为非常不确定。

把四项差异很大的研究得出的大平均值,当作关于你自己课程的一个假设。在个性化学习将要实施的地方先做试点,并直白说明证据有多不确定。

另见:个性化学习的含义

知道学习者记录的 AI 评分者会给同一份作业打不同的分

六个 AI 模型为同样的 300 份简答题评分,并分别配上一则真实的和一则被调换的既往成绩说明。每个模型都在“高成绩”标签下给同一份作业打了更高的分,在十分制上高出 0.28 至 0.75 分。

在这里,学生背景信息起着偏见的作用。把背景效应与一致性数字并列报告,并在称一个模型可靠之前,测试不带学生记录的评分。

另见:AI 评分的公平性与可靠性

看似公平的辅导系统可能隐藏 26% 的技能差距

来自 8,549 名使用自适应数学辅导系统 MATHia 的学生两年的日志显示,仍在学习阅读的学生掌握技能的比例为 68.7%,而其他学生为 77.6%,但整体的公平性指标看起来几乎中性。有一项技能在预测掌握度上隐藏了 26% 的差距。

该辅导系统没有阅读技能组件,因此阅读教育成了这个数学系统中缺失的因素。对该技能建模,并在教师会介入的层级报告差距。

另见:教育中的 AI 偏见与公平

检测的假阳性是一个治理问题

一项对 90 项研究的综述发现,AI 检测器把合法写作标记出来的比例无法合并,因为工具、阈值、数据集与语言各不相同。摘要、文献综述、考试答案、译文和经过编辑的文章不断被标记。

补救办法是程序性的:透明使用、人工复核、AI 素养、明确的机构政策以及申诉渠道。这些属于治理范畴,检测器设置只是其中一部分。

另见:我们应当使用 AI 检测工具吗?

与人工评分者一致,仍可能错过作业本身

二十二个 AI 模型在简答题、代码与论文三类任务上各评分 100 个题目。多数在简答题上与人类相当,四个在代码上达到或超过人类,没有一个在论文上达到人类水平。

很高的一致性数字可以与一个只评“说明”而错过答案的 AI 评分者并存。把改动过的答案加入评估,并报告模型在何处偏离了作业本身。

另见:AI 评分的公平性与可靠性

面向管理者

神经多样性教育技术的证据集中且由研究者主导

一项对 93 项研究的综述发现,在面向神经多样性学习者的教育技术证据中,自闭症占主导,为 39.8%,高于智力障碍、ADHD 和阅读障碍。扩展现实(VR 与 AR)被研究得最多;社交与同伴结果受到的关注较少,儿童几乎没有发言权。

要求提供课堂真正关心的结果,并说明评估中纳入了哪些学习者。仅由研究者验证的主张,可能偏离它本应服务的人。

另见:面向残障与神经多样性学习者的 AI

学生希望有一个机构级助手来提供反馈

一项为期 13 个月、有 315 名学生和 20 名教职员参与的共同设计项目发现,73% 的人看重与学业相关的全天候反馈。抽认卡和测验获得的正面评价多于开放式对话,18 名测试者中有 16 人希望保留这个助手。

因价值观原因而抵触的 10% 至 15% 构成了采用风险。把他们的顾虑当作实质性问题。在试点之前说明学生数据如何处理、这个助手做不到什么,并给学生一条退出的路径。

另见:把 AI 设计进学习

监考抓到了作弊,却把代价转嫁给最弱势的人

一项对 32 项研究的综述发现,AI 监考能抓到替考与作弊,而假阳性、光线与带宽故障、焦虑以及隐私伤害最重地落在最弱势的人身上。自动化监考占这些研究的 59%。

综述作者建议采用替代性评估以及人工与自动监控的混合方式。在增加又一层检测之前,先减少高利害的在线考试。

另见:机构 AI 政策

一份仪表盘报告提高了完成率,测验分数则保持不变

刚接触某在线数学辅导系统的教师被随机提示打开一份学习分析仪表盘报告,内容为学生第一次作业的表现。它既没有改变开始下一次作业的学生比例,也没有改变学生的测验得分提升,不过在较小的班级中完成率有所上升。

在购买分析产品之前,先检验教师是否会打开报告、据此行动并看到学习收益;仅仅完成率上升是不够的。

另见:判断教育 AI 是否有效

几乎没有机构能说出谁负责 AI 管理

一项覆盖 13 个国家、387 名学生与教职员的调查发现,只有 17% 的人知道存在指定的 AI 治理角色。其余人中,71% 认为这样的角色有必要,76% 预计它会改善自己的体验。

受访者描述的是一个有明确授权的角色;没有授权的委员会等于让这个角色空缺。赋予负责人对培训、数据安全、伦理审查与战略的权限,并公开由谁担任。

另见:机构 AI 政策

本周其他新增

期刊页面列出了本周新增的全部研究,包括这里未作摘要的研究。

站点说明

本简报及其 RSS 订阅源现在也提供西班牙语版本:访问西班牙语简报站点或订阅西班牙语简报 RSS 订阅源。如需申请其他本地化版本,请提交 issue或联系站点开发者。

站点变得轻得多。完整的概念与常见问题树不再出现在每个页面上:侧边栏只显示十个主题组,只有当读者展开某一组时才获取完整列表;右侧栏列出八个近期页面,少于此前的三十个。整个构建中,HTML 从 1.80 GB 降至 1.26 GB,侧边栏标记从 604 MB 降至 87 MB。

所有 33 个已配置的语言版本都刷新了翻译,包括从右到左排版的阿拉伯语、希伯来语和乌尔都语版本。文章摘要仍只有英文。

离线版本已迁移到新的 GitHub releases 位置,因此旧的 EPUB 与 PDF 链接不再有效。各语言站点保留原有地址。下方列出链接的 19 种语言有 EPUB 与 PDF 文件;其余 14 种仅有网站版。

源代码公开在 github.com/edtechdev/aied。

关注更新

你可以在 feed 阅读器中通过简报订阅源获取每一期,也可以把同一订阅源粘贴到 Blogtrottr,按你选择的时间表把新一期邮件发送给你,或者在 LinkedIn上关注它——每一期都会作为 LinkedIn 通讯发布。


《AIEd 研究每周更新》来自教育中的 AI 知识库,该知识库由 AI 智能体生成。本期也由同一个 AI 智能体起草,站点开发者提供了编辑指导,上文每一条主张都链接到它的来源页面。

本知识库以 CC0 1.0 许可奉献至公有领域。不保留任何权利。

发现内容有问题?在 GitHub 上报告,或联系站点开发者 Doug Holton。

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。