本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

本页是英文页面的机器翻译,尚未经母语者审校。

你的团队有一个能跑的辅导系统原型,三周后要给学区演示。或者一所合作学校要求你把一个聊天界面架在它的课程阅读器上,而有人说这是两周的活。或者采购评审把安全章节退回来,只附了一句话:你们到底测了什么?

答案比多数产品规格所设想的更窄。教育 AI 起作用的方式是:在人类监督下做一个有边界的专家——能力被限制在界定好的领域内,以教师批准的内容为依据而不是模型记忆,与使用它的教师和学习者共同设计,并在持续的多轮交互上被评价。最后这一条是多数团队会跳过的。在下文的基准测试里,每一个被测模型都出现了教学法伤害,而失败率从单轮交互的 17.7% 上升到多轮对话的 77.8%。

简要版本

1. 写下系统决定什么、教师决定什么。这条边界就成为架构。

2. 用真实课程材料评价多轮的、有学科意识的交互,而不是用通用安全量表评价单个提示词。

3. 让回答以已批准的内容为依据,并让核查组件与会话组件彼此分离。

4. 把每一份学生提交都当作不可信输入,包括系统正在给它评分的时候。

5. 在试点之前就建好尝试门、升级路径和教师覆写。

6. 把无障碍和分组公平测试放进规格,而不是放进待办池。

决定系统被允许成为什么

Reichert 及其同事的参与式设计研究与六名中学教师合作,纠正了“教育 AI 应当是一个自主智能体”的假设。在纸上做课堂聊天机器人原型时,每位教师描述的都是一个在两个维度上有边界的专家。权限边界让教师保持控制,因为对学生学习和安全的责任无法委托。专业边界反映的是 AI 缺少关于个别学生、课堂动态和机构规范的语境知识。

他们勾画的架构有四个组件(内容范围界定、内容呈现、学生适配、教师监督),架在三层防护之上:限制范围的领域边界、使安全个性化成为可能的内容过滤、以及针对模糊情形的教师覆写。委托是有选择的。映射到加涅的九个教学事件上,教师欢迎 AI 呈现内容、提供练习题、给出形成性 反馈,而拒绝让它设定目标或实施终结性 评估。

还有两个默认项属于同一份规格:让系统对齐到明确的学习目标;把它调向友善但正确的回答,而不是附和正在打字的任何人。一个奉承错误答案的辅导系统,已经教会了学生那个答案是对的。

有一个细节现在做很便宜,以后做很贵:这些教师想要的是行为层面的透明、可见的限制和不确定性提示,多过对模型推理的解释。六位教师全都要求完整的对话记录、实时告警和覆写能力,并把它们表述为专业责任而不是不信任。在第一个冲刺里就为它设计,因为往一个被做成“感觉不到存在”的辅导系统里后加记录功能,等于重写。

在对话中测试,而不是在一轮里

教学法安全的综合论述指出,常规安全测试对教育而言不够。一个系统可以避免有毒内容,却仍然因为过度披露答案、强化误解、压制反思、助长依赖或偏离教学目标而造成伤害。

SafeTutors 基准测试给这件事装上了数字。在每一个被测模型上,从 3.8B 的开源权重模型到 GPT-5-mini,教学法伤害都是普遍的,规模并不能可靠地提升安全性,而失败率从单轮交互的 17.7% 升级到多轮对话的 77.8%。违规模式随学科而变。它那套 11 个维度、48 个子风险的分类法覆盖认知、认识论、元认知、动机—情感、发展性与公平、以及教学对齐等类别,既能当设计检查表用,也能当测试套件用。

把这个升级数字读作关于你测试计划的一句陈述。一个通过了一千次单轮探测的辅导系统,一旦学生反驳或第三次追问,五段对话里可能有四段失败。在演示之前就建好多轮测试工装。

让内容有依据,并把核查器分开

有依据是一个架构决策。EduGuard是一个安全的检索增强辅导系统,面向编程入门,它把教师批准的课程检索与一个架构上独立的论断核查器配对,配以明确的过度依赖控制,以及一套由教师编写的 600 条查询基准,覆盖误解、调试、中英混写查询和对抗性的直接求答案提示。它优于 GPT-4o-mini 和 Llama 苏格拉底式辅导基线。

可迁移的部分是那种分离:负责核查的组件不参与对话,而基准里包含专门为套取答案、而不是为检验礼貌而写的提示词。幻觉风险涵盖了这种“有依据的检索”所要限制的失效模式。

把学生作业当作不可信输入

多数设计建议漏掉的那个威胁模型,就藏在被评价的作品内部。Humble(2026)的对抗性红队评估检验了学生能否通过在自己提交物里植入提示词注入来操纵一个基于LLM的评分器,而操纵奏效了:那些指示、重新框定或角色扮演评分器的注入,在作业本身没变的情况下改变了分数。

把评分量表和指令放在学生可控的上下文窗口之外,剥离或标记像指令的内容,绝不让提交物设定自己的评分标准,并对任何有后果的成绩保留人的决定。一个从它所评判的文本里读取自己指令的评分器,已经把评分量表交给了考生。

搭脚手架而不是替他们完成

一个直接给答案的系统,终结了它本被买来支持的那种思考。工单里应当有两件东西:一个尝试门,让学生先交出点什么之前不出现任何输出;以及一条带具名去向的人工升级路径——对课堂产品来说就是教师,而且要采取教师能据以行动的形式。脚手架与苏格拉底式模式就是教案手工做法的产品版本;开发有效的人工智能导师有哪些最佳实践?详细覆盖诊断、提示阶梯和反馈。

把无障碍和公平写进规格

无障碍要求具体到一个冲刺就能做:键盘可操作、屏幕阅读器兼容、字幕与转写、适当的对比度、可用的替代文本,以及与辅助技术的兼容。AI 生成的无障碍功能仍需要质量核查。见可及性。

公平测试应当检查整条流水线,并按语言、残障、文化和其他相关学习者特征分组考察行为,而不是依赖总体准确率。一个平均分很好、对某一群体表现很差的系统,已经把失败交付给了那个群体。见偏见缓解与公平。

与将要使用它的人一起设计

Ko 和 Hughes把价值敏感设计应用于一个与社区学院学生和教师共同做的智能辅导系统,而这个群体在历史上被排除在学习平台设计之外。他们发现的是需要管理的价值张力,而不是需要解决的价值冲突:透明与可解释、隐私与教学洞察、以及学生能动性与系统引导的脚手架。学生更喜欢协作式的、有人味的解释,而不是赤裸的模型透明;原型在可解释 AI、人在回路和隐私控制方面落实了 16 项价值对齐的功能。

Wang、Liu 和 Islam 的综述覆盖 28 项实证研究,为选择工具补充了一套词汇。生成式 AI主要用于备课、生成提示词和创意构思,AI 扮演助手或内容生成者的频率远高于共同设计者;另有四种可供性——效率、响应性、创造性和公平——可供教师判断哪种工具适合哪个设计问题。

两项研究都把设计当作人在回路的协作,当作可用性研究而不是外联活动。两者都发现,利益相关者提出了任何准确率基准都捕捉不到的需求——这就是为那些工作坊付费的实务理由:那些需求你否则会在试点里撞上。

设计团队的常见错误

安全就是内容审核。教育产品里的伤害常常以“在错误时刻给出的有用回答”的形式到来。SafeTutors 在每一个被测模型上都发现了教学法伤害,对话中的失败率升到 77.8%,而这不是内容过滤器被造出来能看见的类别。

更大的模型会修好教学法。从 3.8B 开源权重模型到 GPT-5-mini 的整个范围内,规模都没有可靠地提升安全性。

检索索引做得好就意味着内容已经处理好。EduGuard 把检索与独立的核查器配对,并测试对抗性的直接求答案提示,因为有依据的检索仍然留下过度披露的路径。

教师就是兜底。设计研究里的六位教师全都要求记录、告警和覆写,把它们当作专业责任的条件。一张支持工单不是覆写。

享受感会替代契合度。在一项对 405 名设计专业研究生的调查中(Chu 与 Liu(2026)),任务—技术契合在被感知的有用性之外,单独承载了一条通往态度的路径(β = 0.224),而任务特征对契合度的驱动强于工具特征(β = 0.322 对 0.266)。被感知的享受感提升易用性,对有用性毫无作用(β = −0.033,p = 0.483)。愉悦值得构建,但它不能替代把功能匹配到作业的步骤上。

无障碍是以后的事。它要么进规格,要么变成重写;而生成的替代文本和字幕仍然需要人工检查。

你会听到的反对意见

“我们没法在发布前建评价工装。” 建一个小型的。你需要的第一个结论是五轮之内会发生什么。拿 40 个真实的课程问题,每个都作为一个五轮对话跑一遍,其中学生不断抗拒提示,再按那 11 个维度打分。那就是一个站得住的安全章节,而且一个冲刺装得下。

“教师想编辑提示词,而我们无法保证他们写什么。” 那就缩小他们能编辑的面。系统提示词留在你手里;目标、已批准内容、提示阶梯和升级联系人归他们。有边界的专家架构之所以存在,就是为了让配置始终落在你能测试的范围内。

“我们的基准分数很高。” 单轮回答上的准确率不能预测一段对话中的行为,而测量后者的那个基准在它测过的每一个模型上都发现了多轮环境里 77.8% 的失败率。两个数字都要报告,否则第一个会被读成第二个。

“完整记录是隐私问题。” 确实是,所以要做的是目的限制而不是不做记录。记录教师需要据以行动的内容,其余最小化,限制访问,并在产品里说明保留什么、保留多久。

本周要做的事

1. 用一页纸写下权限边界:系统决定什么、教师决定什么,以及哪一条你能在采购评审中为之辩护。

2. 把 11 维分类法变成一个测试计划,并用一门课的 40 个真实问题多轮跑一遍。

3. 在设计文档里把核查器与生成器分开,即使第一个版本在一个进程里运行它们。

4. 把尝试门、升级去向和教师覆写加入队列,并附上负责人姓名。

5. 把无障碍清单和一项分组要求写进本版本的验收标准。

接下来去哪里

开发有效的人工智能导师有哪些最佳实践?覆盖构建,应当如何把人工智能设计进学习体验之中?覆盖它周围的教学法默认项。部署之后是否真的有效,见如何判断一个教育 AI 是否真的有效,而不只是分数好看?;测试计划背后的安全概念,见教学安全性与幻觉风险;采购语境见法律问题与风险。

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。