我可以用 AI 公平、可靠地给学生作业评分吗？

本页是英文页面的机器翻译，尚未经母语者审校。

你有一套自己信得过的量规，作业比时间多，还有一个工具，能在读完一篇作文的时间里返回一个分数外加几段信心十足的说明。你拿它去跑自己已经评过的作业。一半的分数看着对。一个莫名其妙地宽松，一个莫名其妙地严，而你还说不清那是工具的问题还是作文的问题。

给同事的简短回答：AI 评分可以在受监督的助手或第二阅卷人的位置上占一席，前提是在你已经亲手批过的作业上校验过它。一致性不会跨评估类型迁移。在一场 16 名学生的药学考试中，Falahat 等人（2026）发现客观题类型上的一致近乎完美，而开放式作答上的一致并不可靠。在三所英国大学，OpRaise 项目发现 AI 与人类评分者在学位等级上的一致率因院校而异，在 35% 到 65% 之间，且分数向中间压缩。一段流畅的理由说明不了你的标准被用上了。结果对你的决定是否有效，是一个你必须自己回答的本地问题；而任何会成为记录成绩的东西，都由一个人负责。

简版要点

1. 在跑任何东西之前先命名角色：反馈助手、第二阅卷人，还是主评分者。它们需要的证据量不同。

2. 从能解决你真实问题的最低影响角色开始。如果一份确定性的答案键就够用，上 LLM 是加风险而不是加价值。

3. 在你已经评过的作业上做校准，包括强、弱、临界和结构异常的那些。手边方便的样本什么都证明不了。

4. 校准集与测试集要分开，否则你测的只是你把工具调得多贴合熟悉的作文。

5. 报告精确一致率、分差与偏倚方向，而不是相关系数。单独检查及格与不及格的边界。

6. 告诉学生这个工具扮演什么角色、谁决定成绩、以及如何申请复核。

决定 AI 被允许做什么

有三种安排都被叫作“AI 评分”，它们承担的义务并不相同。

反馈助手为你起草评语，或标出可能的遗漏，由你接受、改写或丢弃。风险被限制在评语质量上，而且每一条到你学生手上之前你都读过。第二阅卷人提出分项分数，或标出分歧，用来组织你自己的评阅。它的错误必须有用，而不能只是错：一个把你拉回某份你本来会草草批过的作业的标记，值得拥有。主评分者产出的分数会成为记录成绩。这正是本知识库的证据在狭窄的、经本地验证的案例之外并不支持的安排。

选能解决你实际约束的最低一档。如果你的评阅负担来自核对一份固定的答案键，普通的确定性评分比语言模型更透明、更可审计，而那项药学研究提示，LLM 在客观题上的优势有一部分是评分时把正确答案交给它造成的。把模型留给需要解释的工作，然后去核查那份解释。

自动化评估覆盖评分、审核与反馈生成的整套机制。本页讲的是它底下那个判断问题。

证据究竟说明了什么

一致性取决于题目类型。Falahat 等人（2026）评了一场 16 名学生完成的混合题型药学考试，报告的选择题、多选全对题与填空题与教师评分的一致度在 0.935 到 1.000 之间。主观开放式作答上的一致并不可靠。有两个细节比标题数字更重要。评分时提供了正确答案，这会让客观题结果显得更好看；而加进量规并没有稳定改善一致性，这削弱了那个常见假设——一份好量规能把 LLM 变成一个稳定的阅卷人。16 名学生撑不起关于你这门课的结论。一场考试内部的差异才是可迁移的发现：一个能处理你选择题部分的系统，对你的作文什么也没说。

等级一致率是中等且不均衡的。OpRaise 报告考察了真实的本科心理学作文，发现 AI 与人类评分者在英国学位等级上的一致率为剑桥 63%、诺丁汉 53%、曼彻斯特都会大学 35%。分数向中间压缩，两端被评得最不准：一篇人类给了 75 的作文，每个 AI 系统都低了几分；一篇给了 50 的，则高了几分。这种压缩正是要警惕的失效，因为它恰好伤害你分布两端的学生，而让中间看起来没问题。这是一份项目报告而非同行评议的试验，但它是整个证据库中最有用的警告。

你自己的分数是一个不完美的参照。教师之间彼此就不一致，你过去对一篇类似作文的打分是一个判断，不是基准真相。与某一位阅卷人一致，只证明与那一位阅卷人一致，并不等于公平。在利害关系足以支持时，用第二位合格阅卷人来裁定困难案例，并把 AI 与人类阅卷人之间的分歧当作重读这份作业的提示，而不是判定哪一方对的裁决。

一致性与健全的判断会分道扬镳。一个模型可以在重跑时返回几乎相同的分数，同时把你的标准用得很糟，因为可重复性测的是稳定性，不是效度。OpRaise 的两端就显示了这种模式：系统很稳定，而它错在最要紧的那些作文上。

在它碰到任何成绩之前先验证流程

在以前评过的、适当脱敏的作业上走一遍，样本要覆盖你实际收到的各种作答：强的、弱的、临界的、不完整的、结构异常的，以及用不熟悉的方式表达的正确答案。

1. 明确标准并要求证据。 把作业、量规、评分规则，以及合法的替代答案如何得分的示例一并给出。要求给出简明的、绑定到可识别段落的分项理由。然后你自己拿这些理由对着作业核查。

2. 把校准与评估分开。 在一套样本上调，在另一套上测。没有这个切分，你分不清一个经过验证的流程和一个拟合得很好的流程。

3. 测量真正要紧的决定。 记录精确一致率、分差的大小与方向，以及模型是否系统性地给高或给低。单独检查及格与不及格以及其他有后果的边界。高相关可以架在一个系统性偏移之上。

4. 测可重复性与子群表现。 在相同设置下重跑一个子集。留意分项层面的错误，以及语言、格式或合法的风格被误当成理解较弱。子群样本量小时，支持的是谨慎，而不是公平性主张。

5. 写下升级规则。 决定哪些案例永远由人来评，以及分歧如何解决。不要让模型自称的置信度来决定；置信度要先对照观察到的错误验证过，才有分量。

6. 保护工作流程。 使用经批准的环境，尽量减少身份信息，并让量规与指令同提交内容分开。这个分离让操纵更难藏，但不能让它不可能。

7. 记录什么会让这次核查作废。 保留模型与版本、提示词、量规与设置。模型更新或量规修订，是重做代表性核查的理由，而不是假定连续性。

让学生看得见这套安排

学生有权知道工具扮演什么角色、谁做决定、以及如何对一个结果提出异议。含糊的披露制造怀疑；具体说明才建立得起可用的关系。类似这样：“一个经批准的 AI 工具可能会为你的草稿起草量规评语。每一条评语都由我复核，成绩由我决定。如果某条评语误述了你的作业，请联系我。”然后让它成为真的。

两个失效方向需要分别关注。过度的扣分是学生会去反映的那一类，也主导了申诉。不该给的分数则是没人提、却悄悄污染记录的那一类。两类都要抽样，并在判断这套流程是否给你省了东西时，把你自己的核查工时算进去。

你会遇到的反弹

“人也有偏见。” 确实如此，所以这个比较需要明确的标准，而不是把某一位阅卷人的分数当作标准。OpRaise 的院校差异就是这里的论据：如果三所大学的人类阅卷人对同一批系统给出差别如此之大的等级一致率，那么人类参照本身就是需要被说明的东西，而不是一把固定的尺子。

“有了量规它就客观了。” 量规把期望说清楚。用它仍然是解释，而那项药学研究也发现，提供量规并没有稳定改善一致性。量规买到的是一个可供核查的理由标准，不是分数的保证。

“那我就得核对每一样东西，这就没意义了。” 对某些任务而言这是正确的结论，答案是缩小这项工作。用你自己的评分笔记起草评语，判断留给你，省掉的是打字。对临界作业给出第二阅卷人的标记，能把注意力集中到会改变结果的地方。

“我同事试过，效果很好。” 问他测了什么。在这类文献里，正面评分与错误并存是常态，一个读了几个看着合理的输出的同事，做的是演示，不是验证。问题是：他们的流程会对那些你最晚才会注意到的问题作文做什么。

本周可以做的事

1. 挑一次评估，写下 AI 将扮演的那唯一一个角色。再写下什么样的证据能让你把它升一档。

2. 在五份你已经评过的作业上跑一遍，挑选时包含一份强的、一份弱的、一份临界的，以及一份结构不寻常但合法的。

3. 记录每一次分歧，连作业与标准一并记下，并说出哪些错误你认为不可接受，而不只是“错了”。

4. 测试分差是否朝一个一致的方向走，并单独检查你的及格与不及格边界。

5. 起草面向学生的披露段落与复核途径，并把你核查所用的时间和省下的评阅时间比一比。

接下来可以去哪里

评估效度是决定这些问题的概念：证据是否支持你想做的推断。自动化评估 覆盖这项技术及其在各题型上测得的性能，而 人工智能如何帮助我在大规模教学中给出更好的反馈？ 处理邻近的问题：生成的评语，以及学生是否会照着做。

关于学生已经在用 AI 时一个分数应当代表什么，包括构念替代与可验证的过程证据，见AI 时代的评估重设计。关于检测能否替代一个站得住的任务设计，见是否该使用 AI 检测工具。关于这一切底下那个评价问题，见检验一个教育 AI 是否有效。