如何判断一个教育 AI 是否真的有效，而不只是分数好看？

本页是英文页面的机器翻译，尚未经母语者审校。

一个教育 AI 可能看起来运转良好，实际上却并非如此。你最常看到的分数——模型的答案与正确答案有多相似，或者它给出的评分与人类评分有多接近——可能非常亮眼，而你真正关心的东西却已经坏了。

在本知识库的一个项目中，同一个系统在论文评分上取得了良好的一致性分数，而在同一次部署中，它生成的反馈却在句子中途被截断、完全无法阅读。评分能用，反馈不能用。头条数字对此只字未提。

这一页讲的就是如何分辨二者的差别，并且不假设读者具备测量学背景。

常用分数实际在测什么

这类文献中占主导地位的有两类数字，而它们测的都是相似性，而非正确性。

• 相似度分数（你会看到它们被称为 ROUGE 和 BLEU）比较模型答案的措辞与参考答案的措辞。一个模型写出接近预期文本的内容就能得高分——即使它的推理是错的，即使学生可能沿着一条学不到任何东西的路径走到正确答案。
• 一致性分数（你会看到 QWK，即二次加权 kappa）衡量模型的评分与人类评分有多接近。一个模型可以在最终分数上与评分者一致，却在原因上出错——而那恰恰是学生学习到的部分。

学生可能经由一条看似正确的错误路径得出错误答案，而没有任何相似度分数会发现这一点。如果你关心的是推理过程，你就需要某种能读取推理的东西——由人执行的评分量表，或针对该特定步骤编写的检查项。

线性控制系统课程助手就是一个团队如实报告这类情况的例子。其最佳配置在参考答案上的相似度分数达到 0.4093，提升幅度可被可靠地测得高于零，而作者坦率地说明他们的数字衡量的是措辞和格式（LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects）。

一个系统可能通过这项测试，却在下一项测试中失败

这是本知识库中最有用的一课，因为它正是让人栽跟头的那一课。

在 WrAFT 项目中，一个微调模型在 360 篇留出集 TOEFL 作文上与人类评分者达到 0.84 的一致性分数。就评分而言，这是一个很强的结果。而同一个项目中训练来撰写反馈的模型，产出的输出却被截断且无法解析——而仅仅是对另一个模型做提示，就产出了教师们更偏好的反馈（WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays）。

所以，要逐一评估系统产生的每一项输出。评分模块上的好分数，对旁边反馈模块的情况一无所知。

检查你的自动检查器是否与人类一致

许多团队现在用第二个 AI 来检查第一个 AI。这有其合理性，但第二个 AI 并不自动地就是对的。

一项让前沿模型为智能辅导系统撰写提示的研究发现，其中约 35% 的提示过于笼统、不正确，或直接泄露了答案——而模型自身的自动质量检查，与人类关于哪些提示不合格的判断并不一致（Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models）。

可操作的版本是：抽取约五十个输出样本，请一个人为它们评分，再将其与自动检查器的评分进行比较。如果两者不一致，你的自动数字就不能算作证据。

把分数变成一条可以据以行动的规则

相关系数告诉你模型通常是对的，却没有告诉你偶尔出错时该怎么办。置信度路由的结果是这里最清晰的模板，而且简单到可以直接照搬。

结果发现置信度是一个可靠的预警信号：当模型不确定时，它出错的可能性更大（β = −0.602, p < .001）。于是团队把最没有把握的 20% 的回复转交给人工。仅这一条规则就把与人类评分的一致性从 0.78 提高到 0.82，并将人工评分工作量减少了约 80%（Know When to Trust: Making AI Scoring More Reliable for Educational Assessment）。

请注意这份报告里包含什么：一个阈值、一个人、一项节省。"一致性 0.84" 里这三样一个都没有，这正是它难以据以行动的原因。

能直接测量目标本身时，就直接测量

最干净的修法是：在测量对象本身上训练模型。一个微调模型被训练来复现试题的统计属性——描述每道题难度、以及它在区分强弱学生方面效果的数字——它学到了这些规律，而不是被告知这些规律（Multimodal Item Parameter Estimation using Simulated Response Probabilities）。目标是评估本身的一种属性，因此评估可以围绕该属性展开，而不是围绕措辞展开。

进展过程也要和终点一样报告。SWIM 的写作模拟器把每个阶段的分数并排公布——基于量表的提示 0.577、微调 0.474 ± 0.023、强化学习 0.618 ± 0.005（SWIM: Student Writing Simulation via Proficiency-Conditioned Generation）——这才让读者得以判断训练是否起了作用。单一的最终数字做不到这一点。

安全测试要覆盖整段对话，而不是单条回复

大多数安全测试只检查一次交互。而辅导中真正重要的危害是会累积的。SafeTutors 发现，即便是专门为教学构建的模型，也会在长对话中退化，并可能泄露它们本应保留的答案（SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems）。

要在完整对话上运行安全检查，并把学生答错、不断施压、或试图让模型脱离角色的那些轮次包含进来。

如果用假学生做测试，先检查假学生本身

与其招募真实学生，生成模拟学生能让评估便宜得多。但模拟学生也是一种测量仪器，它会以任何仪器都会出错的方式出错。

本知识库中对这一点最直接的检验，是把模拟学生与被提示的学生与来自最大规模的公开真实师生数学对话语料库的 382 段留出对话进行基准比较，使用了覆盖语言、行为和思维的七项测量（Simulated Students in Tutoring Dialogues: Substance or Illusion?）。其他工作从不同角度推进真实性：INSIDE 训练模型既像学生那样行动，也像学生那样思考，而具备历史感知的画像则让模拟以学生过往经历为条件，而非固定的角色设定（Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues）。

如果你的测试框架依赖模拟学生，先检查模拟器，再相信它对你的辅导器说的话。

与你自己的项目之外的东西比较

如果你没有自己的基线，一个外部基准能告诉你你的数字究竟算不算好。在 CDPK 教学法基准上，EduQwen 对 Gemini-3 Pro 的 90.55% 达到了 96.52%（Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning）。由真实教师专业发展考题构建、覆盖 97 个模型的 Pedagogy Benchmark 发现，准确率从 28% 到 89% 不等（Lelièvre et al., 2025）。

这个跨度正是要点：在一个关于教学的任务上，模型的表现从差到好都有。把基准结果读作你所处的区间，而不是一个裁决。

上线前的检查清单

1. 用一句话写下你真正关心的东西，并选择一个捕捉那个、而非捕捉相似性的测量。

2. 先取得一个基线，包括一个简单的基线。没有接地知识的课程助手模型，得分低于纯关键词搜索。

3. 分别检查系统产生的每一项输出。

4. 请一个人为样本评分，并与其自动检查器比较。

5. 把准确率变成一条规则：一个阈值、一个人、一项节省。

6. 在整段对话上测试安全性。

7. 在信任任何模拟学生之前先检查它。

8. 保留失败案例。被截断的反馈和泄露答案的提示正是研究结论，而不是噪声。

相关问题

• 我们如何让 AI 更好地支持我们自己学科中的学习？
• 我们如何训练 AI 辅导器引导学生，而不是直接回答他们？
• 教师可以用哪些测量和研究方法来评估与 AI 相关的干预？ — 本问题的面向教师的版本
• 报告和解读 AI 教育研究的最佳实践有哪些？ — 面向研究的版本
• LLM 训练与微调 — 完整的概念页面