我该怎么检查 AI 生成的测验题和考题究竟好不好？

本页是英文页面的机器翻译，尚未经母语者审校。

你让 AI 根据讲课笔记出二十道题。它回来的是一份带答案键、解析、难度标签和 Bloom 分类的、排好版的文档，看上去已经完工。而你的名字就要签上去了。

给同事的简短回答：生成的题目是候选，不是一次评估。每一道你自己先做一遍，看清这道题要求学生实际做什么，并在它被计分之前弄清学生怎么回应它。在本知识库最大的两项研究里，有意思的信号不是生成有效，而是它在哪儿失效。在课程专属的工作流里做的迭代式生成，为 71 个大学班级产出了可用的选择题考试（Isley 等人，2025）。在一项对 311 道已部署题目的数据科学审查中，模型的难度标签与它同时生成的 Bloom 层级几乎完全吻合（Spearman ρ = 0.90），而与学生的实际得分只有 ρ = 0.06（An 与 Wang，2026）。那个标签描述的是提示词，不是对题目的测量。

简版要点

1. 在生成任何东西之前，先写下目标结果，以及一个合格作答会提供什么证据。

2. 做一份蓝图，这样你能看出这套题采样了哪些结果、各采了几次。

3. 每一道题你自己先做一遍，再信答案键；把解析当作一个待核查的主张来读。

4. 问清楚学生要答对这道题必须做什么。一道标着“分析”却只需回忆的题，就是回忆题。

5. 把难度标签当作提示词的元数据，不是心理测量。

6. 先试用这些题，查看它们如何运作，再修订弱的那些。

从你想要证据的学习开始

生成便宜到输出格式悄悄变成了规格说明。如果你的笔记产出了整齐的选择题，你最后测的就是学生能否在几个看似合理的说法之间做选择，无论教学大纲声称的是什么结果。

先指定结果，再指定一个合格作答会提供什么证据，然后是期望学生带来的知识。把课程材料、你预期的迷思概念、允许使用的工具与作答格式都写进去。如果你要学生解释证据，题目就必须要求解释，而在一个定义题里加上这个词并不管用。一个长情境仍然可能被一句熟悉的、直接把答案泄出去的话解决。

评估蓝图是一张结果对题目的表，它的价值在于它比学生更早暴露缺口。它也让取舍变得可见：每一道从最容易的材料生成的题，都是一道你没有花在你最在意的那个结果上的题。

从六个维度审每一道题

从答案键开始。它对权威课程内容站得住吗？你独立核查时，解析还成立吗？答案键与解析常常出自同一个有缺陷的步骤，所以核查其中一个并不等于核查另一个。

然后问：从读到选之间，答这道题实际要求学生做什么。这正是生成题最常失效的地方，也是标签最不可靠的地方。

接着查对齐：答对这道题提供的证据，是针对预期结果，还是针对某个相邻且更容易测的东西？

像学生那样读一遍措辞。需要的信息在不在，与你的构念无关的歧义有没有清掉？

把选项与评分规则放在一起看。干扰项是否彼此有别、也与答案键有别，且都看似合理？答案键是否承认那些你的量规也会给分的合法替代答案？

最后问：这道题把谁排除在外。阅读负荷、文化背景、图形与排版都可能施加与结果无关的要求。对一个多语或残障学生来说，一道奖励快速阅读的题，测的是你没打算测的东西，而子群表现正是它显现的地方。

第二个模型可以帮你发现问题，而两个模型之间的一致并不是对正确性的独立验证。它们共享训练数据与失效模式。先自己做题，再让一位合格的人去看那些会被计分的题。

不要让难度标签替你做决定

题目生成文献在标签失效上比在生成成功上更有用。An 与 Wang（2026）考察了数据科学课程中 378 道人工编写的题目，其中 311 道部署给 54 名学生，共收到 7,888 份作答。模型的易、中、难标签与它同时生成的 Bloom 层级相关 ρ = 0.90，与实证题目难度相关 ρ = 0.06。已部署题目中约 70% 被每一名学生答对，这即便在原则上也几乎没给难度标签留下可追踪的变异。

由此有两个教训。第一，难度是一道题与一个群体之间互动的属性，所以在施测之前产出的任何标签都不能当作测得的数值来信任。第二，一套人人都答对的题库不是一次容易的评估，而是一次无用的评估：它对谁知道什么几乎不携带任何信息。

正面的例子比厂商宣称的窄，但值得准确了解。Isley 等人（2025）为 71 个大学班级、约 1,200 名学生生成了十题选择题考试，用的是一条生成、评判、修订的循环，每一道题都以该课程教师提供的材料为条件，然后把题目与人工编写的考试做基准比较。那是一个内含审阅者的工作流，逐门课程运行，不是对通用内容下的一条提示词。支持针对的是那些条件下的这个工作流，并不延伸到同一个模型对一份未编辑笔记粘贴所产出的任何东西。

跑一轮生成、审阅、试用、修订

对照蓝图生成，并要求给出预期结果、答案键、简明的解法，以及每个干扰项想捕捉的迷思概念。这些标注让设计可被审查。它们不是设计健全的证据。

先修补再累积。删掉没有依据的说法、重复的题、题干里不经意的线索、多个都站得住的答案键，以及与构念无关的复杂度，并记下你改了什么，因为修补的模式会告诉你该修提示词的哪一部分。

在试用与风险相称的地方试用。低风险的练习，或考试内部有管理的试用，都能给你作答数据。告诉学生如何报告一道含糊或错误的题，并去读那些报告，因为它们是你最有信息量的错误信号。

然后查看这些题如何运作：答对的比例、哪些干扰项吸引作答，以及这道题上的成功是否与整场评估其余部分的表现同向。一道强学生答错、弱学生答对的题是缺陷，不是难题。在小班里这些统计不稳定，所以要把它们与内容审阅和学生的解释结合起来，而不是把一个百分比当作裁决。

修订，并保留记录：通过的版本、它服务的结果、答案键、理由、审阅笔记与施测历史。对于大型或高利害的题库，这正是评估专家与正规心理测量方法应当在的位置，而测量专长不是一次仔细的阅读能替代的。

在一门课里这是什么样子

在一门社会学导论课里，结果可能是区分结构性解释与个体性解释。一道弱题让学生定义“结构性”，那测的是词汇识别。一个更强的候选给出一段关于一个家庭与一次就业决定的短情境，然后问哪种解释最好地识别出一个结构性约束，干扰项代表看似合理但不同的解释。

教师核查情境是否真的支持答案键、是否有两个选项表达同一意思、以及作答是否依赖课程从未引入的术语。一句追问，“哪个细节支持你的选择？”，能揭开被选项遮住的推理。这种改编作为一种题型尚未验证，它的价值也更窄：上面那些审阅问题可以在施测之前回答，而一个坏答案键可以在学生看到之前修好。

对于自己生成练习题的学生，同样的规则在他们的层面适用：先做题，对照课程来源核查解析，把解决不了的案例带给懂这门学科的人。学习练习如果训练学生不加批判地接受生成的答案键，教的就是错误的习惯。

你会遇到的反弹

“它给了答案和解析。” 两者可能重复同一个错误，而解析恰恰因为流畅才生出信心。拿你的材料去核查推理，而不是拿它自己的复述。

“这些只是练习题。” 错误的答案键不被纠正时，练习教的就是迷思概念，学生会把错误和正确答案一样练熟。风险更低改变的是审阅做到什么程度才相称，不改变准确性重不重要。

“学生喜欢这个测验。” 喜欢是关于体验的证据。一个人人都轻松做完的容易测验感觉很好，测到的很少，而那项数据科学审查发现，题目的受欢迎程度并没有伴随任何可用的难度信号。

“量规或 Bloom 标签显示它命中了结果。” 由同一个生成步骤提供的 Bloom 标签，是可得证据中最不独立的一种。对着标签 ρ = 0.90、对着学生表现 ρ = 0.06，正是它被测量时的样子。

本周可以做的事

1. 选一个结果，写下合格作答会提供什么证据。然后对照它生成五道题，要求给出答案键、解法，以及每个干扰项背后预期的迷思概念。

2. 不看答案键把五道都做一遍，记下你和模型不一致的那些。

3. 请一位同事审阅最强的两个候选在题目标的上对齐与歧义，删掉你们两人都辩护不了的东西。

4. 用一句追问，让学生说明哪个细节支持他们的选择，对幸存下来的题做一次试用。

5. 记录你改了什么、为什么，这样下一批是从一条更好的提示词出发，而不是同一条。

接下来可以去哪里

自动题目生成 是讲生成方法及其测得质量的概念页，教育测量 覆盖题目分析、信度，以及一次试用只是比划了一下的心理测量。两者都在评估效度之下，而整个循环服务的就是这个标准。

同一个问题的判断侧属于AI 评分，因为一道好题被拙劣地评分，并不比一道坏题被很好地评分更好。关于学生能用 AI 时一个分数应当代表什么的更大问题，见AI 时代的评估重设计。