概念
口语考评
本页是英文页面的机器翻译,尚未经母语者审校。
口语考评 — 学习者必须用口头方式解释、辩护或展示理解的考评,现场或录制皆可:口试、口答考试、答辩、代码评审面试、临床问诊。由于交流是实时的,且问题无须事先知晓,这种形式以一种带回家的真实性任务无法做到的方式,抵抗了用生成文本替代理解的做法。它同时也带有一种独特的效度问题:口试在测量知识之外也测量流利度与自信,因此它证明什么,高度取决于设计、谁在提问,以及学习者的言语如何被当作证据。
值得思考的问题
- 口试在 AI 时代被推崇,理由是机器不能坐在房间里替你答题。然而论证这一点的语料中并不包含任何口试对笔试的随机试验。在把这一论证当作已定论之前,你需要看到什么?
- 同一批研究报告了焦虑降低的两种不同机制:消除教师的现场观察,以及通过练习熟悉形式。这两种机制指向不同的设计。哪一种适合你的情境,你又会相信哪一种可以推广?
- 纯语音评分可能把言语流利误当作概念理解。如果一个学习者手势做对了却说出错误的词,或者说出正确的词却不理解,你的考评到底在测量什么?
- 本语料中的每一种口试设计都撞上同一堵墙:师资与场地时间。如果约束是一学期 28 个接触小时、15 名学生,诚实的答案是更少的需辩护作业、更大的教学团队,还是另一种形式?
引言
口语考评是最古老的考评形式之一,而在上个世纪的大部分时间里也是最不时髦的之一:难以规模化,难以标准化,难以在申诉程序中辩护。生成式 AI 扭转了它的命运。当一份书面提交可以由模型按需产出,成品所承载的考评价值就崩塌了,注意力转向对人的考评。一个必须当场、实时口头回答陌生问题的学习者,至少是可证明地到场并在思考。
这种扭转如今在研究语料中可见,但并不均衡。有些工作把口试当作对学术诚信的政策答案,有些设计自动化系统以规模化地交付或评分口头表现,还有些追问言语本身能显示什么、不能显示什么。下文关联的各页面对口试究竟证明了多少意见不一。合起来读,它们支持的是一个比通常为口试所作的主张更窄、更可辩护的说法。
现场表现能证明什么
Fenton(2025)提出了这一论证的最强形式。借助真实性考评的文献,该论文为口试所作的论证建立在其互动性之上:问题可以直到开考那一刻才公布,追问可以即兴提出,而学习者无法为一个没见过的题目排练答案。这一形式也阻挡了死记硬背,因为回忆是通过解释而非复现来检验的。该论文是《Educational Researcher》上的综述与立场文章,不是实证研究,结尾给出的是十三条编号的实施建议,而不是结果改善的证据。
诚信主张的诚实版本,比它常被陈述的样子更窄。口试让替代更难隐藏;语料并未显示它们减少了 AI 的使用。在CS1 口头代码评审研究中,每周 15 分钟的访谈承载每次作业 70% 的分数,而粘贴字符数与总字符数之比在三个学期中仍从 61.0% 上升到 68.1%(p < 0.0001),考试成绩只发生了统计上不显著的 2% 变动。90% 的学生说评审激励他们更好地理解自己的代码,65% 的人说评审帮助他们避免过度依赖 AI,但可测量的行为并没有跟上。口试改变了什么能被隐藏,而没有改变学生做了什么。
语料实际覆盖的设计空间
语料中的形式在自动化程度与同步性上跨度很大,各自解决问题的不同部分。
现场、人工、同步。 由一项针对三十五名大学预科学生的口试研究所考察的口试是基线:同一位教师、同样的问题,一次面对面交付,一次由 AI 系统中介。博士答辩出现在一项针对十五名研究生的质性研究中,参与者论证应把考评权重向它倾斜,理由是论文更容易伪造,而答辩必须本人到场。作者只部分接受这一推理,因为答辩本身并不天然能抵挡 AI 辅助。
录制与异步。 异步口试用限时、不可重录的摄像头回答取代了房间,准备约三十秒、作答两到三分钟。在报告的试点中,分数超过了面对面选择题测验:期中中位数 92.5 对 70(p < .001),期末中位数 94.2 对 86.4(p = .002),跨格式相关性仅为中等。作者明确把差异归因于形式而非学习,而该设计承载课程总分的 7.5%。
自动化交付与评分。 一套在职业汽车与工程课堂上试用的语音系统评估了三十三名学习者,其中二十一人认为实时语音任务感觉真实,无人认为书面作品集比实时口头作答更适合该任务。相同问题在不同学习者之间的词数相差五到八倍,流利度在封闭题上没有带来准确率优势,在相邻的园艺与乳业试验中,初步的智能体评分在 95% 的情况下与人类辅导教师一致。一项对话式苏格拉底测验采取了相反的设计路线,瞄准概念性提问;其证据是一项九十八名学生的自我报告调查,其中 80.6% 同意 AI 提供了有效的脚手架,52% 报告压力低于传统考试。两篇论文测量的都是接受度,而非学习。
作为辩护而非考试的口头证据。 一套工具无关的考评框架把无 AI 的课堂小测与对剥离注释的 AI 辅助作品的十分钟口头辩护配对,按代码理解、方法理解、术语、解释与验证评分,且无论总分如何,验证为必需项。该设计是论证出来的,而非验证过的;论文自己为十五名学生算出的账是每次作业 2.5 个接触小时,十一场需辩护作业合计约每学期 28 个接触小时。
焦虑、偏见,以及这一形式让谁处于不利
口试既以包容为由被推崇(口头答案比书面答案更难购买),又以同样的理由被反对。Fenton直接列出了这些挑战:排课负担、焦虑,以及沿性别、族裔、语言和作答速度的偏见,外加非匿名评分的影响。与之相对,该论文引用的证据表明,口试可以与笔试一样包容,包括对诵读困难学生而言;而且大多数被报告的焦虑由不熟悉而非形式本身驱动——一项被引研究中的学生在后来的口试中焦虑更低。
在焦虑真正下降的地方,原因很要紧。在 AI 中介的口试中,自我报告的平静度显著高于面对面版本(均值 6.50 对 5.86,t(34) = −1.97,p = .028),可用性评分良好。但面对面条件在帮助学生理解自己的作品上得分显著更高(p = .004)。消除教师的现场观察让学生更平静,也——按他们自己的报告——让他们更少受到启发。
什么算作口头证据,也比看起来更窄。一项关于口试解释中具身证据的研究论证,只给言语评分把言语流利误当作概念知识,并使有语言相关困难的学习者处于不利,因为手势承载了文字稿会丢失的理解。它的演示规模很小:两名工科学生解释统计概念,高置信度的手势集中在特定的想法上,方形与箱形形式约占 54% 到 61%,而手势与言语之间更紧的协调伴随着更连贯的解释。
评分、效度与规模问题
三项发现不利于把口试分数读作学习增益。异步形式研究否认其分数优势代表学习增益,并报告教师与模型重新评分的一致性在期中为 ICC 0.73、期末为 0.60,这限定了机器评分能被信任的程度。在一项针对一百名三年级医学生的随机试验中,把标准化病人系统与渐进披露的病例材料相比较,期末考试成绩上升(71.8 对 55.6 百分比,Hedges' g = −0.81),OSCE 沟通评分上升(五分量表上的 3.53 对 2.64),而二元诊断准确率在统计上完全相同(84 对 86 百分比,P = 1.000)。只读准确率的人会认为干预无效;只读沟通的人会认为它具有变革性。
决定性约束是师资与硬件,而不是教学法,语料在算术上异常坦率:十五名学生每学期 28 个接触小时,CS1 设计中一百多人的班级配十一名助教,离线职业部署中一台笔记本供十二名学习者同时使用。这批研究中任何地方都不存在口试对笔试的随机试验,而每一项测量差异的研究都是无对照组的单机构设计。口试作为对 AI 辅助替代的回应有充分支持,作为学习的改善则支持薄弱。
- 规模上限是设计约束。 在一场有 73 名计算机教育者参加的研讨会上,口头与互动式考评被报告为可获得的、关于个体理解的最强证据,也是最不可规模化的补救办法;参与者描述的缓解手段是分散与抽样——共享助教池、权重低于期末考试的同伴互评,以及点名轮换的学生子集(Akbar 等人(2026))。
关联概念
- 教学法模式 — 口头与答辩验证序列,以及它们证明和不能证明什么
- 评估 — 这一形式所处的更大领域
- 真实性评估 — 支撑诚信论证的设计传统
- 评估效度 — 一种形式能主张和不能主张测量什么
- 学术诚信 — 让口试重回台前的压力
- 自动化评估 — 口头表现的机器交付与评分
- 人工智能检测 — 另一种回应,以及它为何更弱
- 语音与语音技术 — 口试系统所运行的语音流水线
- 多模态人工智能 — 作为组合证据的手势与言语
- 焦虑与压力 — 现场表现的情感代价
- 反馈 — 一场答辩让学习者对自己理解所知道的事
- 高等教育 — 本证据几乎全部来自的场景
关联文章
- Reconsidering the Use of Oral Exams and Assessments: An Old Way to Move Into a New Future — 重新考量口试与口语考评的使用(Fenton 2025)
- Asynchronous Oral Assessments: Enhancing Integrity, Engagement, and Communication in the AI Era — 异步口试:诚信、参与与专业沟通
- Designing AI-Supported Oral Assessment in TVET — 在职业教育中设计 AI 支持的口语考评
- Exploring student anxiety and experience in performance-based assessments using AIvaluate: an LLM-augmented emotionally — AI 中介的表现型考评中的焦虑与体验
- Combating Harms of Generative AI in CS1 with Code Review Interviews and a Flipped Classroom — 入门编程课程中的口头代码评审访谈
- A Multimodal Framework for Embodied Cognition in Oral Explanations — 手势作为口试解释中的证据
- The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — 自动化对话测试作为口语考评
- A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — 对 AI 辅助作品的口头答辩
- Evaluating Scaffolding-Oriented Multi-Agent Large Language Model System for Clinical Interview Training — 标准化病人系统下的临床口头访谈
- From Research Assistant to Surrogate Supervisor: A Qualitative Study Exploring PGR Students' Diverse Uses of Generative AI — 生成式 AI 之下的博士答辩
- AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI — AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI