AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

评价性判断力

创建 2026-09-10 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

评价性判断力（evaluative judgment） — 依据自己能够说清理由（而非仅仅复述）的标准，对自己和他人的工作质量作出可靠判断的能力。在生成式 AI时代，它已从一种理想的毕业生素质转变为一种承重的能力：当工具可以产出看似合理的成品时，区分学习者是否胜任的能力，就是评价那份产出的能力——判断什么是好的、什么是错的、该接受什么、该拒绝什么，以及为什么。这使评价性判断力成为评估的正当对象，也是把机构从检测推向以效度为中心和真实性评价设计的实际枢纽。

值得思考的问题

  • 想想某件你判断得很好的事情。这种判断力是怎么学来的——明确教过，还是在反复制作和比较中慢慢吸收的？这对它应当如何被评估意味着什么？
  • 评分量规可以被机械地套用，也可以被真正理解。如果一个学生正确地照标准做了，却说不出为什么一件作品优于另一件，那么这项评估实际测到的究竟是哪一种能力？
  • 当语言模型起草出一个看似合理的解答时，学习者剩下的工作很大程度上就是判断：保留什么、修改什么、丢弃什么。这是一项被削弱的任务，还是一项比起草本身更艰巨的任务？
  • 一个学生接受 AI 建议，可能因为它读起来漂亮，也可能因为它经得起自己的审视。从外面看，提交的作业可能一模一样——什么才能让评估者看出差别？
  • 一项多站点的实验发现，直接的AI 反馈带来最大的修改收益，却冒着判断力被被动外包的风险。这个权衡对于你如何设计反馈以建立而非绕开判断力，有什么启示？
  • 同伴互评和 AI 评审都能训练校准，但两者都可能沦为表演。你会怎样设计评估，使运用判断力成为必需而不是摆样子？

引言

要求学生产出作品的评估，其前提假定是学生能够分辨作品的好坏——先是在他人作品中，最终是在自己作品中。这一假定已不再可靠：当生成式 AI可以按需生成合格的文字、代码和分析时，产出产品的能力只是学习的弱信号，而判断产品的能力才是强信号。评价性判断力命名了这种能力；本知识库的评价研究在追问还剩什么可评估、什么值得评估时，总会抵达它。它处在反馈、形式性评估和自我调节学习的交汇处，因为判断力是通过把作品与标准对照、并针对差距采取行动而发展起来的，也正是它使对 AI 输出真正批判性的参与从愿望变为可能。

这一构念是什么

评价性判断力是依据可以讲出道理（而非背诵）的标准，评价质量的能力——自己的作品、同伴的作品，以及越来越多的 AI 系统的作品。三个特征把它与相邻的概念区分开。

  • 它关乎质量，而非正确性。 答对需要知识；判断一个答案好不好，需要生成者无法代学习者提供的标准。
  • 它是发展出来的，不是传递的。 判断力通过反复的比较行为成长——对照范例、明确的标准、同伴不同的做法——这正是范例、校准练习和同伴互评成为其自然教学法的原因。
  • 它是领域情境性的。 它在一个学科的论证与证据标准之内被行使，因此它无法脱离情境地被评估，正如迁移不能被想当然。

它与评价的真实性密切相关，但比真实性更窄：真实性评价问的是任务是否像有价值的真实世界工作；评价性判断力问的是学习者能否分辨好作品与差作品。自我评价自我评价对照标准评价学习者自己的作品、能力或进步，而评价性判断力把这种评价延伸到同伴的作品以及 AI 系统的输出。

生成式 AI 为何使其居于中心

四条论证汇聚于此。

  • 产品不再是证据。 完成一项任务不再证明该任务原本要认证的能力，因为工具可以完成其中大部分。剩下的，是产出、检查并为产品负责的推理——简言之，即判断。
  • 它是支配 AI 使用的能力。 决定一个 AI 建议是值得接受、改造还是拒绝，就是评价性判断力作用于机器输出。无法让这一能力显现的课程，也就无法区分负责任的使用与偷换替代，这正是学术诚信研究者日益把批判性 AI 使用视为可评估结果而非需要监管的规则的原因。
  • 它是从执法转向设计的枢纽。 在禁用使用无法被检测之处，Teichmann（2026）把培养评价性判断力列为三条设计线索之一，把机构从以检测为主导的执法重新安置到以效度为中心的评价——因为在机构无法检测之处，经得起检验的能力是学生能否为作品及其质量负责。
  • 它把披露从"认罪"变成"证据"。 当任务要求学生解释他们用 AI 做了什么、接受了哪些建议、拒绝了哪些，以及最终提交如何体现自己的判断时，声明就成了判断力的演示，而不是要被惩罚性解读的坦白——这正是降低诚实代价的关键，否则披露只会被逼入地下。

还有一层关乎判断的来源，而非仅其内容。AlGhamdi（2026）为这层提供了更精确的语汇：他让 13 名沙特计算机专业学生在单次评价事件中作出两个独立判断——反馈是否有用，以及反馈来源是否拥有评分的权威。他们都接受 ChatGPT 基于量规的反馈为清晰而具体，却几乎一致地把评分权保留给教师（"我同意它，但有一个条件，就是老师要检查这个反馈"），这表明 AI 中介的评价中的评价性判断力，现在还必须包含对评价权威本身的推理，而不只是对所收到反馈质量的推理。

Sharma（2026）给了这一构念在诚信文献中最有力的定位。他把 Eaton（2023）的后抄袭框架从伦理取向延伸进评价设计，论证以检测和核验为模型的诚信模式与人类判断和机器生成纠缠在一起的工作不相匹配，并把诚信重构为一种通过评价性判断力来实施的教学实践——学习者在认识论不确定性下权衡选项、为学术选择辩护并承担责任的能力。他的四项实践（注释化的决策轨迹、核验与问责、口头答辩与对话式问责、带版本历史的草稿差异）使这种判断成为可见的证据，而不是从成品中推断；他并把判断与常被混为一谈的构念分开：反思性实践是事后回看自己的思考，元认知元认知是对认知过程的觉察与调节，而判断则是在不确定性下依据标准评价选项并承担后果。他也命名了本页追踪的失效模式——要求记录推理有"用一套合规体制替换另一套"的风险，因为作为证据的判断"始终是关系性的和情境化的，而非机械可核验的"。

证据：判断力如何发展，AI 对它做了什么

本知识库的协作与评价文献给出一致的证据：评价性判断力是可学的、可被取代的、可设计的——而 AI 是双刃的。

  • 基于比较的训练能实质性地建立它。 在一项为期 14 周、28 名职前教师的研究中，AI 生成的强、中、弱范例锚定了学生草稿与参照点的迭代比较；评价焦点从表层语言特征扩展到内容、结构和连贯性——但推理仍然单薄，基于示例的论证翻了一倍，而最复杂的比较推理依然罕见。判断力可以被脚手架"搭"出来；它不会应要求自动出现，参照点的质量很要紧。
  • 反馈设计决定主体性是否幸存。 一项跨 48 个教学班、1,176 名本科一年级学生的多点集群随机现场实验，比较了四种反馈条件用于科学论证：仅同伴、直接 GenAI、反思式 GenAI（先自评再批评）和混合式（自评 + 同伴 + GenAI）。混合式条件产生了最大的论证质量增益；直接 GenAI 反馈有被动吸收的风险——学生把评价性判断力外包给系统——而反思式和混合式设计通过强迫学生先评价自己的作品，保全了认识论主体性。作者的核心发现是：GenAI 的教育价值更少取决于能否用上 AI，更多取决于反馈环境是否在修改过程中保全了主体性、判断力和所有权。
  • 反馈来源塑造发展出哪种判断维度。 在一项博士统计案例研究中，ChatGPT-4o 给出程序性指导，却无法指出数据文件错误或测试误用，而同伴对话实时抓住了错误数据，并迫使为方法选择作出论证（Xie 等（2025））。
  • 结构化的同伴 + AI 评审可规模化地训练校准。 PAIRR 模型（Sperber 等，2025）把同伴评审与 AI 评审和结构化反思结合起来，在迄今最大规模的学生使用 AI 反馈研究中接受了检验（654 名学生，十门写作课程）。它把自己的判断、同伴的判断与 AI 的判断之间的比较当作训练场，把评价性判断力定位为明确的学习结果，而非隐性的副产品。
  • 只有当反馈素养已存在时，AI 反馈才有帮助。 反馈素养领域领导者提出的一个概念框架（Boud、Dawson 与 Yan）从引发、加工和落实三个阶段分析反馈，并使用了两个形成对照的 IELTS + ChatGPT 案例：一个反馈素养低的学生用了含糊的提示，得到泛泛的输出，照抄或轻信了它；而一个具备素养的学生批判性地使用 AI 并从中学习。GenAI 降低了寻求反馈的认知与情绪门槛，但它本身也可能幻觉、偏见或泛泛——这正是教师被论证应当示范评价性规划、训练判断力，而不仅是训练提示技巧的理由。
  • 缺口是可持续的判断，而非一时的反馈。 一项对真实性评价的范围综述（Zhan、Boud 与 Du）发现，AI 形成性反馈很丰富，但可持续反馈——能迁移到未来情境的——在 23 项形成性研究中只出现在 4 项里。能收尾当前任务却让学习者无法判断未来工作的反馈，是评价性判断力失效最清晰的形式。
  • 批评生成的草稿建立了教育者自己的判断。 Paula 等（2026）发现，八位课程协调员在对照学科标准批评一个 GPT-4.1 工具生成的量规和时间表时，评价素养得到成长，而八人都拒绝了端到端自动化——这个工具强化了学术判断，而非取代它。
  • 评价可以被设计为奖励判断而非产出。 响应域模型形式化了原因：重新设计降低隐藏外包的收益，提高可见推理、解释与批评的价值。让学生解释他们接受和拒绝了哪些 AI 建议，就把决策本身变成了可评估的证据。
  • 机构自身的判断缺乏它要求学生达到的标准。 Munoz 等（2026）评定了 1,162 起生成式 AI 不端指控中 1,855 项证据的证明价值，发现证据质量与案件结果之间没有可靠关系，因为流程的任何阶段都没有设定最低证据门槛，也没有要求调查者在推进一项指控前衡量证明价值——评审小组靠非结构化的职业判断来衡量证据。检测器输出是这批材料中最弱的一类（单独的检测器输出可信度极低），而Hadra 等（2026）显示该工具根本无法确立其结论所断言的事实——192 篇文本上宏观准确率 0.69 和 0.61，在人机混合作文上近乎全面失败，对 EFL 写作者还存在边缘性的偏见隐忧——这正是作者自己的建议是人的判断、更清晰的政策和更明确的任务规定，而非监控。更明确的任务规定有其双倍的分量：Wright（2026）论证，按平台身份而非功能书写的规则在定义上必然过宽，会惩罚一个并没有做该规则旨在防止之事的的学生，因此评估者的判断必须施于工具做了什么，而不是用了哪个平台。没有共享标准的判断无法被教授、校准或审计——这就是本页为学生们报告的同一性问题，只不过它出现在机构层面。评估者的判断本身还带有可测的方向性：五位招生官区分 50 篇人类与 50 篇 AI 招生文书，达到 AUC 0.70（95% CI [0.65, 0.75]），且他们的质量评分随感知的 AI 可能性上升而下降，这一关联在校正机器评定的质量、实际已证实的来源与申请者特征后依然成立（−0.109, p < .05）。由于没有人对提交材料做筛查，那种无辅助的判断就是整个执行机制，而每篇被标记的文书带有 1.5 个百分点的更低录取概率，在控制文书质量后为 2.6（Isley, Gaebler and Goel 2026）。
  • 正在提出课堂层面的判断力代理指标。 Austin（2026）在一套重新设计的作业序列上增加两个行为信号：UnBlooms™ 洞察率（Discernment Rate），即学习者审视、质疑或修改而非直接接受的 AI 输出所占份额，以及首次接受率（First-Pass Acceptance Rate）。两者都未经检验——都是作为廉价的分作业诊断而提出的——但它们使这一构念在常规评分之内可观察，其中多次作业中接近零的洞察率应读作任务设计信号，而非个体缺陷。

误用如何取代判断

最清晰的风险是取代，而它是在反馈文献中被证实的，而非只是理论。当工具同时提供了量规、反馈和监控，学习者的元认知与评价实践就被取代而非被支持——评价变成了一场学生从未真正行使过的判断表演，与认知外包是同一失效模式，只是表现在评价层面。多点实验中的直接 GenAI 反馈正是把学生推向这种被动外包。评分压力还会叠加：当自我评价或对 AI 使用的反思本身要被评分时，学生可以制造出量规想要的那种反思，而非真正的推理，所以真正的判断要求这项练习有实质后果——一个会在后续作业中显形的决定、一次口头解释、一份被审阅的记录下来的理由。

对实践的启示

  • 把它写成一个结果。 如果评价工作质量（包括 AI 输出）才是要紧的，就把它写进学习结果并加以评估，而不是任其成为任务的副产品。
  • 评估决策，而不只是成品。 让学生论证他们保留、修改或拒绝了什么；这使思考成为证据，并使偷换替代在无需监控的情况下变得可见。
  • 命名这套判断例行程序。 O'Byrne 的主体性检查——可信、相关、可接受、细致——追问输出是否准确、合宜、可用，并带有立场与声音；在一项学期长的研究中，最具判断力和最缺判断力的学生的最终成品看上去骗人地相似（O'Byrne，2026）。
  • 刻意使用范例与校准。 对照强、中、弱范例的比较判断，是证据所支持的机制，而 AI 让生成这些范例变得便宜——这是它最清晰的教学用途之一。
  • 优先采用混合式与反思式反馈，而非直接输出。 AI 批评之前先自评，或自评 + 同伴 + AI，保全了直接 AI 反馈会侵蚀的学习者自主性主体性；设计的是反馈环境，而不只是加一个工具。
  • 着眼于可持续的判断，而非一时的修补。 无法迁移到下一个任务的反馈，训练不出任何持久的东西。
  • 与过程材料和口试配合。 过程制品和简短的口头解释在最终成品无法展示的地方呈现判断的实际运作，这也是 AI 时代评价重设计依赖它们的一个核心原因。
  • 用"理解债探针"使保留下来的判断可见。 Mahmoud（2026）定义了四项横贯性义务——解释、核验、修改和担责——它们使保留下来的能力在每一层 AI 整合上都可见，并提出延迟变更请求、代码走查、独立设计的测试、缺陷定位和实时调试等探针，用以对照"当时产出了什么"与"后来能演示出什么"。在智能体能力之下，评价目标转向监督——任务契约、权限边界、沙箱、评估装置、差异审查、回滚和人的问责——把评价从可见的作者身份转向可见的判断。

关联概念

关联文章

元数据

层次Higher Ed
目标读者Instructors, Learners, Assessment Designers
学习与教学元认知, 自我调节学习
评估与测量评估效度, 反馈, 形式性评估
教育中的人工智能基础学术诚信, 批判性思维
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。