AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

评估

创建 2026-08-09 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

评估——收集并解释关于学习者知道什么、能做什么的证据的过程，以及用以评价学习的方法。教育中的人工智能从根本上重塑了评估：它驱动自动评分与打分，生成并调适评估题目，并在学生可以使用人工智能之时，提出关于评估究竟测量什么的深层问题。评估是组织本知识库对形成性评估、自动评分、效度与教育测量覆盖的总括概念。

值得思考的问题

  • 这里把评估定义为收集并解释关于学习者知道什么、能做什么的证据。在阅读之前，你会如何补完“一项评估有效，如果……”这个句子——如果每个学生都能秘密使用人工智能来产出他们的作业，这个答案会有什么变化？
  • 本页声称，一个学生如何使用生成式人工智能（评价性整合对不加批判的走捷径式的接收）能预测表现，而他们使用的频率则预测不了什么。这暗示了“通过限制使用来规制人工智能”这一常见直觉的什么问题？
  • 一个学习者可能交付没有工具就无法复现的专业水准作业——切断表现与底层能力之间的推论。你是否遇到过一项“胜任力”被授予给那些学生实际无法独立完成的工作？这揭示了什么？
  • 本页提出的建设性问题不是“我们如何阻止学生使用人工智能？”，而是“我们如何在镜像其未来工作的情境中促成深思熟虑的使用？”如果那是目标，你所在领域的评估会是什么样子？
  • DRIVE 框架建议评估学生与生成式人工智能之间参与的质量——而不只是制品——看他们是否策略性地引导提示并整合自己的想法。你会看什么来区分一次深刻的、反思性的人工智能交互与表面的消费（参与）？
  • 人工智能中介的评估正在多样化，走向口试、档案袋与对话式格式，它们减少焦虑并让人觉得与专业相关。以你自己的经验，你认为哪种评估格式最“抗人工智能”——而抗性与教育价值是同一回事吗？

引言

评估之所以是教育中人工智能的核心，有两个原因。首先，人工智能本身被用来评估学生——大规模批改作文、代码、简答与考试。其次，课堂中的人工智能改变了评估能有效测量的东西，因为学生可能使用生成式人工智能来产出作业。因此，这一领域同时横跨自动化评估的工具，以及人工智能提出的效度与诚信问题。

人工智能在评估中的使用

  • 自动化评估：基于人工智能的评估横跨多种模态——选择题、简答、作文、代码与基于表现的评价——通过自动评分、自动作文评分与自动出题实现。
  • 形成性评估：人工智能系统大规模生成、验证并调适形成性评估题目，为持续的教学提供信息，而不只服务于终结性评价。
  • 学习分析与测量：学习分析与教育测量把评估数据连接到学习过程，用项目反应理论、知识追踪与学生建模解释表现。Razavi 与 Powers（2026）演示了把基于 LLM 的题目难度估计作为测量输入：在 5,170 个按 Rasch IRT 模型校准的 K-5 数学与阅读题目上，GPT-4o 的零样本评分与真实难度呈中到强相关（数学 r = 0.83，阅读 r = 0.81），但随年级而变，而一个基于特征的方法（把 LLM 抽取的特征输入树模型）达到最高 r = 0.87 的相关性。该研究为测试专业人员提供了一套实用的七步工作流，同时告诫其向 K-5 数学与阅读之外的可推广性尚不清楚。
  • **反馈回路：**人工智能评估日益汇入反馈回路，闭合从评估到学习的循环。
  • 电子档案评估：电子档案把学生长期的作品与反思汇集为一种基于过程的、抗人工智能的评估形式。生成式人工智能可以协助档案袋的过程——生成反馈、脚手架化反思，以及（在恰当的量表设计下）支持评价——而档案袋对推理痕迹与草稿的强调能抵御人工智能的编造。人工智能辅助的档案袋评估与ChatGPT 加电子档案用于 EFL 口语表明，人工智能能同时提升档案袋的体验与学习者的反馈素养。
  • 开放式评分的可靠性依模型而异：Pecuchova、Benko 与 Drlik（2025）把 11 个生成式人工智能与句子嵌入模型与两位专家评分者在 1,885 个开放式软件工程回答上做了对照：只有 GPTo1 达到几乎完美的一致（Fleiss' Kappa 0.82），而基于参照的模型惩罚了正确但措辞不同的回答。由于 GPTo1 是唯一被认为无需监督即可部署的模型，却带有专有 API 成本，作者建议把先进模型与可负担的选项或人工监督配对的混合策略，用于资源受限的情境。一项遵循 PRISMA 的系统综述覆盖 42 项实证研究（2023–2025），在整个评分领域印证了这一条件可靠性图景：LLM 在封闭式与简答任务上与人类评分者相当，但在复杂、开放式或主观的工作上无法完全取代人类判断，且没有出现统一的评分偏差——模型有时更宽松，有时更严格，且常常回避极端分数（Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback）。迭代的量表精炼可以把 LLM 的开放式评分推向高风险医学情境中接近人类的可靠性：Olvet 等（2026）发现，一旦教师基于错误模式分析反复修订分析型与整体型量表，GPT-4 在四个临床前期问题中的三个上与教师评分者达到实质性到近乎完美的一致（加权 kappa 最高 0.94），而残余的整体型量表那一题仍只停留在中等一致（κw = 0.54）——这既显示了人在回路的量表工程的回报，也显示了它在综合性、整体性任务上的限度。
  • **人工智能支持的口语与表现评估。**一项职业技术教育设计研究把评估从重文本的格式转向由 LLM 支持的交互式口语：在四期学员中，21/33 的学习者认为语音任务真实，没有人不同意实时说比书面档案袋更好地反映了胜任力，而同一问题的字数在不同期次间相差五到八倍，九名学习者用两到十三个词作答且全部正确。该系统离线运行于单台笔记本，服务最多 12 名同时学习的使用者，使用 Mistral 7B 与 faster-whisper，90 天后删除录音，并把评分判断留给评估者——这是人在回路评估设计的一个实例，用于面向职场的资格认证。（Designing AI-Supported Oral Assessment in TVET）

效度与测量挑战

人工智能提出根本的效度问题：人工智能评分的评估测量的是学生的学习还是人工智能提示技能？学生对人工智能的使用是否使传统评估失效？关键挑战包括：

  • 构念效度：关于基于胜任力之教育的研究表明，生成式人工智能切断了表现与底层能力之间的推论——一个学习者可能交付没有工具就无法复现的专业水准作业。这推动了重新概念化所评估的胜任力是什么。
  • 共同作者身份与诚信：共同作者诚信提出了一种新的效度证据来源，当学生提交自己并不理解的人工智能生成内容时，它就被违反，并探索了对话式“人工智能口试”作为一种回应。
  • 心理测量学质量：心理测量学感知的人工智能与置信感知评估的工作，致力于让人工智能评分保持可靠、无偏且可解释。
  • 对人工智能评估者的评价：人工智能教育评价提供了方法与基准，用以判定自动评估者是否真的奏效——在可靠性、教学法与公平上——而不只是头条准确率。
  • **人工智能与同伴评分的质量依赖可靠性（2026）：**在比较 ChatGPT、同伴与教师对同一批本科小组项目的评分时，Usher 与 Faraon（2026）表明与教师评分的一致取决于学生作业的质量：ChatGPT 对低质量提交的高估最大，对高质量作业与教师的一致更好，而同伴在较弱作业上一致最好、对强项目给分偏低。这一发现挑战了“可靠对不可靠”的二元框定，指向一种条件可靠性模型，其中替代评估者被匹配到任务与表现水平。
  • 人类评分本身承载价值（2026）：Luo 与 Dawson（2026）表明，即便对人类评分生成式人工智能辅助的作业，也不是中立的、基于标准的行动。对 33 位大学教师的情境式访谈揭示，评分决定由面向个人的（诚实、勤奋）、面向能力的（独立性、生成式人工智能技能、学科掌握）、面向关系的（信任）与面向正义的（公平、行善）价值所驱动——延伸到作业之外，延伸到教师对学生之性格的推测。该研究把评估问题从“使用生成式人工智能算作弊吗？”重构为“教师的价值判断如何塑造分数，而这些价值是否与所评估的结果相关？”——把效度与关于生成式人工智能使用将如何影响分数的“双向透明”置于前台。

诚信与检测之争

人工智能进入评估，加剧了诚信讨论。一条线索聚焦于检测人工智能生成的文本，而越来越多的研究主张，检测是一种有限的、情境性的工具——而非首选策略。Beyond Detection与Responsible Assessment主张，真实性无法被监管出来；它必须被重新设计，把人工智能定位为被声明的合作者，并把真实性、基于过程的评估置于监控之上。Walton 等（2025）以学生实际上如何判断他们在评估任务中使用生成式人工智能的方式的证据为此奠基：对 26 名学生的滚动回看访谈揭示了六种判断事件的光谱——从批判性地评价人工智能的知识、经由人工智能的局限学习，到不加批判地采纳想法、把人工智能的贡献误判为自己的。Stamatoulis 等（2026）补上了量化的对应物：在 157 名学生中，生成式人工智能如何被使用（评价性整合以支持理解对低核验的走捷径式接收）能预测表现，而单纯的使用频率则既不预测表现也不预测学业自我效能。这些研究一起把评估问题从学生是否使用人工智能重构为他们如何判断并为这种使用建立模式。

Bassett 等（2026）更进一步，主张根本不应使用检测：其概率性输出无法被独立核验，因为真实世界文本的来源未知，而检测器分数——单独或与语言标记、风格比较、一个 LLM 的说法或学生的沉默一起——不满足诚信调查所要求的“盖然性平衡”标准。

一项对 25 项研究的 PRISMA 综述补上了一个检测之争遗漏的风险因素：非英语母语者在努力用英语写作时表现出很高的违反诚信倾向，因此诚信期望应当配以具体的学术写作支持，而非只靠执行（Balalle 与 Pannilage（2025））。

人工智能时代的评估重构

本知识库评估文献中的建设性问题不是“我们如何阻止学生使用人工智能？”，而是“我们如何让他们在镜像其未来工作的情境中深思熟虑地使用它？”这把评估重新框定于：

  • 真实且基于过程的任务，使人工智能的使用可见并被评估。真实性评估——检视学生在有价值的、真实的任务上的表现——是对人工智能挑战的主要回应：任何LLM能可信地模拟的任务都会失去其效度，因此真实性必须围绕实时的协作、数字与社会贡献以及个人意义建构来重新设计。这与真实性评估的设计框架、真实制品与被认证的过程，以及过程的工具不变性评估相关联。
  • 扎根于效度证据的负责任评估设计（负责任评估）
  • 由评估目标推导的任务层面人工智能许可：McCorkle（2025）展示了先于人工智能政策的评估设计工作——清点一个项目中的每一项任务，指明在评估什么、对照哪个目标，并据此逐任务许可或禁止人工智能（头脑风暴与图像策展被允许；编写学习目标与幻灯片设计不被允许）。同一项对齐练习还兼作对该评估所支撑的推论的检查，因为它迫使教师说出一个分数意在保证何种表现（评估效度）。
  • **超越语言模式的评估：**Jiang 等（2026）为第二语言教师定义了多模态评估素养，即唤起跨语言、视觉、听觉、手势与空间模式作答的任务所需的知识、价值与胜任力。一个为期一年的、有 30 位香港英语教师参与的项目，把评估策略的知识从 3.13 提高到 5 分制下的 4.15（partial η² = 0.571），把支持学生的胜任力从 3.05 提高到 3.98（0.482），而三个价值子域全部持平。教师自身的经验为框架补充了两个维度：在相互竞争的课程优先级面前维持这一实践，以及批判性地动用生成式人工智能（Jiang 等（2026））。
  • 共同作者身份与声明作为评估契约的一部分
  • 作为胜任力的生产——评价学习者指挥工具并产出专业水准作业的能力（基于胜任力的教育）
  • 评估交互过程，而不只是制品——DRIVE 框架（Directive Reasoning Interaction + Visible Expertise）把学生与生成式人工智能的参与的质量当作被评估的构念。它通过看学生是否策略性地引导提示（DRI）并通过交流整合并发展自己的学科想法（VE），来区分表面消费与深刻、反思性的交互，把面向过程的标准扎根于自主学习理论与ICAP层级意义上的认知参与理论。这使 DRIVE 成为人工智能中介的真实性评估的一个例子——一份评价学习者如何与生成式人工智能结为伙伴的量表，而非一个检测工具。

这一文献中的一个提议把步子迈到“在当前框架内重构”之外。El Khoury 与 Ma（2026）主张，围绕阻止不当行为或检测人工智能使用来组织的改革，把教育想象力收窄到控制与合规，并提出以愉悦评估代之：一种安全、情感上回应性、赋能并支持学生自主性的评估，其中安全是承重的条件，因为没有它，情感上的共鸣会变成表演，赋能会变成压力，自主性会变成风险。他们的框定颠倒了检测议程——诚信成为设计学生愿意参与的评估的结果，而非其起点——并把教师自建的人工智能智能体（自定义 GPT、Gems、Copilot Studio 智能体）定位为一个低利害的排练空间，让学生在评判之前先练习，并主张由人工智能组织证据，而由教师解释它。

对教育中人工智能的启示

  • **评估与学习不可分割：**好的人工智能评估应当像评价学习一样支持学习（形成性反馈）。

  • **效度必须被重新概念化：**当人工智能能产出学生作业时，评估必须测量过程、判断与真实的生产，而不只是产出。

  • **自动化必须被严格评价：**自动评估者需要心理测量学与公平评价，而不只是准确率声明。

  • **诚信从检测转向设计：**对评估中人工智能最稳健的回应，是设计那些人工智能使用被期待、被声明并被细察的任务。

  • 创新实践可以同时应对多个问题。Mesny、Roberge-Maltais 与 Galy（2026）主张，一套五项相互强化的实践——真实性评估、自我与同伴评估、重评、基于标准的给分与不给分——若与“为了学习的评估”范式对齐，就能对抗传统、重终结性、常模参照给分的伤害（表层学习、被侵蚀的内在动机、压力与焦虑、不公平，以及被损害的诚信）。他们发现采用在不同领域不均衡——自我与同伴评估占主导，而聚焦给分的创新仍处边缘——并敦促教育者更主动、更互惠地投入评估与给分创新，辅以渐进式的试验与机构支持。

  • 人工智能中介的评估正在多样化。AIvaluate表明，一个 LLM 增强的对话智能体降低了学生在基于表现的评估中的焦虑；Pentland（2026）发现异步口试提供了更高的参与，并被感知为与专业相关；基于图的智能导学系统用自适应的知识状态追踪为评估提供信息。

关联概念

关联文章

相关常见问题

相关资源

  • idstack
    一套开源的十一个 Claude Code 技能，依据教学设计证据库对课程进行审计，并为每条建议标注证据等级。
  • LESSON.md
    一种开放的纯文本格式，用于基于区块的 eLearning 课程，另附一个能以该格式编写课程、测验与整套课程包的 agent skill。
  • Master Instructional Design
    一个 Claude 技能，将一位资深教学设计者的方法论打包为十五种参与模式与三十一份按需加载的参考文件，覆盖学习与发展的完整领域。

元数据

层次Higher Ed
技术与方法生成式人工智能, 学习分析
评估与测量评估, 评估效度, 自动化评估, 教育测量, 形式性评估, 过程导向评估
研究方法与评价人工智能教育评价
教育中的人工智能基础学术诚信
页面类型Evaluation
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。