问答
AI 如何辅助教育研究?
本页是英文页面的机器翻译,尚未经母语者审校。
AI 可以从一个教育研究项目中真正分担工作——查找文献、筛选数千篇摘要、起草分析代码、总结开放式回答、打磨稿件。它做不到的,是为项目的结论承担责任。诚实的图景,也是证据所支持的图景,是一种分工而非移交:把自动化交给程序性负担,核验每一项输出,把解释性决策留给人(Wang et al., 2026)。
这一页讲的是作为研究工作工具的 AI——检索、筛选、综合、编码、分析与写作,包括讲师对自己教学所做的实践者探究。某项 AI 干预是否帮助了学习者,则是另一个问题,由末尾链接的 FAQ 以及 AI 辅助教育研究所涵盖。接下来的大部分内容老实说都是保留意见:证据基础薄弱,而且若干失效模式是静默的。
简版
1. 在项目开始之前,以书面形式确定哪些研究任务可以使用 AI、哪些不可以。Dai 与 Chan(2026)焦点小组研究中的研究者按照风险高低与智力核心程度来校准使用,而非一刀切地允许——在低风险的程序性工作上用得较多,在学术贡献处于核心地位的地方则保持谨慎。
2. 把自动化保持在程序性负担上。筛选是它帮助最大的地方;在报告了工作流程的那一个团队中,数据抽取、核对与综合仍由人类审阅者完成(Wang et al., 2026)。
3. 对照人类标准核验每一项输出,并说明由谁做了裁定。模型与人类编码员之间——或两个模型之间——的一致性,是一种相似性测量,并不能证明编码正确(Agreement Is Not Quality: Blind Expert Verification of Human and LLM Qualitative Coding When Human Consensus Is Not Ground Truth)。
4. 在自动化分析运行之前就定好你的量表与编码手册;构念、编码量表与训练数据都是人的决策,而不是模型的输出(Martin et al., 2026)。
5. 逐条手工核验你引用的每条参考文献,尤其是作者字段,当 AI 参与了写作时更应如此(Denny et al., 2026)。
6. 记录提示、模型版本与语料版本,披露 AI 的角色,并为核验与文档预留时间——对大多数团队而言,这是增加的工作,而不是减少的工作。
AI 在何处真正节省工作——又在何处增加工作
文献检索与获取
生成式检索可以总结、推荐、综合和对话,这动摇了"系统找来源、解释留给读者"的假设(Report on CHIIR 2026 Workshop on Generative AI and Academic Search (GAI&AS))。它是定位候选文献的快速方式。该研讨会上有两点提醒:能力并不均衡——高被引学者被重建的比率约为低被引同行的两倍;还有一位图书馆员报告了信任落差,学生过度信任生成式检索,而教师则不信任它。用它来发现,然后自己逐条核验来源。
筛选与系统综述
系统综述是自动化推进最深入的领域。ASReview、SWIFT-Review、Covidence、AIScreenR 和 MetaMate 等工具主要在摘要筛选环节减少了程序性负担,而抽取与综合仍由人完成(Wang et al., 2026)。在筛选开始前就为边缘案例写下判定规则,保留"可能"类别,并把每次裁定记录在共享日志中,使同样的判断得到一致的应用。
质性编码与分析
质性分析是解释本身就是产出的环节。AI 可以扩大对开放式回答的第一遍处理规模,但它把你的角色从编码转为验证模型的输出,也改变了这项任务所需的技能(Martin et al., 2026)。按代码逐项委托,而非整体移交:一项盲法验证研究将 72 项编码手册条目中的 15 项归类为明显需要人类专业能力,12 项更适合交给模型,16 项适合基于置信度进行分诊。
数据分析
自动化测量功能可能看起来精确且具预测力,却依然不透明,这正是可解释 AI 在此重要的原因:它能揭示模型是在追踪语义理解,还是只追踪关键词(Martin et al., 2026)。把任何自动化分数都当作一个假设,对照一个与你打算研究的能力相挂钩的测量来验证。测量本身请参见 教师可以用哪些测量工具与研究方法去评价与人工智能相关的干预?。
写作、引用与编辑
起草、组织与编辑是大多数研究者已经在使用这些工具的地方——Dai 与 Chan(2026)研究的 28 名研究生研究者中有 27 名在工作流的某处使用了生成式 AI,包括学术写作与翻译。其中不可妥协的一步是参考文献核验。
运转工作流:日志、披露与精力预算
一项为期 115 天、单人研究者的案例研究考察了一个持续性研究智能体,发现最强模式是能力扩展,而非已被证明的劳动替代:随着记忆与流程的积累,被委托工作的范围不断增长,而人的输入并未减少。这才是现实的预期。保留提示—响应日志与语料版本——一份流畅生成的"主题列表",在其证据工作开始之前很久就看起来不可避免(Holster, 2026)——并把 AI 的角色作为一条路径来披露,而不是一个复选框。
给实践者研究者的实用建议
教学学术与课堂探究——一位教师研究自己的课程,通常规模较小——是本语料库中最薄弱的一支。AI 辅助教育研究把这陈述为一个缺口而非一项发现:AI 辅助的实践者探究很可能相当普遍,却几乎没有被记录,而综述自动化与文献计量证据并不能解决一位讲师应如何研究自己的教学。能够跨情境传承的是一种态度,而不是一个结果。
1. 在本地情境本身不是变量的地方使用 AI:检索你所在领域的文献、转录并总结你自己的录音、起草工具或知情同意文本。
2. 把解释性的动作——什么算作一个主题、一名学生的评论意味着什么、你的课堂证据能支持什么——保留给你自己,并在写作中说明哪些动作是模型做的、哪些是你做的(Holster, 2026)。
3. 预先定义你的标准并让它们保持可见,因为一项小规模的本地研究无法从"数据到达之后才定义的构念"中恢复。
4. 报告 AI 的角色、你所做的核验,以及单课程、单人研究者设计的局限。不要把一份工作流程记述当作效果性结果来呈现。
5. 把模拟一个队列视为进阶选项而非默认项:模拟学习者倾向于覆盖真实学生行为中最容易的象限,且很少在使用后被验证(模拟学生)。在信任模拟器的判断之前,请先参见 如何让模拟学生表现得像真实学习者?。
保留意见与需要考虑的问题
虚构的参考文献与引用错误
AI 辅助的起草让"貌似可信的虚构引用"变得廉价,而失败不成比例地集中在作者字段——承载学术荣誉的那个字段。在对 723,930 篇出版物与 15,872,533 条参考文献的审计中,Denny et al.(2026)在 14 篇计算机教育论文中核实了 30 条虚构参考文献,全部出自 2025 与 2026 年;其中 17 条为混合型,把真实标题与虚构或错误的作者配对,而在一个技术研讨会上,核实数量从 2025 年的 3 条升至 2026 年的 17 条,出现在该年度会议论文的 2.3% 中。他们的计数是一个有意设定的下限,而自动化检查器继承了它们当作真值的元数据中的缺陷。自己逐条核验每一条引用,并且先查作者。
报告与审计的缺口
采用跑在了报告前面。Zabaleta 与 Lin(2026)分析了 888 篇综述自动化论文:自 2023 年以来,38.0% 的软件与产品论文完全没有报告任何评估,而 LLM 论文的这一比例为 9.3%,且模型访问权限绝大多数为专有(84.1%)。即便是总体偏正面的评估,也不意味着适合委托——118 篇仅报告正面结果的 LLM 论文中,仍有 52% 报告了某种担忧,认为工作流程低于其角色所要求的门槛。他们的框架 PRISMA-LLM 把实施披露与对后果敏感的评估区分开来,并将其五个层级视为披露层级而非风险层级。实用要点是:一个工作流程的评估深度应当被明确陈述,而非被假定——写出系统名称、版本、提示、人类检查了什么,以及它在何处失败。
一致性不是质量的证据
与人类编码员的高度一致——或两个模型之间的高度一致——常被报告得好像它确立了正确性。事实并非如此。Liu et al.(2026)让一位独立专家对来源盲判 855 组成对编码集:人类—LLM 一致性(平均 Jaccard 0.30)远低于人类—人类一致性(0.52),然而盲验证者偏好人类编码与机器编码的比率却毫无差别(51.5% 对 48.5%,p = 0.537)。有时人类共识中编码了验证者所拒绝、而偏向模型的共同偏差。采用盲法验证,报告金标准以及由谁裁定,并按代码路由,而不是把整条流水线当作统一的真人审阅环境来对待。
当自动化测量成为仪器时的构念效度
当模型的输出成为研究仪器时,测量问题就是构念效度问题。Martin et al.(2026)用 Chang 的"法则性测量问题"(nomic-measurement problem)来框定它:测量一个量需要一条把它与可观察之物联系起来的法则,而该法则在事先已知该量的情况下无法被检验。AI 导出的测量函数源于训练数据与优化而非源于研究者,因此它们可能看起来精确却仍然不透明——而可比性还必须延伸到不同学生群体,因为机器学习倾向于更好地编码规范想法,而非学生表达较弱理解时的多样方式。一个方便的自动化分数还可能索引错误的构念:在 对八个 AI 教学智能体的评估中,按平台自身分数排名第三的智能体,在经专家验证的量表上却排名垫底。人—机分歧是系统性的而非随机的,量表的操作化往往比提示技巧更重要(Tseng et al., 2026)。
你仍然要为解释负责
必须有人对一项被排除的研究、一个被编码的主题、或一个流行率陈述负责。预训练模型增加了一层认知依赖——它们的训练数据、微调与目标可能未知——并且因为它们从社会技术网络中涌现,责任变得难以分配,这是一个"多手问题"(Martin et al., 2026)。在方法部分点明 AI 的角色是答案的一部分,但它并不转移责任。让解释路径保持可检视、可争议、可修正(Holster, 2026),并为每一个后果重大的决策保留一位具名的人类负责人。
第三方工具中学生数据的隐私与同意
课堂与学生数据经由第三方工具流转,带来同意、治理与保密义务,这些义务先于任何效率论证。Zabaleta 与 Lin(2026)发现模型访问权限绝大多数为专有(84.1%),这意味着学生文本通常会离开你的机构。只收集教育目的所需的内容,让工具的数据使用与限制透明,检查学习者数据是否用于训练厂商的模型,并在敏感度高时优先使用本地或合成数据。这些义务的完整处理——连同公平、无障碍与教学安全——见 教育领域的人工智能研究应当如何纳入公平、无障碍、隐私、伦理与教学安全?。
证据尚未确立的内容
- 没有正面比较。 锚定文献把 AI 辅助方法与传统方法的比较列为未来工作;这里没有任何研究显示某一种 AI 方法能得出更有效的结论(Martin et al., 2026)。
- 整体设计薄弱。 证据是一份框架提案、一个团队的反思性记述、一份研讨报告、一项焦点小组研究和观察性文献计量——而不是对某一种 AI 辅助方法的对照试验。角色转变与能力扩展的主张来自单点、单人研究者的记述。
- 这是一个报告缺口,而非对实践的审计。 PRISMA-LLM 读的是论文层面的沉默;一份论文中没有评估的工作流程,仍可能在产品报告、协议或仓库中得到验证。
- 实践者研究代表性不足。 本语料库无法支撑关于教师应如何使用 AI 研究自身实践的主张。
- 工具是移动的靶子。 一项关于 2025 年工作流程的发现,描述的是一代可能不再以该形态存在的系统,因此可复现性必须绑定到模型版本与日期。
相关问题
- 教师可以用哪些测量和研究方法来评估与 AI 相关的干预? — AI 辅助工作流程所依赖的方法设计问题
- 报告和解读 AI 教育研究的最佳实践有哪些? — 如何报告 AI 系统、测量以及你自己对 AI 的使用
- AI 教育研究文献中有哪些值得注意的缺口? — 证据缺失或薄弱之处
- AI 教育研究应如何纳入公平、无障碍、隐私、伦理与教学安全? — 围绕学生数据与安全的义务
- AI 辅助的教育研究 — 关于 AI 作为研究工作工具的完整概念页面
- 我们如何让模拟学生像真实学习者一样行动? — 在把模拟器用作研究仪器之前