AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

教育人工智能的研究方法

创建 2026-08-13 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

教育人工智能的研究方法——研究者用以研究教育中的人工智能的一套实证设计、数据收集策略与分析技术：人工智能工具是否、以及如何支持（或损害）学习，在何种条件下如此。本知识库的语料涵盖实验、调查、质性、基于设计的、计算基准与综述等方法。每一种都有独特的长处与局限，而在它们之间做选择，涉及内部效度（对因果主张的信心）、外部效度（可推广性）、生态效度（真实世界保真度）与研究快速演进的人工智能工具的可行性之间的权衡。

值得思考的问题

  • 本页的核心张力：对因果推断最强的设计（随机实验）在真实课堂中最难开展，而最真实的情境提供的因果控制最弱。如果你要判断一个人工智能导学系统是否有助于学习，这两种失败中你更愿意承受哪一种——为什么？
  • 在阅读之前，你能说出内部、外部与生态效度之间的区别吗？本页认为每一种设计都在这三者之间做权衡。一项在因果上严谨的研究，如何仍可能对真实课堂几乎毫无用处？
  • 一个基准显示某个人工智能准确率很高，但本页坚持高基准准确率并不意味着教育有效性。为什么一个“通过测试”的系统仍可能无助于学生学习——又缺少哪类证据？
  • 基于设计的研究会对真实干预做迭代，却无法把增益归因于某个具体机制；而 RCT 能隔离原因，却在人为条件下运行。考虑到人工智能变化的快速程度，你认为一项严谨的 RCT 在其所测的工具过时之前，还能保持多久的相关性？
  • 德尔菲专家共识确立的是专家之间的一致，而非经验效应。什么时候依据专家的信念、什么时候依据“什么有效”的数据来建构能力框架是正当的——在实践中你如何区分二者？
  • 本页主张三角互证——结合基准评价、实验、测量与质性工作，以判断一个工具是否有效以及如何有效。在阅读之前，对于“这个人工智能改善学习”这类主张，你会需要每种方法在何处出场才感到信服？

引言

教育人工智能研究的核心张力在于：对因果推断最强的设计——随机实验——往往是最难在真实课堂中用真实人工智能工具开展的，而最真实的情境（现场部署、案例研究、日志数据分析）提供的因果控制最弱。没有任何单一方法能解决这一点；该领域通过跨方法三角互证、并通过明确每种设计能支撑何种主张而前进。每种方法还带有横切性的局限——可推广性、测量效度、人工智能变化的快速程度、可复现性以及薄弱的理论运用——读者必须加以权衡；见教育人工智能研究的局限。

本页的主题是方法而非发现。学习科学是这些方法所服务的实质领域：本页覆盖一项研究应当如何设计、测量与报告，而那一页覆盖该领域已确立的关于人如何学习、学习环境应如何设计的知识，并把基于设计与混合方法视为学习科学的标志性方法，而非众多选项中的两个。

与本页相邻的是人工智能辅助的教育研究，它覆盖人工智能作为该领域自身工作的工具：文献检索、筛选、综述自动化、质性编码、分析与写作。其范围包括教学学术之类的实践者研究，并与本页所描述的设计保持区分。

Martin、Rost、Koenen 与 Graulich（2026）以同样的审视施加于该领域的知识生产本身，借用 Chang（2004）的“法则性测量问题”（nomic-measurement problem）：测量一个量需要一条把它与某种可观测量联系起来的法则，而若不事先知道这个量，那条法则又无法被经验检验。他们认为，人工智能导出的测量函数——从训练数据与优化中涌现，而非出自研究者——可能加剧而非化解这一问题。这类函数看起来精确，却在认识论上不透明，于是研究者的角色转为解释并验证计算输出。他们提出的七阶段反思框架（问题框定；工具化与测量；实验与基于证据的推断；比较与复制；建立规范与共识；实施及其后果；以及持续精炼）被定位为分析辅助，而非经过验证的方法；他们并主张，可比性必须跨越学生总体延伸，而不只是模型擅长的那些子集。

报告规范与 TEP-AIED 模型

人工智能教育研究的报告质量本身就是一个研究议题。TEP-AIED 模型（Hwang、Xie、Wah 与 Gasevic，2026）提供了一个以严谨方式呈现人工智能教育研究的结构化框架，把研究报告的必要组成部分组织起来——理论／技术／教育问题的框定、设计、数据、分析与结果——以便读者与评审能够评估主张是否得到支撑、工作是否可复现。它回应的是该领域在报告上的长期痼疾（工具描述含糊、模型版本未说明、评价细节缺失），这些正是局限页所记录的。像 TEP-AIED 这样的报告框架，与既有的报告清单（如试验的 CONSORT 式指引、综述的 PRISMA 式指引）并列，构成该领域向方法论透明与可复现性迈进的一部分。

RAISE（Allison，2026）从相反方向处理同一问题——作为清单而非叙事结构。它提出横跨十个主题域的 30 项条目（教育正当性与理论基础、人工智能系统规范、人工智能角色与交互、无障碍与文化适配、情境与参与者、人的参与、研究设计与评价、伦理与可信性、透明与可复现，以及局限与启示），配有一个可编辑版本和一份配套的伦理与风险矩阵，覆盖学习者自主性、公平访问、数据治理与算法透明。两个框架直接彼此回应：TEP-AIED 称 RAISE 全面，但批评其广度，认为“它的广度与粒度可能使其复杂化，对常规实证应用而言可及性较差”，而 RAISE 自身的定位是它不规定任何方法或模型，只要求选择可见。合读二者，标出了这一文献中的权衡——更完整的审计清单对更精简的三维叙事——而它们在同样的不可协商项上汇合：命名并注明人工智能系统的版本，披露提示与交互设计，定义处理与对照条件，报告伦理审查与风险缓解，并说明结果衡量的是表现、保持还是迁移。要让一项研究按这些标准被裁断，报告工具必须在设计时就被采用，而不是等到稿件阶段才拼凑，这正是两个框架都坚持的一点。语料层面的历史分析本身也是一种带有透明义务的方法论选择：Rismanchian 与 Doroudi依据作者对摘要与全文的判断，把每篇论文定位到他们的 AI×Ed 框架之中，并明确承认这不是一个系统……

实验与准实验设计

一项**效果研究（efficacy study）**检验一项干预是否产生其预期的学习效果，通常采用比较有无干预之结果的实验或准实验设计。实验把学习者随机分配到不同条件（如人工智能导学对人类导学，或有人工智能脚手架对无辅助）以估计对学习增益、参与或动机等结果的因果效应。随机对照试验是内部效度的黄金标准。一项关于人类支持加人工智能导学的随机现场研究与一项关于教学中生成式人工智能的 RCT用分配来隔离因果效应。准实验设计（前后测、被试间或未经随机化的匹配组）在完整班级中更可行，但在因果主张上更弱。

调查与结构方程模型研究

横断调查测量自我报告的态度、知觉、动机、自我效能与技术接受度，常用回归或结构方程模型（SEM/PLS-SEM）建模，以检验假设的关系与中介变量。这类研究在本知识库的语料中占主导，尤其在接受度、动机与心理机制问题上。

  • **长处：**样本大；覆盖广、成本低；能检验心理机制的复杂中介模型；对研究难以观察的态度可行。
  • **局限：**横断数据无法确立因果；共同方法／自我报告偏差；便利抽样限制可推广性；中介从协方差推断，而非操纵得出。

工具本身值得单独审视。一份问卷、访谈或日记能确立什么、不能确立什么——以及人们所说与他们所做之间已有记录的差距——汇集在自我报告测量页上。

质性方法

访谈、焦点小组与主题分析，对学生和教师如何体验人工智能工具、他们赋予其何种意义，以及标准化测量所遗漏的张力与伤害，产出丰富的、带语境的叙述。关于人工智能导学安全性的研究与人工智能如何改变教学工作流在很大程度上依赖质性证据。见专门的质性研究概念页，其中有对质性方法的完整处理——主题分析、扎根理论、现象学／现象图式学、话语分析、观察与民族志、案例研究，以及访谈／焦点小组——每种都附本知识库的范例。

混合方法设计

混合方法研究把量化与质性两条线索结合起来——通常是顺序式的（如 QUAL→QUAN→qual）——使质性数据解释或语境化量化发现。一项关于生成式人工智能与可持续学习的混合方法研究把三波调查与教育者访谈配对；能力悖论研究使用教师焦点小组、学生调查与后续访谈。

基于设计的研究（DBR）

DBR 在真实情境中迭代地设计、实施并精炼一项教育干预，在理论、设计与真实实践之间循环。它在本知识库中因开发人工智能学习环境与教学法模型而突出。见专门的基于设计的研究概念页，其中有完整的 DBR 循环、范例及其长处／局限。一个典范的人工智能教育范例是人工智能辅助的协作学习模型研究（Putra 等），它运行了一个四阶段 DBR 循环——需求分析、模型设计、八周课堂实施与模型精炼——并对一个四阶段学习循环做迭代（问题识别 → 人工智能辅助协作探究 → 协作问题解决 → 反思与呈现）。其他范例发展了人工智能素养教师培训（Development and evaluation of artificial intelligence literacy training for teacher education students），以及面向批判性思维的生成式人工智能脚手架（Scaffolding critical thinking with generative AI: Design principles for integrating large language models in higher）。

DBR 用实验的因果控制换取生态真实性与迭代精炼：它是回答“我们如何设计这个人工智能学习环境使其在实践中奏效？”这类问题的正确工具，其证据作为概念验证与设计指导最有说服力，而非作为因果效果。解读 DBR 的学习增益需要与其他设计同样的谨慎——缺少无辅助的、受控的结果测量，增益可能反映学习增益条目下所记录的同一类“人工智能抬高性能”混淆。

系统综述与元分析

综述综合证据基础，而非开展新的实验。系统与范围综述用一套透明的协议检索、筛选、评估并综合一批研究；元分析则额外跨研究合并效应量，以产出加权汇总估计并检验调节变量。一项全面的智能导学系统综述与一项关于高等教育中生成式人工智能的系统综述是该方法的范例。

见专门的元分析与系统综述概念页，其中有对教育中人工智能的系统综述与元分析的更完整处理——包括它们与一手设计的关系、PRISMA 报告，以及其长处与局限。

计算与基准评价

计算评价直接评估人工智能系统——对照基准、真值标签或人类判断——而非研究人类学习者。这包括基准和 大语言模型（LLM）-as-judge 方法。这是与人工智能教育评价最接近的方法（见下文的区别）。

其他设计：纵向、案例与模拟研究

在几大主要家族之外，本知识库还使用纵向设计来长期追踪学习者（一项纵向学习管理系统研究）、案例与真实场景研究来考察真实使用（对真实学生交互的大规模分析），以及模拟研究让 LLM 代替学生或病人（作为模拟学习者的 LLM、模拟）。它们用广度或控制换取真实性，以及接触那些否则难以观察的现象的途径。

专家共识方法：德尔菲技术

德尔菲方法是一种就某个尚无经验答案的问题确立专家共识的结构化技术——在本知识库中最常用于开发框架、能力清单和定义，使实践者与研究者能达成一致。在德尔菲研究中，一组专家回答连续几轮的问卷；每轮之后，把群体回答的匿名汇总反馈回去，专家修改答案直到群体收敛于一致（通常由一个预设的阈值定义，如 75%）。这是一种通过迭代的、匿名的协商，而非单次调查或投票，来建立构念效度与专业共识的方式。

  • **长处：**在多元专家小组中产出共识，而无面对面群体压力（匿名性减少支配效应）；在没有经过验证的测量时，很适合定义构念、能力与框架；迭代轮次让专家精炼并收敛；在完整实验或大样本不可行处可行。
  • **局限：**共识反映专家判断，而非经验证据——它确立的是一致，而非效应；结果取决于小组构成与（主观的）共识阈值；多轮之下可能缓慢；单一小组的判断可能不具推广性。
  • 范例：SAIL 框架研究（三轮、17 位专家，精炼人工智能素养能力层级）、HCAP 框架研究（三轮、30 位教师，定义 25 项人工智能教师能力）、AI Literacy Heptagon（把专家意见／共识与一份遵循 PRISMA 的综述并用），以及。

德尔菲常与其他方法结合——例如，用专家共识验证一个框架（如 SAIL 与 HCAP），再通过基于设计的研究或调查研究加以检验或实施。它与质性及专家判断方法并列，并为基于框架的工具贡献效度。

研究与评价：联系与区别

研究与评价密切相关但并不相同。研究追问关于人工智能如何影响学习的一般性问题——“脚手架能改善学习结果吗？”——旨在建构可迁移到具体研究之外的理论与证据。评价（见人工智能教育评价）评估某个具体人工智能工具或系统是否奏效——是否准确、可靠、教学上站得住、合乎用途——对照基准、量表或相关方定义的标准。研究强调内部效度与推广；评价强调系统质量与本地决策。

边界是模糊的：基准研究是可以反哺研究的评价，而评价工具（量表、真值集、效度框架）依赖研究所澄清的教育测量与评估效度关切。反过来，关于什么支持学习的研究发现，应当影响人工智能工具如何被评价。本知识库把二者视为互补：计算与基准评价（基准、人工智能教育评价）告诉我们一个人工智能系统在技术上是否健全，而效果与调查研究（RCT）告诉我们它是否帮助人们学习。

在方法之间做选择

方法的选择跟随研究问题。因果效应问题偏向实验（RCT）；机制与知觉问题偏向调查与质性工作；系统质量问题偏向计算评价（基准、人工智能教育评价）；综合问题偏向综述与元分析；设计问题偏向 DBR；而关于专家们认为一个构念、能力或框架应包含什么的问题，则偏向德尔菲技术这类专家共识方法。鉴于该领域的异质性与人工智能变化之速，本知识库的语料体现出一种朝向三角互证的刻意转向——把计算评价与效果、质性和专家共识证据结合起来，以判断一个工具是否奏效以及它是否帮助学习。

同样重要的是，带着对横切性局限的意识去阅读任何单一研究——它们影响整个人工智能教育研究：方法论约束、人工智能变化之快对出版之慢、可复现性与 FAIR 实践的缺口、对专有工具的依赖，以及薄弱或不加批判的理论运用。见教育人工智能研究的局限。

对比主要研究传统

三大主要研究传统——量化、质性与实验——在它们能主张什么、牺牲什么，以及各自何时适用上有着根本差异。理解这些对比，对设计与阅读人工智能教育研究都必不可少。

每种传统确立什么

维度 量化／调查 质性 实验
核心问题 多少？有何关联？ 它意味着什么？如何被体验？ X 导致 Y 吗？
主要数据 数字、量表、自我报告 文字、观察、制品 各分配条件下的结果测量
推断目标 模式、相关、中介 意义、机制、类别 因果效应
内部效度 弱（相关性的） 弱（无控制） 强（随机分配）
外部效度 强（大样本） 有限（小、受情境约束） 中等（受控条件）
生态效度 中等 高 较低（人为条件）
  • **量化研究**测量并建模变量之间的关系——调查、SEM/PLS-SEM、测量、纵向追踪。它提供广度、精度与可推广性，但无法从横断数据确立因果，并继承测量的局限（包括自我报告偏差）。
  • **质性研究**解释意义与经验——访谈、焦点小组、主题分析、扎根理论、现象图式学、话语分析、观察／民族志、案例研究。它提供深度、机制与理论建构（见教育中人工智能的理论发展），但可推广性有限、对因果的支持薄弱。
  • 实验与准实验设计（见RCT）通过随机分配或匹配比较来估计因果效应——内部效度的黄金标准，代价是成本、速度与生态效度。

测量与混合方法的关联

量化工作依赖教育测量——对所研究构念可靠、有效的工具。质性工作揭示这些工具可能遗漏的机制与意义。实验工作估计一项干预是否导致工具所测量的结果。三者是互补的层次：工具量化构念，实验确立因果，质性工作解释数字背后的如何与为何。

混合方法设计有意结合量化与质性线索，使它们的长处抵消彼此的弱点——量化的广度加质性的深度，而三角互证提高信心。

可用性与人机交互研究

一条独特的方法论线索——可用性与人机交互研究——评价用户如何与一个人工智能系统交互：其可用性、有用性、可学性与用户体验，使用出声思考协议、结构化用户研究、访谈与观察。它与人工智能教育评价最接近，回答的是一个前提性问题：一个教学上站得住的工具，如果不可用，仍然会失败。可用性研究与质性研究共享数据收集方法，但其目的在于评价一个制品，而非解释意义。

跨传统的长处与局限

  • **量化／调查：**长处——样本大、覆盖广、检验复杂中介、高效。局限——无因果、自我报告偏差、便利抽样、工具可能测错了构念。
  • **质性：**长处——深刻洞察、浮现意料之外的现象与伤害、对理论建构必不可少、让代表性不足的声音居于中心。局限——可推广性有限、依赖研究者、样本小、对因果的支持薄弱、难以综合。
  • **实验：**长处——因果推断最强、结果测量干净、效应量估计。局限——成本高／慢、人为条件、快速变化的人工智能使结果过时、小样本功效不足、伦理约束。
  • **混合方法：**长处——三角互证、广度加深度、解释意外结果。局限——复杂、资源密集、整合可能浅薄、继承每条线索的弱点。
  • **可用性／人机交互：**长处——识别采用障碍、可操作的设计指导、快速且便宜。局限——不确立学习效应、样本小、自我报告的满意度可能误导。

在实践中，人工智能教育研究很少干净地落入某一传统。最强的证据做三角互证：一次计算或可用性评价确立一个系统能工作，一个实验确立它导致学习，量化工具测量构念，质性工作揭示机制与意义——共同回答一个工具是否帮助学习，以及如何与为何。

关联概念

关联文章

相关常见问题

元数据

研究设计Experiment
层次Higher Ed
评估与测量教育测量
研究方法与评价人工智能教育评价, 基准, 随机对照试验, 教育人工智能的研究方法
教育中的人工智能基础教育中的人工智能
页面类型Evaluation
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。