AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

自我报告测量

创建 2026-09-12 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

自我报告测量——被研究者本人同时是数据来源的工具：问卷与调查、访谈、日记、自评能力、自估使用情况、知觉到的学习与满意度。它们是教育中的人工智能研究的骨干——在本知识库中，有 139 个文章页面带有调查方法标签，除实验与基准之外多于任何设计——而它们是触及态度、信念、意图与自我效能的唯一实际途径。其局限是范畴性的，而非统计性的：自我报告无法测量行为或学习，只能测量某人对行为或学习所说的东西，而在这份研究基础中，二者分开得足够频繁，以至于这本身就是一个发现。

值得思考的问题

  • 如果一项研究说学生“报告了高参与度”，究竟测量了什么——而要断定他们真的参与了，你需要看到什么？
  • 在一项研究中，教师人工智能素养的自我报告测量与客观测量在四个维度上只相关 r = 0.07 到 r = 0.24。你自己的自我评估最可能在何处与同一技能的测验分道扬镳，为什么？
  • 满意度容易测量，也容易改善——一个被调优以取悦用户的系统会在它上面得分很高。为什么这可能使满意度成为学习的不良结果测量，你又会转而测量什么？
  • “几乎所有学生都在课业中使用人工智能”来自询问学生。询问而非记录日志，在两个方向上各可能错在哪里？
  • 一项调查在 31% 的回复率下得到 112 份回答，或从 572 份邀请中得到 90 份回答。在接受它的百分比之前，你想知道没有回答的都是谁？
  • 当一项研究相关两个在同一时刻测量的自我报告变量时，你能为这一相关性想出多少种不同的解释——什么设计能排除它们？
  • 如果你在为一个小规模评价提供建议，哪些主张你会允许用调查支撑，哪些你会坚持需要日志、表现或观察证据？

引言

自我报告的范围远不止问卷。它包括使用 Likert 及其他评分格式的横断调查、由质性研究者进行的访谈与焦点小组、日记与经验取样、自评的技能或信心、对工具使用频率的回想估计，以及被当作结果的知觉到的学习或满意度。把它们联合起来的是受访者的认识论位置：他们在报告自己，而非被观察。

这不是一件需要致歉的弱点。许多值得关注的构念——动机、焦虑、信任、知觉到的有用性、参与意图——是没有任何日志文件记录的内部状态，而询问是触及它们的唯一站得住的方式。问题出在自我报告被用来支撑它无法承载的主张之时，这本质上是一个效度问题：工具是否测量了它所命名的构念，以及所做的主张是否是关于自我报告所能看见的那类东西。这一关切属于教育测量与评估效度；本页讲的是当教育中的人工智能研究特别倚重自我报告时会发生什么，以及证据基础在哪里显出它的断裂。

本页如何与邻近页面相关联。教育人工智能的研究方法编目设计及其长处与局限，包括调查与 SEM 研究。量化研究覆盖数值方法家族。教育测量覆盖工具开发、项目反应理论与心理测量学验证。本页是那些页面指向的较窄一片：测量工具与数据来源本身——自我报告能确立什么、不能确立什么，人们所说与他们所做之间反复出现的差距，以及如何批判性地阅读一个自我报告的发现。

自我报告能确立什么、不能确立什么

自我报告很适合态度、信念、意图、对工具的感受、情感状态，以及自我判断的信心或难度。它不适合行为，而且它完全无法测量学习：一个人相信自己学到了什么，这本身是一种感受，而本知识库把知觉到的学习当作与学习增益不同的量来处理。

其后果是一组在结果部分看起来相似、强度却不同的主张：

  • “学生觉得导学系统有用”——一种感受，用询问来测量是恰当的。
  • “学生经常使用导学系统”——一种行为，只能靠询问来近似。
  • “学生用导学系统学得更多”——一个结果，根本无法靠询问确立。
  • “教师对使用人工智能有信心”——一种自我信念，不是能力的证据。

对阅读或设计这类研究的任何人，有两点随之而来。首先，一件自我报告工具是否真的测量了它所命名的构念，是一个经验问题，靠验证而非靠题目的可信度来回答。其次，在教育中人工智能领域，诱惑的方向是一致的：工具由用户对它们的感受来评价，而感受恰恰是自我报告最廉价地捕捉到的部分。自我评估是那个更大家族的一员，而非其同义词：自我报告测量触及态度、信任与满意度，而自我评估把学习者的估计专门转向自己的技能、信心或学习。

第二种失效模式是两个自我报告构念之间的判别崩溃：把自我报告的人工智能能力与以效能测量的知觉行为控制一起回归，可能是在把一个一般性的信心因子与它本身相比，这就是为什么标准被事先固定——异质—单质比率低于 .85，以及一个把能力—控制相关性约束为 1 的嵌套模型检验（Mnguni（2026））。

一件经过验证的工具能让这一局限变得精确而非含糊。Thianwan 与 Srikoon（2025）的人工智能素养自评问卷（AIL-SAQ）是一个 15 项量表，在两个样本（n = 335 探索性，n = 579 验证性）上确认了稳定的三因子结构，总体 Cronbach's alpha 为 .934。其作者明确指出，它记录的是知觉到的理解、态度与意识，而非所展示的技能，并且自评准确性依赖仍在儿童身上成熟的元认知能力，因此儿童的自估是比成人的更弱的信号。

相反的选择也可以辩护：PAUSE 是一个四域的卸载式自检，不发表任何信度或效度证据，不提供合成分，并声明其读数不得用于任何后果性决策，且其题目把刻意的脚手架与替代混为一谈——一个为了做脚手架而在早期引入人工智能的受访者，会被读作在卸载（Alam，2026））。

感受—行为差距

本知识库中最强的自我报告发现，并非自我报告总体上有偏差，而是所报告的行为与被观察的行为以具体的、有记录的方式分道扬镳。

一项为教师人工智能素养建立平行的自我报告与客观测量的研究在 288 名教师的样本中发现了自我报告因子与客观因子之间的弱一致性（r = 0.07 到 r = 0.24），验证性因子分析支持两种测量的构念效度，同时显示出自我报告因子与客观因子之间的低相关。两件工具都可信；它们只是测量了不同的东西。在 288 名教师的完整样本中，客观因子与自我报告因子之间的相关性从 r = 0.07 到 r = 0.24，而潜在剖面分析发现 43 名教师自评高而在客观测量上得分较低，另有 59 名呈现出相反的模式。

GLAT从另一方向得出同一结论：其 20 项基于表现的测验，在一项 83 名学生的被试内研究中预测了在生成式人工智能支持的学习任务上的表现，而自我报告的 ChatGPT 素养则没有。作者的表述直白——这一领域的工具绝大多数依赖自我报告的调查，“它们捕捉到的是知觉到的而非实际的能力，并易于偏差与高估”。

行为估计显示出同样的分裂。一项大规模的竞技编程研究报告了自我报告的信心与实际练习行为之间的脱节，前者是后者的拙劣代理。一项学习者建模研究坦承使用频率是在“从不”到“每天”的量表上自我报告的，而非观察所得，并且在预测变量与结果都自我报告的情况下，诸如默许或极端性偏差等反应风格可能产生所见的关联。

有时询问与观察被摆上台面正面对比。一项对 33 项研究中 46 种分类的范围综述发现，文献在自我报告与交互日志数据之间大致均分，并得出结论：这些类别“往往反映的是测量方法，而不是交互本身”——自我报告研究捕捉感受与意图，而基于日志的研究捕捉可观察的对话行为，且二者很少被整合。关于生成式人工智能素养的过程数据工作提出了建设性的版本：一个学生是否迭代地提示、精炼输出并管理幻觉，可以在交互日志中观察到，而不在问卷中。

一项 2026 年的结构化综述与探索性元分析（关于胜任地使用生成式人工智能的测量）从另一方向为这一差距给出了一个合并的数字：合并三项直接报告的同一样本主观—客观相关性（合计报告 N = 2,765）得到 r = .055（Hartung–Knapp 95% CI [−.047, .156]），加入第四项研究的跨因子相关性也只达到 r = .079。三项主要效应全部来自同一个研究项目，贡献最大者所报告的相关性与 p 值无法对账，而综述得出结论：自我报告不能替代客观表现分数——同时指出，表现工具本身是狭窄的，覆盖基础知识而非在工作中真正重要的监督与依赖行为（Verí（2026））。

工具文献本身可以被读作这一差距规模的证据。Zainal、Mohd Matore 与 Maat（2026）评估了 33 件教师人工智能素养工具，发现 31 件（93.9%）是知觉到的信心的自我报告量表，只有 2 件（6.1%）客观地测试了知识，且在 2019 至 2025 年间没有一件使用基于表现的任务。他们的结论正是本页从其他方向反复抵达的那个：自我报告分数索引的是信心，而非能力，因此在比较群体或项目时，它们不能代替胜任力。

结果测量继承同样的差距。Pramod 与 Patil（2026）用 0.671 的系数建模了从智能体式人工智能经动机与社会存在、到他们标记为学习表现的路径——这是研究中最强的关系——而他们自己的局限部分声明，这个因变量反映的是学习者的感受，而非考试结果、作业表现或学习分析。那是在路径模型中要仔细阅读的模式：一个知觉到的结果上的大系数，量化的是学生认为某物有帮助的一致性有多高，而关于它是否真的有帮助，还没有说出任何东西。

满意度与知觉到的学习作为结果

满意度是本语料中最常被自我报告的结果，出现在 63 个文章页面上。它作为学习的代理也最弱，而本知识库含有对此的明确论证。

  • 关于序列化人工智能反馈的工作直接陈述了设计原则：用户满意度与行为参与都不是学习增益的可靠代理，因此学习必须被直接测量。
  • 关于教学性引导指出，当前的语言模型被指令调优为最大化用户满意度的有用助手，而导学者的目标是最大化学习——两个目标可能冲突，这使满意度成为一个可能误导的目标，而不只是一个弱的。
  • 一项脚手架研究主张，知觉到的有用性、易用性与即时满意度不应被视为脚手架有效性的充分指标。
  • 关于人格对齐的学生建模观察到，为用户满意度优化与为学习结果优化不是一回事，二者可能分开。

值得带走的是这个模式：当目标是学习时，满意度会对错误的东西做出响应。一个答得快、乐于附和、减少投入的系统会被打高分，而这些性质正是本知识库与减少生产性挣扎和人工智能辅助作业上的虚高性能联系在一起的。报告的满意度与被测量的学习并非敌人；它们只是不可互相替代，而把前者当作后者的证据，是本页所记录的最常见的滑移。

什么使一件自我报告工具可信

四项属性把一个能支撑主张的调查与一个不能的区分开来。

  • **构念效度。**必须证明题目测量了所命名的构念，理想情况下用因子分析。上述平行测量研究验证了它的两件工具，却发现它们分道扬镳——一件工具的效度并不能说明它是否捕捉到了行为。
  • **信度与结构。**在本语料中，因子验证过的工具反复出现，从扎根于自我决定理论的教师人工智能素养测量，到用TAM与 SEM 建模、见于人工智能辅助语言工具研究的接受度量表。
  • **比较群体时的不变性。**一个跨总体表现不同的量表无法支撑比较。多组 SEM 工作在报告其间接效应的同时报告了测量不变性检验（结构、度量、标量），而一项瑞士—中国比较发现只有内在价值达到度量不变性而非标量不变性——这是一个被陈述而非隐藏的局限，它约束了其跨国差异能意味着什么。
  • **在胜任力是构念处有一个表现替代。**GLAT 的 20 道选择题存在，恰恰是因为自我报告无法承载胜任力主张。

抽样、回答与非回答

由于调查施测便宜，可推广性主张的失败通常出在抽样问题上。本语料明确而有教益地报告了它们：

自我选择使这一点复合。一项接种研究招募了 782 名参与者，从一个自我报告的 ChatGPT 使用者的便利样本中保留了 100 个有效个案；一项物理研究让学生自选进入一项加分任务，可能把看法向随和者倾斜并排除怀疑者。

还有两类自我报告特有的错误反复出现。内省局限与社会期望偏差在关于参与度评估的工作和那些质性数据依赖自我报告的研究中被指认为自我报告的内在属性。共同方法方差出现在预测变量与结果来自同一批受访者、同一时间之时：一项关于人工智能使用与批判性思维的受调节中介研究在单一时间点通过标准化的自我报告工具操作化了使用、认知负荷与自我调节学习，并把共同方法偏差作为一个后果提出；一项关于动机与参与的 PLS-SEM 研究同样完全依赖自我报告，无法确立其中介变量之间的时间顺序。

补救：加入非自我报告的证据

本知识库的建设性回答是一致的，且没有一个要求放弃调查。

如何阅读一个自我报告的主张

  • 问它是哪一类主张。感受可以自由讨论；行为被近似；学习与胜任力无法由此抵达。
  • 查谁回答了、谁没有。回复率、抽样框与自我选择决定百分比描述的是什么——一项关于一所机构学生的研究描述的是那个情境，而非一般而言的学生。
  • 查工具。它是否为这一构念与人群经过验证，若比较群体，是否检验了不变性？
  • 留意单一来源设计。如果预测变量与结果都来自同一份问卷、同一时间点，关联与共同方法方差以及与所提出的理论都相容。
  • 把满意度当作设计信号，而非学习结果。高满意度加未检验的学习，是人工智能工具评价中的标准配置，而本语料显示二者分开。
  • 偏好那些展示其工作过程的研究：陈述的回复率、陈述的局限，以及至少一个不来自询问的证据来源。

关联概念

关联文章

相关常见问题

元数据

研究设计Survey
目标读者Researchers, Instructors
学习与教学自我效能, 学生参与
评估与测量评估效度, 教育测量, 学习收益
研究方法与评价量化研究, 教育人工智能的研究方法, 质性研究
公平、伦理与负责任使用信任校准
教育中的人工智能基础AI 素养
页面类型Evaluation
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。