本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

本页是英文页面的机器翻译,尚未经母语者审校。

纵向研究 —— 一类对同一批单位反复测量的设计,从而可以把一个人、一个班级或一所机构 内部 的变化与他们 之间 的差异区分开来。在 教育中的 AI 里,纵向工作正是把关于采用、技能成长与参与度的断言从快照变成轨迹的东西:四个学期的教师教育调查显示 生成式 AI 的使用在上升,一个学期的自我调节数据显示 元认知 知识在评价压力下下降,五波参与度数据的斜率同向变动。它的价值不在于测量得更多,而在于它能提出一次测量无法回答的问题:什么在变、对谁在变、以什么速率在变。

值得思考的问题

  • 一项横断面调查发现,使用 AI 越多的学生报告的自我效能感越高。还有什么能解释这一点,什么样的设计能把各种解释分开?
  • “纵向”常被用于任何有两个时间点的研究。一组前测/后测究竟确立了什么,又留下了什么悬而未决?
  • Xu 的面板模型把稳定的特质与特定场合的波动分开。为什么这对“反馈素养导致参与”这一断言很重要?
  • AI 工具在研究过程中会变化:模型更新、功能上线、许可失效。这对一个假定处理条件恒定的设计意味着什么?
  • 流失不是随机的。一项研究应当如何报告一个有五分之一样本退出的学期?
  • 一个学期对一门课程而言很长,对一种发展而言很短。哪些关于 AI 的断言需要数年,哪些几周就能回答?

引言

纵向研究是一族设计而非一种方法:同一队列的重复调查、面板研究、增长曲线模型、队列比较、经验取样,以及对一个学期内累积的日志数据的分析。把它们统一起来的,是分析单位(同一个学习者、班级或机构被观察不止一次)以及由此而来的推断增益。

这种增益常被夸大。有一百多篇文章自称是纵向研究,范围从四个学期的趋势分析到单次前后测比较。这个标签已经变成一种质量信号,因此值得精确地说清每种设计支持什么。重复调查能显示一个分布移动了。面板模型能显示一个人相对于自己的基线移动了。增长模型能显示移动的速率因人而异,以及两个过程同向移动。只有少数两端都有结果测量的设计,才能开始处理工具是否造成了这一变化。

更有力的研究确立的东西少于其标签所暗示的,而各设计族在各自能支持什么上互不相同。

个体内变化与个体间差异

最能起作用的是稳定特质与特定场合状态之间的区分。Xu(2026)在 480 名中国本科生中每隔六周测量三次 AI 反馈素养 与 能动性参与,并用随机截距交叉滞后面板模型把两个层次分开。稳定特质的相关系数为 r = 0.315(p < 0.001);个体内的交叉滞后路径则讲述了另一个关于哪个构念先动的故事。若没有这种分离,两者之间的横断面相关就会被报告为存在关系的证据,而它其实是模糊的:总体上反馈素养更高的人可能总体上参与度也更高,而两者并不互相改变。

这正是该设计的核心贡献。这一文献中的大多数问题(AI 反馈是否建立参与、依赖是否侵蚀自我调节、使用是否预测幸福感)都是关于变化的问题,而单次测量无论样本多大都无法回答关于变化的问题。

轨迹及其协变

增长建模问的是另一个问题:不是一个人是否偏离其惯常水平,而是变化呈现什么形状,以及两个变化过程是否彼此关联。Zhang 与 Tang 在一个学期内对四所中国大学的 850 名音乐专业本科生施测五次,在 AI 辅助课堂中测量课堂参与、心流与自评音乐情绪智力。三者都在五波中上升,且斜率同向变动:参与的斜率与心流的斜率相关 0.39,与情绪智力的斜率相关 0.22。

这一发现关于斜率是相关性的,关于工具则不是因果的,作者也是这样呈现的。它的价值在于把变化定位在速率而非水平上,而这正是课程设计者可以据以行动的断言:如果心流上升更快的地方参与也上升更快,那么设计问题就变成什么首先产生了心流。

采用与态度趋势

第三族追踪的是一个总体而非一个增长过程。Parker、Loper、Carter、Hayes 与 Karakas 分析了美国中西部一个 教师教育 项目 300 多名学生四个学期的调查数据,追踪 ChatGPT 发布之后生成式 AI 的使用与伦理认知。使用显著增长:用于备考从 57% 升到 83%,用于学习从 44% 升到 76%,而伦理立场变得更加不确定而非趋于稳定,且认知因亚组而异。

这是重复横断面设计:同一个项目,未必是同一批学生。它确立的是一个总体中的趋势,而这正是政策问题所需要的;它无法确立个体变化。当这一趋势被读作发展时,这一区分就很重要:跨学期报告使用量的上升,可能既反映同一批学生的改变,也同样反映带着不同规范入学的新生。

状态、特质与一个学期的形状

Song 及其同事对 75 名大学一年级学生为期一个学期的研究,说明了为什么值得对那些通常被当作性向的构念提出个体内的问题。学生 自我调节学习 的个体基线是稳定的,但他们的元认知知识与 幸福感 在整个学期中系统性下降,与重大考核截止日期等课程要求同步。一项概念验证显示,可以给 大语言模型 提供每位学生的情境,在需要的那一刻支持调节。

实践层面的解读是:只测一次的特质会掩盖这一下降。方法论层面的解读是:“稳定”与“不变”是不同的断言,只有重复测量才能区分它们。

设计族及其代价

  • 同一队列的重复调查。 同一批学生,多波测量。确立个体变化;易受流失与测验效应影响。
  • 重复横断面(趋势)。 同一总体,每波新样本。确立总体变化;无法追踪个体。
  • 带滞后效应的面板模型。 波次间隔足以建模时间次序,并把特质与状态分开。确立时间上的先后;需要适当的间隔与样本量。
  • 增长曲线模型。 三波及以上,对截距与斜率建模。确立变化的形状与速率,以及过程之间的协变。
  • 纵向准实验。 在重复测量中比较条件,如 Melanou 及其同事对三种 AI 条件下 87 名学生为期九周的研究,各组知识都有提升(F(1, 50) = 29.8),且先前成绩调节了收益。确立某个条件是否改变一条轨迹;仍不是随机分配。
  • 经验取样与日志面板。 高频的现场测量或痕迹数据。确立细粒度的动态;在需要反思的构念上较弱。

在 AI 研究中真正会咬人的威胁

有四个问题反复出现,其中最后两个是该领域特有的。

流失。 脱离参与的学生退出研究,于是后几波过度代表了仍参与的人。由幸存者估计出的轨迹可以向上倾斜,而整个队列并没有。

测验与测量工具效应。 反复接触同一工具会改变作答,对态度与使用的自陈测量尤其如此。

工具漂移。 AI 工具不是一个固定的处理条件。模型被更新、界面改变、机构许可在学期中途被撤回。跨越一个学期的研究测量的是一个移动的对象,而很少有论文报告版本变更。

把被辅助的表现误当作学习。 在工具可用时测得的增益,可能显示的是学习者在支持下能做什么,而不是他们内化了什么。这一区分与把 支架 与发展分开的是同一个,而纵向设计若不包含无辅助测量,就无法解决它。

对实践的启示

教师可以不再把一次期末调查读作某项改变奏效的证据。在两个学期之间移动的分布,可能反映的是新一届学生、新的评价制度,或一个失去新鲜感的测量工具。把同一批学生与他们自己先前的分数比较,回答的是一个更窄也更有用的问题。

项目负责人可以按波次规划评价。一个项目中三次或更多测量,让一个院系可以估计斜率而非比较两个点;报告每一波的流失,能让上升的平均值不至于掩盖离开的学生。

教师发展者可以用同样的方式评价专业发展:重复测量,并至少包含一项不使用工具完成的任务。一个提升了信心与使用率、却让无辅助表现持平的工作坊系列,说明了关于态度的一些事情,而这个区分值得报告给资助下一个系列的人。

管理者可以记录研究或试点期间发生的变化:模型版本、许可变更、界面更新。一个学期足够长,让工具变成另一种处理条件;与解释一次无法解释的跳升相比,记录的成本很低。

研究者可以在自己的写作中把两种断言分开。时间次序支持先后,不支持因果;一组前后测是重复测量设计,而不是轨迹。

纵向设计做不到什么

它们本身不确立因果。时间上的先后是必要但不充分的:一个未被测量、按同样节奏变化的变量(新的评价制度、课程改革、队列效应)可以产生同样的模式。它们耗费参与者的时间,限制了样本量,且常常迫使使用自陈。而一个学期太短:发展心理学 意义上的发展性问题需要数年,而这一文献中几乎没有研究跨越这样长的时间。

它在研究中如何出现

更有力的例子集中在高等教育,因为一个学期提供了一个自然的框架:Xu 的三波面板、Zhang 与 Tang 的五波增长模型、Song 一个学期的自我调节数据、Melanou 为期九周的准实验。教师教育贡献了趋势研究。学校层面的纵向工作更少,而那篇 slug 里带着“longitudinal”的中学 LMS 论文是一个设计提议而非纵向研究 —— 这提醒我们,标题里的标签不是设计。

与其他方法的关系

纵向设计位于 量化研究 之内,并共享其测量问题。当问题是“为什么一条轨迹弯折了”时,它们常与 混合方法 配对。它们与 随机实验 不同,因为它们观察随时间自然发生的变异而非分配变异;与 基于设计的研究 也不同,因为它们不对一个干预进行迭代。DBR 解释如何让某样东西在情境中奏效,纵向工作则解释什么在什么时间发生了改变。学习分析 提供痕迹数据,使细粒度的纵向分析不必依赖重复调查。

常见误解

  • “两个时间点就使一项研究成为纵向研究。” 一组前后测是重复测量设计;它无法估计轨迹,通常也无法把变化与测验效应分开。
  • “纵向意味着因果。” 时间上的次序是必要但不充分的;队列效应、同期改革与工具更新都能在并非处理条件所致的情况下产生变化。
  • “大样本能弥补短窗口。” 样本量解决的是精度问题,而不是一个发展性或制度性过程展开所需的时间。
  • “同一个项目就意味着同一批人。” 重复横断面追踪的是总体,不是个体;两者支持不同的断言。
  • “自陈的趋势就是态度的趋势。” 报告的使用与报告的立场会随规范、随测量工具以及随行为而变化。

关联概念

关联文章

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。