AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

语音与语音技术

创建 2026-09-16 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

语音与语音技术 —— 由语音通道承载交互的一类 AI 系统：自动语音识别（ASR）负责转写、分析并评价学习者所说的话；文本转语音（TTS）生成朗读式或对话式的教学内容；以语音为先的智能体与学习者进行实时口语对话；以及对口语表现的自动采集与评分。对话式人工智能 研究主要关注文本聊天机器人，语言学习 则宽泛地涵盖第二语言教学法，而本页追随的是语音本身 —— 语音界面改变了学习的哪些方面，代价是什么，以及当界面是声音而不是屏幕时，它把谁纳入其中、又把谁排除在外。

值得思考的问题

  • ASR 反馈对能力较强的学习者帮助更大：在一项针对 325 名中国本科生的调查中，反思行为与动机的回报在低水平组微弱且不显著，而在中等与高水平组显著增强。如果一个工具提高了整体平均水平却拉大了差距，它能算成功吗？
  • TTS 朗读在理解度、专注度和总体评价上与教师本人的声音相当 —— 但对话式 TTS 在理解和认知投入上优于单人 TTS，尽管听起来不那么自然。对于概念的初次介绍，你会选择哪一种；对于密集的程序性讲解，又会选择哪一种？
  • 有两项发现有悖直觉：在口译任务中最重度阅读 AI 输出的学生，其表达流利度最弱；而一个用两个词作答的学习者被判为正确，一段更完整的口语回答却被标记。语音界面究竟在多大程度上测量的是口头流利度而非理解？
  • 带英国口音的语音智能体被当作工具看待，而带印度口音与美国非裔口音的智能体则被拟人化，在 K-12 小组合作 中被视为同伴。如果口音改变了学习者与智能体的关系，那么教育产品发布时应使用哪种声音，该由谁来决定？
  • 以语音为先与离线的系统，主要是为触达被基于屏幕的 edtech 排除在外的学习者而存在 —— 失明儿童、听障与重听学习者、身处没有网络的工作坊中的学习者。要怎样才能让无障碍成为语音产品的起点假设，而不是后来的补丁？
  • 本页几乎每一条论断都来自简短的、单一站点、自我报告的固定呈现顺序研究。在复制研究出现之前，这些发现中哪些足以让你改变自己的评价或课程设计？

引言

语音是最古老的教育界面，也是 AI 最新采用的界面。能听会说的系统如今出现在语言课堂、职业培训工作坊和高中探究课上。它们吸引人的原因一如往常 —— 语音速度快、无需动手也无需用眼，而且是发音、流利度与口语推理所栖居的媒介；此外还有一个更新的原因：限时的口语回答很难外包给文本生成器，这使语音通道成为应对书面评价中 学术诚信 压力的一条候选答案。

此处的研究分为四个簇：ASR 发音反馈、TTS 生成的教学、以语音为先与口语对话伙伴、以及 AI 支持的口语评估。贯穿四者的是一个关于公平的问题 —— 语音界面移除了一道障碍（视力、阅读速度、打字能力），同时又设置了其他障碍（口音、识别准确率、硬件、网络连接）。

ASR 与发音反馈

ASR 研究中最一致的信息是：工具本身不是处理变量 —— 反馈设计才是。Chen 等（2026）调查了中国一所师范院校的 325 名本科生，将准确度、使用频率、反馈质量和反思任务设计分别对反思行为与内在动机建模，再对口语提升建模。准确的纠错与结构化的反思任务同时推动了反馈内化与反思。更频繁的使用促进了反思，但对动机没有独立效应。识别准确率提升了动机，很可能是通过建立对工具的信任，但它本身并不触发更深的加工 —— 学习者可以登记一处被标记的错误而不分析其原因。反思是口语提升更强的预测因子，且熟练度调节了这两条路径：在低水平组微弱且不显著，在中等与高水平组显著增强。由此得出的建议是：以发音部位的方式解释错误而非仅仅标记，随准备程度逐步提升复杂度，并以支持性的方式呈现纠错。

第二个分支追问 AI 发音反馈是否改变学习者的开口意愿。Lu 等（2026）调查了 1,701 名中国高校 EFL 学习者，采用基于协方差的结构方程建模与偏差校正的自举法，检验对 生成式人工智能 发音反馈的感知是否与交际意愿相关，并以发音自我效能为中介变量。该关联为正，且自我效能感部分中介了它：间接路径占总效应的 69.9%，同时仍存在直接效应。所有构念均为单时点的自评，因此该研究描述的是学习者所感知的机制，而非被操纵的机制。

自动化发音反馈也可以不依赖错误标签来构建。Kawamura（2026）介绍了 Profy：它通过自监督学习从大量未标注的语音中了解好听与不佳的发音长什么样，然后向学习者展示是哪些波形区域驱动了判断，以及他们的声学特征与母语者分布的差距有多远。由五位美国听众对十名日本英语学习者评分，可理解度得到提升，而且与引发模仿基线不同，练习前后的置信区间不重叠 —— 样本虽小，却给出的是在哪里、差多少，而非二元的判定。

ASR 在课堂中还有第二种角色 —— 把口语输入转化为学习者阅读的文本。Stanchev（2026）将一篇 2,692 词的医学英语课本关于蛋白质的段落用一种文本转语音声音（15:27，加拿大女声）渲染，并把同一段音频提交给四个在线 ASR 服务，同时测量词错误率（WER）与覆盖率（返回词数占参考文本的比例）。两个免费服务返回了近乎完整的转写（覆盖率 87.96% 与 88.34%，WER 为 15.23% 与 15.00%），而两个付费服务只导出预览（覆盖率 32.76% 与 55.35%，WER 为 73.21% 与 48.77%）。测量要点在于：仅看 WER 会把"无法获得的文本"与"不准确的文本"混为一谈，从而把导出限制误判为转写失败，因此覆盖率应当与错误率并列呈现。删除错误在每个服务中都占主导，并聚集在图表引用、页码等结构性标记上，但有少数改变含义的替换 —— imino → amino、cystine → cysteine、protonated → protonatid、pH → phase —— 每一处都颠倒了一个生化事实。这就是为什么作者建议在转写文本到达学习者之前执行三阶段工作流（生成输入、导出完整转写、核验领域术语），而术语核查是医学英语中最廉价的护栏。

TTS 与语音生成的教学

生成式朗读证明可以替代录制的教师，而有趣的差异存在于格式内部，而非人与机器之间。A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential构建了一条三阶段、人在环路的流水线：大语言模型（LLM）起草幻灯片与为 TTS 优化的讲解，而教育者在每个阶段进行事实核查，随后在一所日本县立高中对 245 名一年级学生进行了被试内研究，比较教师配音视频、单人 TTS 与专家-新手对话 TTS。三者在理解度、专注度与总体评价上没有显著差异（p > .14，r < 0.11），等值检验把三者都保持在 ±0.5 的界内：合成朗读没有损害体验。对话式朗读在理解度（p = .006，r = .130）、被报告的思考深化（p = .019，r = .121）以及能够向朋友解释内容（p = .004，r = .152）上更优，且 66.9% 的人认为它最令人愉快。两点保留：对话音频的自然度显著更低（r = −.238），与多人说话带来的额外负荷一致；且对话组入组时的先前知识更少（66.0% 报告"完全不了解"，对照组为 34.1%），这使其优势成为保守估计。

后续研究主张格式应与学习者匹配，而非与内容匹配。Watanabe 等（2026）为 222 名高一学生提供了由 LLM 生成、经 TTS API 配音的师生（TS）、生生（SS）与师师（TT）对话课程，并以能力-处理交互的视角拟合线性混合效应模型。TT 比 TS 更能提升动机，但该效应取决于学习风格：与具体经验因子的交互为正（b = 0.162，p < .001），而与反思-概念化因子的交互为负（b = −0.238，p = .002）。TT 的总体评价也显著低于 TS（b = −0.126，p = .005），作者将其归因于密集的专家对专家交流带来的内在认知负荷；自由作答中提到 TT 的"说话生硬"和 SS 的"说话方式不自然"。这两项 TTS 研究都把格式与内容以及固定观看顺序混在一起，因此其效应量都是初步的。

以语音为先的伙伴与口语对话伙伴

当对话方是一台机器时，会有什么变化？Scheinberg 等（2026）让四个站点的 78 名大学德语学习者与一位人类同伴和一个实时 AI 伙伴分别完成经过平衡的找差异任务，随后分析经说话人分离的 ASR 转写。人类对话更快、更均衡，有大量短轮次，而 AI 条件看起来像被支持的独白 —— 轮次更少更长、学习者占用话轮的比例更小、轮次内流利度更高。AI 冗长、句法规整的输入与更大的短期习得和更强的句法启动相关（在控制输入量之后），而满意度追随的是学习者自身的产出流利度，而非他们吸收了多少。

当学习者无法使用屏幕时，以语音为先的设计就从便利变成必需。Kutti AI（Fadurudeen 2026）颠覆了 edtech 的视觉假设，以触达全球估计 140 万名失明儿童：儿童听课程内容、大声作答，并在完全不依赖视觉的情况下获得口语反馈。三个设计选择支撑着它：一个轻量的困难检测引擎，融合响应延迟、错误尝试次数与关键词犹豫线索来决定何时提示或简化；一条跨语言的答案匹配流水线，使语码转换与发音差异不被惩罚；以及一条离线的端侧 ASR 路径，彻底免除网络连接要求。它是一项系统贡献，没有学习成效评价，因此其教学法主张仍是假设。

与此同时，口音是一个具有社会后果的设计变量。Ravi 等（2026）让 33 位教师在英国、印度与美国非裔口音条件下与一个 GenAI 语音智能体在 K-12 小组学习中互动。英国口音的智能体基本被当作工具，以疏离的、基于效用的方式与之交互；而带印度与美国非裔口音的智能体更容易被拟人化，并被当作同伴融入，随时间的信任与依赖也更强。话轮转换、提问模式与所感知的社会存在感都随口音而变化 —— 让智能体易于被当作中立资源的那种声音，同样让它更容易作为协作者被忽视。

对口语支持工具的重度使用并不自动地更好。Kuang、Li 与 Weng（2026）让 22 名口译学员在基于 ASR 与机器翻译构建的系统中完成双向的计算机辅助交替传译任务，记录眼动、笔头笔记与语音输出。涌现出四种交互画像 —— 重度投入者、快速扫描者、传统主义者、频繁切换者 —— 且 58.3% 的阶段级观察在理解源语与产出译语之间改变了画像。只有理解阶段的模式预测产出质量，而 AI 使用最重的簇在表达流利度（5.46，对比 6.17–6.46）与目标语质量（5.70，对比 6.35–6.67）上得分最低。花在阅读 AI 转写上的注意力，就是没有花在构建自身表征上的注意力；作者建议教会学习者反思自己的策略，而不是规定一种策略，因为该模式除非被浮现出来，否则是不可见的。

一项预注册的随机实地实验在同一个辅导系统内比较语音通道与打字文本，发现学习发生在辅导之中，而不在声音之中。Yang、Van Alstyne 与 Dellarocas（2026）将一门在线 MBA 公司金融模块中的 86 名学生随机分配到一个基于课程材料构建的结构化辅导组和一个留出组，然后每周在接受辅导的学生之间轮换语音与文本通道，使比较在每个学生内部被识别：每周掌握度相差 −0.01 分（满分 11，p = .98），两个单侧检验排除了任何大于 ±0.3 SD 的真实差异。声音改变的是过程而非结果 —— 语音每周 1.34 个对话轮次，文本为 0.75；提问数 11.3 对 4.6 —— 而思考停顿被压缩了（从导师到学生回复的中位间隔，语音为 27 秒，文本为 54 秒，其中打字轮次在第一次击键前花 25.9 秒、另花 13.9 秒写作），并且语音通道的交付成本高出 2.8 倍：每语音分钟 \0.22，对比每条文本消息0.22，对比每条文本消息 \\0.0165（52 个座位五周共 \413.46对413.46 对 \\149.13）。就这一证据而言，语音是一个采纳与投入杠杆，而非编码杠杆 —— 而这正是任何增设语音通道的机构必须为其定价的权衡。

AI 在口语与口头评价中的应用

口头评价历来在教学上很强，在后勤上昂贵，而语音技术如今攻的正是成本这一侧。Pentland、Lowenthal 与 Krier（2026）描述了异步口头评价（AOA）：及时交付的题目、限时的、无法回看的网络摄像头作答，以及依据内嵌评分细则的打分与自动生成的转写。在两门由同一位教师讲授、没有排课限制的课程中，学生在 AOA 上的得分高于现场多选题考试 —— 研究 2 中显著（期中中位数 92.5 对 70，p < .001；期末 94.2 对 86.4，p = .002），研究 1 中方向一致，且跨格式相关性为中等（τ = .44；τ = .25，不显著）。学生转向了更主动的备考，90.91% 认为该形式比书面考试更接近职场沟通，81.82% 报告更主动地与内容互动。作者谨慎地指出：这些是格式分数差异，而非学习增益的证据，其诚信优势是推断而非测量所得；一次用 LLM 重新打分的核查发现教师给分系统性偏高且一致性为中等偏优（ICC 0.73 与 0.60），这被用作信度核查，而非对自动评分的认可。

Fenton（2025）以综述形式提供了理由：由于口试实时且互动，学生无法提前生成并背诵答案，且该形式探测的是布鲁姆分类法更高层级的推理而非回忆。其益处 —— 个性化、真实性、工作准备度、更深的知识 —— 伴随着有名字的代价：排课与后勤、学习者焦虑，以及围绕性别、族裔、语言、应答速度和非匿名评分的偏见风险，尽管证据表明口试对某些学习者（包括阅读障碍者）可以与书面考试同样包容。

两处部署展示了这项技术所增添的东西。AkoVoice（Adams 2026）在新西兰的四门 3 级汽车班和一门 3 级工程班评价了 33 名学习者，使用学习者自有的手机，对一台运行开源权重模型的中端笔记本电脑 —— Mistral 7B（经 Ollama）、faster-whisper（语音转文本）、Chatterbox（TTS） —— 最多同时评价 12 名学习者，且全程无网络连接。AI 被定位为证据浮现者而非裁判，使评价者的判断保持完整。学习者反应积极：33 人中有 21 人（64%）认为任务真实，且无人不同意"实时开口说话"与书面作品集相比感觉是对的。表现数据更有意思。同一问题的词数在每个班内不同学习者之间相差五到八倍（93–523、92–796、309–811），然而冗长并不能预测封闭式问题的准确度；有九名学习者用 2 到 13 个词作答且全部判对，最短的是"3500 kgs"，而更完整的"the safe working load is three tons"却在一份 3.5 吨的评分指南下被标记。邻近的园艺（14 名学习者）与奶牛养殖（11 名学习者）试验发现，智能体的初评与人类导师评分的一致率为 95%。在题目一侧，Aryadoust 与 Wong（2026）比较了迭代式提示工程与微调在 L2 听力题目上的表现，共产出 40 套试卷与 240 道多选题：提示精进提升了质量但很快见顶，而在提示设计保持不变的前提下用优化后的提示微调 GPT-4.1 则进一步改善了生成。口头评价也有测量错东西的风险 —— Morphew 等（2026）在转写语音之外同时追踪手势，并主张只评价语音会漏掉具身的理解证据，从而使流利度被误认作概念知识。

语音通道中的无障碍与公平

语音技术的无障碍记录是混杂的：同一条移除了某道障碍的通道，也可能装上另一道。听障与重听学习者是最明显的不匹配。Chen 等（2026）为观看视频的 DHH 学习者设计了一套 LLM 出题系统，并借助语言剥夺理论解释为什么基于文本的提示与以手语为第一语言的人适配不佳。它增加了视觉问题（视觉信息很可能被误读的时间点 —— 快速运动、对不齐的字幕、密集的屏显文字）与情绪问题（以往 DHH 学习者报告沮丧或困惑的时间点），并与学习者和教师一起打磨出最终 30 题的题库。在 16 位用户中，该原型提升了自我效能（7 点量表上 M = 5.70，SD = 1.12），且失聪参与者比重听参与者更常选择视觉问题，后者报告读字幕已足够快而不需要它们。这里的无障碍必须被内建到生成之中，而非事后附加。

AkoVoice 增添了很少同时浮现的两项公平考量。第一是数据：录音在静态时加密、本地托管、90 天后删除，作者把参与者的声音视为个人与文化的表达，而非训练模型或构建生物特征画像的资源 —— 这一立场之所以重要，是因为 EU AI Act 将用于评价职业培训学习成效的 AI 归类为高风险。第二是口音与语域：语音转文本的准确率未在学习者的各种口音上得到充分测试，而"有吸引力"之类的评分细则标准被标记为具有文化特定性，可能对第二语言说话者构成惩罚，因此增设了一个复核备注字段。与 K-12 小组合作中的口音发现以及主流 edtech 近乎彻底的视觉假设并置来看，其中的格局是：语音界面移除了视力、阅读速度与网络连接的障碍，同时把口音、识别准确率、硬件成本与文化语域留作开放问题。

范围说明。本页讨论的是语音通道及其承载技术。至于广义的第二语言教学法 —— 写作发展、语法准确度、动机、教师实践 —— 请见 语言学习，它横跨 AI 与 L2 教学，把口语视为若干线索之一。至于文本聊天机器人与与模态无关的对话设计，请见 对话式人工智能；本页若干文章也涉及对话，但它们的问题是口语，而非如何提示聊天模型。至于屏幕阅读器、字幕、触觉图形与并非以语音为主的辅助工具，请见 辅助技术，它位于本 wiki 更宽的可及性与包容性学习脉络之下。

仍存的不确定性

此处几乎每条强论断都只由一项简短研究支撑。两项 TTS 课程研究都在单一日本高中进行，且固定的呈现顺序把格式与内容混在一起，其学习成效测量也基于内部量表自评。ASR 反馈模型来自一所中国大学且为横断面设计，因此其熟练度调节的发现描述的是共变而非因果。交际意愿研究测量的是对反馈的感知，而非反馈质量。口译画像研究是一项 22 名参与者的探索性分析，其中产出阶段的效应未达显著。AOA 与 AkoVoice 部署均为单一机构，且 AkoVoice 没有报告终结性的学习证据，因为其语音评价与实际评价并行运行。Kutti AI 是一项完全没有成效评价的系统贡献。这一集合确实支持的是一组设计主张：在 ASR 使用中反馈质量胜过练习量；对话式朗读能以自然度为代价帮助理解；格式应与学习者特征匹配而非固定；AI 应当浮现证据而非取代人类评价者；实时开口所说衡量的是写作所不能衡量的东西 —— 包括一种对学习者用词多少惊人地不敏感的准确度。其中任何一条能否在另一站点、另一种语言、或另一年份成立，都未经检验。

关联概念

关联文章

元数据

学科Language Learning
层次K 12, Higher Ed, Adult Learning
目标读者Instructors, Learners, Researchers, Instructional Designers
技术与方法生成式人工智能, 多模态人工智能
评估与测量评估
公平、伦理与负责任使用可及性, 包容性学习
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。