AIEd 知识库AIEd KB
本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

概念

多模态人工智能

创建 2026-08-09 · 更新 2026-10-09

本页是英文页面的机器翻译，尚未经母语者审校。

多模态人工智能 — 跨多种模态 — 文本、图像、音频、视频与结构化数据 — 处理、理解或生成内容的人工智能系统，以及这些系统提出的教育问题。在人工智能教育中，多模态人工智能以三种不同角色出现：作为学习者创造并参与其中的学习内容（多模态学习）、作为必须解释图表与图形的辅导系统的能力边界（多模态辅导），以及作为用来评价理解的评估信号（多模态测量）。

值得思考的问题

  • 想想你曾经难以用言语解释的一张图、一幅受力图或一张示意图。这段经历对一个试图帮助解决图像密集问题的纯文本人工智能导师的局限说明了什么？
  • 一个物理导师约 96% 的时间能正确回答基于文本的问题，但在意义嵌于图表中的问题上降到约 74%。在阅读之前，你认为是什么造成了这种“多模态干扰” — 而你能想到一个不涉及重新训练模型的解决办法吗？
  • 你很可能已经用人工智能工具生成过文本与图像。你有没有发现“为图片而提示”与为文本而提示不同？学生把抽象想法转译为精确视觉提示可能需要哪些技能？
  • 多模态人工智能可以评论文文、生成带音频旁白的反馈，甚至从图文题中重建考试题目统计量。从纯文本到多模态评估信号的转变，对公平性与效度意味着（或冒了）什么？
  • 人工智能支持恰恰在那些建立深层STEM理解的图表密集问题上较不可靠，这一事实如何可能在学习者之间造成公平差距？谁受影响最大？
  • 多模态系统可以把文本译为音频或视觉以支持包容性学习，但它们也促成细粒度的课堂感知。有帮助的多模态可达与监控之间的界线在哪里？

引言

人工智能中的多模态指跨不同表征形式而非仅文本工作的能力。现代生成式人工智能与大语言模型（LLM）系统日益接受并产出图像、音频与视频，为教育开启新可能与新风险。扎根于社会符号学理论 — 它认为意义跨模态而制，不只是词语 — 多模态人工智能改变了教学、学习与评估如何被设计与评价。（Multimodal Learning with Generative AI）

教育中多模态人工智能的三副面孔

1. 多模态学习与内容创作

多模态人工智能使学习者能跨文本、图像、音频与视频产出并参与内容。一份关于用生成式人工智能进行多模态学习的教育者指南把这些工具定位为“赛博社会”伙伴：它们补充 — 但不能取代 — 人类的意义建构。（Multimodal Learning with Generative AI）

  • **多模态情境中的人工智能素养**是分层的：对多模态平台的基本觉察、中间的共创与对输出的批判性评价，以及对多模态活动与评估的高级设计。（Multimodal Learning with Generative AI）
  • 多模态提示本身是一项要求很高的认识论实践。为图像与文本都进行提示的学生发现，“为文本提示与为图片提示之间的提示素养是不同的” — 把抽象意义转译为机器可读的多模态提示，需要精确的视觉词汇，并暴露系统局限与偏差。（Students' multimodal prompting practices as epistemic work in AI literacy development）
  • 多模态评估从论文转向结合文本、图像、音频与视频的制品，教育者用人工智能来搭建创作与反馈的支架，而非取代学习者自己的产出。（Multimodal Learning with Generative AI）
  • 学习者多模态创作作为批判性思维支架带有一种权衡。 Lu 等人（2027）表明，让小学生把书面叙事转为人工智能生成的图像与短视频，支持了解释、分析、评价与解释方面的持续增益 — 却没有支持推断。因为视觉使故事意义显性化，学生报告对仅从文本推断隐含意义的需求降低；是同侪协作而非多模态工具恢复了推断的场合。多模态人工智能作为意义建构伙伴的价值因维度而异，并取决于刻意重新引入那种外部化可能短路掉的推断性与自我调节工作的教学设计。
  • 学习者多模态创作作为批判性人工智能素养。 Burriss 等人（2026）分析了 22 名十一年级学生就自选的人工智能伦理议题 — 经由学校监管的笔记本电脑与电子“通行证”的监控、知情同意、惩罚性的算法指控 — 制作的 90 秒到 3 分钟视频公益广告，把它们当作经由活动图像、声音、文本与学生自己的身体创作而施行的批判性人工智能素养。在全部七部影片中，伤害被描绘为从人—机器纠缠中涌现而非仅从工具涌现（一部被拟人化的“人工智能跟踪者”在七部中的三部由真人演员扮演），而 18 份单元结束回应中有 15 份说创作改变了他们对人工智能伦理的理解。作者论证，多模态制品既展示又传达批判性能力 — 生产性制品、反思与公民话语可以充当评估证据，这是纯文本素养在结构上会漏掉的东西。

2. 多模态辅导与能力边界

当基于大语言模型的导师必须解决意义嵌于图形、受力图、示意图或表格中的问题时，其准确率急剧下降 — 这就是多模态干扰效应。（Multimodal Dialogue in STEM Education）

  • 在 OpenStax 物理题上，纯文本准确率约 96% 降到图像密集题上的约 74%，这在各模型族间一致。（Multimodal Dialogue in STEM Education）
  • 视觉处理错误 — 未能从图形或图表中提取信息 — 主导错误分类，且是最可纠正的失效模式。
  • 一个简单的结构化对话干预（让模型描述它看到什么，只纠正可观察的误读而不泄露物理，然后重新提示）把准确率恢复到约 95%，且零重新训练。（Multimodal Dialogue in STEM Education）
  • 这是一个公平关切：在图像密集问题上工作的学生 — 恰恰是在 STEM 中建立深层概念理解的问题 — 目前得到的人工智能支持比在纯文本练习上的学生更不可靠。
  • 构建一个视觉辅助比阅读一个更难。 在 GeoVAD-Bench 上，提供一个专家辅助图把准确率提高（+3.3 到 +7.0 分），但让模型构建自己的辅助线使差距扩大 10.0 到 13.5 分 — 两个模型的表现比完全没有视觉推理时更差（Dong 等人（2026））。
  • 边界是一种剖面，而非一个水平 — 而艺术意象落在模型处理良好的区域之外。 MUSE（Zhu 等人，2026）在 1,174 件委托艺术作品上以 12 项任务评价 30 个开放与专有 VLM，各维度上的能力差异比任何聚合分数所暗示的更宽：场景分类接近成熟（30 个模型中 23 个高于 75.0，中位数 81.0），而情绪检测最高只到 39.5，需要模型阐明其证据的开放式任务在语义相似度上得 50.90（视觉线索识别）与 49.18（情绪原因推断）。组合性与视点依赖的推理失败得最厉害 — 在基准真值未规定明确横向或纵向关系之处，90.0% 与 73.3% 的模型仍断言其一，只有 43.3% 正确把女孩置于纵深，且没有模型解决单个题目的全部三个维度。失败还会级联：一个误扎根的角色随后被一个由邻近视觉语义（蝴蝶、鸟）构建的流畅理由所论证 — 这是辅导中最危险的结局，因为解释读起来像是有能力的。对基于图像的语言学习，这主张对课程实际使用的意象做维度级验证，而非引入一个通用的多模态分数，并把下述 grounding 检查点延伸到情境化的艺术内容（MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education）。

实际的设计含义是在多模态辅导中设置一个视觉 grounding 检查点：一个刻意步骤，系统在尝试求解之前先描述它看到什么，使学生或人类监督者有机会纠正感知错误。（Multimodal Dialogue in STEM Education）

Abreu 等人（2026）补充了一个先决约束：一个公式、图形或单位可能出现在报告中却从未从处理过的文档中被检索出来，因此与教师的分歧可能是提取失败而非推理失败 — 这使提交格式成为评估设计的一部分。

3. 多模态评估与测量

多模态人工智能同时拓宽了评估的内容与用于打分的信号。

用于语言与无障碍学习的多模态人工智能

多模态系统也扩展可达与个性化。人工智能引导的音频视频学习工具调整播放速度、产出多模态视频摘要，并支持发音练习。（AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques）多模态知识图跨图像与文本为教育任务推理，（Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning）而多模态表征通过跨模态翻译信息（例如文本到音频或视觉）改善包容性学习。领域应用包括手写数学评分与诊断、（Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work）带多模态信号的情感辅导、（An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training）（MathBuddy: Affective Math Tutoring）专门领域的文本到图像学习、（NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts）以及隐私感知的多模态课堂感知。（Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition）Bird（2026）演示了一种文本内部的多模态形式：把一个微调的 ELECTRA 变换器与计算语言学特征分析相融合，按英国关键阶段对英国文学分类，融合模型（F1 0.996）远超每一个单模态基线 — 证据表明结合表征形式（即使在文本之内）可以胜过单模型方法。

挑战与设计含义

  1. 缩小多模态差距。 多模态辅导系统应包含视觉 grounding 与结构化对话支架，而非假定视觉能力稳健。（Multimodal Dialogue in STEM Education）
  2. 把多模态提示当作可教技能对待。 人工智能素养课程必须处理模态特定的提示、跨模态的一致性与对多模态输出的批判性评价。（Students' multimodal prompting practices as epistemic work in AI literacy development）
  3. 保全人类的意义建构。 多模态人工智能应当增强而非取代学习者自己对跨模态意义的建构与评价。（Multimodal Learning with Generative AI）
  4. 把评价延伸到多模态效度。 当人工智能给多模态制品评分或生成它们时，必须检视评估效度、偏差与可靠性。（Multimodal Item Parameter Estimation using Simulated Response Probabilities）（人工智能教育评价）
  5. 留意公平与隐私。 图像密集问题上不可靠的支持与多模态感知的数据需求，都带有公平与隐私含义。（Multimodal Dialogue in STEM Education）（Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition）
  6. 把流水线匹配到内容。 一个网络安全实验室助手的多模态大语言模型更好地处理了密集视觉幻灯片，而一个 OCR 加大语言模型流水线在以文本为中心的幻灯片上提供了可比的指导价值，计算成本却显著更低。（Patel 等人（2025））

关联概念

关联文章

相关资源

  • DrawSplat
    一个免费浏览器端的小型教学工具平台：白板、电子表格、幻灯片、文档、清单、概念图、测验、图表、图片与视频。

元数据

学科Stem Education
层次Higher Ed
技术与方法生成式人工智能, 智能辅导, 大语言模型（LLM）, 多模态人工智能
评估与测量评估, 教育测量
教育中的人工智能基础教育中的人工智能, AI 素养
SourceHistoryEditChat

嵌入此页

复制下面的代码，将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。