Мультимодальный ИИ

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Мультимодальный ИИ — AI systems, которые обрабатывают, понимают или генерируют контент в нескольких модальностях — текст, изображения, аудио, видео и структурированные данные, — и образовательные вопросы, которые поднимают эти системы. В AI in education мультимодальный ИИ выступает в трёх различных ролях: как учебный контент, который учащиеся создают и с которым взаимодействуют (multimodal learning), как граница возможностей систем тьюторства, которые должны интерпретировать диаграммы и графики (multimodal tutoring), и как сигнал оценивания, используемый для оценки понимания (multimodal measurement).

Вопросы для размышления

• Вспомните график, диаграмму сил или схему, которую вам когда-либо было трудно объяснить словами. Что этот опыт говорит об ограничениях текстового AI tutor, пытающегося помочь с задачами, насыщенными изображениями?
• Тьютор по physics отвечает на текстовые задачи примерно в 96% случаев, но опускается примерно до 74% на задачах, где смысл заложен в диаграммах. До чтения — как вы думаете, что вызывает эту «мультимодальную интерференцию», и можете ли вы придумать решение, не требующее переобучения модели?
• Вы, скорее всего, генерировали с помощью ИИ и текст, и изображения. Замечали ли вы, что «prompting для картинок» отличается от промптинга для текста? Какие навыки могут понадобиться учащимся, чтобы перевести абстрактную идею в точный визуальный промпт?
• Мультимодальный ИИ может оценивать эссе, генерировать обратную связь с аудиосопровождением и даже восстанавливать статистику заданий экзамена из элементов «изображение плюс текст». О чём сигнализирует (или чем рискует) переход от текстового к мультимодальному оцениванию с точки зрения fairness и валидности?
• Как может тот факт, что поддержка ИИ менее надёжна именно на тех задачах с большим количеством диаграмм, которые формируют глубокое понимание STEM, создавать equity между учащимися? Кто страдает больше всего?
• Мультимодальные системы могут переводить текст в аудио или визуальные образы для поддержки инклюзивного обучения, но они также позволяют осуществлять детальную слежку в аудитории. Где проходит граница между полезным мультимодальным доступом и слежкой?

Введение

Мультимодальность в ИИ означает способность работать с разными репрезентационными формами, а не только с текстом. Современные системы Генеративный ИИ и Большие языковые модели (LLM) всё чаще принимают и производят изображения, аудио и видео в дополнение к тексту, открывая новые возможности и новые риски для образования. Опираясь на теорию социальной семиотики, согласно которой значение создаётся в разных модальностях, а не только в словах, мультимодальный ИИ меняет то, как проектируются и оцениваются teaching, обучение и оценивание.(Multimodal Learning with Generative AI)

Три грани мультимодального ИИ в образовании

1. Мультимодальное обучение и создание контента

Мультимодальный ИИ позволяет учащимся создавать контент и взаимодействовать с ним в форматах текста, изображений, аудио и видео. Руководство для педагогов по мультимодальному обучению с генеративным ИИ позиционирует эти инструменты как «киберсоциального» партнёра: они дополняют — но не могут заменить — человеческое создание смысла.(Multimodal Learning with Generative AI)

• AI literacy в мультимодальных контекстах имеет слоистую структуру: базовое понимание мультимодальных платформ, промежуточное совместное создание и critical evaluation результатов, а также продвинутое проектирование мультимодальных активностей и оценивания.(Multimodal Learning with Generative AI)
• Мультимодальный промптинг сам по себе является требовательной эпистемической практикой. Учащиеся, которые промптят и изображения, и текст, обнаруживают, что «промптовая грамотность различается при промптинге для текста и при промптинге для картинок» — перевод абстрактного смысла в машиночитаемые мультимодальные промпты требует точного визуального словаря и вскрывает ограничения и предвзятость систем.(Students' multimodal prompting practices as epistemic work in AI literacy development)
• Мультимодальное оценивание смещается от эссе к артефактам, сочетающим текст, изображения, аудио и видео, при этом педагоги используют ИИ для scaffold в создании и обратной связи, а не для замены собственного продукта учащегося.(Multimodal Learning with Generative AI)
• Мультимодальное сочинение учащихся как опора для критического мышления несёт компромисс. Lu et al. (2027) показывают, что превращение письменных повествований в сгенерированные ИИ изображения и короткие видео поддержало устойчивый прирост в интерпретации, анализе, оценке и объяснении — но не в умозаключении. Поскольку визуальные образы делали смысл истории явным, учащиеся сообщали о меньшей необходимости выводить скрытый смысл из одного текста; именно взаимодействие со сверстниками, а не мультимодальный инструмент, восстановило поводы для умозаключений. Таким образом, ценность мультимодального ИИ как партнёра в создании смысла зависит от конкретного измерения и от instructional design, который намеренно возвращает умозаключительную и self-regulatory работу, которую внешнее представление может сократить.
• Мультимодальная composition учащихся как критическая ИИ-грамотность. Burriss et al. (2026) анализируют 90-секундные и 3-минутные видеоролики социальной рекламы 22 одиннадцатиклассников по самостоятельно выбранным проблемам Этика ИИ — слежке через школьные ноутбуки под контролем и электронные «пропуска в коридор», informed consent и карательному алгоритмическому обвинению, — как critical AI literacy, реализуемую через сочинение в движущемся изображении, звуке, тексте и собственных телах учащихся. Во всех семи фильмах вред изображался как возникающий из взаимосвязи человека и машины, а не только из инструмента (антропоморфизированный «ИИ-сталкер» был сыгран человеком-актёром в трёх из семи), и 15 из 18 ответов в конце модуля заявили, что сочинение изменило их понимание этики ИИ. Авторы утверждают, что мультимодальные продукты и демонстрируют, и передают критическую компетентность — продуктивные артефакты, рефлексии и общественная дискуссия могут служить доказательством Оценивание, которое структурно упускает чисто текстовая грамотность.

2. Мультимодальное тьюторство и граница возможностей

Когда тьюторы на базе LLM должны решать задачи, где смысл заложен в графиках, диаграммах сил, схемах или таблицах, их точность резко падает — это эффект мультимодальной интерференции.(Multimodal Dialogue in STEM Education)

• На задачах OpenStax по физике точность только по тексту ~96% падает до ~74% на задачах, насыщенных изображениями, последовательно во всех семействах моделей.(Multimodal Dialogue in STEM Education)
• Ошибки визуальной обработки — неудачи извлечения информации из графиков или диаграмм — доминируют в таксономии ошибок и являются наиболее исправимым типом отказа.
• Простая интервенция структурированного диалога (попросить модель описать то, что она видит, исправить только наблюдаемые* ошибки чтения, не выдавая физику, а затем перепромптовать) восстанавливает точность до ~95% без какого-либо переобучения.(Multimodal Dialogue in STEM Education)
• Это проблема справедливости: учащиеся, работающие над задачами, насыщенными изображениями, — именно над теми задачами, которые формируют глубокое концептуальное понимание в STEM, — в настоящее время получают менее надёжную поддержку ИИ, чем те, кто занимается только текстовыми упражнениями.
• Построить визуальную опору труднее, чем прочитать одну. На GeoVAD-Bench предоставление экспертной вспомогательной диаграммы повышало точность (с +3,3 до +7,0 пунктов), но позволение моделям строить собственную вспомогательную линию расширяло разрыв на 10,0–13,5 пунктов — две модели показали результат хуже, чем без всякого визуального рассуждения (Dong et al., 2026).
• Граница — это профиль, а не уровень — и художественные образы лежат вне области, которую модели обрабатывают хорошо. MUSE (Zhu et al., 2026) оценивает 30 открытых и проприетарных VLM на 12 задачах над 1 174 специально заказанными произведениями искусства, и разброс возможностей по измерениям шире, чем предполагает любой агрегированный показатель: классификация сцены близка к зрелости (23 из 30 моделей выше 75,0, медиана 81,0), в то время как определение эмоций достигает максимум 39,5, а открытые задачи, требующие от моделей сформулировать свои доказательства, дают 50,90 (идентификация визуальных подсказок) и 49,18 (вывод причины эмоции) по семантической близости. Композиционное и зависящее от точки зрения рассуждение терпит наибольшую неудачу — там, где правильный ответ не задаёт определённого бокового или вертикального отношения, 90,0% и 73,3% моделей всё равно его утверждают, только 43,3% правильно размещают девочку в глубине, и ни одна модель не разрешает все три измерения одного элемента. Отказы также каскадируют: ошибочно заземлённый персонаж затем обосновывается беглой аргументацией, построенной из близкой визуальной семантики (бабочек, птиц), что является наиболее опасным исходом в тьюторстве, потому что объяснение читается как компетентное. Для обучения language learning на основе изображений это говорит в пользу валидации на уровне отдельных измерений по тем образам, которые курс действительно использует, а не об импортировании общего мультимодального показателя, и о распространении описанной ниже контрольной точки заземления — опиши то, что видишь, и где именно, прежде чем рассуждать на этом основании, — на situated художественное содержание (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

Практическое следствие для дизайна — контрольная точка визуального заземления в мультимодальном тьюторстве: намеренный шаг, на котором система описывает то, что видит, прежде чем пытаться найти решение, давая учащемуся или человеческому наблюдателю возможность исправить ошибки восприятия.(Multimodal Dialogue in STEM Education)

Abreu et al. (2026) добавляют предварительное ограничение: уравнение, график или единица измерения могут присутствовать в отчёте, но никогда не извлекаться из обработанного документа, поэтому несогласие с преподавателем может быть ошибкой извлечения, а не рассуждения, — что делает формат представления частью дизайна оценивания.

3. Мультимодальное оценивание и измерение

Мультимодальный ИИ расширяет и содержание оценивания, и сигнал, используемый для его оценивания.

• Мультимодальные системы обратной связи интегрируют структурированный текст, ссылки на слайды и потоковое аудиосопровождение. В одном исследовании AI multimodal feedback соответствовала обратной связи педагогов по результатам обучения, при этом значительно превосходя её по восприятию учащихся.(LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback)
• Оценивание мультимодальных элементов использует дообученные мультимодальные LLM для восстановления характеристических кривых заданий (IRT / 3PL) непосредственно из предсказанных вероятностей вариантов на элементах «изображение плюс текст», связывая мультимодальный ИИ с Образовательное измерение и Теория Item Response Theory (IRT).(Multimodal Item Parameter Estimation using Simulated Response Probabilities)
• Оценивание образовательных визуально-языковых моделей и multimodal LLM literacy расширяют инструментарий оценки в области до мультимодального рассуждения и Визуализация.(The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors)(Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy)
• Мультимодальное оценивание рукописной chemistry вскрывает зависящую от формата границу возможностей: Cvengros & Kortemeyer оценили итоговую страницу рукописного общего курса химии 296 студентов постранично по изображениям рубрик с помощью мультимодального, рассуждающего LLM, надёжно оценивая текстовые ответы и уравнения химических реакций (наивысший нормированный F1), но оценивая рисунки и графики хуже случайного уровня — фоновые сетки визуально отвлекают компьютерное зрение ИИ, а научные диаграммы и химические структуры остаются трудными для интерпретации, — что усиливает понимание того, что зрение мультимодального ИИ не является устойчивым к работе, насыщенной репрезентациями, и лучше всего применяется с human deferral (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
• Распознавание конструктов и сравнительное суждение — разделимые навыки. Ma et al. (2026) выражают шесть принципов мультимедийного обучения как обратимые правки слайдов плюс контрольные «имитации» визуальной эквивалентности и обнаруживают, что обе модели восстановили каждую операцию, принцип и исправление (8/8), в то время как калибровка строгости провалилась полностью (0/8) — составной показатель скрыл бы, какой именно уровень терпит неудачу.
• Прирост в справедливости может быть валидирован в существование. Мультимодальный оценщик внимания лишь скромно превзошёл базовый уровень только по визуальным данным, а его регуляризатор с прицелом на гендерное сокращение разрыва MAE уменьшил разрыв на валидации с 0,02 до 0,005, однако увеличил разрыв и ошибку в наихудшей группе на отложенных субъектах, — поэтому перед развёртыванием требуется повторяемая валидация на уровне субъектов с учётом подгрупп (Fragkiadakis et al. (2026)).
• Мультимодальное оценивание может воспроизводить результат отбора даже там, где оценивание на уровне отдельных заданий отстаёт. Оценивая 10 364 рукописных страницы олимпиады и университетских работ, LLM совпал с суммарными оценками экзаменаторов при r = 0,93–0,96 и включил тех же пять студентов в олимпиадную команду, однако согласие по отдельным заданиям достигло лишь 70%: это доказательство второго проверяющего, а не окончательного оценщика (Pathak et al. (2026)).
• Генерация диаграмм — это рубеж возможностей, а не решённая задача. На бенчмарке из 15 246 вопросов по физике, оценивающем мультимодальный вывод, синтез или редактирование структурированных физических диаграмм оказалось труднее, чем ответы на вопросы, и ведущие модели оставались ниже 70% строгого освоения, — свидетельство того, что визуальное производство отстаёт от визуального понимания (Chen et al., 2026).

Мультимодальный ИИ для языкового и доступного обучения

Мультимодальные системы также расширяют доступ и personalization. Инструменты обучения video learning с аудиосопровождением под управлением ИИ адаптируют скорость воспроизведения, создают мультимодальные видеосводки и поддерживают практику произношения.(AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques) Мультимодальные графы знаний рассуждают над изображениями и текстом в образовательных задачах,(Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning) а мультимодальные репрезентации улучшают Инклюзивное обучение путём перевода информации между модальностями (например, из текста в аудио или визуальный образ). Применение в различных областях включает оценивание и диагностику рукописной математики,(Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work) affective tutoring с мультимодальными сигналами,(An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training)(MathBuddy: Affective Math Tutoring) обучение преобразованию текста в изображение в специализированных областях,(NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts) и осознающее приватность мультимодальное распознавание событий в аудитории.(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition) Bird (2026) демонстрирует внутреннюю по отношению к тексту форму мультимодальности: объединение дообученного трансформера ELECTRA с анализом признаков вычислительной лингвистики для классификации английской литературы по ключевым этапам UK, где объединённая модель (F1 0,996) значительно превзошла все базовые уровни с одной модальностью, — свидетельство того, что сочетание репрезентационных форм, даже внутри текста, может превзойти подходы с одной моделью.

Вызовы и следствия для дизайна

1. Закрыть мультимодальный разрыв. Системы мультимодального тьюторства должны включать визуальное заземление и опоры структурированного диалога, а не предполагать, что возможности зрения устойчивы.(Multimodal Dialogue in STEM Education)
2. Рассматривать мультимодальный промптинг как обучаемый навык. Программы ИИ-грамотности должны охватывать промптинг, специфичный для модальности, связность между модальностями и критическую оценку мультимодальных результатов.(Students' multimodal prompting practices as epistemic work in AI literacy development)
3. Сохранять человеческое создание смысла. Мультимодальный ИИ должен усиливать, а не заменять собственное конструирование и оценку смысла учащимися в разных модальностях.(Multimodal Learning with Generative AI)
4. Распространить оценивание на мультимодальную валидность. Assessment validity, предвзятость и надёжность должны изучаться, когда ИИ оценивает или генерирует мультимодальные артефакты.(Multimodal Item Parameter Estimation using Simulated Response Probabilities)(Оценивание ИИ-образования)
5. Следить за справедливостью и приватностью. Ненадёжная поддержка на задачах, насыщенных изображениями, и требования к данным мультимодального распознавания несут в себе следствия для справедливости и приватности.(Multimodal Dialogue in STEM Education)(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition)
6. Согласовывать конвейер с содержанием. Мультимодальный LLM ассистента лаборатории кибербезопасности лучше справлялся с плотными визуальными слайдами, в то время как конвейер «OCR плюс LLM» давал сопоставимую учебную ценность на слайдах, ориентированных на текст, при значительно меньших вычислительных затратах.(Patel et al. (2025))

Связанные концепции

• Генеративный ИИ
• Большие языковые модели (LLM)
• Граф знаний
• Интеллектуальное тьюторство
• ИИ-грамотность
• Промпт-инжиниринг
• Обратная связь
• Оценивание
• Образовательное измерение
• Теория Item Response Theory (IRT)
• Моделирование учащегося и адаптивное обучение
• Сократический метод
• Скаффолдинг
• Оценивание ИИ-образования
• Бенчмарк
• Высшее образование
• Справедливость
• Приватность
• STEM-образование
• Инклюзивное обучение
• Технологии — Зонтичная концепция: технологии и методы ИИ (модели, обучение LLM, робототехника, RAG, агентные системы)
• Виртуальная и дополненная реальность — жесты, голос и пространственный ввод как каналы обучения
• Речевые и голосовые технологии
• Образование в области искусств, дизайна и медиа

Связанные статьи

• "Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy — Видеокомпозиция в формате социальной рекламы по этике ИИ как педагогика критической ИИ-грамотности (Burriss et al. 2026)
• Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation — Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Производительность VLM на рукописных работах учащихся по математике (DrawEduMath, Lucy et al. 2026)
• Multimodal Learning with Generative AI — Руководство для педагогов по мультимодальному обучению с генеративным ИИ (модель MMLD-AI)
• Multimodal Dialogue in STEM Education — Эффект мультимодальной интерференции и восстановление через структурированный диалог в STEM
• LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback — Мультимодальная обратная связь ИИ соответствует педагогам по результатам обучения, превосходит по восприятию
• Students' multimodal prompting practices as epistemic work in AI literacy development — Мультимодальный промптинг учащихся как эпистемическая работа в ИИ-грамотности
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — Оценивание параметров заданий IRT с помощью мультимодальных LLM
• AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques — Поддержка обучения аудио-видео под управлением ИИ
• Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning — Мультимодальные графы знаний для образовательного рассуждения
• Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy — Мультимодальная грамотность LLM для научной визуализации
• An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training — Мультимодальные сигналы в аффективном интеллектуальном тьюторстве
• MathBuddy: Affective Math Tutoring — Аффективное мультимодальное тьюторство по математике
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Когнитивная диагностика рукописной математики с помощью LLM
• NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts — Обучение преобразованию текста в изображение в образовании по ядерной инженерии
• Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition — Осознающее приватность мультимодальное распознавание событий в аудитории
• Integrating Generative AI into Cybersecurity Education: A Study of OCR and Multimodal LLM-Assisted Instruction — Мультимодальное обучение с OCR в образовании по кибербезопасности
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: бенчмарк мультимодальных LLM для аудита слайдов
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Оценивание ИИ рукописных работ по физике (олимпиада)
• More externalization, but less inference? Exploring changes in young learners' critical thinking during conversational — Мультимодальное сочинение с ИИ и критическое мышление в начальном письме (Lu et al. 2027)
• Assisting the grading of a handwritten general chemistry exam with artificial intelligence
• Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving — Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: 12 задач над 1 174 произведениями искусства показывают возможности VLM как профиль, специфичный для измерения, наиболее слабый в аффективной интерпретации и зависящем от точки зрения пространственном рассуждении (Zhu et al. 2026)
• AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice — AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice