Виртуальная и дополненная реальность

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Виртуальная и дополненная реальность (VR/AR) — слой отображения и взаимодействия, через который воспринимаются учебные среды: полностью синтетические пространства в VR и цифровой контент, наложенный на физический мир в AR и смешанной реальности. ИИ входит в этот слой в двух направлениях. Он его создаёт: генеративный ИИ теперь превращает описание на естественном языке в работающий браузерный инструмент обучения на базе AR или VR, который больше не требует разработчика-специалиста. И он его населяет: агенты, педагогические агенты и извлечённые знания направляют учащегося без использования рук внутри иммерсивной среды. Что модальность добавляет по сравнению с экраном — это присутствие и воплощённость; чем она расплачивается — точность воспроизведения, оборудование и терпимость тела к пребыванию в ней.

Вопросы для размышления

• Где проходит граница между тем, что моделируется, и поверхностью, на которой это показывают? Сравните настольный симулятор пациента с VR-экскурсией на объект, который студенты не могут посетить. Какие различия, по вашему ожиданию, изменят обучение, а какие окажутся лишь новизной?
• Пилотное исследование выявило, что студенты сообщали об ощущении длины волны и амплитуды через жест рукой сильнее, чем через ползунок, — но оно измеряло восприятие, а не достижения, с 29 студентами и без контрольной группы. Насколько сообщаемое «ощущение» должно учитываться при принятии решения о внедрении инструмента?
• Если генеративный ИИ позволяет преподавателю без подготовки в программировании построить работающую AR-симуляцию за день, какие новые обязанности возникают в отношении проверки физики, оценки точности воспроизведения и решения о том, уместно ли это в курсе?
• В обзоре симуляции сестринской практики на базе ИИ ИИ соответствовал актёрам-людям в структурированном общении, но не в тактильных и эмоционально сложных сценариях. Как бы вы выстроили последовательность практики, чтобы учащиеся отрабатывали одни части с ИИ, а другие с людьми?
• Одно исследование VR в аудитории сообщило о минимальной болезни движения, тогда как метааналитическая оценка для интеллектуальных VR-систем со студентами с инвалидностью не была статистически значимой. Что вы хотели бы измерить до того, как программа вложится в шлемы?

Введение

Виртуальная и дополненная реальность — это модальность, а не модель: это слой, через который учебная среда достигает учащегося. Это делает её другой осью по отношению к Моделирование, который представляет собой то, что моделируется в первую очередь. Их часто путают, поскольку иммерсивные среды — обычные средства доставки для симуляций, но они варьируются независимо: настольный симулятор пациента — это симуляция без VR, а AR-наложение на реальном инструменте — VR без симуляции. Разделение этих осей важно для проектирования: решение сделать практику безопасной — это другое решение, чем сделать её воплощённой, и они несут разные издержки, разные режимы отказов и разные доказательства. VR/AR — это слой доставки для симуляции и близкий родственник обучения на основе игр; она операционализирует воплощённые и ситуативные представления об обучении и находится внутри практики опытного обучения и Активное обучение.

Теперь ИИ формирует эту модальность с обоих концов. Он создаёт иммерсивный контент, потому что генеративный ИИ преобразует структурированный промпт на естественном языке в запускаемый артефакт AR или VR, устраняя специализированный навык программирования, который раньше ограничивал производство. И он населяет эту среду: агенты, педагогические агенты и извлечённые знания предметной области обеспечивают руководство внутри неё — без использования рук, в реальном времени, опираясь на источники, к которым учащийся не может обратиться, надев шлем.

Что добавляет модальность

Аргументация в пользу VR/AR опирается на присутствие и воплощённость, а не на доставку информации. Общее виртуальное пространство также может отделить соприсутствие от географии: VR-аудитория, построенная на слое синхронизации в реальном времени, помещала преподавателей и студентов в одну комнату и позволяла им манипулировать одними и теми же 3D-материалами по естествознанию независимо от местоположения, ориентируясь на участие до двадцати человек. В часовой сессии с 10 студентами на Meta Quest 3 она сообщила о хорошей юзабилити по шкале System Usability Scale и о минимальных проявлениях болезни Моделирование, тогда как её собственной слабостью была согласованность UI, — и её разработчики намеренно избегали более ранних архитектур «пир к пиру», чья частота кадров падала по мере присоединения участников, что напоминает о том, что присутствие ограничено инженерией. Более контролируемые сравнения отрезвляют в вопросе о том, что даёт одна лишь поверхность: исследование механики в инженерном деле с 24 участниками показало, что приложения смешанной реальности и физические наборы инструментов повышали вовлечённость по сравнению с обучением в аудитории, однако сложные визуализации оставались трудными для учащихся в каждом условии. Вовлечённость — это надёжный эффект; понимание — нет.

Генеративный ИИ как слой создания

Барьер, который раньше определял, кто может построить иммерсивный инструмент, в значительной степени упал. Используя структуру промпта из четырёх элементов — инструменты, отображение, управление рукой, оптимизация, — преподаватель или студент без опыта кодирования может сгенерировать браузерную AR-симуляцию по физике с управлением жестами, работающую как единый HTML-файл, для которого нужна не более чем камера, а затем уточнять её, описывая на простом языке, что пошло не так. Жест знаком по сенсорным экранам: щипок и раздвижение пальцев настраивают физическую величину, а не масштабируют изображение, так что раздвигание пальцев по вертикали повышает амплитуду, а по горизонтали удлиняет длину волны и сдвигает лампу к красному концу спектра. Та же структура обобщается: поле Кулона вокруг кончика пальца, растекающееся по комнате, две руки как противоположные заряды, и правило правой руки для магнитной силы, нарисованное на собственной руке учащегося — отображённое намеренно без зеркального отражения, поскольку зеркалирование инвертировало бы самое правило, которому обучают.

Пилотное исследование в равной мере обнадёживает и предварительно. С 29 студентами второго курса по медицинской визуализации на вводном курсе физики излучения все 29 согласились, что жест помогал им «почувствовать», что такое длина волны (среднее 4.52), управление амплитудой получило наивысшую оценку (4.59), 93% сочли управление волной в воздухе естественным, а 86% сообщили о большем вовлечении и концентрации, чем при обычном обучении. Доказательства, однако, ограничиваются восприятием, относятся к одному занятию и не имеют контрольной группы, — поэтому честное прочтение состоит в том, что Промпт-инжиниринг устранил барьер производства, что делает фундаментальный вопрос о воплощённости проверяемым, а не отвеченным.

ИИ внутри иммерсивной среды

Второе направление — это то, где ИИ перестаёт создавать контент и начинает обучать внутри шлема, и именно здесь извлечённая опора становится несущей. Агентная иммерсивная обучающая платформа для брахитерапии высокой мощности построила цифрового двойника процедурной комнаты — анатомически точные модели пациента, катетеры, послезагружатели, аппликаторы, — чтобы обучающиеся могли видеть пространственную ориентацию аппликатора относительно органов риска без защитной комнаты, живого радиоактивного источника или рисков для конфиденциальности при физическом тазовом осмотре. Помощник, осведомлённый о знаниях и опирающийся на клинические рекомендации, обеспечивал управление без рук через трёхуровневый голосовой интерфейс (микрофон шлема — бэкенд-транскрипция и анализ намерений — пространственная речь), что устраняет зависимость от контроллера при сложных манипуляциях. Технически это работало: сквозная задержка 3–5 секунд в 50 прогонах Монте-Карло, извлечение контекста выше 0.93 и релевантность ответов 0.87 на 52 парах вопрос-ответ, составленных экспертами, при этом медицинская эмбеддинг-модель улучшала полноту ответов.

Его пробелы определяют текущую границу этого паттерна. Оценивание проводилось по объективным метрикам плюс один пользователь-эксперт в предметной области, а не учащиеся; не было автоматизированного Оценивание или адаптивной обратной связи; и помощник не может выйти за рамки переданных ему документов, поэтому протоколы конкретных учреждений и редкие сценарии находятся вне его компетенции. Иными словами, обучающий интеллект внутри иммерсивных сред — это пока преимущественно руководство, а не измерение, — и та же архитектура платформы, с выводом модели, вынесенным на локальный GPU-бэкенд, — это то, что делает управление без рук достаточно быстрым, чтобы быть применимым вообще.

Наиболее чёткая на сегодняшний день попытка восполнить это отсутствующее измерение исходит из дизайн-студии профессионального образования, а не из клинического контекста. В 12-недельном курсе интерьерного дизайна VR-среда (шлемы плюс инструмент 3D-моделирования) с помощником на базе LLM, отображённым как цифровой человек, сравнивалась с традиционным обучением на основе проектов, при этом помощнику назначалась отдельная роль на каждой фазе — рекомендация ресурсов и декомпозиция задач, послойное вопрошание с картами знаний, моделирование эффектов дизайна и обнаружение недостатков, затем логирование дискурса для преподавателя (Jin et al., 2026). По 63 валидным ответам условие «иммерсивность плюс агент» дало значимо более высокие способности к дизайну (η²p = .138) и креативные способности (η²p = .111), когнитивную (d = 0.90) и поведенческую (d = 0.75) вовлечённость, а также мотивацию (d = 0.74) и удовлетворённость (d = 0.69) — при этом сообщаемая когнитивная нагрузка была ниже, а не выше (d = −0.52), что авторы объясняют тем, что помощник сокращал усилия на поиск и междисциплинарную интеграцию. Два ограничения не позволяют этому поставить точку в вопросе: идейная новизна и аффективная вовлечённость не изменились, и каждый результат — это самоотчёт, без оценок артефактов или логов шлемов.

Контраст с сопоставимым развёртыванием в дизайн-образовании поучителен. Архитектурная студия, использующая конвейер GenAI плюс многопользовательский XR, обнаружила снижение уверенности в собственных силах дизайнеров Самоэффективность у команд, которые его применяли, и отсутствие преимуществ в слепых оценках жюри. Различие между двумя случаями меньше связано с оборудованием, чем с оркестровкой: исследование профессионального образования зафиксировало структуру фаз, роль помощника на каждой фазе и критерии оценивания до вмешательства и измеряло продуктивные способности отдельно от идейной новизны.

Liang et al. (2026) позволили преподавателю сценического освещения произносить своё намерение в VR-сцене с лазерной указкой в качестве пространственного якоря и поручили Большие языковые модели (LLM) превращать его в пространственные аннотации, пригодные для проверки преподавателем, исполняемые демонстрации освещения и объяснения жаргона по требованию. При 55 промптах и 531 сгенерированном действии помощь была сильнее всего на выразительных, недоопределённых целях (212 из 245 действий визуального эффекта применены, 86.5%) и слабее всего на запросах уровня приборов, где 26 из 28 отклонённых действий восходили к направленным указаниям вроде «левый свет», которые модель отнесла к неверному прибору — именно опора на систему пространственных координат сцены, а не исполнимость, была связывающим ограничением. Преподаватели использовали предложения как управляемый процесс уточнения, а не как ответ: за 127 из 147 отклонённых или изменённых действий (86.4%) следовал новый промпт, и лишь за одним — ручная правка. Самый осторожный результат исследования носит репрезентационный характер: аннотации, внешне выражавшие экспертное рассуждение, не совпадали надёжно с тем, что понимали новички, так что иммерсивное обучение с ИИ несёт в себе как проблему опоры из случаев тьюторинга выше, так и вторую: компетентность преподавателя и понимание учащегося — это не одна и та же цель.

Что показывают доказательства

Самые сильные доказательства в пользу VR/AR носят сравнительный и дисциплинарно-специфичный характер. Метаанализ 33 экспериментальных и квазиэкспериментальных исследований (N = 3,181) возникающих технологий в преподавании английского как иностранного языка выявил небольшой–умеренный общий эффект (g = 0.38) и внутри него — наибольшие эффекты для VR/AR, причём прирост рос с уровнем образования и благоприятствовал продуктивным навыкам (говорение, письмо) по сравнению с рецептивными.

Контрдоказательства несут не меньше информации. В первом метаанализе вмешательств на базе ИИ для студентов с инвалидностью — 29 исследований, 239 размеров эффекта, средний общий эффект g = 0.588 — интеллектуальные VR-системы дали g = 0.528, не статистически значимый, тогда как компьютерное ПО достигло 0.959, а роботы 0.509. Присутствовало смещение публикаций, и метод trim-and-fill снизил общую оценку до g = 0.269. Закономерность состоит не в том, что погружение не работает, а в том, что его эффекты малы, гетерогенны и чувствительны к тому, как конкретное вмешательство было спроектировано и с чем сравнено.

Самый чёткий отрицательный результат в базе знаний исходит из развёртывания в студии, а не из сравнения модальностей: в студии архитектурного дизайна с 27 студентами команды, использовавшие конвейер GenAI плюс многопользовательский XR, снизились сильнее в уверенности в собственных силах дизайнеров Самоэффективность (β = −1.675) и ожидании результата (β = −2.088), чем команды, работавшие по обычному рабочему процессу курса, без значимых различий в оценках экспертного жюри их презентаций (Xiao et al., 2026). Авторы объясняют это зависящей от фазы комплементарностью с реальным трением — GenAI для внешнего выражения предварительных идей, XR для пространственной оценки и оценки масштаба — наряду с проблемами контроля, размерной точности, разделённого внимания и комфорта при движении, что напоминает: иммерсивные инструменты добавляют издержки взаимодействия наряду с возможностями.

Точность воспроизведения, присутствие и разрыв аутентичности

Там, где иммерсивная практика используется для межличностных и процедурных навыков, ограничивающим фактором является не визуальная точность, а ощущаемая подлинность. Смешаннометодный обзор симуляции сестринской практики на базе ИИ (19 исследований, N = 1,253) выявил, что ИИ эффективен для когнитивных знаний и аффективных результатов, но непоследователен для сложных психомоторных навыков, и назвал причину: разрыв аутентичности, охватывающий эмоциональный резонанс, распознавание невербальных сигналов и тактильные, а также физические обследовательские измерения. Его практическая рекомендация — ступенчатый континуум симуляции: ИИ хорошо подходит для высоко структурированных целей, таких как базовое общение и сбор анамнеза, тогда как продвинутые психомоторные и эмоционально сложные сценарии принадлежат стандартизованным пациентам-людям и клинической практике. Техническая нестабильность усугубляет проблему: задержки распознавания речи добавляют постороннюю когнитивную нагрузку и тревожность, что делает стабильность и задержку рычагами проектирования, а не деталями реализации.

Та же логика объясняет, почему присутствие не является автоматически благом. Болезнь движения, непоследовательность UI, стоимость оборудования и неравный доступ к устройствам определяют, кто вообще может использовать иммерсивную среду, — и именно поэтому вопросы справедливости модальности связаны с Доступность и Инклюзивное обучение, а не оторваны от них.

Связанные концепции

• Моделирование — то, что иммерсивные среды обычно отображают; модель, а не модальность
• Телесное обучение (Embodied Learning) — механизм, который модальность должна использовать
• Мультимодальный ИИ — жест, голос и пространственный ввод как каналы обучения
• Ситуативное обучение
• Опытное обучение
• Обучение на основе игр
• Обучение на рабочем месте — среда, где иммерсивная практика наиболее устоявшаяся
• Генеративный ИИ — новый слой создания
• Промпт-инжиниринг — как не-программисты строят и уточняют иммерсивные инструменты
• Агентный ИИ
• Педагогический агент
• RAG (генерация с дополненным поиском) — опора руководства внутри шлема
• Интеллектуальное тьюторство
• Визуализация
• Образование в медицине и здравоохранении
• Доступность
• Инклюзивное обучение
• Калибровка доверия — точность воспроизведения и осознание учащимся её пределов
• Когнитивный оффлоадинг — задержка и нестабильность как посторонняя нагрузка
• Edtech-платформа — синхронизация, задержка и присутствие в разных местах
• Образование в области искусств, дизайна и медиа

Связанные статьи

• From Prompt to Embodied Simulation: Using Generative AI to Create AR Physics Learning Tools — промпт из четырёх элементов, генерирующий управляемые жестами AR-симуляции по физике; пилот с 29 студентами, доказательства только о восприятии
• Visualizing Engineering Fundamentals: Design of Mixed Reality and Physical Toolkits for Effective Learning — приложения смешанной реальности против физических наборов инструментов против аудитории в механике инженерного дела; вовлечённость выше, сложная визуализация по-прежнему трудна
• MedGame: Storytelling Gamification Empowered by Large Language Models for Medical Education — геймифицированное медицинское обучение с ИИ
• Technology-Enhanced Tabletop Exercises for Cybersecurity Education: Lessons Learned — дополненные настольные сценарии в образовании по кибербезопасности
• Generative AI and Extended Reality in Collaborative Architectural Design Education: An Exploratory Studio Study — Generative AI and Extended Reality in Collaborative Architectural Design Education: An Exploratory Studio Study
• Cultivating Design Creativity of Vocational Students: A Model of Project-Based Learning in AI-Enabled Immersive Virtual Environments — AI-IVE-PBL: иммерсивная студия дизайна в VR с ассистентом преподавания на базе LLM, оценённая против традиционного PBL (Jin et al. 2026)
• LumiNote: LLM-Assisted Multimodal Instruction for VR Stage Lighting Education — LumiNote: мультимодальное обучение с помощью LLM в образовании по сценическому освещению в VR и где сломалась опора (Liang et al. 2026)