Віртуальна та доповнена реальність

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Віртуальна та доповнена реальність (VR/AR) — шар відображення та взаємодії, через який переживаються навчальні середовища: повністю синтетичні простори у VR та цифровий зміст, накладений на фізичний світ, у AR і змішаній реальності. ШІ входить у цей шар у двох напрямах. Він його створює, бо генеративний ШІ тепер перетворює опис природною мовою на працюючий освітній інструмент AR або VR у браузері, який більше не потребує розробника-фахівця. І він його населяє, бо агенти, педагогічні агенти та відібрані знання направляють здобувача без рук всередині імерсивного середовища. Що модальність додає понад екран — це присутність і втіленість; що вона коштує — це точність відтворення, обладнання й терпимість тіла до перебування там.

Питання для роздумів

• Де проходить межа між тим, що моделюється, і поверхнею, на якій це показується? Порівняйте настільний симулятор пацієнта з VR-екскурсією до місця, яке студенти не можуть відвідати. Які відмінності, на вашу думку, змінили б навчання, а які могли б бути лише новизною?
• Пілотне дослідження виявило, що студенти повідомляли про сильніше відчуття довжини хвилі та амплітуди через жест рукою, ніж через повзунок, — але воно вимірювало сприйняття, а не досягнення, із 29 студентами та без групи порівняння. Наскільки це повідомлене «відчуття» має важити для засвоєння інструмента?
• Якщо генеративний ШІ дає змогу викладачеві без досвіду програмування побудувати працюючу AR-симуляцію за пів дня, які нові обов’язки виникають щодо перевірки фізики, оцінки точності відтворення та вирішення, чи має вона місце в курсі?
• В огляді симуляції медсестринства на основі ШІ ШІ відповідав людським акторам у структурованій комунікації, але не в тактильних та емоційно складних сценаріях. Як би ви впорядкували практику, щоб здобувачі відпрацьовували одні частини зі ШІ, а інші — з людьми?
• Одне дослідження класної VR повідомляло про мінімальну захитливість від руху, тоді як метааналітична оцінка для інтелектуальної VR у студентів з інвалідністю не була статистично значущою. Що ви хотіли б виміряти, перш ніж програма інвестує в гарнітури?

Вступ

Віртуальна та доповнена реальність — це модальність, а не модель: це шар, через який навчальне середовище досягає здобувача. Це робить її іншою віссю, ніж Симуляція, яка є тим, що моделюється взагалі. Їх часто плутають, бо імерсивні середовища є поширеними засобами подання симуляцій, але вони змінюються незалежно — настільний симулятор пацієнта є симуляцією без VR, а AR-накладання на реальний інструмент є VR без симуляції. Розрізнення цих осей важливе для проєктування: рішення зробити практику безпечною є іншим рішенням, ніж рішення зробити її втіленою, і вони несуть різні витрати, різні режими відмов і різні докази. VR/AR є шаром подання для симуляції та близьким родичем ігрового навчання; вона операціоналізує втілені та ситуативні уявлення про навчання, і вона лежить всередині досвідного та Активне навчання практику.

Тепер ШІ формує цю модальність з обох кінців. Він створює імерсивний зміст, бо генеративний ШІ перетворює структуровану підказку природною мовою на виконуваний артефакт AR або VR, згортаючи спеціальну навичку програмування, яка колись обмежувала виробництво. І він населяє середовище, бо агенти, педагогічні агенти та відібрані знання предметної області постачають керівництво всередині нього — без рук, у реальному часі, обґрунтоване на джерелах, які здобувач не може консультувати під час носіння гарнітури.

Що додає модальність

Приклад для VR/AR спирається на присутність і втіленість, а не на подання інформації. Спільний віртуальний простір може також відокремити співприсутність від географії: VR-аудиторія, побудована на шарі синхронізації в реальному часі, поміщала викладачів і студентів в одній кімнаті, які маніпулювали тими самими 3D-матеріалами з природознавства незалежно від місця, націлюючись на до двадцяти учасників. У годинній сесії з 10 студентами на Meta Quest 3 вона повідомила про добрий юзабіліті за System Usability Scale і мінімальну Симуляція захитливість від руху, тоді як її власною вадою була узгодженість інтерфейсу користувача — і її проєктувальники свідомо уникали раніших архітектур рівний-з-рівним, чия частота кадрів деградувала в міру приєднання учасників, що є нагадуванням про те, що присутність обмежена інженерією. Більш контрольовані порівняння є тверезими щодо того, що сама поверхня дає: дослідження з 24 учасників з інженерної механіки виявило, що застосунки змішаної реальності та фізичні набори підвищили залученість порівняно з класним навчанням, проте складні візуалізації залишалися важкими для здобувачів за кожної умови. Залученість — це надійний ефект; розуміння — ні.

Генеративний ШІ як шар створення

Бар’єр, який колись визначав, хто може побудувати імерсивний інструмент, значною мірою впав. Використовуючи структуру підказки з чотирьох елементів — інструменти, відображення, керування руками, оптимізація, — викладач або студент без досвіду кодування може згенерувати керовану руками AR-симуляцію фізики в браузері, яка працює як єдиний HTML-файл лише з камерою, а потім вдосконалювати її, описуючи простою мовою, що пішло не так. Жест знайомий з сенсорних екранів: щипок і розведення налаштовує фізичну величину, а не збільшує зображення, тож вертикальне розведення пальців підвищує амплітуду, а горизонтальне подовжує довжину хвилі та зсуває лампу до червоного кінця спектра. Та сама структура узагальнюється: поле Кулона навколо кінчика пальця розливається кімнатою, дві руки як протилежні заряди, і правило правої руки для магнітної сили, намальоване на власній руці здобувача — відтворене свідомо недзеркально, бо дзеркалення інвертувало б саме правило, якому навчають.

Пілотне дослідження є водночас заохочувальним і попереднім. З 29 студентами другого курсу медичної візуалізації на вступному курсі фізики випромінювання всі 29 погодилися, що жест допоміг їм «відчути», що таке довжина хвилі (в середньому 4.52), керування амплітудою набрало найвищий бал (4.59), 93% визнали керування хвилею в повітрі природним, а 86% повідомили про більшу залученість і зосередженість, ніж у звичайному навчанні. Проте докази є лише про сприйняття, однокласними та без групи порівняння — тож чесне прочитання таке: Інженерія підказок усунув бар’єр виробництва, що робить базове запитання про втіленість придатним до перевірки, а не що на нього відповідено.

ШІ всередині імерсивного середовища

Другий напрям — це той, де ШІ перестає створювати і починає навчати всередині гарнітури, і це місце, де заземлення на відібраних даних стає несучою силою. Агентивна імерсивна платформа навчання для брахітерапії з високою потужністю дози побудувала цифрового двійника лікувального блоку — анатомічно точні моделі пацієнта, катетери, заряджальники, аплікатори, — щоб стажери могли бачити просторову орієнтацію аплікатора відносно органів під ризиком, без екрануючої кімнати, живого радіоактивного джерела або ризиків для приватності фізичного тазового обстеження. Обізнаний із знань асистент, заземлений на клінічних настановах, постачав керівництво без рук через трирівневий голосовий інтерфейс (мікрофон гарнітури до транскрипції на сервері та аналізу наміру до просторового мовлення), що усуває залежність від контролера під час складнавих маневрів. Технічно це працювало: сквозна затримка 3–5 секунд на 50 прогонах Monte Carlo, пригадування контексту вище 0.93 і релевантність відповіді 0.87 на 52 парах запитань і відповідей, створених експертами, причому медична модель вбудовування покращувала повноту відповіді.

Його прогалини визначають поточний кордон цього патерну. Оцінка складалася з об’єктивних метрик плюс єдиного експерта-користувача з предметної області, а не здобувачів; автоматизованого Оцінювання чи адаптивного зворотного зв’язку не було; і асистент не може перевершити документи, які йому дали, тож специфічні для установи протоколи та рідкісні сценарії лежать поза його компетенцією. Інакше кажучи, навчальний інтелект всередині імерсивних середовищ досі є здебільшого керівництвом, а не вимірюванням — і та сама архітектура платформи, з виведенням інференції моделі на локальний GPU-сервер, є тим, що робить керівництво без рук досить швидким, щоб бути придатним до використання взагалі.

Найясніша на сьогодні спроба заповнити це відсутнє вимірювання походить з професійної дизайн-студії, а не з клінічного середовища. На 12-тижневому курсі дизайну інтер’єру VR-середовище (гарнітури плюс інструмент 3D-моделювання) з асистентом на основі LLM, відтвореним як цифрова людина, порівнювалося зі звичайним проєктним навчанням, причому асистенту призначалася окрема роль на кожній фазі — рекомендація ресурсів і декомпозиція завдань, багатошарове ставити запитань з картами знань, симульовані ефекти проєктування та виявлення вад, а потім логування дискурсу для викладача (Jin et al., 2026). На 63 дійсних відповідях умова імерсивності плюс агент дала суттєво вищу здатність до проєктування (η²p = .138) і творчу здатність (η²p = .111), когнітивну (d = 0.90) і поведінкову (d = 0.75) залученість, а також мотивацію (d = 0.74) і задоволеність (d = 0.69) — при тому що повідомлюваний когнітивний тягар був нижчим, а не вищим (d = −0.52), що автори пояснюють тим, що асистент зрізав зусилля на пошук і міждисциплінарну інтеграцію. Два обмеження не дозволяють цьому вирішити запитання: ідейна новизна та афективна залученість не зрушили, і кожен результат є самостійним звітом, без оцінок артефактів або журналів гарнітури.

Контраст із порівнянним розгортанням в освіті з дизайну є повчальним. Дизайн-студія архітектури, яка використовувала конвеєр GenAI плюс багатокористувацький XR, виявила спадну упевненість у Самоефективність команд, які його використовували, і відсутність переваги в оцінках засліпленої експертної панелі. Відмінність між двома менше в обладнанні, ніж в оркестрації: професійне дослідження зафіксувало структуру фаз, роль асистента в кожній фазі та рубрику оцінки до втручання, і вимірювало продуктивну здатність окремо від ідейної новизни.

Звернена до викладача версія того самого патерну є молодшою і крихкішою. Liang et al. (2026) дали змогу викладачеві сценічного освітлення висловлювати свій намір у VR-сцену за допомогою лазерної указки як просторового якоря, і мали Великі мовні моделі (LLM), який перетворює його на просторові анотації, придатні для перевірки викладачем, виконувані демонстрації освітлення та пояснення жаргону на вимогу. На 55 підказках і 531 згенерованій дії асистування було найсильнішим на виразних, недокладно заданих цілях (212 із 245 дій візуальних ефектів застосовано, 86.5%) і найслабшим на запитах на рівні світильників, де 26 із 28 відхилених дій зводилися до напрямних посилань на кшталт «ліве світло», яке модель прив’язувала до неправильного світильника — заземлення в просторовій системі відліку сцени, а не виконуваність, було обмежувальним чинником. Викладачі використовували пропозиції як керований процес удосконалення, а не як відповідь: за 127 із 147 відхилених або змінених дій (86.4%) ішла нова підказка, і лише за однією — ручне коригування. Найбільш застережним результатом дослідження є репрезентаційний — анотації, які екстерналізували експертне міркування, не узгоджувалися надійно з тим, що розуміли новачки, тож імерсивне навчання на основі ШІ несе як проблему заземлення вищезгаданих навчальних випадків, так і другу — що компетенція викладача і розуміння здобувача не є однією й тією метою.

Що показують докази

Найсильніші докази за VR/AR є порівняльними та специфічними для дисципліни. Метааналіз із 33 експериментальних і квазіекспериментальних досліджень (N = 3 181) новітніх технологій у навчанні англійській як іноземній виявив малий і помірний загальний ефект (g = 0.38) і, всередині нього, найбільші ефекти для VR/AR, з приростом, що зростає за освітнім рівнем і надає перевагу продуктивним навичкам (говоріння, письмо) над рецептивними.

Контраргументи не менш інформативні. В першому метааналізі втручань на основі ШІ для студентів з інвалідністю — 29 досліджень, 239 розмірів ефекту, помірний загальний ефект g = 0.588 — системи інтелектуальної VR дали g = 0.528, не статистично значущий, тоді як програмне забезпечення досягло 0.959, а роботи 0.509. Було наявне упередження публікації, і метод trim-and-fill знизив загальну оцінку до g = 0.269. Патерн не в тому, що занурення не спрацьовує, а в тому, що його ефекти є малими, різнорідними та чутливими до того, як конкретне втручання було спроєктоване і з чим порівняно.

Найясніший негативний результат в базі знань походить зі студійного розгортання, а не з порівняння модальностей: у дизайн-студії архітектури з 27 студентів команди, які використовували конвеєр GenAI плюс багатокористувацький XR, знизилися в упевненості в Самоефективність (β = −1.675) і очікуваній результативності (β = −2.088) сильніше, ніж команди, які працювали за звичайним робочим процесом курсу, без суттєвої відмінності в оцінках експертної панелі їхніх презентацій (Xiao et al., 2026). Автори пояснюють це як доповнюваність, залежну від фази, з реальним тертям — GenAI для екстерналізації ще не певних ідей, XR для просторової оцінки та оцінки масштабу — поряд із проблемами керування, розмірної точності відтворення, спільної уваги та комфорту руху, що є нагадуванням про те, що імерсивний інструментарій додає витрат на взаємодію, а не лише здатність.

Точність відтворення, присутність і розрив автентичності

Там, де імерсивна практика використовується для міжособистісної та процедурної навички, обмежувальним чинником є не візуальна точність відтворення, а відчута автентичність. Змішаний огляд симуляції медсестринства на основі ШІ (19 досліджень, N = 1 253) виявив ШІ ефективним для когнітивних знань і афективних результатів, але непослідовним для складних психомоторних навичок, і назвав причину: розрив автентичності, що охоплює емоційний резонанс, розпізнавання невербальних підказок і тактильні та фізичні-обстежувальні виміри. Його практична рекомендація — це ступінчастий континуум симуляції: ШІ добре пасує для високо структурованих цілей, таких як базова комунікація та збирання анамнезу, тоді як складні психомоторні та емоційно складні сценарії належать стандартизованим людським пацієнтам і клінічному розміщенню. Технічна нестабільність погіршує проблему: затримки розпізнавання мовлення впроваджують зайвий когнітивний тягар і тривожність, що робить стабільність і затримку важелями проєктування, а не деталями реалізації.

Та сама логіка пояснює, чому присутність не є автоматично хорошою. Захитливість від руху, неузгодженість інтерфейсу користувача, вартість обладнання та нерівний доступ до пристроїв вирішують, хто взагалі може використовувати імерсивне середовище, чому запитання модальності щодо справедливості пов’язані з Доступність та Інклюзивне навчання, а не стоять осторонь них.

Пов’язані поняття

• Симуляція — що імерсивні середовища зазвичай відображують; модель, а не модальність
• Втілене навчання — механізм, який модальність має на меті використати
• Мультимодальний ШІ — жест, голос і просторове введення як навчальні канали
• Ситуативне навчання
• Досвідницьке навчання
• Навчання на основі ігор
• Навчання на робочому місці — середовище, де імерсивна практика є найбільш усталеною
• Генеративний ШІ — новий шар створення
• Інженерія підказок — як непрограмісти будують і вдосконалюють імерсивні інструменти
• Агентний ШІ
• Педагогічний агент
• RAG (генерація з доповненням пошуком) — заземлення керівництва всередині гарнітури
• Інтелектуальний тьюторінг
• Візуалізація
• Освіта медиків та професій охорони здоров’я
• Доступність
• Інклюзивне навчання
• Калібрування довіри — точність відтворення та усвідомлення здобувачем її меж
• Розвантаження когніції — затримка та нестабільність як зайвий тягар
• Платформа EdTech — синхронізація, затримка та присутність у багатьох місцях
• Освіта у сфері мистецтв, дизайну та медіа

Пов’язані статті

• From Prompt to Embodied Simulation: Using Generative AI to Create AR Physics Learning Tools — підказка з чотирьох елементів, що генерує керовані руками AR-симуляції фізики; пілот зі 29 студентів, докази лише про сприйняття
• Visualizing Engineering Fundamentals: Design of Mixed Reality and Physical Toolkits for Effective Learning — застосунки змішаної реальності проти фізичних наборів проти аудиторії в інженерній механіці; залученість вища, складна візуалізація все ще важка
• MedGame: Storytelling Gamification Empowered by Large Language Models for Medical Education — геміфіковане медичне навчання зі ШІ
• Technology-Enhanced Tabletop Exercises for Cybersecurity Education: Lessons Learned — доповнені настільні сценарії в освіті з кібербезпеки
• Generative AI and Extended Reality in Collaborative Architectural Design Education: An Exploratory Studio Study — Генеративний ШІ та розширена реальність у спільній освіті з архітектурного дизайну: дослідницьке студійне дослідження
• Cultivating Design Creativity of Vocational Students: A Model of Project-Based Learning in AI-Enabled Immersive Virtual Environments — AI-IVE-PBL: імерсивна VR-студія дизайну з асистентом викладання на основі LLM, оцінена проти традиційного PBL (Jin et al. 2026)
• LumiNote: LLM-Assisted Multimodal Instruction for VR Stage Lighting Education — LumiNote: мультимодальне навчання з підтримкою LLM в освіті зі сценічного освітлення VR і де заземлення зазнало краху (Liang et al. 2026)