Сенсорна аналітика та аналітика погляду

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Сенсорна аналітика та аналітика погляду — використання айтрекінгу, електроенцефалографії, шкірно-гальванічної активності, варіабельності серцевого ритму та похідної від камери постави для виведення станів здобувача, як-от увага, залучення, когнітивне навантаження й афект. У освіті зі ШІ ці сигнали обіцяють безперервний, невербальний погляд на навчання, якого не можуть дати тести й самозвіти. Вони також лежать у центрі найскладнішої проблеми виведення в галузі: сенсор записує тіло, а не розум, і кожне твердження про те, що здобувач думає чи відчуває, є інтерпретацією, накладеною на цей запис (Kim and Han, 2026).

Питання для роздумів

• Вебкамера може показати, що ваші очі лишалися всередині відеоплеєра цілу лекцію. Чи означає це, що ви були уважні?
• Якби тьютор міг оцінити ваше когнітивне навантаження в реальному часі, чи мав би він діяти за цією оцінкою, не спитавши вас спершу?
• Погляд студента може зійти з екрана через тик, порушення зору або культурну норму. Що означає позначка «низька увага» для такого студента?
• Чи має університет право збирати дані мозку й серця для покращення курсу, і що вимагала б справжня згода?
• Цифра «75% точності залучення» звучить точно. Якого шару залучення сенсор насправді досяг, а який пропустив?
• Прокторинг тепер читає поставу й рух голови. Де межа між виявленням проступку та судженням про тіло?

Вступ

Сенсорна аналітика та аналітика погляду описують родину методів, що перетворюють фізичні вимірювання здобувача на освітні висновки. Вимірювання охоплюють те, де лежить погляд і як довго, електричну активність шкіри голови, реакції потових залоз, варіацію серцевого ритму від удару до удару та положення й рух голови і тулуба. Висновки охоплюють увагу, залучення, когнітивне навантаження, збентеження, стрес і — у контекстах оцінювання — підозру.

Привабливість очевидна. Самозвіти ретроспективні й грубі, а тести вимірюють навчання в кілька моментів. Сенсори працюють безперервно й коштують здобувачеві мало свідомого зусилля. Ця комбінація зробила сенсоринг центральним для навчальної аналітики та моделювання здобувача, і вона породила велику літературу, у якій сенсоринг технічно вражає, а інтерпретація тонка.

Систематичний огляд 23 досліджень, що поєднують ШІ з втіленим навчанням, робить цей дисбаланс конкретним. Аналіз та оцінювання становили 40,0% закодованих ролей ШІ, розпізнавання й виявлення — 22,5%, тоді як зворотний зв’язок і коучинг узяли 15,0%. Ролі сенсорингу становили 62,5% тегів ролей проти 35,0% для партисипативних (Kim and Han, 2026). Галузь краще спостерігає за здобувачами, ніж змінює те, що стається далі.

Що насправді вимірює кожен сигнал

Погляд і фіксація. Айтрекери повідомляють, куди спрямоване око, як довго воно затримується, коли робить саккаду і наскільки широко розсіюється. Системи на екрані, як-от WebGazer, оцінюють погляд із вебкамери, тоді як окуляри відстежують око безпосередньо. TutorLoop перетворює погляд на дві величини: увагу як відсоток точок погляду всередині області вмісту та робоче навантаження як ентропію погляду, міркуючи, що розсіяний погляд відстежує когнітивне навантаження (TutorLoop, 2026). Ollie, асистент для дітей, що спирається на погляд, натомість визначає області інтересу на картині й запускає нарацію, коли дитина дивиться на одну з них (Wu et al., 2026).

Електроенцефалографія. ЕЕГ записує коливання напруги по шкірі голови з високим часовим розділенням. Це єдиний сигнал у цій родині, що сягає кортикальної активності безпосередньо, і саме тому він приваблює дослідження оцінювання. Практичні освітні системи використовують сухі електроди й мало каналів: E3Sense узяв чотири сухі канали ЕЕГ на 125 Гц і аналізував два фронтальні (Anupkrishnan et al., 2026). Дослідницькі установки роблять навпаки: Kosmyna et al. (2025) використали 32-канальну ЕЕГ, щоб порівняти студентів, які писали з LLM, із пошуковою системою або без інструмента, і знайшли найслабшу нейронну зв’язність у групі LLM (Kosmyna et al., 2025). Це дослідження також найясніше попередження про одновимірні свідчення, бо його центральне твердження тримається на необов’язковій кросоверній сесії, яку відвідали лише 18 із 54 учасників.

Шкірно-гальванічна активність. ШГА вимірює провідність потових залоз — індекс симпатичного збудження. Вона реагує на стрес, зусилля й емоційну інтенсивність і не може їх розрізнити. Той самий конструкт з’являється в браслетах і в електродах на лобі, закріплених за кілька сантиметрів один від одного рамкою айтрекера (Anupkrishnan et al., 2026).

Серцевий ритм і його варіабельність. Серцевий ритм відстежує збудження, а варіабельність між ударами індексує автономне відновлення. У річному дослідженні 458 студентів, які носили каблучки Oura, мова емоційного виснаження відстежувала нижчу ефективність сну й нижчу варіабельність серцевого ритму (Affective Text and Wearable Sensing, 2026). Жоден із показників не визначає причину.

Постава й рух за камерою. Система прокторингу може видобути сімнадцять орієнтирів тіла на кадр і вивести відхилення постави, тренд руху голови й рух верхньої частини тіла (Arif et al., 2026). Це вимірює рух. Називати його підозрілою поведінкою — окремий, непідкріплений крок.

Ці сигнали різняться частотою дискретизації, шумом і тягарем інструментарію. E3Sense вирівняв дванадцять вікон ЕЕГ, шість очних і три вікна ШГА у спільне 120-секундне подання з 166 вимірами (Anupkrishnan et al., 2026). EduGage запускав сім типів пристроїв одночасно і дійшов висновку, що легкі комбінації несли більшість придатного сигналу (Leng et al., 2026).

Для чого використовують сигнали

Виявлення залучення у відеонавчанні. E3Sense попросив 30 університетських студентів оцінити п’ять сегментів на відео, що дало 450 оцінок. Об’єднана модель досягла 75,0% збалансованої точності в межах одного рівня проти базової лінії 63,0% за модою на відкладених учасниках (Anupkrishnan et al., 2026). EduGage повідомив MAE 0,81 і 83,75% точності в межах одного рівня на 16 учасниках і 715 вікнах-пробах (Leng et al., 2026). Обидва трактують оцінку як приблизну.

Оцінювання уваги в аудиторіях. Мультимодальний трансформер об’єднав зображення облич із сигналами носимих пристроїв на DIPSER, натуралістичному наборі з 57 суб’єктів, і досяг MAE 0,283. Його перевага над суто візуальною базовою лінією була скромною, і автори доходять висновку, що ознаки обличчя були головним джерелом інформації (Fragkiadakis et al., 2026).

Когнітивне навантаження й момент зворотного зв’язку. TutorLoop використав виведену з погляду увагу й робоче навантаження, щоб обирати серед чотирьох типів зворотного зв’язку агентом із підкріплювальним навчанням. На 187 учасниках повна система втручалася рідше за базові лінії, але покращила увагу й знизила навантаження (TutorLoop, 2026).

Прокторинг і доброчесність. Прокторинг на основі пози повідомляє про майже граничну результативність на власному наборі позначених сценаріїв: 99,56% точності й AUC 0,9957 (Arif et al., 2026). Носимий ШІ змінює ту саму проблему з іншого боку. Розумні окуляри усувають падіння погляду й зсув постави, на які спирається нагляд, — умова, яку Corbin і колеги називають подвійною прозорістю (Corbin et al., 2026).

Афект і добробут. Фізіологічні сигнали, зібрані під час іспитів, передбачали категорії оцінок, причому випадковий ліс досяг середнього 0,96 на 30 повтореннях (Yamazaki and Rimal, 2026). Найсильнішими предикторами були шкірно-гальванічна активність, рух за акселерометром і температура шкіри. Це збудження й рух, а не розуміння.

Дослідження оцінювання. ЕЕГ тестували як прямий вимір знайомства й ментальної репрезентації. Обидві лінії перспективні, і обидві лишаються дослідницькими — цим займається наступний розділ.

Розрив у виведенні

Кожне використання вище залежить від ланцюга: фізіологічна або поведінкова подія, ознака, обчислена з неї, модель, натренована на позначках, і твердження про ментальний стан. Кожна ланка тече.

Позначка часто найслабша ланка. E3Sense передбачав власні оцінки здобувачів за сегментами, і 63% цих оцінок лежали на двох залучених рівнях. Модель може добре оцінюватися, вивчивши розподіл, а не стан. Коли дослідники додали власні визначення залучення від здобувачів, точність зросла з 64,6% до 71,5%, що підказує: позначки й сигнали вимірювали частково різні речі (Anupkrishnan et al., 2026).

Валідація може роздути модель. Бенчмарк п’ятнадцяти моделей для передбачення знайомства на основі ЕЕГ досяг 0,9853 F1 за стратифікованої крос-валідації. Group K-Fold, незалежний від спроби, який поважає часову структуру, знизив пік до 0,6038 F1 проти рівня випадковості 25% (Nanayakkara and Halloluwa, 2026). Перше число описує витік; друге описує навчання.

Нейронний корелят — не бал. Реконструйовані з ЕЕГ зображення корелювали з результатами тесту на R² = 0,79 на 55 спостереженнях «учасник-відео». Пункти з правильною відповіддю також мали вищу семантичну схожість, ніж ті, де відповідь була хибною. Проте один учасник продукував високоякісні реконструкції й відповідав неправильно, тож якість реконструкції не можна читати як правильність (Su et al., 2026).

Увага — не навчання. У TutorLoop увага корелювала з навчанням на r = 0,017, тоді як робоче навантаження корелювало негативно на r = -0,168 (TutorLoop, 2026). Система, що максимізувала б сигнал уваги, оптимізувала б щось близьке до шуму.

Фізіологічний профіль — не діагноз. Моделі іспитового стресу передбачають категорію оцінки зі збудження й руху, і автори наполягають, що вихід належить поряд з особистими обставинами й контекстом психічного здоров’я, а не у високоставкове рішення (Yamazaki and Rimal, 2026).

Нарешті, збір — не інтеграція. Kim and Han знайшли, що більшість мультимодальних досліджень збирали потоки паралельно, одне вирівнювало афект обличчя, погляд і детекцію обличчя постфактум, і жодне не об’єднувало входи наживо, поки здобувач користувався системою (Kim and Han, 2026). Сторінка синхронізованих каналів може виглядати як модель здобувача, коли це лише запис.

Етика сенсорингу здобувачів

Згоду послаблює інституційна влада. Студент, який мусить відвідувати заняття чи складати іспит, не може вільно відмовитися від камери чи носимого пристрою. Демографічні атрибути можуть навіть не повідомлятися: позначки статі, віку й етнічності DIPSER були виведені із зображень моделями комп’ютерного зору, а не надані учасниками (Fragkiadakis et al., 2026). Виводити, хто людина, щоб перевірити, чи модель ставиться до неї справедливо, — сам по собі акт профілювання.

Біометричні дані — не звичайні аналітичні дані. ЕЕГ, ШГА й варіабельність серцевого ритму суміжні зі здоров’ям і в багатьох юрисдикціях є даними особливої категорії. Вони можуть розкривати сон, стрес і медичні стани поза будь-якою потребою курсу. Система для дітей, що спирається на погляд, викликала заперечення щодо приватності від батька навіть у невеликому пілоті (Wu et al., 2026).

Повзуче розширення функцій — звичайний шлях. Моніторинг добробуту стає позначенням ризику, а позначення ризику — свідченням для оцінки. Corbin і колеги показують оцінювальну версію цього дрейфу: щойно фізичне виключення збоїть, інспекція переходить від артефактів до тіл, і студенти мусять доводити, що їхні окуляри корекційні, а пристрої терапевтичні (Corbin et al., 2026).

Збої справедливості скупчуються на тілах, що різняться. Оцінювання уваги за обличчям залежить від тону шкіри, окулярів і освітлення. Оцінювання уваги за поглядом карає здобувачів, які уникають зорового контакту, зокрема деяких автичних і нейровідмінних студентів. Прокторинг на основі пози позначає тики, стимінг і культурні норми руху. Дослідження прокторингу не перевіряє, чи позначена постава відповідає проступку, і чи ставиться детектор справедливо до студентів з інвалідністю або культурних відмінностей у погляді (Arif et al., 2026). Регулювання тут не виправлення; це спосіб відмити помилку в правило.

Твердження про справедливість потребують свідчень на рівні суб’єктів. Регуляризатор, націлений на стать, скоротив розрив MAE на валідації з 0,02 до 0,005, а потім збільшив і розрив, і помилку найгіршої групи на відкладених суб’єктах (Fragkiadakis et al., 2026). Повідомляти одне розбиття як доказ справедливості — це збій дизайну з ціною для справедливості.

Приватність можна вбудувати в дизайн. TutorLoop запускав WebGazer на стороні клієнта, тож сирий погляд ніколи не покидав браузер (TutorLoop, 2026). Цей вибір показує, що частина ціни архітектурна, а не притаманна. Складніше питання — чи має це виведення існувати взагалі.

Поширені хибні уявлення

«Айтрекінг каже, де увага.» Він каже, куди спрямовані очі. Погляд може лежати на слайді, поки здобувач думає про інше, і може зійти з екрана з причин, не пов’язаних з увагою. Міра уваги TutorLoop корелювала з навчанням на r = 0,017, що близько до відсутності зв’язку взагалі (TutorLoop, 2026).

«Фізіологічний сигнал — це прямий показ ментального стану.» ШГА індексує симпатичне збудження, а варіабельність серцевого ритму — автономне відновлення. Жоден не розрізняє стрес від зусилля від захоплення. Модель, що передбачає іспитові оцінки зі ШГА, руху й температури шкіри, вивчила сигнатуру збудження тіла, а не розуміння студента (Yamazaki and Rimal, 2026).

«Висока точність класифікації означає, що система виявляє стан.» Точність залежить від позначок, розбиття й базової частоти. Передбачення знайомства на ЕЕГ упало з 0,9853 до 0,6038 F1, коли валідація поважала межі спроб (Nanayakkara and Halloluwa, 2026). 99,56% прокторингу описують спеціально позначений набір сценаріїв, а не живі іспити (Arif et al., 2026).

«Залучення — одна річ, тож один бал може його подати.» Конструкт має три нитки, і сенсор сягає здебільшого першої. E3Sense знайшов, що здобувачі визначали його через когнітивні, поведінкові й емоційні індикатори в різних пропорціях, і ці визначення змінювали передбачення (Anupkrishnan et al., 2026). Одне число ховає, який шар виміряно.

«Якщо модель справедлива на валідаційному розбитті, вона справедлива в аудиторії.» Регуляризатор, що вирівняв помилку валідації між групами статі, зробив розрив на відкладених даних гіршим (Fragkiadakis et al., 2026). Справедливість — властивість розгортання, а не контрольної точки.

Пов’язані поняття

• Моделювання здобувача та адаптивне навчання
• Аналітика навчання
• Мультимодальний ШІ
• Афективні обчислення
• Залученість здобувачів
• Саморегульоване навчання
• Втілене навчання
• Освітнє вимірювання
• Автоматизоване оцінювання
• Валідність оцінювання
• Дистанційний прокторинг
• Академічна доброчесність
• Приватність
• Пом’якшення упередженості
• Нейрорізноманіття
• Справедливість
• Доступність
• Машинне навчання
• Когнітивна психологія
• Інтелектуальний тьюторінг

Пов’язані статті

• Gaze-Informed Proactive AI Assistance for Children’s Picture Exploration — Нарація LLM, запущена поглядом, утримувала дітей на наратованій області 6,48 с проти 1,67 с, але дослідження вимірювало увагу, а не розуміння (Wu et al., 2026)
• E3Sense: Head-Confined Multimodal Sensing of Learner Engagement — ЕЕГ на голові, айтрекінг і ШГА на лобі передбачили самооцінене залучення з точністю 75,0% у межах одного рівня проти базової лінії 63,0% (Anupkrishnan et al., 2026)
• EduGage: Methods and Dataset for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning — EduGage об’єднав сім потоків із носимих пристроїв і камер в оцінки залучення на рівні сегментів (MAE 0,81) і аргументує за легший інструментарій (Leng et al., 2026)
• Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation — Мультимодальна модель уваги досягла MAE 0,283, а її валідаційні здобутки справедливості обернулися на відкладених суб’єктах (Fragkiadakis et al., 2026)
• On AI glasses and wearable AI in assessment — Носимий ШІ подвійно прозорий, тож фізичне виключення збоїть і примус дрейфує до розсуду тіл студентів (Corbin et al., 2026)
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — П’ятнадцять моделей передбачення знайомства на ЕЕГ упали з 0,9853 до 0,6038 F1 за валідації, незалежної від спроб (Nanayakkara and Halloluwa, 2026)
• Seeing what students learn: assessing cognitive representations and academic outcomes via EEG image reconstruction — Реконструйовані з ЕЕГ зображення відстежували результати тесту на R² = 0,79, причому один учасник із високою реконструкцією відповів неправильно (Su et al., 2026)
• Leveraging Physiological Signals to Predict Exam Outcomes with Machine Learning — Випадковий ліс передбачав категорії іспитових оцінок зі ШГА, руху й температури шкіри — сигналів, що індексують збудження, а не розуміння (Yamazaki and Rimal, 2026)
• A formative study of brief affective text as a complement to wearable sensing for longitudinal student health monitoring — У 458 студентів із каблучками Oura емоційний регістр, а не тема занепокоєння, відстежував сон і варіабельність серцевого ритму (2026)
• TutorLoop: Regulating Student Learning Behaviors via Sensor-in-the-Loop Generative Feedback — Погляд із вебкамери керував зворотним зв’язком із підкріплювальним навчанням для 187 здобувачів; увага корелювала з навчанням на r = 0,017, а навантаження — негативно (2026)
• An automated online proctoring system with live suspicious activity detection using YOLOv11 pose estimation and multi-model classification — Ознаки пози YOLOv11 позначали підозрілу поведінку з точністю 99,56% на спеціально позначеному наборі, не тестуючи ні проступок, ні справедливість (Arif et al., 2026)
• Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task — Зв’язність ЕЕГ знижувалася з зовнішньою підтримкою письма на 54 учасниках, подаючи покладання як накопичений когнітивний борг (Kosmyna et al., 2025)
• Artificial intelligence in embodied learning: A systematic literature review — На 23 дослідженнях ролі сенсорингу домінували з 62,5% тегів, і жодна оглянута система не об’єднувала мультимодальні потоки наживо (Kim and Han, 2026)