Аналитика сенсоров и взгляда

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Аналитика сенсоров и взгляда — использование отслеживания взгляда, электроэнцефалографии, электродермальной активности, вариабельности сердечного ритма и позы, выводимой с камеры, для того чтобы делать выводы о состояниях учащегося: внимании, вовлечённости, когнитивной нагрузке и аффекте. В ИИ в образовании эти сигналы обещают непрерывный, невербальный взгляд на обучение, которого не могут дать тесты и самоотчёты. Они же находятся в центре самой трудной проблемы вывода в этой области: сенсор регистрирует тело, а не ум, и всякое утверждение о том, что учащийся думает или чувствует, есть интерпретация, положенная поверх этой регистрации (Kim and Han, 2026).

Вопросы для размышления

• Веб-камера может показать, что ваши глаза оставались внутри видеоплеера всю лекцию. Означает ли это, что вы были внимательны?
• Если бы репетитор мог в реальном времени оценивать вашу когнитивную нагрузку, должен ли он действовать по этой оценке, не спросив вас?
• Взгляд студента может уйти с экрана из-за тика, нарушения зрения или культурной нормы. Что означает флаг «низкое внимание» для такого студента?
• Следует ли разрешить университету собирать данные мозга и сердца для улучшения курса, и что потребовало бы настоящее согласие?
• Цифра «точность вовлечённости 75%» звучит точно. До какого слоя вовлечённости сенсор действительно дотянулся, а какой пропустил?
• Прокторинг теперь читает позу и движения головы. Где граница между обнаружением нарушения и суждением о теле?

Введение

Аналитика сенсоров и взгляда описывает семейство методов, превращающих физические измерения учащегося в образовательные выводы. Измерения включают то, куда и насколько долго упирается взгляд, электрическую активность кожи головы, реакции потовых желёз, вариацию сердечного ритма от удара к удару, а также положение и движение головы и корпуса. Выводы включают внимание, вовлечённость, когнитивную нагрузку, замешательство, стресс и — в условиях оценивания — подозрение.

Привлекательность очевидна. Самоотчёты ретроспективны и грубы, а тесты замеряют обучение в несколько моментов. Сенсоры работают непрерывно и почти не требуют от учащегося осознанных усилий. Это сочетание сделало сенсорику центральной для аналитики обучения и моделирования учащегося и породило обширную литературу, в которой сенсорика технически впечатляет, а интерпретация тонка.

Систематический обзор 23 исследований, связывающих ИИ с воплощённым обучением, делает этот дисбаланс конкретным. На анализ и оценивание пришлось 40,0% закодированных ролей ИИ, на распознавание и обнаружение — 22,5%, тогда как на обратную связь и коучинг — 15,0%. Сенсорные роли составили 62,5% тегов ролей против 35,0% у партисипативных (Kim and Han, 2026). Область лучше умеет наблюдать за учащимися, чем менять то, что происходит дальше.

Что на самом деле измеряет каждый сигнал

Взгляд и фиксации. Айтрекеры сообщают, куда направлен глаз, как долго он задерживается, когда совершает саккады и насколько широко рассеивается. Экранные системы, такие как WebGazer, оценивают взгляд по веб-камере, тогда как очки отслеживают глаз напрямую. TutorLoop превращает взгляд в две величины: внимание как процент точек взгляда внутри области контента и рабочую нагрузку как энтропию взгляда, исходя из того, что рассеянный взгляд отражает когнитивную нагрузку (TutorLoop, 2026). Ollie, ассистент для детей, учитывающий взгляд, вместо этого определяет области интереса на картинке и запускает рассказ, когда ребёнок смотрит на одну из них (Wu et al., 2026).

Электроэнцефалография. ЭЭГ регистрирует колебания напряжения на коже головы с высоким временным разрешением. Это единственный сигнал в этом семействе, который напрямую достигает корковой активности, поэтому он и привлекает исследования оценивания. Практические образовательные системы используют сухие электроды и малое число каналов: E3Sense взял четыре сухих канала ЭЭГ на 125 Гц и анализировал два лобных (Anupkrishnan et al., 2026). Исследовательские установки идут обратным путём: Kosmyna et al. (2025) использовали 32-канальную ЭЭГ, чтобы сравнить студентов, писавших с LLM, с поисковой системой или без инструмента, и обнаружили слабейшую нейронную связность в группе с LLM (Kosmyna et al., 2025). Это же исследование — самое ясное предостережение об одноканальных свидетельствах, поскольку его центральное утверждение держится на необязательной перекрёстной сессии, которую посетили лишь 18 из 54 участников.

Электродермальная активность. ЭДА измеряет проводимость потовых желёз, индекс симпатического возбуждения. Она реагирует на стресс, усилие и эмоциональную интенсивность и не умеет их различать. Тот же конструкт встречается в браслетах и в лобных электродах, закреплённых в нескольких сантиметрах друг от друга рамкой айтрекера (Anupkrishnan et al., 2026).

Частота сердечных сокращений и её вариабельность. Частота сокращений отражает возбуждение, а вариабельность между ударами индексирует автономное восстановление. В годичном исследовании 458 студентов, носивших кольца Oura, язык эмоционального истощения соответствовал более низкой эффективности сна и более низкой вариабельности сердечного ритма (Affective Text and Wearable Sensing, 2026). Ни одна из мер не устанавливает причину.

Поза и движение по данным камеры. Система прокторинга может извлекать семнадцать ключевых точек тела на кадр и выводить отклонение позы, тренд движения головы и движение верхней части корпуса (Arif et al., 2026). Это измеряет движение. Называть его подозрительным поведением — отдельный, ничем не подкреплённый шаг.

Эти сигналы различаются частотой дискретизации, шумом и нагрузкой инструментирования. E3Sense свёл двенадцать окон ЭЭГ, шесть глазных и три окна ЭДА в общее 120-секундное представление размерностью 166 (Anupkrishnan et al., 2026). EduGage запускал семь типов устройств одновременно и пришёл к выводу, что большая часть пригодного сигнала приходится на лёгкие комбинации (Leng et al., 2026).

Для чего используются сигналы

Обнаружение вовлечённости в видеообучении. E3Sense попросил 30 студентов университета оценить пять сегментов каждого видео, что дало 450 оценок. Объединённая модель достигла сбалансированной точности 75,0% в пределах одного уровня против базовой линии по модальному классу 63,0% на отложенных участниках (Anupkrishnan et al., 2026). EduGage сообщил MAE 0,81 и точность в пределах одного уровня 83,75% на 16 участниках и 715 окнах зондирования (Leng et al., 2026). Оба трактуют оценку как приблизительную.

Оценка внимания в классах. Мультимодальный трансформер объединил изображения лиц с носимыми сигналами на DIPSER, натуралистическом наборе данных из 57 субъектов, и достиг MAE 0,283. Его преимущество над визуальной базовой линией было скромным, и авторы заключают, что признаки лица были основным источником информации (Fragkiadakis et al., 2026).

Когнитивная нагрузка и момент обратной связи. TutorLoop использовал выведенные из взгляда внимание и рабочую нагрузку, чтобы выбирать среди четырёх типов обратной связи с помощью агента обучения с подкреплением. На 187 участниках полная система вмешивалась реже базовых линий, но повышала внимание и снижала нагрузку (TutorLoop, 2026).

Прокторинг и честность. Прокторинг на основе позы сообщает о почти предельной производительности на собственном размеченном наборе сценариев: точность 99,56% и AUC 0,9957 (Arif et al., 2026). Носимый ИИ меняет ту же проблему с другой стороны. Умные очки убирают провал взгляда и сдвиг позы, на которые опирается наблюдение за экзаменом, — состояние, которое Corbin и коллеги называют двойной прозрачностью (Corbin et al., 2026).

Аффект и благополучие. Физиологические сигналы, собранные во время экзаменов, предсказывали категории оценок: случайный лес достиг среднего 0,96 на 30 повторах (Yamazaki and Rimal, 2026). Главными предикторами были электродермальная активность, движение по акселерометру и температура кожи. Это возбуждение и движение, а не понимание.

Исследования оценивания. ЭЭГ проверялась как прямая мера знакомости и мысленного представления. Обе линии перспективны и обе остаются поисковыми, чем и занимается следующий раздел.

Разрыв в выводе

Каждое применение выше опирается на цепочку: физиологическое или поведенческое событие, вычисленный по нему признак, модель, обученная на метках, и утверждение о психическом состоянии. Каждое звено протекает.

Метка часто оказывается слабейшим звеном. E3Sense предсказывал собственные оценки сегментов учащимися, и 63% этих оценок приходились на два вовлечённых уровня. Модель может показать хороший результат, выучив распределение, а не состояние. Когда исследователи добавили собственные определения вовлечённости, данные учащимися, точность выросла с 64,6% до 71,5%, что говорит о том, что метки и сигналы отчасти измеряли разные вещи (Anupkrishnan et al., 2026).

Валидация может завысить модель. Бенчмарк пятнадцати моделей для предсказания знакомости по ЭЭГ достиг 0,9853 F1 при стратифицированной кросс-валидации. Group K-Fold, независимый от испытаний и уважающий временную структуру, снизил пик до 0,6038 F1 против уровня случайности 25% (Nanayakkara and Halloluwa, 2026). Первое число описывает утечку; второе описывает научение.

Нейронный коррелят — не балл. Реконструированные по ЭЭГ изображения коррелировали с результатами теста на уровне R² = 0,79 по 55 наблюдениям «участник — видео». Правильно отвеченные пункты также показывали более высокое семантическое сходство, чем неправильные. И всё же один участник дал реконструкции высокого качества и ответил неверно, поэтому качество реконструкции нельзя читать как правильность (Su et al., 2026).

Внимание — не обучение. В TutorLoop внимание коррелировало с обучением на уровне r = 0,017, а рабочая нагрузка — отрицательно, на уровне r = -0,168 (TutorLoop, 2026). Система, максимизирующая сигнал внимания, оптимизировала бы нечто близкое к шуму.

Физиологический профиль — не диагноз. Модели экзаменационного стресса предсказывают категорию оценки по возбуждению и движению, и авторы настаивают, что результат принадлежит рядом с личными обстоятельствами и контекстом психического здоровья, а не в решении с высокими ставками (Yamazaki and Rimal, 2026).

Наконец, сбор — не интеграция. Kim и Han обнаружили, что большинство мультимодальных исследований собирали потоки параллельно, одно выравнивало аффект лица, взгляд и детекцию лица задним числом, и ни одно не объединяло входы в реальном времени, пока учащийся пользовался системой (Kim and Han, 2026). Страница синхронизированных каналов может выглядеть как модель учащегося, будучи лишь записью.

Этика сенсорного наблюдения за учащимися

Согласие ослаблено институциональной властью. Студент, который обязан посещать занятия или сдавать экзамен, не может свободно отказаться от камеры или носимого устройства. Демографические атрибуты могут даже не сообщаться добровольно: метки пола, возраста и этничности в DIPSER были выведены из изображений моделями компьютерного зрения, а не предоставлены участниками (Fragkiadakis et al., 2026). Выводить, кто человек, чтобы проверить, справедливо ли с ним обращается модель, — сам по себе акт профилирования.

Биометрические данные — не обычные данные аналитики. ЭЭГ, ЭДА и вариабельность сердечного ритма близки к медицинским и во многих юрисдикциях относятся к особой категории данных. Они могут раскрывать сон, стресс и заболевания сверх того, что нужно курсу. Система, учитывающая взгляд, для детей вызвала возражение о приватности от родителя даже в малом пилоте (Wu et al., 2026).

Ползучее расширение функций — обычный путь. Мониторинг благополучия становится пометкой риска, а пометка риска — доказательством для оценки. Corbin и коллеги показывают версию этого дрейфа в оценивании: как только физическое исключение перестаёт работать, инспекция переходит с артефактов на тела, и студенты должны доказывать, что их очки корригирующие, а устройства терапевтические (Corbin et al., 2026).

Нарушения справедливости скапливаются на телах, которые отличаются. Оценка внимания по лицу зависит от тона кожи, очков и освещения. Оценка внимания по взгляду наказывает учащихся, избегающих зрительного контакта, включая некоторых аутичных и нейроотличных студентов. Прокторинг по позе помечает тики, стимминг и культурные нормы движения. Исследование прокторинга не проверяет, соответствует ли помеченная поза нарушению и справедливо ли детектор относится к студентам с инвалидностью или к культурным различиям во взгляде (Arif et al., 2026). Регулирование здесь не исправление, а способ отмыть ошибку в правило.

Утверждения о справедливости требуют свидетельств на уровне субъекта. Регуляризатор, нацеленный на пол, сократил разрыв MAE на валидации с 0,02 до 0,005, а затем увеличил и разрыв, и ошибку худшей группы на отложенных субъектах (Fragkiadakis et al., 2026). Сообщать об одном разбиении как о доказательстве справедливости — проектная ошибка с ценой в равенстве.

Приватность можно заложить в дизайн. TutorLoop запускал WebGazer на стороне клиента, так что сырой взгляд никогда не покидал браузер (TutorLoop, 2026). Этот выбор показывает, что часть цены архитектурная, а не присущая. Более трудный вопрос — должен ли такой вывод существовать вообще.

Распространённые заблуждения

«Отслеживание взгляда говорит, где находится внимание». Оно говорит, куда направлены глаза. Взгляд может покоиться на слайде, пока учащийся думает о другом, и может уйти с экрана по причинам, не связанным с вниманием. Мера внимания TutorLoop коррелировала с обучением на уровне r = 0,017, что близко к отсутствию связи вообще (TutorLoop, 2026).

«Физиологический сигнал — прямое считывание психического состояния». ЭДА индексирует симпатическое возбуждение, а вариабельность сердечного ритма — автономное восстановление. Ни одна не отличает стресс от усилия или возбуждения. Модель, предсказывающая экзаменационные оценки по ЭДА, движению и температуре кожи, выучила сигнатуру возбуждения тела, а не понимание студента (Yamazaki and Rimal, 2026).

«Высокая точность классификации означает, что система обнаруживает состояние». Точность зависит от меток, разбиения и базовой частоты. Предсказание знакомости по ЭЭГ упало с 0,9853 до 0,6038 F1, когда валидация стала уважать границы испытаний (Nanayakkara and Halloluwa, 2026). 99,56% прокторинга описывают специально размеченный набор сценариев, а не живые экзамены (Arif et al., 2026).

«Вовлечённость — одна вещь, поэтому один балл может её представлять». У конструкта три линии, и сенсор достигает в основном первой. E3Sense обнаружил, что учащиеся определяли её через когнитивные, поведенческие и эмоциональные индикаторы в разных пропорциях, и эти определения меняли предсказание (Anupkrishnan et al., 2026). Одно число скрывает, какой слой был измерен.

«Если модель справедлива на валидационном разбиении, она справедлива в классе». Регуляризатор, выровнявший ошибку валидации между гендерными группами, сделал разрыв на отложенных данных хуже (Fragkiadakis et al., 2026). Справедливость — свойство развёртывания, а не контрольной точки.

Связанные понятия

• Моделирование учащегося и адаптивное обучение
• Аналитика обучения
• Мультимодальный ИИ
• Аффективные вычисления
• Вовлечённость студентов
• Саморегулируемое обучение
• Телесное обучение (Embodied Learning)
• Образовательное измерение
• Автоматизированное оценивание
• Валидность оценивания
• Дистанционный прокторинг
• Академическая добросовестность
• Приватность
• Снижение перекосов (bias mitigation)
• Нейроразнообразие
• Справедливость
• Доступность
• Машинное обучение
• Когнитивная психология
• Интеллектуальное тьюторство

Связанные статьи

• Gaze-Informed Proactive AI Assistance for Children’s Picture Exploration — запускаемый взглядом рассказ LLM удерживал детей на озвученной области 6,48 с против 1,67 с, но исследование измеряло внимание, а не понимание (Wu et al., 2026)
• E3Sense: Head-Confined Multimodal Sensing of Learner Engagement — наголовная ЭЭГ, айтрекинг и лобная ЭДА предсказывали самооценку вовлечённости с точностью 75,0% в пределах одного уровня против базовой линии 63,0% (Anupkrishnan et al., 2026)
• EduGage: Methods and Dataset for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning — EduGage объединил семь потоков от носимых устройств и камер в оценки вовлечённости на уровне сегмента (MAE 0,81) и ратует за более лёгкое инструментирование (Leng et al., 2026)
• Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation — мультимодальная модель внимания достигла MAE 0,283, а её выигрыш по справедливости на валидации обратился на отложенных субъектах (Fragkiadakis et al., 2026)
• On AI glasses and wearable AI in assessment — носимый ИИ двойственно прозрачен, поэтому физическое исключение не работает, а принуждение дрейфует к суждению о телах студентов (Corbin et al., 2026)
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — пятнадцать моделей предсказания знакомости по ЭЭГ упали с 0,9853 до 0,6038 F1 при валидации, независимой от испытаний (Nanayakkara and Halloluwa, 2026)
• Seeing what students learn: assessing cognitive representations and academic outcomes via EEG image reconstruction — реконструированные по ЭЭГ изображения отслеживали результат теста на уровне R² = 0,79, причём один участник с высокой реконструкцией ответил неверно (Su et al., 2026)
• Leveraging Physiological Signals to Predict Exam Outcomes with Machine Learning — случайный лес предсказывал категории экзаменационных оценок по ЭДА, движению и температуре кожи — сигналам, индексирующим возбуждение, а не понимание (Yamazaki and Rimal, 2026)
• A formative study of brief affective text as a complement to wearable sensing for longitudinal student health monitoring — у 458 студентов, носивших Oura, эмоциональный регистр, а не тема беспокойства, отслеживал сон и вариабельность сердечного ритма (2026)
• TutorLoop: Regulating Student Learning Behaviors via Sensor-in-the-Loop Generative Feedback — взгляд с веб-камеры управлял обратной связью на обучении с подкреплением для 187 учащихся; внимание коррелировало с обучением на уровне r = 0,017, а рабочая нагрузка — отрицательно (2026)
• An automated online proctoring system with live suspicious activity detection using YOLOv11 pose estimation and multi-model classification — признаки позы YOLOv11 помечали подозрительное поведение с точностью 99,56% на специально размеченном наборе, не проверяя ни нарушение, ни справедливость (Arif et al., 2026)
• Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task — связность ЭЭГ снижалась с внешней поддержкой письма у 54 участников, что трактует опору как накопленный когнитивный долг (Kosmyna et al., 2025)
• Artificial intelligence in embodied learning: A systematic literature review — в 23 исследованиях сенсорные роли доминировали, составив 62,5% тегов, и ни одна рассмотренная система не объединяла мультимодальные потоки в реальном времени (Kim and Han, 2026)