AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Исследование юзабилити

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Исследование юзабилити — эмпирическое изучение того, как пользователи взаимодействуют с программной системой, а также её юзабилити, полезности и пользовательского опыта (UX). Опираясь на взаимодействие человека с компьютером (HCI), исследование юзабилити оценивает, является ли образовательный инструмент ИИ пригодным к использованию, осваиваемым, эффективным и удовлетворяющим, — то есть обладает ли он качествами, которые определяют, действительно ли учащиеся его примут и получат от него пользу. Оно отличается от качественного изучения явлений обучения и количественной оценки эффективности, но дополняет их: исследование юзабилити сосредоточено на взаимодействии между человеком и системой, а не на результатах обучения как таковых.

Вопросы для размышления

  • Можете ли вы вспомнить программный инструмент — образовательный или иной, — который был педагогически обоснован или действительно мощным, но вы перестали им пользоваться, потому что он был непонятным или раздражающим? Этот провал — именно то, что исследование юзабилити пытается объяснить до того, как он обойдётся ценой обучения.
  • Распространённое допущение состоит в том, что образовательную эффективность инструмента можно судить по тому, улучшаются ли учебные результаты. Но страница утверждает, что инструмент может быть непригодным к использованию и при этом казаться «работающим» в пробном испытании, или пригодным к использованию, но неспособным учить. Почему исследование, показывающее прирост в обучении, всё равно может упустить, что инструментом мучительно пользоваться на практике?
  • Прежде чем читать о методах: как бы вы выясняли, является ли ИИ-репетитор непонятным, раздражающим или подверженным ошибкам для учащихся? Что бы вы реально делали или наблюдали, — и что в собственном отчёте пользователя об удовлетворённости упускает то, что уловило бы тщательное наблюдение?
  • Метод «мышления вслух» (think-aloud) — ключевой метод: пользователи произносят свои мысли во время работы, обнажая замешательство и ментальные модели в реальном времени. Если бы вы были учащимся, использующим инструмент ИИ, о своём замешательстве чего бы вы могли чётко сформулировать, чего простой опрос «вам понравилось?» никогда не уловит?
  • Страница отмечает, что заявленная удовлетворённость может расходиться с объективной производительностью: люди могут говорить, что обожают инструмент, который тайно их замедляет, или недооценивать тот, который реально помогает. Где вы видели этот разрыв между тем, что люди говорят, и тем, что показывает их поведение?
  • Исследование юзабилити говорит вам, является ли инструмент пригодным к использованию, а не учит ли он. Если вы оцениваете инструмент обучения с ИИ, как бы вы сочетали данные о юзабилити с данными об обучении, — и чего всё ещё может не достигать инструмент, прошедший и то и другое?

Введение

Исследования юзабилити и UX отвечают на вопросы вроде: могут ли студенты разобраться, как пользоваться этим ИИ-репетитором? Является ли инструмент ИИ непонятным, раздражающим или подверженным ошибкам? Соответствует ли он рабочему процессу преподавателей или учащихся? Эти вопросы являются предпосылкой для — а иногда и скрытой причиной — прироста в обучении (или его отсутствия), измеряемого в исследованиях эффективности. Инструмент ИИ, который педагогически обоснован, но непригоден к использованию, потерпит провал на практике; данные о юзабилити объясняют, почему.

Основные методы

  • Протоколы «мышления вслух» (think-aloud). Пользователи вербализуют свои мысли во время выполнения заданий, обнажая понимание, замешательство и ментальные модели в реальном времени. Исследование многовыходных визуализаций кода и фреймворк LEARN используют метод «мышления вслух», чтобы понять, как учащиеся осмысливают инструменты с поддержкой ИИ; будущее обратной связи изучает, как учащиеся обрабатывают генерируемую ИИ обратную связь.
  • Пользовательские исследования. Структурированные оценки на основе заданий измеряют эффективность, частоту ошибок, удовлетворённость и завершение. ProductiveMath оценивает юзабилити приложения на генеративном ИИ в поддержке обучения через продуктивный провал; SupplyNet проводит пользовательское исследование инструмента визуального исследовательского обучения; чат-боты LLM для заданий с множественным выбором в CS оценивают качество взаимодействия.
  • Интервью и наблюдение. Качественные интервью по юзабилити и наблюдение фиксируют пользовательский опыт, предпочтения и болевые точки. Исследование юзабилити гуманоидного робота-рассказчика использует структурированную оценку, чтобы выяснить, позволили бы родители роботу взаимодействовать с ребёнком; ИИ в дизайн-студиях наблюдает и опрашивает студентов, использующих ИИ в аутентичной дизайн-работе.
  • Систематическая оценка юзабилити. Эвристическая оценка, когнитивный сквозной обход (cognitive walkthrough) и опросные меры UX (например, SUS) систематически оценивают юзабилити по установленным критериям.

Как исследование юзабилити представлено в базе знаний

  • Оценка инструментов обучения на основе ИИ. ProductiveMath, SupplyNet и образовательные анимации оцениваются на юзабилити и UX.
  • Взаимодействие человека с роботом и разговорным ИИ. Исследование гуманоида-рассказчика — явное исследование юзабилити взаимодействия на базе Большие языковые модели (LLM); зонтичный обзор разговорных ИИ-агентов выявляет юзабилити и качество взаимодействия как сквозную тему.
  • Проектирование и доработка. Выводы о юзабилити питают итеративное проектирование (см. Дизайн-мышление и Дизайн обучения), улучшая инструменты до или наряду с тестированием эффективности.
  • Один инструмент в разных контекстах и потолок, который его ограничивает. Mendonça et al. (2026) удерживали предметную область, задание и инструмент постоянными, варьируя образовательный уровень, так что оценки 893 ответов обратной связи и 237 отчётов, данные 144 студентами, сравнивают контексты, а не дисциплины, — и лишь воспринимаемая точность различалась по уровням. Исследование также называет предел этого вида пользовательской оценки: от 72,2 до 86,4 процентов студентов в среднем давали не менее 4 из 5, и авторы утверждают, что их незначимые различия не устанавливают эквивалентности, потому что заранее не был задан допустимый интервал.
  • Дизайн оценщиков, представленный как часть вывода. Puech et al. (2026) предложили 25 экспертам, согласованным по предметной области, оценивать 92 регенерированные лекции по рубрике, закреплённой на «качестве стандартной лекции MOOC», назначая каждое видео одному рецензенту (k = 1), чтобы распределить группу по большей части корпуса вместо сбора повторных оценок. Компромисс моделируется, а не скрывается: модель со случайным перехватом приписывает около 35 процентов остаточной дисперсии рецензенту (ICC = 0,35), а интервалы кластеризуются по рецензентам — именно так группа экспертов может сообщать «87 процентов на уровне планки или выше» с честным диапазоном.

Отношение к другим семействам исследований

Исследование юзабилити разделяет методы сбора данных с качественным исследованием (интервью, наблюдение, «мышление вслух»), но отличается целью: качественное исследование интерпретирует смысл и опыт для построения понимания и теории, тогда как исследование юзабилити оценивает артефакт по критериям юзабилити/UX. Оно также пересекается с Оценивание ИИ-образования (оценкой того, работает ли система) и с измерением (квантификацией конструктов юзабилити). База знаний рассматривает юзабилити как отдельное, но связанное методологическое направление — значимое для Коллаборация человека и ИИ, Опыт студентов и проектирования эффективных инструментов обучения на основе ИИ. См. Методы исследования в AIED, чтобы понять, как оно вписывается в более широкий ландшафт методов.

Сильные стороны и ограничения

  • Сильные стороны: прямо выявляет барьеры юзабилити, блокирующие принятие и обучение; даёт применимые на практике указания по проектированию; дополняет исследования эффективности и качественные исследования, объясняя почему инструмент работает или терпит провал в использовании; относительно быстро и дёшево по сравнению с крупными экспериментами.
  • Ограничения: выводы о юзабилити не устанавливают эффектов обучения (пригодный к использованию инструмент всё равно может не учить); малые выборки и специфичные для заданий условия ограничивают обобщаемость; удовлетворённость по самоотчёту может расходиться с объективной производительностью; зависимость от исследователя и дизайна задания.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Дизайн исследованияSystem Development, User Study, Interviews
Методы исследований и оценкаИсследование юзабилити
Вид страницыEvaluation
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.