AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Меры самоотчёта

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Меры самоотчёта — это инструменты, в которых изучаемый человек сам является источником данных: анкеты и опросы, интервью, дневники, самостоятельно оцениваемая компетентность, самостоятельно оцениваемая частота использования, воспринимаемое обучение и удовлетворённость. Они являются рабочей лошадью исследований AI in education — в этой базе знаний 139 страниц статей несут метку метода опроса, больше, чем какой-либо другой дизайн, кроме эксперимента и Бенчмарк — и они являются единственным практическим способом дойти до отношений, убеждений, намерений и Самоэффективность. Их предел категориален, а не статистичен: самоотчёт не может измерить поведение или обучение — только то, что кто-то говорит о поведении или обучении, и в этой исследовательской базе эти две вещи расходятся достаточно часто, чтобы это само по себе было находкой.

Вопросы для размышления

  • Если исследование говорит, что учащиеся «сообщили о высокой вовлечённости», что именно было измерено — и что вам нужно увидеть, чтобы заключить, что они действительно включились в работу?
  • В одном исследовании самоотчётные и объективные меры ИИ-грамотности преподавателя (AI literacy) коррелировали лишь на уровне от r = 0.07 до r = 0.24 по четырём измерениям. Где ваше собственное Самооценивание с наибольшей вероятностью разошлось бы с тестом того же навыка, и почему?
  • Удовлетворённость легко измерить и легко повысить — система, настроенная на то, чтобы угождать пользователям, получит по ней высокие баллы. Почему это может делать удовлетворённость плохой мерой результата обучения, и что вы бы измеряли вместо неё?
  • «Почти все учащиеся используют ИИ для учебных заданий» — это известно из опроса учащихся. Что спрашивание, в отличие от логирования, может испортить в любую из сторон?
  • Опрос получает 112 ответов при 31 % доле ответов, или 90 ответов из 572 приглашений. Прежде чем принимать его проценты, что вы хотите знать о тех, кто не ответил?
  • Когда исследование коррелирует две самоотчётные переменные, измеренные в один момент времени, сколько отдельных объяснений корреляции вы можете предложить — и какой дизайн их исключил бы?
  • Если бы вы консультировали кого-то по небольшой оценке, какие утверждения вы бы позволили ему обосновывать опросом, а по каким настаивали бы на данных логов, результатах деятельности или наблюдении?

Введение

Самоотчёт выходит далеко за пределы анкеты. Он включает cross-sectional surveys с использованием шкал Лайкерта и других форматов оценивания, интервью и фокус-группы, проводимые исследователями qualitative researchers, дневники и выборку переживаний, самостоятельно оцениваемые навыки или уверенность, восстанавливаемые оценки частоты использования инструмента, а также воспринимаемое обучение или удовлетворённость, трактуемые как результаты. Их объединяет эпистемическая позиция респондента: они сообщают о себе, а не являются наблюдаемыми.

Это не слабость, о которой нужно извиняться. Многие интересующие конструкты — мотивация, тревожность, trust, воспринимаемая полезность, намерения engagement — являются внутренними состояниями, которые не фиксирует ни один файл логов, и спрашивание — единственный защитимый способ до них добраться. Проблема возникает, когда самоотчёт используется для обоснования утверждения, которое он не может выдержать, что в своей основе является вопросом валидности: измеряет ли инструмент конструкт, который он называет, и относится ли выдвигаемое утверждение к тому сорту вещей, которые самоотчёт способен увидеть. Это опасение принадлежит Образовательное измерение и Валидность оценивания; эта страница посвящена тому, что происходит, когда исследование ИИ в образовании опирается именно на самоотчёт, и тому, где доказательная база показывает его разрушение.

Как эта страница соотносится со своими соседями. Методы исследования в AIED каталогизирует дизайны и их сильные и слабые стороны, включая опросные и SEM-исследования. Количественное исследование охватывает семейство численных методов. Образовательное измерение охватывает разработку инструментов, Теория Item Response Theory (IRT) и психометрическую валидацию. Эта страница — более узкий срез, на который указывают те страницы: сам измерительный инструмент и источник данных — что самоотчёт может и чего не может установить, повторяющийся разрыв между тем, что люди сообщают, и тем, что они делают, и как критически читать находку на основе самоотчёта.

Что самоотчёт может и чего не может установить

Самоотчёт хорошо подходит для отношений, убеждений, намерений, восприятий инструмента, аффективных состояний и самостоятельно оцениваемой уверенности или сложности. Он плохо подходит для поведения и не может измерять обучение вовсе: убеждение человека в том, что он что-то выучил, само является восприятием, и база знаний трактует воспринимаемое обучение как величину, отличную от learning gains.

Следствие — набор утверждений, которые выглядят похоже в разделе результатов, но различаются по силе:

  • «Учащиеся нашли тьютора полезным» — восприятие, уместно измеряемое через спрашивание.
  • «Учащиеся регулярно пользовались тьютором» — поведение, лишь приближаемое через спрашивание.
  • «Учащиеся выучили больше с тьютором» — результат, не устанавливаемый через спрашивание вовсе.
  • «Преподаватели уверенно используют ИИ» — самоубеждение, а не доказательство компетентности.

Из этого следуют два вывода для любого, кто читает или проектирует это исследование. Во-первых, измеряет ли инструмент самоотчёта вообще называемый им конструкт — это эмпирический вопрос, на который отвечает валидация, а не правдоподобность пунктов. Во-вторых, направление искушения в ИИ в образовании последовательно: инструменты оцениваются по тому, что чувствуют о них пользователи, а чувство — именно та часть, которую самоотчёт фиксирует с наименьшими затратами. Самооценивание является членом этого более широкого семейства, а не его синонимом: там, где меры самоотчёта доходят до отношений, доверия и удовлетворённости, самооценивание направляет оценку учащегося конкретно на собственный навык, уверенность или обучение.

Второй режим отказа — дискриминантное схлопывание двух конструктов самоотчёта: регрессия самостоятельно сообщаемой способности в области ИИ наряду с воспринимаемым поведенческим контролем, измеряемым как эффективность, может сравнивать один общий фактор уверенности с самим собой, поэтому критерии фиксируются заранее — гетеротрейт–монотрейт-отношение ниже 0,85 и вложенный тест модели, ограничивающий корреляцию «способность–контроль» единицей (Mnguni (2026)).

Валидированный инструмент может сделать этот предел точным, а не расплывчатым. Анкета самооценивания ИИ-грамотности (AIL-SAQ) Thianwan and Srikoon (2025) представляет собой 15-пунктовую шкалу, подтверждённую стабильной трёхфакторной структурой на двух выборках (n = 335 разведочная, n = 579 подтверждающая) и общей альфой Кронбаха 0,934. Её авторы прямо заявляют, что она фиксирует воспринимаемое понимание, отношения и осведомлённость, а не продемонстрированный навык, и что точность самооценивания зависит от метакогнитивной способности, всё ещё созревающей у детей, поэтому самооценка ребёнка — более слабый сигнал, чем самооценка взрослого.

Противоположный выбор также защитим: PAUSE — это самотест оффлоадинга по четырём доменам, который не публикует данных о надёжности или валидности, не предлагает композитного показателя и заявляет, что его показания не должны обосновывать никакое значимое решение, а его пункты смешивают намеренный скаффолдинг с подстановкой — респондент, который привлекает ИИ на раннем этапе как опору, читается как оффлоадинг (Alam, 2026).

Разрыв между восприятием и поведением

Сильнейшая находка самоотчёта в этой базе знаний состоит не в том, что самоотчёт смещён в целом, а в том, что сообщаемое и наблюдаемое поведение расходятся конкретными, документированными способами.

A study that built parallel self-report and objective measures of teacher AI literacy обнаружило слабое согласие между факторами самоотчёта и объективными факторами (r = 0.07 до r = 0.24) на выборке 288 преподавателей, при этом подтверждающий факторный анализ подтверждал конструктную валидность обеих мер, показывая одновременно низкую корреляцию между факторами самоотчёта и объективными факторами. Оба инструмента были достоверны; они просто измеряли разные вещи. На полной выборке 288 преподавателей корреляции между объективными и самоотчётными факторами шли от r = 0.07 до r = 0.24, а анализ латентных профилей выявил 43 преподавателей, оценивших себя высоко и набравших при этом меньше по объективной мере, против 59, показавших обратную картину.

GLAT приходит к тому же выводу с другой стороны: его 20-пунктовый тест на основе результатов деятельности предсказывал выполнение учебных задач с поддержкой GenAI во внутрисубъектном исследовании 83 студентов, тогда как самостоятельно сообщаемая грамотность в ChatGPT — нет. Формулировка авторов прямолинейна — инструменты в этой области в подавляющем большинстве опираются на опросы самоотчёта, «которые фиксируют воспринимаемую, а не фактическую компетентность и подвержены смещению и завышению».

Поведенческие оценки показывают то же расщепление. A large-scale competitive-programming study сообщило о разрыве между самостоятельно сообщаемой уверенностью и фактическим поведением в практике, где первое является плохой прокси для второго. A learner-modeling study откровенно признаёт, что частота использования была самоотчётной по шкале «Никогда — Ежедневно», а не наблюдаемой, и что при самоотчётных и предикторах, и результатах такие стили ответов, как уступчивость или смещение к крайностям, могли породить наблюдаемые связи.

Иногда спрашивание и наблюдение ставятся лоб в лоб. A scoping review of 46 categorizations from 33 studies обнаружил, что литература делится примерно поровну между данными самоотчёта и логами взаимодействия, и заключил, что категории «часто отражают подход к измерению не меньше, чем само взаимодействие» — при этом исследования самоотчёта фиксируют восприятия и намерения, тогда как исследования на основе логов фиксируют наблюдаемое разговорное поведение, и эти две линии редко интегрируются. Process-data work on GenAI literacy делает конструктивную версию этого тезиса: формулирует ли студент промпты итеративно, дорабатывает ли вывод и управляет ли hallucinations — это наблюдаемо в логах взаимодействия, а не в анкете.

Структурированный обзор и разведочный meta-analysis 2026 года мер компетентного использования Генеративный ИИ ставят объединённое число на этот разрыв с другой стороны: объединение трёх непосредственно сообщённых одновыборочных корреляций «субъективное–объективное» (совокупное сообщённое N = 2 765) дало r = 0,055 (95 % CI Хартунга–Кнаппа [−.047, .156]), а добавление кросс-факторных корреляций четвёртого исследования достигло лишь r = 0,079. Все три первичных эффекта происходили из одной исследовательской программы, сообщённые корреляция и p-значение наибольшего участника не удалось свести друг с другом, и обзор заключает, что самоотчёт не может заменять объективные показатели результатов деятельности — отмечая при этом, что сами инструменты результатов деятельности узки, покрывая знания основ, а не поведения надзора и опоры, которые значимы на работе (Verí (2026)).

Сама инструментальная литература может читаться как свидетельство масштаба этого разрыва. Zainal, Mohd Matore and Maat (2026) оценили 33 инструмента ИИ-грамотности преподавателей и обнаружили, что 31 (93,9 %) представляли собой шкалы самоотчёта воспринимаемой уверенности, только два (6,1 %) тестировали знания объективно, и ни один не использовал заданий на основе результатов деятельности в период с 2019 по 2025 год. Их вывод — тот же, к которому эта страница приходит с других сторон: баллы самоотчёта индексируют уверенность, а не способность, поэтому они не могут заменять компетентность при сравнении групп или программ.

Меры результатов наследуют тот же разрыв. Pramod and Patil (2026) моделируют путь от agentic AI через мотивацию и социальное присутствие к тому, что они называют успешностью обучения, с коэффициентом 0.671 — сильнейшей связью в исследовании — и в собственном разделе ограничений заявляют, что эта зависимая переменная отражает восприятия учащихся, а не результаты экзаменов, успешность заданий или учебную аналитику. Это та картина, которую следует внимательно читать в моделях путей вообще: большой коэффициент на воспринимаемом результате количественно определяет, насколько последовательно студенты верят, что что-то помогло, и пока ничего не говорит о том, помогло ли это на самом деле.

Удовлетворённость и воспринимаемое обучение как результаты

Удовлетворённость — наиболее часто встречающийся самоотчётный результат в этом корпусе, появляющийся на 63 страницах статей. Она также является наиболее слабой прокси для обучения, и база знаний содержит прямые аргументы в этом духе.

  • Work on sequenced AI feedback прямо формулирует принцип проектирования: удовлетворённость пользователей и поведенческое вовлечение не являются надёжными прокси для прироста в обучении, поэтому обучение должно измеряться непосредственно.
  • On pedagogical steering отмечает, что текущие языковые модели настроены на инструкциях быть полезными ассистентами, максимизирующими удовлетворённость пользователей, тогда как цель тьютора — максимизировать обучение; эти две цели могут конфликтовать, что делает удовлетворённость потенциально вводящей в заблуждение целью, а не просто слабой.
  • A scaffolding study утверждает, что воспринимаемая полезность, лёгкость использования и непосредственная удовлетворённость не следует трактовать как достаточные индикаторы эффективности Скаффолдинг.
  • On personality-aligned student modeling отмечает, что оптимизация под удовлетворённость пользователей — не то же самое, что оптимизация под результаты обучения, и что эти две вещи могут расходиться.

Картина, которую стоит унести с собой: удовлетворённость отзывается на неправильные вещи, когда целью является обучение. Система, которая отвечает быстро, охотно соглашается и снижает усилие, будет оценена высоко, и это те самые свойства, которые база знаний связывает со сниженной productive struggle и завышенными результатами на работе с поддержкой ИИ. Сообщаемая удовлетворённость и измеренное обучение — не враги; они просто не являются взаимозаменяемыми, и трактовка первой как доказательства второго — наиболее частое смещение, документируемое этой страницей.

Что делает инструмент самоотчёта достоверным

Четыре свойства отделяют опрос, способный обосновать утверждение, от опроса, неспособного это сделать.

  • Конструктная валидность. Пункты должны быть показаны измеряющими называемый конструкт, в идеале с факторным анализом. Исследование с параллельными мерами, описанное выше, валидировало оба своих инструмента и всё же обнаружило их расхождение — валидность инструмента ничего не говорит о том, фиксирует ли он поведение.
  • Надёжность и структура. Валидированные факторно инструменты повторяются в этом корпусе — от teacher AI literacy measures grounded in self-determination theory, до шкал принятия, моделируемых с помощью TAM и SEM в studies of AI-assisted language tools.
  • Инвариантность при сравнении групп. Шкала, ведущая себя по-разному в разных популяциях, не может обосновать сравнение. Multigroup SEM work сообщает о тестировании инвариантности измерения (конфигуральной, метрической, скалярной) наряду со своими косвенными эффектами, а a Switzerland–China comparison обнаружило, что лишь внутренняя ценность достигала метрической, но не скалярной инвариантности — ограничение, которое заявляется, а не скрывается, и которое ограничивает то, что могут означать его межстрановые различия.
  • Альтернатива на основе результатов деятельности там, где конструктом является компетентность. 20 заданий с множественным выбором в GLAT существуют именно потому, что самоотчёт не может выдержать утверждение о компетентности.

Выборка, ответы и неответы

Поскольку опросы дешевы в проведении, обычно именно проблемы выборки ломают утверждение об обобщаемости. Этот корпус сообщает их явно и поучительно:

  • A UK survey of student GenAI use сообщает об удобной выборке из 7 учреждений, резко варьирующихся institutional долях ответов и смещении неответов, которое может перекашиваться в сторону студентов с сильными взглядами, — и отмечает, что около 32 % респондентов описали поведение, которое, по-видимому, нарушало политику, в формате, где социальная желательность и контекстуальное давление делают недоотчётность вероятным направлением ошибки.
  • A study of AI-assisted grading feedback опирается на 112 ответов, 31 % долю ответов.
  • A faculty study опирается на 90 преподавателей STEM из 572 приглашённых обладателей награды — 16 %.
  • A sociology survey получил 504 респондента из 844 приглашённых, и авторы отмечают, что доли ответов варьировались по вопросам.
  • A Delphi study завершило свой первый раунд с 17 респондентами — ограничение, о котором оно прямо заявляет.

Самовыбор усугубляет это. An inoculation study привлекло 782 участника и сохранило 100 достоверных случаев из удобной выборки самостоятельно заявивших себя пользователей ChatGPT; a physics study предлагало студентам самоотбор в задание с дополнительными баллами, что правдоподобно перекашивало взгляды в сторону соглашателей и исключало скептиков.

Ещё две специфические для самоотчёта ошибки повторяются. Ограниченность интроспекции и смещение в сторону социальной желательности называются внутренне присущими самоотчёту в work on engagement assessment и в studies whose qualitative data rely on self-report. Дисперсия общего метода возникает, когда предикторы и результаты исходят от одних и тех же респондентов в одно и то же время: a moderated-mediation study of AI use and critical thinking операционализировало использование, когнитивную нагрузку и self-regulated learning — всё через стандартизированные инструменты самоотчёта в одной временной точке — и указывает на смещение общего метода как на следствие; a PLS-SEM study of motivation and engagement точно так же опирается целиком на самоотчёт и не может установить временное упорядочивание среди своих медиаторов.

Средство: добавление доказательств не из самоотчёта

Конструктивные ответы базы знаний последовательны, и ни один из них не требует отказаться от опросов.

  • Сопрягайте самоотчёт с данными трейсов или логов. A 194-student, eight-week study of adaptive learning technology сочетало самоотчёт с данными трейсов в рамках иерархического линейного моделирования, что и позволило ему отслеживать фазы саморегулируемого обучения по мере их развёртывания, а не по воспоминанию.
  • Наблюдайте практику непосредственно, когда утверждение касается практики. A screen-recorded assessment task plus video-stimulated interviews преодолело разрыв между самостоятельно сообщаемым использованием ИИ и наблюдаемой практикой, фиксируя metacognitive осведомлённость, которую не мог уловить опрос.
  • Оценивайте поведение по рубрике, а не спрашивайте о нём. Retention work трактует усилие в практике как поведенческий индикатор, выведенный из логов взаимодействия, — явно не как меру внутреннего motivational состояния.
  • Триангулируйте. Mixed-method designs и mixed-methods research вообще обменивают размер выборки на способность проверить один источник данных против другого; a systematic review of vocational education поучителен именно этой несбалансированностью, отмечая, что среди количественных исследований, которые он рассмотрел, 2 опирались исключительно на самоотчёт, тогда как 5 использовали только объективные меры.
  • Измеряйте результат, о котором идёт речь. Если утверждение касается обучения, learning gains должен быть измерён, а не выведен из удовлетворённости.

Как читать утверждение на основе самоотчёта

  • Спросите, какого рода это утверждение. Восприятия — в рамках правил; поведение — приближается; обучение и компетентность — недостижимы этим путём.
  • Проверьте, кто ответил, а кто нет. Доля ответов, основание выборки и самовыбор решают, что описывают проценты — исследование студентов одного учреждения описывает эту обстановку, а не студентов вообще.
  • Проверьте инструмент. Валидирован ли он для этого конструкта и этой популяции, и если сравниваются группы, тестировалась ли инвариантность?
  • Следите за дизайнами с единственным источником. Если и предикторы, и результаты исходят из одной анкеты в одной временной точке, наблюдаемые связи согласуются как с дисперсией общего метода, так и с предложенной теорией.
  • Трактуйте удовлетворённость как сигнал для проектирования, а не как результат обучения. Высокая удовлетворённость плюс непроверенное обучение — стандартная конфигурация в оценке ИИ-инструментов, и этот корпус показывает расхождение этих двух вещей.
  • Предпочитайте исследования, которые показывают свою работу: заявленные доли ответов, заявленные ограничения и по меньшей мере один источник доказательств, который не происходит из спрашивания.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Дизайн исследованияSurvey
Целевая аудиторияResearchers, Instructors
Обучение и преподаваниеСамоэффективность, Вовлечённость студентов
Оценивание и измерениеВалидность оценивания, Образовательное измерение, Прирост в обучении
Методы исследований и оценкаКоличественное исследование, Методы исследования в AIED, Качественное исследование
Справедливость, этика и ответственное использованиеКалибровка доверия
Основы ИИ в образованииИИ-грамотность
Вид страницыEvaluation
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.