AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Образовательное измерение

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Образовательное измерение — психометрическая теория и методы квантификации и валидизации обучения и его конструктов — пронизывает страницы базы знаний по Теория Item Response Theory (IRT), Трассирование знаний и Валидность оценивания. Эпоха Большие языковые модели (LLM) вынуждает измерение согласовывать классическую психометрику с новыми потоками ответов, генерируемых ИИ: автоматизированное оценивание, предсказанная ИИ сложность и Мультимодальный ИИ трассы должны быть валидизированы относительно устоявшихся принципов измерения, чтобы сохранить надёжность и валидность.

Вопросы для размышления

  • LLM предсказывает, что экзаменационное задание лёгкое, но эмпирические данные теста говорят, что студенты находят его трудным. Какому из них вы Доверие и что убедило бы вас довериться оценке машины?
  • Образовательное измерение — это превращение наблюдений об обучении в защитимые quantitative утверждения. Когда ИИ оценивает эссе или начисляет баллы за ответ, является ли «балл» автоматически измерением — или нечто должно быть валидизировано сначала? Что именно?
  • Некоторые research позволяют предположить, что инструменты оценивания могут измерять не одно и то же у людей и у LLM — латентная структура расходится. Если конструкты действительно различаются у людей и у ИИ, что это подразумевает для генерируемых ИИ оценок или оценок сложности?
  • ИИ может оценивать, генерировать задания и предсказывать сложность в беспрецедентном масштабе. Является ли «больше измерения» тем же самым, что «лучше измерение»? Что делает балл надёжным и валидным, и могут ли эти стандарты быть сохранены, когда измерение выполняет генеративная модель?
  • Бенчмарки и генерируемые ИИ баллы теперь повсюду. Что вам нужно было бы увидеть, прежде чем вы стали бы рассматривать оценивание на основе ИИ как доказательство о фактическом понимании учащегося, а не просто как число?

Введение

Образовательное измерение — это дисциплина превращения наблюдений об обучении — ответов, поведений, баллов — в защитимые количественные утверждения. Оно охватывает определение конструкта, дизайн заданий и тестов, шкалирование, надёжность и валидность. В AI in education вопросы измерения встречаются повсюду: измеряет ли benchmark score то, что мы думаем? Является ли генерируемая ИИ оценка надёжной и валидной? Согласуются ли предсказанные ИИ сложности заданий с эмпирически оценёнными?

Как образовательное измерение проявляется в исследованиях

  • Десятилетнее преобразование области под влиянием ИИ: Xiong and Li (2026) отображают влияние ИИ на три эпохи (Formative 2015–2018, экспансия 2019–2022, генеративное 2023–настоящее время) через рамки «эффективность–усиление–трансформация», охватывая ИИ в оценивании и item generation, психометрическом моделировании, инновациях оценивания и данных о процессе, а также fairness/этике/равенстве. Они выступают за новую парадигму, интегрирующую теорию измерения с методами ИИ, и за переосмысление конструктов в контексте взаимодействия человека и ИИ — AI interaction, — той же границы, которую эмпирически исследует latent-structure comparison.

  • Предсказанная ИИ сложность и калибровка: LLM difficulty calibration и item-difficulty prediction используют LLM для оценки сложности заданий, что должно быть валидизировано относительно психометрических оценок (см. Теория Item Response Theory (IRT)). Razavi and Powers (2026) добавляют крупномасштабную проверку K-5 этой посылки: по 5 170 заданиям по математике и чтению, откалиброванным по модели IRT Раша, оценки сложности GPT-4o в режиме zero-shot коррелировали с истинными сложностями от умеренно до сильно (r = 0,83 по математике, r = 0,81 по чтению), но были неровными по классам и не лучше фиктивной регрессии по среднему по классу для классов K и 1. Подход на основе признаков — извлечённые LLM когнитивные и лингвистические признаки, поданные в древовидные модели, — достиг корреляций до r = 0,87, причём класс и число слов были ведущими предикторами. Исследование иллюстрирует и перспективы, и пределы предсказанной ИИ сложности как входного сигнала измерения и предлагает практический семишаговый рабочий процесс для тестирующих специалистов.

  • Когда генерируемые метки сложности не измеряют сложность. Аудит валидности конструкта 311 развёрнутых генерированных LLM заданий обнаружил, что генерируемая метка сложности коррелировала со своим же сгенерированным совместно с ней уровнем Блума при ρ=0,90, но с эмпирической сложностью (индекс 1−p классической теории тестов) лишь при ρ=0,06, тогда как длина вариантов ответа шла в обратную сторону (ρ=−0,18) — результат «метки как поверхностная форма», ограничивающий оптимистичные прочтения предсказанной ИИ сложности выше (An & Wang (2026)).

  • Таксономическая метка не предсказывает поведение задания. На 265 математических заданиях задуманный уровень Блума объяснял менее 5% дисперсии сложности (ε² = 0,043) и никакой доли дискриминативности (Kruskal–Wallis H = 0,54, p = 0,77), тогда как классификация LLM согласовывалась с экспертами-кодировщиками лишь посредственно (κ Коэна = 0,22) и стягивала задания к полосе применения/анализа (Altaweel & Moussa (2026)).

  • Оценивайте генерируемые задания по пути решения, а не по формулировке. Кодирование верифицированного дерева рассуждений каждого задания повысило результативность над вторым по качеству методом на 7,5% в оценке понимания концептов, на 6,3% в оценке сложности и на 19,5% в оценке компетентности, где базовый вариант zero-shot ошибочно метил задание, следующее шаблону, как «Рассуждение», а геометрическое задание — как «Знание» (Tong et al. (2026)).

  • Психометрическая осведомлённость в ИИ-Оценивание: psychometrically aware AI — это стандарт, согласно которому оценивание на основе ИИ должно быть согласовано с теорией измерения — калиброванным, осознающим неопределённость и сохраняющим валидность (см. Confidence Aware AI Assessment).

  • Метки мастерства конструируются, а не наблюдаются. Там, где для диагностики нужна истинная основа, Jia and Dong (2026) построили её через процедуру контроля валидности — учебные графы концептов, отрецензированные преподавателями отображения на точки знания и конвергентные доказательства оценивания, — а не через прямое преобразование поведенческих трасс, и их диагнозы совпали с диагнозами педагогических психологов при каппе Коэна 0,78 против 0,65 для IRT.

  • Автоматизированное оценивание и валидность: AI scoring and language bias и multimodal item-parameter estimation исследуют, как автоматизированное оценивание и мультимодальные данные влияют на качество измерения.

  • Рамки валидности: Валидность оценивания и Обработка естественного языка в образовании (Educational NLP) дают стандарты и инструменты для валидизации измерения на основе LLM.

  • Сравнение латентных структур: Strugatski et al. (2026) распространяют образовательное измерение на условия LLM, проверяя, обнаруживают ли инструменты оценивания одну и ту же факторную структуру для людей и LLM. Используя EFA, конгруэнтность факторов и ресэмплирование, они показывают, что латентные структуры LLM и людей систематически расходятся по инструментам по chemistry и количественному рассуждению, что означает, что измеряемые конструкты различаются по популяциям — необходимая проверка прежде, чем предполагать перенос свидетельств валидности, полученных на людях, на ИИ.

  • ИИ как оценщик с измеримой ошибкой: Cvengros & Kortemeyer рассматривают назначенные ИИ баллы как подверженные ошибкам наблюдения с несколькими источниками ошибок (задания, прогоны, задачи) в рамках теории обобщаемости и аргументационной валидности Кейна. Анализ надёжности письменного экзамена по общей химии у 296 студентов показал высокую стабильность общих баллов по пяти прогонам ИИ (ICC(A,1) = 0,967, W Кендалла = 0,959, 95% коэффициент повторяемости 5,33 из 60 баллов) при более низкой стабильности на уровне заданий (ICC(A,1) = 0,836) — несистематические ошибки частично взаимно погашаются при суммировании (эффект агрегации по Спирмену–Брауну, повышающий согласие по общим баллам до R² = 0,91), тогда как небольшой положительный интерсепт при наклоне < 1 выявил уклон сжатия баллов «робкого оценщика». Это формулирует усреднение по прогонам и агрегацию как решения дизайна измерения и мотивирует фильтры уверенности, калиброванные под IRT-риск, как меру предосторожности в отношении валидности прежде, чем автоматизированным мерам начинают доверять.

  • Версия модели — это условие измерения. Hao (2026) обнаружил, что внутримодельное сходство ответов (0,715–0,795) устойчиво превышало межмодельное сходство (0,443–0,604) по четырём LLM, поэтому аргумент об оценивании, установленный для одного развёртывания, автоматически не переносится на его преемника.

  • Нулевой результат не является свидетельством эквивалентности, если он не ограничен. StudentBench проверил, совпадало ли объединённое AI-тьюторство с экспертным человеческим тьюторством, с помощью двух односторонних тестов против ±0,25 объединённых стандартных отклонений, а не теста на различие, сообщив о скорректированном различии −0,58 процентных пункта (90% ДИ [−2,18; 1,03]) — тот выбор, который превращает недостаточно мощный нулевой результат в утверждение об эквивалентности (Northcutt et al. (2026)).

  • Калибровка, масштабирующаяся с новыми данными, а не со всей историей: Jewsbury et al. (2026) противостоят операционному следствию генерации заданий ИИ — банкам, более крупным, более разрежённым и более часто обновляемым, чем обычные, где переподборка всех накопленных данных ответов при каждом обновлении дорога и может превысить доступную память. Их консенсусная калибровка объединяет независимо откалиброванные квартальные периоды, отображая апостериорные выборки каждого периода на общую метрику с устойчивой связью Хаэбары на каждую выборку (так что неопределённость связывания распространяется, а не рассматривается как фиксированное преобразование), затем агрегируя их как произведение гауссовых апостериорных распределений, из которого вычитается оценённое, иерархическое априорное распределение каждого периода и восстанавливается консенсусное априорное. На операционных данных Duolingo English Test по четырём периодам агрегат совпал с объединённым одно-прогоновым бенчмарком по апостериорным средним (r = .998 по сложности, .991 по лог-дискриминации) и стандартным отклонениям (r = .970 и .920), при остаточной недодисперсности 0,91–0,98 в отношении консенсусного/объединённого СКО по терцилям экспозиции — сосредоточенной в самом разрежённом терциле заданий, где пересчёт априорного вклада бьёт сильнее всего. Урок измерения двоякий: с оценённым априорным распределением нельзя обращаться с помощью стандартных приёмов априорного подмножества из параллельного байесовского вычисления, и апостериорная дисперсность — та неопределённость, которую потребляют адаптивный выбор и оценивание, — является целью коррекции в той же мере, что и апостериорное среднее.

  • Определение дисперсности системы по двум опубликованным числам: Restrepo Morales et al. (2026) показывают, что стандартное отклонение распределения achievement может быть восстановлено из одних лишь опубликованных сводных статистик — среднего и доли студентов на или выше фиксированной отметки владения, — потому что при допущении о распределении σ = (c − μ) / z(1 − p). Применённая к данным PISA 2025 по Сальвадору (среднее по mathematics 346, 12,28% на или выше отметки уровня 2, равной 420,07), она даёт σ = 63,8 (чтение 76,8, наука 63,8), значительно ниже международного ориентира 100, как и ожидается для распределения, прижатого к полу шкалы; три оценки были получены из независимых пар чисел и лежат в пределах примерно 13 пунктов друг от друга, что является мягкой проверкой внутренней согласованности. Доля на уровне 2 сообщается для каждой системы PISA и лежит в основе показателя ЦУР 4.1.1, поэтому идентификация не требует микроданных, и та же статья демонстрирует проблему знаменателя в размерах эффекта, сообщая один разрыв по математике тремя способами — 129 пунктов, 1,29 международных стандартных отклонений или 2,02 стандартных отклонения самого сальвадорского распределения — с аргументом, что стандартизованные размеры эффекта, делённые на дисперсность их собственной выборки, не являются правомерно сравнимыми между исследованиями.

Инструменты измерения в базе знаний

Центральная функция образовательного измерения — разработка, валидизация и использование инструментов — конкретных шкал, тестов и схем кодирования, операционализирующих конструкты. Статьи базы знаний документируют широкий спектр инструментов для конструктов ИИ в образовании, которые могут быть классифицированы по тому, что они измеряют, и по их подходу к измерению.

Инструменты ИИ-грамотности / грамотности в GenAI

ИИ-грамотность — это конструкт с самым богатым покрытием инструментами в базе знаний. Существуют два широких семейства: тесты, основанные на выполнении задач (объективные, менее подверженные уклону самоотчёта) и шкалы самоотчёта (субъективные, фиксирующие воспринимаемую компетентность). Компромиссам этого второго семейства посвящена страница Меры самоотчёта: самоотчёт дёшево достигает отношений и восприятий, но не может нести утверждение о компетентности или поведении, и база знаний документирует разрыв завышения в 40% при сравнении параллельных мер самоотчёта и мер, основанных на выполнении задач.

  • Меры, основанные на выполнении задач (объективные). Флагман — GLAT (Generative AI Literacy Assessment Test), инструмент множественного выбора из 20 заданий, построенный на схеме из 25 концептов по четырём измерениям (Знать и понимать; Использовать и применять; Оценивать и создавать; Этика) и валидизированный с помощью CTT + 2PL IRT на 355 студентах (RMSEA = 0,03, CFI = 0,97, α = 0,80, ω = 0,81). Критически важно, что баллы GLAT предсказывали результативность задач с помощью ИИ там, где самоотчёт этого не делал, — доказательство того, что измерение, основанное на выполнении задач, превосходит самоотчёт для ИИ-грамотности. Связанная работа по How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures квантифицирует разрыв между сообщённой и основанной на выполнении задач ИИ-грамотностью (преподаватели завышают примерно на 40%), а Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing отслеживает фактические закономерности взаимодействия студентов с ИИ, а не опирается на сообщённое использование.
  • Измерение того, что преподаватели делают, а не только того, что они знают. Валидизация на 486 преподавателях дала инструмент из шести измерений для образовательных применений GenAI преподавателями — управление, создание материалов, оценивание, расширение прав и возможностей, разнообразие и мотивация, — подтверждая, что использование многомерно, хотя самоотчёты не могут нести утверждение о практике в аудитории (Pérez-Montesdeoca et al. (2026)).
  • Шкалы самоотчёта. SAIL операционализирует ИИ-грамотность по трём областям (концепты ИИ; применение и технические навыки; цифровое гражданство в сфере ИИ) и четырём скаффолдированным уровням; the AI Literacy Heptagon структурирует семь измерений (техническое, прикладное, critical thinking, этика, социальное воздействие, интеграция, правовое/regulatory) с четырьмя уровнями владения, согласованными с таксономией Блума. The GenAI Skill Bypass: Mapping Divergent Pathways of University Students and Staff AI Literacy отображает расходящиеся пути ИИ-грамотности для студентов против персонала, а Towards AI literacy: A proposal of a framework based on the Episodes of Situated Learning основывает оценивание грамотности на эпизодах situated learning. Разработка инструментов для более юных учащихся также продвигается: опросник самооценки ИИ-грамотности (AIL-SAQ) Thianwan and Srikoon (2025) — это шкала самоотчёта из 15 пунктов для учащихся 4–6 классов, организованная вокруг «обучения об ИИ», «обучения о том, как ИИ работает», и «обучения для жизни с ИИ», валидизированная с помощью исследовательского факторного анализа на 335 студентах и подтверждающего факторного анализа ещё на 579, с общей альфой Кронбаха .934.
  • Domain-specific ИИ-грамотность. Teacher education for artificial intelligence literacy through a self-determination theory perspective разрабатывает меры ИИ-грамотности teacher в рамках Теория самоопределения (382 преподавателя, валидизация факторов); Conceptualizing pre-service teachers' readiness for AI integration into teaching practices: An intelligent-TPACK approach измеряет готовность будущих teacher AI readiness через интеллектуальный Технологические педагогические знания о содержании (TPACK); AI literacy alone is not enough: Student AI readiness and career adaptability in business and management education оценивает готовность студентов к ИИ и career adaptability в business education; а Can Large Language Models Foster Critical Thinking, Teamwork, and Problem-Solving Skills in Higher Education?: A Literature Review делает обзор инструментов для результатов критического мышления и командной работы с поддержкой LLM. Расширяясь до измерения педагогов, шкала ИИ-грамотности преподавателей (TAILS) операционализирует шесть измерений рамок ED-AI для измерения ИИ-грамотности конкретно внутри language teacher education (валидизирована факторным анализом), заполняя пробел в оцениваниях, нацеленных на студентов или обычных пользователей.

Инструменты измерения отношений, принятия и мотивации

Инструменты качества оценивания и валидности

  • Автоматизированное оценивание и инструменты рубрик. HARMOGEN-R генерирует рубрики оценивания; AI-assisted, instructor-supervised grading and feedback in higher education: Design and evaluation of an end-to-end pipeline оценивает качество оценивания ИИ относительно критериев развёрнутой Обратная связь; A bit of chaos and madness: The AI Assessment Scale and the work of assessment reform рассматривает, как ИИ подрывает традиционные шкалы оценивания.
  • Дизайны, усиливающие валидность. assessment twins (assessment twins) соединяют уязвимое к GenAI задание с менее уязвимым эквивалентом, оценивающим те же результаты, отображая угрозы по шести направлениям свидетельств валидности Мессика.
  • Разделение пространства результатов по помощи. Программа измерения определяет авторство модели — насколько далеко учащийся, а не система, является источником содержания артефакта на уровне предметной области, — как конструкт из четырёх аспектов и четырёх уровней, и сообщает, что из 24 проверенных исследований почти все измеряли результативность при доступном ИИ и ни одно не измеряло после отмены доступа (Gousopoulos (2026)).
  • Кодирование дискурса и вовлечённости. Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents расширяет рамки ICAP до 7-балльной схемы кодирования когнитивной вовлечённости, сравнивая человеческую аннотацию (κ = 0,906–0,998) с маркировкой на основе LLM (κ = 0,541–0,609) — исследование измерительного инструмента, показывающее, что автоматизированное кодирование всё ещё отстаёт от обученных людей. Автоматизированное кодирование продвигается также через context-aware prompting, который моделирует контекстные зависимости и сливает когнитивные и социальные способности для кодирования навыков collaborative problem-solving из данных о процессе с результативностью, превосходящей сильные базовые линии, — позволяя крупномасштабное оценивание в реальном времени при одновременном решении проблемы трудоёмкости ручного кодирования.
  • Извлечение навыков. Principal Trait Analysis: Towards Deriving 'Skills' in Human-AI Collaboration выводит «навыки» в коллаборации человека и ИИ через анализ основных черт (principal-trait analysis) — управляемое данными измерение компетентности сотрудничества.

Подход к измерению имеет значение

Доказательства базы знаний неоднократно показывают, что то, как измеряется конструкт, меняет выводы. Сообщённая ИИ-грамотность резко расходится с мерами, основанными на выполнении задач (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures); аннотация вовлечённости LLM расходится с кодированием обученными людьми (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents); а латентные структуры различаются между людьми и LLM (Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis). Строгая валидизация инструмента — надёжность, структурная валидность, внешняя/предиктивная валидность, — поэтому является не формальностью, а фундаментом достоверных доказательств об ИИ в образовании, связываясь с Валидность оценивания и Психометрически осведомлённый ИИ. Недавнее исследование на материальном уровне показывает, какой объём работы по валидизации стоит за простым утверждением о принятии: Wang, Chuang and Wu (2026) использовали дизайн расщепления пополам (EFA на выборке разработки, CFA на отложенной половине) для двух руководств по ИИ-грамотности, разделённых по возрасту, сообщив KMO = .820, 67,3% объяснённой дисперсии, приемлемое соответствие по студентам (CFI = .943, RMSEA = .059, SRMR = .059), композитную надёжность от .84 до .90 и инвариантность измерения по изданиям, — а затем документируя, где инструмент напрягается, со значениями HTMT до .950 и ограниченной корреляцией «игривость–намерение», которую пришлось проверить на единичность. Их дополнительные проверки дифференциального функционирования пунктов являются образцом той честности, за которую выступает данная страница: инвариантность сохранилась, но паттерны ответов с малой вариацией среди более юных студентов означали, что одно различие между группами ослабевало после исключения этих респондентов, и статья сообщает об этом наряду с headline-результатом, а не вместо него.

Oliveira et al. (2025) показывают последовательность валидизации для новой меры процесса: оценивание журналов взаимодействия студентов с GenAI по таксономии из 35 подкатегорий достигло лишь умеренного согласия между оценщиками (каппа Коэна = 0,44), но при этом коррелировало r = 0,54 с оценками эссе, давая новой мере конвергентную поддержку.

  • Коэффициенты согласия — это свойства корпуса, а баллы — совместные продукты. Валидизация автоматизированного оценивания 60 маркетинговых постов сообщила об абсолютном согласии ICC(2,1) .435 для LLM, .266 для гибрида «правила плюс LLM» и .091 для детерминированных правил, с неопределённостью, оценённой по 2 000 бутстрэп-выборкам кластеров авторов, и MAE 6,28–17,22 балла; добавление написанных исследователями якорных примеров сдвинуло согласие между оценщиками с .338 на .902, показывая, насколько сильно эти оценки зависят от референтного набора (Agreement and error in automated scoring of student marketing posts). Аудит переоценки экспертами physics бенчмарков делает дополнительный момент на уровне инструмента: 95,20% проверенных отклонений были ошибками бенчмарка или оценщика, а не отказов модели, поэтому измеренный балл должен сообщаться как свойство банка заданий, рубрики и оценщика вместе (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks).

Надёжность частично восстанавливается из самой модели. Organisciak and Acar (2026) оценивают три дешёвых улучшения оценивания на основе LLM на более чем 20 000 ответов на тест альтернативных применений (Alternative Uses Test): чтение собственной уверенности модели на уровне токенов, взятие взвешенного по вероятности среднего по её top-n предсказанным баллам вместо единственного наилучшего предположения и ансамблирование по моделям. Каждое улучшало согласие с человеческими баллами (корреляция росла с r = 0,781 до 0,823, а RMSE падала с 0,599 до 0,498 в наилучшей конфигурации), и их диагностика локализует конкретный отказ однопроходного оценивания: выраженная моделью уверенность была отрицательно связана с её точностью (β = −0,602). Это результат подхода к измерению, а не результат модели — та же модель, оценённая по-разному, является более надёжным инструментом, — и он находится рядом с корпусными доказательствами согласия выше.

Оценка 2026 года 33 инструментов ИИ-грамотности преподавателей показывает, где разработка инструментов зрела, а где нет. Zainal, Mohd Matore and Maat (2026) оценили инструменты по матрице решений, адаптированной из COSMIN и Terwee и др. (2007), и обнаружили, что внутренняя согласованность — сильнейшая область (28 из 33 на оценку A, 84,8%), а справедливость — слабейшая, причём только пять инструментов (15,2%) сообщали свидетельства инвариантности измерения или дифференциального функционирования пунктов. Структурная валидность была сильной: 24 инструмента (72,7%) на оценку A благодаря CFA, PLS-SEM или моделированию IRT, однако валидность содержания опиралась главным образом на качественный обзор, причём 21 инструмент (63,6%) находился на оценке B за отсутствием количественных статистик согласия экспертов.

Автоматизированный отбор заданий может сократить инструмент, не переформируя его: оптимизация муравьиной колонией по объединённой двухволновой выборке (N = 305, 342) дала короткую форму из 12 заданий, коррелирующую r = 0,910–0,944 с полной шкалой по каждому измерению, хотя два задания на измерение покрывают более узкий диапазон содержания (Wang, Zhang and Zhang (2026)).

Проблемы и ограничения: что измерение может упустить или сделать неверно

Образовательное измерение могущественно, но подвержено ошибкам. Понимание его режимов отказа существенно для критического чтения доказательств об ИИ в образовании — и для распознавания того, где кажущийся прирост в обучении или утверждение о конструкте может быть артефактом измерения, а не реальным эффектом.

  • Пределы надёжности. Измерение никогда не является совершенно надёжным; дисперсия ошибки всегда присутствует. Когда инструменты имеют низкую внутреннюю согласованность или стабильность тест–ретест, наблюдаемые различия могут быть шумом. В контекстах ИИ новые режимы отказа усугубляют это: сгенерированные LLM ответы могут оцениваться с высоким машинным согласием и при этом расходиться с человеческим оцениванием (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents), а автоматизированное оценивание может быть внутренне согласованным и при этом систематически неверным — точность без валидности. measurement limitations в исследованиях по AIEd документируют ненадёжные инструменты как сквозную слабость.

  • Рассмотрение неопределённости кодирования как ошибки смешивает два отказа. В тесте знаний о психическом здоровье из 30 утверждений оценивание точности считало вариант не знаю неверным, однако 67,3% студентов выбрали его по одному факту, тогда как 60,6% ответов модели были прямо ошибочными — формат принудительного верного/неверного не может отделить неопределённость от неверного убеждения (Richter et al., 2026).

  • Согласие оценщиков задаёт практический потолок. Крупномасштабная валидизация на уругвайском Acredita EB обнаружила, что согласие человеческих оценщиков само задаёт практический потолок для оценивания ИИ: среди десяти экспертов, независимо оценивавших 50 текстов, ни один пункт рубрики не достиг единодушного согласия с консенсусом, наиболее расходящийся оценщик обычно падал ниже 80% согласия, тогда как наилучший превышал 90%, а каппа Коэна была лишь слабой или средней по нескольким перекошенным пунктам, которые удовлетворяют почти все ответы. Поэтому авторы судят автоматизированные баллы относительно референтного стандарта, который сам является несовершенным, — десять оценщиков, единственный операционный балл для большинства ответов и несколько пунктов в общепринятой зоне приемлемости 70%, — что является предостережением для любого утверждения об измерении, построенного на операционных метках единственного оценщика.

  • Валидность — измерение не того. Валидность спрашивает, измеряет ли инструмент конструкт, о котором он заявляет. Обычные отказы включают недо-репрезентацию конструкта (тест ИИ-грамотности, сэмплирующий только техническое знание и упускающий этику) и нерелевантную конструкту дисперсию (задание, вознаграждающее беглость чтения, а не целевой навык). AI scoring and language bias показывает, как поверхностные признаки — язык, формулировки, стиль, — могут определять автоматизированные баллы способами, не связанными с намеченным конструктом. Валидность оценивания является оградой от этих угроз.

  • Шкала может вернуть намеченное число факторов, не измеряя намеченных конструктов. Kang, Lee and Kang (2026) сохранили шесть факторов из 42-пунктовой шкалы эмпатии к ИИ, но пункты не восстановили шесть намеченных подфакторов — Prosocial Intention не образовал фактора, — поэтому структура представлена как предварительная.

  • Разрыв самоотчёта. Меры самоотчёта фиксируют воспринимаемую компетентность, а не фактическую компетентность. База знаний неоднократно показывает, что сообщённая ИИ-грамотность резко расходится с мерами, основанными на выполнении задач (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures, завышение преподавателями примерно на 40%), и что самоотчёт не предсказывает реальную результативность с помощью ИИ там, где тесты, основанные на выполнении задач, преуспевают (GLAT). Меры, опирающиеся на самоотчёт, могут систематически завышать конструкты и скрывать истинные пробелы в навыках.

  • Объединённая оценка хрупка. Структурированный обзор 2026 года, объединяющий только корреляции субъективного–объективного в ИИ-грамотности по одной и той же выборке (N = 2 765), даёт r = .055 (95% ДИ Хартунга–Кнаппа [−.047, .156]); при k = 3, с расхождением оценщиков гетерогенности и одним исследованием, несущим 77,2% веса, он не может установить порог владения (Verí (2026)).

  • Конструкты, которые не переносятся между популяциями. Strugatski et al. показывают, что инструменты оценивания могут иметь иную факторную структуру для людей и LLM — что означает, что одни и те же задания могут не измерять один и тот же латентный конструкт по популяциям. Даже внутри людей инструменты, валидизированные на одной группе (например, западной, обеспеченной Высшее образование), могут не обобщаться на другие (Глобальный Юг), что является озабоченностью в отношении обобщаемости мер для ИИ в образовании.

  • Что измерение может упустить. Некоторые из конструктов, наиболее центральных для обучения в сфере ИИ в образовании, труднее всего хорошо измерить — и поэтому их легче всего упустить или исказить с помощью инструментов:

    • Процесс и стратегия. Стандартные меры результата фиксируют продукт обучения, а не процесс. Они могут упускать, как студенты фактически взаимодействуют с ИИ — over-reliance, бездумное принятие или критическую проверку. Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing использует трассы взаимодействия именно потому, что самоотчёт и тесты результатов упускают эту динамику.
    • Лонгитюдное и прочное обучение. Единственный пост-тест может показать завышенную результативность от помощи ИИ, упуская при этом разрушение прочных знаний без помощи (performance–learning gap). Измерение в одной временной точке может активно вводить в заблуждение относительно обучения.
    • Справедливость и доступ. Инструменты, предполагающие однородный доступ к устройствам и связи или нормированные на привилегированные выборки, могут упускать — или систематически недо-измерять — способности under-resourced Учащиеся, приписывая разрывы в доступе разрывам в способностях.
    • Affective и мотивационные состояния. Вовлечённость, мотивация и самоэффективность часто измеряются самоотчётом, наследуя разрыв самоотчёта выше; они могут не фиксировать ситуативную, мгновенную динамику, которая управляет обучением.

  • Автоматизированное измерение может быть уверенно неверным. Сочетание высокой машинной уверенности и непрозрачного оценивания — это отличительный риск эпохи ИИ: оценщик или аннотатор на базе LLM может производить высоко самосогласованные баллы, являющиеся систематически смещёнными, а видимость строгости (большое N, высокое согласие между LLM) может маскировать невалидность. Рамки Оценивание ИИ-образования и Психометрически осведомлённый ИИ являются противоядием — требуя калибровки, осознания неопределённости и свидетельств валидности прежде, чем автоматизированным мерам начинают доверять.

Короче говоря, образовательное измерение может упускать то, что оно не сэмплирует (процесс, прочность, доступ, аффект), и может делать неверно то, что оно сэмплирует плохо (самовосприятие, поверхностные признаки, межпопуляционные конструкты). Поэтому чтение результатов об ИИ в образовании требует спрашивать не только что измерялось, но и как, — и что инструмент мог не уловить.

  • Проверяемое кодирование отделяет определительную ошибку от ошибки модели. EduBehaviors декомпозирует конструкт на отдельно аннотируемые наблюдаемые поведения плюс явное правило агрегации, так что рецензент может видеть, какое доказательство дало метку, и заново вывести метки после изменения правила без новых вызовов модели; он достиг macro-F1 0,673 на Teacher TalkMoves, что конкурентоспособно с прямым промптингом LLM (Bernado et al., 2026).

Связи

Образовательное измерение — это основа для Теория Item Response Theory (IRT), Валидность оценивания, Трассирование знаний и Моделирование учащегося и адаптивное обучение. Оно связано с Аналитика обучения (измерение данных об обучении), Обработка естественного языка в образовании (Educational NLP) (измерение языка) и Психометрически осведомлённый ИИ (ИИ, согласованный с теорией измерения). Его озабоченности валидностью и надёжностью лежат в основе Оценивание ИИ-образования и measurement limitations в области. Что касается конструктов, которые оно измеряет, оно пересекается с ИИ-грамотность, Модели принятия технологий, Самоэффективность, Мотивация и Вовлечённость студентов.

  • Причинное моделирование интервенций поддержки (2026): протокол структурного причинного моделирования перемещает образовательное оценивание за пределы ассоциативного обновления убеждений на основе теории ответов на задания к интервенционному и контрфактическому рассуждению (например, о действии подсказок), причём структурные уравнения формулируются от экспертов с использованием чисто логической информации, — проиллюстрировано на задачах по алгоритмическим навыкам из обязательной школы (Causal Modelling of Support Interventions for Student Competency Assessment).

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Технологии и методыОбработка естественного языка в образовании (Educational NLP), Трассирование знаний, Аналитика обучения
Оценивание и измерениеВалидность оценивания, Теория Item Response Theory (IRT), Психометрически осведомлённый ИИ
Основы ИИ в образованииИИ-грамотность
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.