AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Валидность оценивания

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Валидность оценивания — вопрос о том, измеряют ли инструменты оценивания то, что они заявляют измерять. ИИ в образовании ставит фундаментальные вопросы валидности: оценивают ли AI-graded работы знание учащегося или AI prompting skill? Делает ли использование ИИ недействительными допущения традиционного оценивания?

Вопросы для размышления

  • Валидность спрашивает, измеряет ли инструмент оценивания то, что он заявляет измерять. До чтения: если бы вы увидели, как студент сдаёт отполированное сочинение, в создании которого, как вы подозреваете, участвовал ИИ, считали бы вы большей проблемой списывание или то, что задание больше не измеряет то, что вы думали, оно измеряет?
  • Эта страница ставит острый вопрос: когда студенты используют ИИ, отражает ли оценка знание студента или навык создания промптов для ИИ? Можете ли вы вспомнить оценивание, которое вы проектировали или в котором участвовали, где оценка может теперь говорить вам больше об инструменте, чем об учащемся?
  • Ключевой результат состоит в том, что один и тот же ввод учащегося может получать семантически различные ответы в зависимости от того, какая лежащая в основе LLM используется, — что вводит «изменчивость, не связанную с конструктом», угрожающую надёжности и fairness. Если два студента получают различную поддержку ИИ исключительно из-за модели за ним, насколько справедливым оказывается итоговое сравнение?
  • На странице утверждается, что даже когда LLM хорошо оценивает, перенос человеческих интерпретаций оценок требует сходства в латентной структуре ответов, — и здесь LLM расходятся с людьми. Что это говорит о том, можно ли доверять ИИ, который «сдаёт» экзамен, предназначенный для людей?
  • Вместо того чтобы пытаться выявлять использование ИИ, база знаний выступает за перепроектирование оценивания таким образом, чтобы оно оставалось валидным для студентов, способных использовать ИИ. Почему перепроектирование задания может быть стратегией, в большей степени сохраняющей валидность, чем контроль над тем, использовался ли ИИ?
  • ИИ теперь служит сдающим, составителем заданий, оценщиком и аналитиком, — что делает интерпретационную цепочку непрозрачной. Когда каждую роль в оценивании занимает ИИ, что вообще означает сказать, что оценивание «валидно» для человека-учащегося в его середине?

Введение

Проблемы валидности

  • Валидность конструкта: Когда студенты используют ИИ в оценивании, отражает ли оценка знание студента или возможность ИИ? Performance vs. learning research отвечает на это напрямую.

  • Изменчивость, не связанная с конструктом, между LLM в оценивании, основанном на диалоге: Hao (2026) показывает, что даже для одного диалогового хода семантическое содержание ответов, генерируемых Большие языковые модели (LLM), варьируется между моделями и условиями диалогового контекста. Сходство внутри модели последовательно превышает сходство между моделями (0,715–0,795 против 0,443–0,604), а добавление истории чата значимо меняет содержание ответа (медианное сходство между разными историями примерно 0,40–0,45). Поскольку один и тот же ввод учащегося может получать семантически различные ответы в зависимости от лежащей в основе модели, только промптинг и контекст не могут сохранить согласованность ответов — что вводит потенциальную изменчивость, не связанную с конструктом, угрожающую валидности, надёжности и справедливости. Сохранение согласованных условий оценивания по мере эволюции LLM является поэтому задачей инфраструктуры (символические правила, шаблоны ответов, слои валидизации), а не только Промпт-инжиниринг.

  • Свидетельства, которые присутствуют, но никогда не доходят до оценщика: Abreu, Stari and Martí (2026) называют угрозой, не связанной с конструктом, ту, что предшествует любому рассуждению: при ИИ-рецензировании экспериментальных лабораторных отчётов по physics уравнение, график, таблица или единица измерения могут быть корректно включены в отчёт, но не извлечены из обработанного содержания, с которым работает модель, и поскольку изменение знака, значения или единицы измерения меняет физическую интерпретацию, расхождение с преподавателем вовсе не обязано означать ошибку рассуждения. Их средство исправления является процедурным: PDF высокого разрешения вместо сфотографированных сканов, уравнения, набранные в редакторе формул, различимые оси и единицы измерения внутри рисунков и инструкции, требующие конкретной ссылки для каждой оценки, — потому что качество документа задаёт потолок для любого утверждения о валидности, которое может поддерживать итоговая оценка.

  • Валидность латентной структуры у людей и LLM: Strugatski et al. (2026) добавляют более глубокое условие валидности: даже когда LLM хорошо оценивает, перенос человеческих интерпретаций оценок требует сходства в латентной структуре ответов. Сравнивая шесть Мультимодальный ИИ LLM с человеческими когортами на инструментариях по chemistry и quantitative рассуждениям, они обнаруживают, что факторные структуры «LLM–человек» последовательно расходятся (конгруэнтность ниже человеко-человеческого базового уровня), так что результативность на экзамене, нормированном на людях, является слабым свидетельством о способностях LLM в отношении конструктов, которые призваны были измерять задания.

  • Валидность последствий: Обладают ли справедливыми последствиями оценивания, опосредованные ИИ? Language bias studies показывают, что ИИ-оценивание может ставить в невыгодное положение не-носителей языка.

  • Сдвигающаяся цель в тестировании языка. Высокоставочные тесты вроде TOEFL iBT, IELTS, PTE Academic и Duolingo English Test по-прежнему требуют чтения и письма без посторонней помощи и в условиях ограниченного времени, тогда как студенты теперь используют GenAI для этих задач в академической жизни, поэтому экстраполяционное заключение — от оценок без посторонней помощи к реальной академической успеваемости — это шаг, затронутый сильнее всего (Gonulal (2026)).

  • Область действия правила сама является свойством валидности: Wright (2026) утверждает, что запреты, написанные по всему higher education с 2023 года, исключают «генеративный ИИ» без технической точности, позволяющей отделить генерацию оцениваемого содержания от преобразования формата, поскольку оптическое распознавание символов, распознавание рукописного текста и преобразование речи в текст являются technologies распознавания, которые выводят то, что уже присутствует, а не создают новое содержание. Там, где правило привязано к идентичности платформы, а не к функции, оно является чрезмерно широким по определительной случайности: оно захватывает использование многофункционального инструмента только для транскрипции и наказывает студента, который не сделал того, что правило было призвано предотвратить, сильнее всего ударяя по Учащиеся, которые полагаются на эти инструменты для доступности, — вывод, который оценивание не может поддержать относительно конструкта, который оно заявляет измерять. Он предлагает формулировки, основанные на функциях, плюс четыре операциональных критерия (точность воспроизведения, отсутствие дополнения, прослеживаемость, подтверждение) для пограничных случаев и рассматривает опору на вывод детекторов и стилистические эвристики как свидетельство того, насколько слаба собственная доказательная база правила.

  • Агентивное выполнение устраняет допущение о человеческом производстве: Hadjisolomou & El-Haddad (2026) расширяют анализ валидности с генеративной помощи на агентное выполнение: автономные AI agents теперь могут входить в СУО (LMS), читать материалы и выполнять неконтролируемую асинхронную работу от начала до конца (продемонстрировано на работающем курсе: тест набрал 10/10 менее чем за 5 минут, и было создано сфабрикованное, но правдоподобное размышление на дискуссионном форуме). Помещая «допущение о человеческом производстве» в основание основанной на аргументах цепочки выводов Кейна, они показывают, что агентное выполнение молча устраняет обоснование для оценочного вывода, на котором покоятся выводы об обобщении, экстраполяции и решениях, — так что каждый результат неконтролируемой асинхронной работы, включая честно полученные, утрачивает свою интерпретационную опору, потому что авторство невозможно верифицировать. Их решающий шаг — классифицировать это как провал валидности, а не нарушение добросовестности: учебное заведение может наказать за нарушение и всё же не иметь оснований для оценок, которые оно сообщает. Выявление структурно недостаточно (классификаторы ненадёжны и предвзяты; мониторинг СУО видит те же клики, что сделал бы студент), поэтому средство исправления — перепроектирование оценивания для подтверждённого человеческого присутствия (короткий устный компонент, черновики с видимым процессом, ссылки, специфичные для конкретного занятия), с набором опций, сохраняющих справедливость, а не с обязательным прокторингом.

  • Изменчивость, не связанная с конструктом, в человеческом оценивании работы, созданной с помощью GenAI: Luo & Dawson (2026) дают прямую эмпирическую демонстрацию того, что человеческое оценивание работы, созданной с помощью GenAI, пронизано изменчивостью, не связанной с конструктом. В интервью, основанных на сценариях, с 33 университетскими преподавателями решения об оценивании определялись ориентированными на личность ценностями (честность и усердие студента), ориентированными на способности ценностями (независимость от ИИ, навык работы с GenAI, дисциплинарное мастерство), ориентированными на отношения ценностями (доверие, выстроенное со студентами) и ориентированными на справедливость ценностями (справедливость, благодеяние) — все из которых могут менять оценки по факторам, не связанным с оцениваемыми результатами. Снижение оценки за работу с помощью GenAI оправдано, утверждают они, тогда и только тогда, когда использование ИИ помешало студентам продемонстрировать оцениваемые результаты; в противном случае определяемое ценностями оценивание угрожает валидности. Исследование обосновывает рамку валидности в реальной практике teacher и призывает к «двусторонней transparency» — преподавателям, разъясняющим, как использование GenAI будет влиять на оценки, а не только к студентам, декларирующим использование.

  • Изменчивость в масштабе требует генерации эквивалентных вариантов конструкта: VARIA (Lee 2026) подвергает эмпирической, опровержимой проверке посылку об «изменчивости в масштабе», лежащую в основе интегрированного в ИИ аутентичного оценивания (AIAA) — замены прокторинга с наблюдением изменчивостью заданий для каждого студента. Поскольку каждый экзаменуемый получает уникальное, но эквивалентное задание на исполнение, гарантия добросовестности обусловлена тем, что LLM генерируют варианты, одновременно различные по поверхности, эквивалентные конструкту, применимые к рубрике и совпадающие по сложности. Benchmarking три семейства передовых моделей на четырёх стратегиях промптинга на 600 вариантах, VARIA обнаруживает, что генераторы передового уровня удовлетворяют совместным критериям добросовестности лишь на грани (совместный балл 0,81–0,88), тогда как референсные модели не передового уровня проваливаются (0,50–0,55), и что ни одна стратегия промптинга не доминирует по всем четырём свойствам, — так что «изменчивость в масштабе нельзя решить одним только промптингом», если порог многообразия установлен агрессивно, и учебные заведения должны валидизировать свою конкретную пару «модель–промпт».

  • Зануждающая предвзятость в ИИ-оценивании с участием человека (HITL) — это особенность валидности, а не дефект: Curi et al. (2026) показывают, что в крупномасштабном национальном оценивании письменной речи систематическая консервативная (зануждающая) предвзятость оценщика на базе LLM, будучи проблематичной как окончательное решение, является именно тем, что делает возможным безопасное делегирование: отмеченные ИИ как «сдавшие» работы могут быть приняты с уверенностью, тогда как отмеченные ИИ как «несдавшие» работы (15,3–16,5 % случаев) направляются на экспертную рецензию, — что удерживает угрозу валидности со стороны ошибки ИИ вне итогового результата. Их конвейер на основе IRT и Bookmark делает влияние ИИ-оценивания на proficiency-level прозрачным, а не рассматривает согласие по сырым оценкам как единственный сигнал валидности.

  • Вызванная ИИ инфляция оценок как угроза валидности: Chirikov (2026) выявляет новый, обусловленный технологиями механизм инфляции grade, действующий до самого оценивания — на производстве оцениваемой работы. В исследовании с разностью разностей (difference-in-differences) более чем 500 000 оценок по 319 курсам (2018–2025) курсы с большей долей заданий, подверженных влиянию ИИ (письмо, программирование), показали рост доли оценок A на 13 процентных пунктов после выхода ChatGPT, со сжатием распределения оценок. Анализ с тройной разностью разностей показывает, что эффект концентрируется в курсах с большим объёмом домашних заданий — свидетельство того, что вытеснение заданий ИИ (ИИ выполняет оцениваемые задания до того, как преподаватели их увидят) инфлирует оценки без соответствующего роста навыков. Это снижает сопоставимость оценок между курсами и подрывает информационную ценность выписок об успеваемости способами, которые трудно обнаружить по одним только распределениям оценок.

  • Восприимчивость зачёта/незачёта на уровне программы и критерии оценивания, которые её задают: Ivory et al. (2026) оценивали вывод ChatGPT для каждого оцениваемого задания трёхлетней программы по психологии (40 оцениваний, 16 типов) бинарным зачётом/незачётом — тем решением, которое оценщики действительно принимают при первом прочтении: зачёт получили 36 из 40. Отсюда следуют два следствия для валидности. Во-первых, действующей переменной является граница зачёта, а не выявление: оценивание, вознаграждающее структурную беглость и правильный выбор анализа при попустительстве неверным значениям, позволяет сфабрикованной статистике и вымышленным ссылкам преодолеть зачёт, так что оценивание сертифицирует вывод инструмента как понимание учащегося из-за того, как оно оценивается, а не из-за того, что кого-то обманули. Во-вторых, задания с множественным выбором выдавали собственные ответы: ChatGPT отвечал на вопросы по статистике правильно без фигуры или таблицы результатов, показанных студентам, потому что основа задания и варианты ответов подразумевали ответ, — что делает дизайн вариантов ответа свойством валидности задания, а не свойством ИИ.

  • Точность против согласия как различных сигналов валидности: Falahat, Das, Bhaumik & Thambi (2026) оценили экзамен по фармации из 21 задания с помощью ChatGPT-5 и обнаружили, что умеренная процентная точность часто сосуществует с низкими коэффициентами корреляции согласия — методологическое различие между точностью оценивания и согласием, ограничивающее надёжность ИИ как замены оценщику даже там, где сырая точность выглядит приемлемой. Согласие было сильным по объективным заданиям (CCC 0,935–1,000), но почти нулевым по коротким ответам и умеренным по сочинению (0,341–0,854), а предоставление рубрики последовательно не устраняло разрыв.

  • Валидность генерируемых ИИ заданий: Assessing AI-Generated Exams показывает, что генерируемые ИИ вопросы, валидизированные с помощью байесовской IRT, достигают трудности и дискриминативности наравне с заданиями стандартизированных экзаменов, написанными экспертами (надёжность 0,79 против 0,72), — что поддерживает валидность подобранных под курс оцениваний с генерируемыми ИИ заданиями, когда они опираются на психометрическую оценку.

  • Аутентичное оценивание: Аутентичное оценивание и the AI Assessment Scale предлагают сохраняющие валидность перепроектирования оценивания.

  • Уверенность и калибровка: Confidence-aware systems улучшают валидность, помечая неуверенные оценки.

  • Embodied и мультимодальные свидетельства: оценивание только по речи может принять словесную беглость за концептуальное знание; Morphew et al. показывают, что анализ жестов средствами компьютерного зрения в сочетании с анализом речи с помощью LLM повышает валидность конструкта и Справедливость, улавливая понимание, выражаемое через жест, а не только через слова, — снижая предвзятость против учащихся, выражающих понимание невербально.

  • Домашние задания перестают сертифицировать способность, когда модель может решить задачу: Mikhasenko et al. (2026) документируют конкретную инвалидацию домашних заданий как меры способности в курсе физики physics частиц в Бохуме: как только generative model может выдать корректное решение, сданное выведение больше не устанавливает, что студент способен решить задачу самостоятельно. Их реакция разделяет две функции — домашние задания исследовательской формы, допускающие ИИ, сохраняемые как исследовательская работа с бонусным весом, и письменный экзамен без инструментов, сделанный единственным определяющим фактором итоговой оценки, — разделение труда, обусловленное валидностью, а не режимом выявления.

  • Валидность, ориентированная на решения, для ИИ-оценивания в масштабе: Curi et al. (2026) иллюстрируют ориентированный на решения взгляд на валидность в национальном оценивании письменной речи Acredita EB: вместо того чтобы спрашивать только о том, согласны ли AI scores с людьми, они спрашивают, могут ли ошибки ИИ изменить решение о сертификации. Автоматические пороговые оценки на основе IRT/Bookmark близко воспроизвели рабочие пороговые оценки, и систематическое зануждающее оценивание ИИ было нейтрализовано направлением несдавших результатов ИИ на human review — причём относительно эталонного стандарта, который сам является оспариваемым, поскольку десять экспертов-оценщиков, оценивающих одни и те же 50 текстов, так и не достигли единодушия ни по одному пункту рубрики.

  • Обеспокоенность валидностью со стороны студентов в отношении ИИ как оценщика: AlGhamdi (2026) добавляет к вопросу валидности голос учащегося: 13 студентов вычислительных специальностей, чьё письменное задание, написанное от руки, было оценено ChatGPT, подвергли сомнению, может ли ИИ-оценщик валидно интерпретировать намерение, усилие и институциональные нормы оценивания, — причём один спросил прямо: «If ChatGPT [is] checking the exams, why are we going to university?» (Если ChatGPT проверяет экзамены, зачем мы идём в университет?).

  • Разрешение само по себе не ухудшает задание, а показатели использования являются неверным сигналом валидности: Zou et al. (2026) опросили 85 студентов-педагогов, чьи оценивания явно допускали генеративный ИИ, и обнаружили, что вовлечённость в оценивание высока и статистически не зависит от того, использовали ли студенты ИИ (среднее 4,21/5, SD 0,46; U Манна–Уитни = 781,5, r = 0,07, p = 0,536). При том что 62,4 % (53) отказались использовать генеративный ИИ вообще, а использование у внедривших его ограничивалось в основном корректурой (43,8 %) и проверкой ясности (34,4 %), показатель внедрения несёт мало информации о том, оправдывало ли оценивание всё ещё вывод об обучении, — а неиспользование, обусловленное страхом ложного обвинения в плагиате (41,5 % у не-внедривших), тоже не является свидетельством валидности.

  • Валидность рамки выборки, когда школьный тест читается как свидетельство о системе: Restrepo Morales et al. (2026) дают количественную проработку выводу от оценок к утверждениям о системе. Пилотное оценивание 1 198 студентов-добровольцев в 171 сальвадорской школе по PISA-based Test for Schools дало результаты, объявленные сопоставимыми с Германией и Швецией, но инструментарий даёт оценки для школы и не проводится в национальной рамке выборки с её стандартами доли ответов, пределами исключения и взвешиванием, — так что сравнение между оценкой школьного уровня и средним по стране несёт в себе как минимум три неотражённых в отчёте источника неопределённости (ошибка школьной выборки, ошибка выборки среднего по стране и ошибка связывания при уравнивании шкал). Вместо того чтобы проверять утверждение об обучении, авторы ограничивают его: при том что верхние 5,5 % распределения mathematics результатов в Сальвадоре совпадают со средним по Германии при нулевом обучении, и при том что добровольное участие понимается как смещающее тестирование achievement вверх, опубликованные свидетельства не могут отделить реальный эффект от отобранной выборки. Это провал валидностного вывода сравнения, а не провал студентов или инструментария.

Концептуальное предложение поднимает границу валидности, применимую к каждому опосредованному ИИ оцениванию на этой странице: El Khoury and Ma (2026) утверждают, что скорость не является валидностью и что сгенерированные ИИ промпты, примеры и отчёты на основе стенограмм всё же должны быть проверены на точность, культурную отзывчивость, Доступность, интерпретируемость и согласованность с результатами курса. Они также расширяют то, что считается свидетельством: там, где диалог становится оцениваемым артефактом, стенограмма является записью процесса, в котором суждение, эмпатия, прояснение и совместное принятие решений разворачиваются в контексте, и вопрос проектирования состоит в том, поддерживает ли это свидетельство тот вывод, который из него извлекается, — тот же самый вопрос, с которым сталкивается автоматизированное оценивание и на который отвечают согласованностью между заданием, обратной связью и свидетельством обучения, а не технологической новизной.

  • Присваиваемые ИИ метаданные задания не являются психометрическим свидетельством. В 10-недельном data science 311 развёрнутых заданий с множественным выбором оценки трудности, выставленные LLM, отслеживали собственные метки Блума модели (ρ = 0,90), но не эмпирическую трудность задания (ρ = 0,06), так что трудность задания должна устанавливаться по данным ответов, а не по меткам генерирующей модели (An & Wang, 2026).

  • Суждения студентов о согласованности с учебной программой отслеживают трудность, а не содержание. Vogt et al. (2026) просили студентов оценить, согласуется ли каждое задание оцениваемого экзамена из 60 заданий с curriculum курса, и обнаружили, что оценки коррелировали с трудностью задания при ρ = 0,762 (более лёгкие задания оценивались как согласованные, более трудные — как не согласованные, ρ = −0,762, p < 0,001), тогда как оценки не различались по источнику задания. Там, где инструментарий просит студентов судить о согласованности оценивания с учебной программой, итоговая оценка частично является оценкой трудности и не может читаться как независимое свидетельство согласованности.

  • Перестройте треугольник оценивания, а не латайте одну вершину. Koretsky et al. (2026) формулируют проблему GenAI через треугольник оценивания — познание (что оценивается), наблюдение (как извлекается свидетельство обучения) и интерпретация (какой делается вывод), — и утверждают, что три вершины должны быть перестроены вместе, поскольку перепроектирование заданий без починки интерпретации оставляет вывод без опоры. Их обзор также делает точность генерируемых ИИ материалов оценивания свойством валидности само по себе, каталогизируя содержательные, лингвистические, когнитивные, поведенческие, структурные и педагогические измерения и требуя оценивания с участием человека, прежде чем такие задания могут служить основанием оценивания.

Перепроектирование вместо выявления

База знаний утверждает, что сохранение валидности оценивания требует перепроектировать оценивание для студентов, способных использовать ИИ, а не detecting AI use. Параллельная проблема валидности проходит через измерение в исследованиях: многие утверждения об ИИ в образовании покоятся на self-report data, которые не могут поддержать вывод об обучении или компетентности, как бы хорошо сам инструментарий ни был валидизирован. Beyond detection approaches и Оценивание представляют собой мышление, ориентированное на валидность.

Домашние продукты и разделение qualitative/количественного. Brunnström and Palmqvist (2026) дают аргументу за перепроектирование конкретное предложение, обоснованное таксономией SOLO. Прорабатывая вопрос домашнего экзамена по когнитивной науке с chatbot, они обнаруживают, что GenAI сильнее всего именно там, где таксономия находится ниже всего, — создавая всестороннее, беглое содержание фактоидного типа на количественном (мультиструктурном) уровне, — тогда как качественный уровень (связывание, оценивание, обобщение) возникал только через повторяющуюся управляемую учащимся калибровку. Их рекомендация поэтому дифференцирована по конструкту: домашние оценивания должны делать акцент на свидетельствах качественного понимания, тогда как количественные знания, основанные на запоминании, лучше оценивать на занятии, где GenAI недоступен. Демонстрация также подчёркивает, что отполированный сданный артефакт является слабым свидетельством в любом направлении и что валидное перепроектирование должно учитывать, насколько требовательным к усилиям оказывается законное поддерживаемое ИИ обучение (Итоговое оценивание, Академическая добросовестность).

Аналог на уровне дизайна исходит от той же совокупности, которую аргумент за перепроектирование обычно игнорирует. Zou et al. (2026) обнаружили, что рефлексивные и персонализированные задания широко оценивались как слишком личные для помощи ИИ, тогда как насыщенное знаниями оценивание в другом курсе вызывало сильное намерение использовать генеративный ИИ для поиска источников, — так что то, что студенты делали с ИИ, отслеживало конструкт, который задание просило их подтвердить. Урок для валидности точен, а не праздничен: дизайн может устранить выгоду от общего подстановления, но то же исследование предостерегает от чтения когорты, отказавшейся от ИИ, как доказательства того, что это удалось, поскольку существенная доля неиспользования была отнесена к страху ложного обвинения в плагиате, а не к тому, что задание сопротивлялось ИИ.

Sharma (2026) даёт аргумент за перепроектирование со стороны добросовестности, превращающий свидетельство добросовестности в свидетельство валидности. Расширяя рамку постплагиата Итона (2023) до проектирования оценивания, он утверждает, что модели добросовестности, основанные на выявлении и верификации, не согласованы с работами, в которых человеческое суждение и машинная генерация переплетены, и переформулирует добросовестность как pedagogical практику, осуществляемую через Оценочное суждение — способность взвешивать варианты, обосновывать академические выборы и принимать ответственность в условиях эпистемической неопределённости. Следствие для дизайна состоит в том, что добросовестность должна быть подтверждаема, а не выводиться: аннотированные следы решений, верификация внесённых GenAI утверждений, oral defense и история версий предлагаются как артефакты добросовестности, и он прямо говорит, что отличие от Аутентичное оценивание является эпистемическим: аутентичность спрашивает, отражает ли задание реальную практику, ориентированный на добросовестность дизайн спрашивает, могут ли учащиеся обосновывать решения и принимать ответственность по отношению к дисциплинарным стандартам, так что добросовестность становится оцениваемым критерием, встроенным в архитектуру задания. Он называет риск валидности собственного предложения, а не оставляет его неявным: требование документированного рассуждения даёт привилегии учащимся, бегло владеющим рефлексивным дискурсом, и рискует привести к «замене одного режима соответствия другим», потому что суждение как свидетельство «остаётся реляционным и ситуативным, а не механически верифицируемым», — та же проблема интерпретационной надёжности, которую эта страница фиксирует для каждого опосредованного ИИ оценивания.

Weidlich (2026) переформулирует перепроектирование как вопрос о том, какой вывод призвано защитить изменение. Работая от основанной на аргументах валидности Кейна, он разделяет пять давлений, которые обсуждение обычно схлопывает в одно: недопредставленность конструкта, изменчивость, не связанную с конструктом, атрибуцию результативности, условную экстраполяцию и неподдерживаемое использование оценок. Использование ИИ не является автоматически угрозой, потому что использование инструмента уместно там, где предполагаемый конструкт — это поддерживаемое ИИ профессиональное суждение, и обходит целевую результативность там, где это — рассуждение без помощи, так что конструкт и условия ИИ должны быть заданы вместе. Отсюда следует его предостережение относительно перепроектирования, поскольку интервенции обменивают одно давление на другое: устные защиты могут усиливать атрибуцию, снижая при этом надёжность или доступность.

Связи

Валидность оценивания связана с Аутентичное оценивание, Automated Grading, Confidence Aware AI Assessment, Формативное оценивание, Академическая добросовестность и РКИ (которое опирается на валидные меры результатов).

ИИ бросает вызов валидности на эпистемическом уровне: Hathcoat, Slotnick & Miller (2026) утверждают, что когда LLM служат сдающими, составителями заданий, оценщиками и аналитиками, интерпретационная цепочка становится непрозрачной и объект измерения утрачивает определение, — переформулируя валидность как требующую свободно владеющего ИИ «киборгового» суждения, а Green et al. (2026) показывают, что оценки ИИ могут согласовываться с оценками человека (87 % по контрольному списку), тогда как лежащее в основе обоснование расходится, особенно по качеству измерения и слабым отчётам.

Когда ИИ генерирует оцениваемый артефакт. Kumar, Wongsirichot and Nanthaamornphong (2026) дают проблеме валидности её самый острый дисциплинарный случай: в computing education ИИ производит оцениваемый артефакт — исходный код, — так что использование инструмента, обучение и оценивание сливаются в единое взаимодействие, а сданная кодовая база больше не отделяет обучение от делегирования. Среди 72 исследований они обнаруживают прирост эффективности, не переносящийся на результативность без помощи (21 исследование), Предшествующие знания, определяющее, становится ли помощь ИИ навыком (6 исследований), и фактически отсутствующее в доказательной базе исследование выявления (3 исследования), тогда как перепроектирование оценивания подтверждено сравнительно хорошо (25 исследований). Их вывод для практики является специфичным для конструкта и невысокотехнологичным: добавить устный компонент или другой элемент с видимым процессом как минимум к одному оцениванию с высокими ставками за курс — единственная интервенция с наибольшим потенциальным эффектом в обзоре, — и требовать критического вовлечения engagement в работу с выводом ИИ как оцениваемого, наблюдаемого компонента, а не как необязательной расположенности (Академическая добросовестность, Оценивание).

Валидность в условиях неполной информации

Самая острая недавняя переформулировка трактует проблему генеративного ИИ как проблему доказательную. Студент знает, как было произведено произведение; учебное заведение наблюдает артефакт и в лучшем случае частичные следы процесса — разрыв между продуктом и процессом, который Mohamed and Temimi (2026) формализуют как валидность оценивания в условиях неполной информации. Согласно этому подходу вопрос состоит не в том, было ли нарушено правило, а в том, продолжает ли оценивание порождать заслуживающие доверия свидетельства рассуждения, усилий и суждения студента, и каждый institutional механизм — запрет, мониторинг, раскрытие информации, перепроектирование — оценивается по тому, какую реакцию студента он делает наиболее привлекательной. Линза валидности также растворяет ложное разделение: добросовестность и валидность — это одна и та же проблема, увиденная с разных концов, потому что установление факта нарушения само является утверждением о валидности относительно того, что свидетельствует работа.

Рамка со стороны учащегося называет цели вывода, которые артефакт не может установить сам по себе. Sak (2026) предлагает атрибуционную валидность для суждений об одарённом потенциале по работе, созданной с помощью ИИ: отношение от способности к продукту является отношением многих к одному, потому что компетентность учащегося, способность модели, направление со стороны учащегося, соответствие между человеком и ИИ и контекст по-разному сочетаются, давая эквивалентные артефакты, так что продукт не может идентифицировать стоящую за ним способность. Рамка разделяет четыре цели вывода — независимая компетентность, интеллектуальная Автономность учащегося, гибридная способность и перенос в развитии, — и называет три ошибки, которые возникают, когда свидетельство об одной цели читается как свидетельство о другой: чрезмерную атрибуцию, иллюзию развития и предполагаемую эквивалентность способностей. Её требование к записи отражает доказательную дисциплину, которую этот раздел заимствует из литературы о нарушениях: назвать способность, о которой идёт речь в суждении, документировать, как была произведена работа (модель и версия, интерфейс, разрешённые функции, посредничество взрослых, условия доступа), и требовать более поздних свидетельств переноса transfer, прежде чем читать исполнение с помощью как изменение в учащемся.

Teichmann (2026) выводит процедурное следствие: там, где запрещённое использование не может быть выявлено, режим, который всё ещё обвиняет на основании оценок детекторов, не может обосновать тот вывод, который он делает, и потому порождает несправедливость без эффективности. Он выступает за замену судебно-экспертного вопроса — использовал ли студент ИИ? — вопросом валидности — продемонстрировал ли студент способность, которую задание было призвано сертифицировать? — что перемещает институциональные усилия в оценивание на уровне программы в рамках связанных заданий, устные и контролируемые элементы в точках сертификации и Оценочное суждение как явный объект оценивания.

Тот же раздел доказательной базы даёт аналог в виде файла дела, и он более неудобен, чем одна только литература о выявлении. Munoz et al. (2026) кодировали каждое дело о нарушении, связанном с генеративным ИИ, в одном региональном австралийском университете за три года — 1 162 дела, содержащих 1 855 отдельных единиц свидетельств, — и оценивали каждую единицу по доказательной ценности с точки зрения релевантности, достоверности и силы вывода. Сильнейшими категориями были те, которые не зависят от вероятностной классификации текста (признания студентов, наблюдаемое запрещённое поведение на экзамене и независимо верифицированные сфабрикованные ссылки), тогда как вывод detector получил самые слабые оценки из всех категорий: отчёты о сходстве или отчёты Turnitin были совершенно слабы по силе вывода, а самостоятельные выводы детекторов — совершенно низки по достоверности, снизившись с 8,8 % единиц в 2024 году до 0,5 % в 2025 году. Провал валидности является процедурным в той же мере, как и инструментальным: ни одна стадия конвейера не устанавливала минимальный доказательный порог и не требовала, чтобы следователи взвешивали доказательную ценность до продвижения обвинения, так что качество свидетельств не показывало надёжной связи с исходами дел, — что и есть проблема доказательного стандарта, каталогизированная в Правовые вопросы и риски. Их предложение применять рамку свидетельств полномочий в момент обвинения, а не только в момент определения, является требованием валидности: обвинение — это утверждение о том, что свидетельствует работа, и оно должно быть обосновано материалами, способными его поддержать. Hadra, Cambridge and Mesbah (2026) показывают, насколько далеко инструментарий отстоит от этого стандарта: макроточность 0,69 (Originality) против 0,61 (Turnitin) на 192 текстах, почти полный провал на гибридном человеко-ИИ письме (чувствительность 0,02 и 0,31), снижение точности с длиной текста и на научном письме и пограничная тенденция классифицировать письмо студентов EFL как созданное ИИ, — так что оценка детектора не может установить тот факт, который утверждает вывод о нарушении.

Эталон человеческого оценивания и его потолок

The OpRaise comparison of three frontier models against 761 authentic essays across three UK universities делает эталон частью аргумента о валидности. Человеческие оценки использовались как истинное основание на том явном основании, что академическое суждение является социально принятым стандартом, тогда как авторы признают, что человеческие оценщики соглашаются друг с другом лишь умеренно, — что ограничивает сверху то согласие между ИИ и человеком, которого можно было бы обоснованно потребовать, и означает, что корреляция не может читаться как сигнал готовности или неготовности без точки отсчёта. В этих рамках провалы проявились как систематическая структура, а не как случайная ошибка: оценки сжимались к середине шкалы, так что лучшие и худшие сочинения оценивались неверно сильнее всего; согласие было слабее всего на границах оценок; а оценки ИИ отслеживали словарный запас, скрепы и сложность предложений, тогда как человеческие оценки были к ним в целом нечувствительны. Практический урок двойствен, потому что то же исследование обнаружило, что надёжность отлична: идентичные повторные оценки с течением времени и высокое согласие между моделями. Дело о валидности автоматизированного оценивания поэтому не может опираться на стабильность или на среднее согласие; оно должно показать отсутствие систематического отклонения, — а именно этого эти свидетельства и не обнаружили.

Воспроизводимость от прогона к прогону, однако, не гарантирована: повторение того же оценивания на идентичных работах с интервалом в пять дней дало альфу Криппендорфа 0,625, причём изменчивость была сосредоточена в средних оценках, а оценки A и F отсутствовали в подсчётах повторного заседания (Brevik et al. (2026)).

  • Размер модели не является proxy валидности оценивания. Восемь конфигураций четырёх семейств на 114 размеченных сочинениях дали точное согласие по полосам от 18,4 % до 54,4 %, и оно отслеживало семейство, а не число параметров, — самая большая модель, GPT-OSS 120B, занужала оценки на 1,316 полосы, и температура не помогала (Kerwat et al. (2026)).
  • Согласие и ошибка эталона маскируются под обучение. Два исследования 2026 года показывают различные пути, по которым оценка может выглядеть валидной, устанавливая при этом нечто другое. Исследование открытых письменных работ по маркетингу обнаружило абсолютное согласие между LLM и человеком всего лишь ICC(2,1) .435 и гибрид, оказавшийся значимо хуже одной только LLM, причём состав якорей для composition сдвигал согласие с .338 до .902 (Agreement and error in automated scoring of student marketing posts). Экспертный аудит шести эталонов по физике отнёс 95,20 % проаудированных отбраковываний к дефектным заданиям или оценщикам, а не к ошибке модели, сдвинув CritPt mean@5 с 32,29 % до 87,50 % (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). В обоих случаях угроза — это изменчивость, не связанная с конструктом, лежащая вне оцениваемой модели.
  • Согласие между кодерами-LLM — это согласованность, а не валидность. На размеченном экспертами корпусе образовательных диалогов фильтр согласия между моделями сохранил лишь 33 из 74 выведенных из корпуса поведенческих утверждений и 11 из 48 выведенных из конструктов, причём общие для моделей ошибки прошли через фильтр, так что согласие между моделями не может заменять валидность конструкта (Bernado et al., 2026).
  • Подверженность измеряема, и средство исправления — достаточные свидетельства, а не максимальная безопасность. Villanueva (2026) оценил 53 915 элементов оценивания по опубликованному формату, контролю и весу оценки и обнаружил, что большинство оцениваемых баллов покоятся на работе, авторство которой невозможно верифицировать после сдачи; он утверждает, что программам нужно достаточно свидетельств обучения на ключевых стадиях, а не каждая сделанная защищённой единица.
  • Валидную меру всё ещё может быть небезопасно оптимизировать. Дообучение ИИ-тьютора на метрике адаптивности рубричного типа повысило метрику (с +0,05 до +0,42), тогда как оценки слепых экспертов упали (с 4,46 до 3,03), потому что метрика, оценивающая решения независимо, максимизируется повторением единственного наилучшего решения (Domínguez Figaredo & Fernández De la Cruz, 2026).

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Оценивание и измерениеАутентичное оценивание, Автоматизированное оценивание, Формативное оценивание
Методы исследований и оценкаРКИ
Справедливость, этика и ответственное использованиеСнижение перекосов (bias mitigation), Справедливость
Основы ИИ в образованииАкадемическая добросовестность
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.