Теория Item Response Theory (IRT)

На этой странице

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Теория ответов на задания (IRT) — семейство психометрических моделей, оценивающих скрытую способность по ответам на задания посредством моделирования взаимосвязи между способностью учащегося и вероятностью правильного ответа на каждое задание. Модели IRT описывают трудность и различающую способность задания, что обеспечивает точность измерения и адаптивное тестирование. В эпоху ИИ IRT встречается с LLM в областях Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction и Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach: ИИ предсказывает и калибрует трудность заданий, потенциально повышая точность измерения и питая Адаптивное обучение.

Вопросы для размышления

Теория ответов на задания трактует способность и трудность задания как совместно оцениваемые на основе паттернов ответов, вместо того чтобы рассматривать сырой балл теста как меру. Чем два студента с одинаковым числом правильных ответов могут на самом деле различаться по способности?
IRT позволяет сравнивать учащихся по общей шкале и оценивать точность по каждому человеку. Почему знание трудности и различающей способности задания может быть важнее, чем просто знание, решил ли студент его правильно?
В одном исследовании статистики пригодности личности IRT использовались для отличения человеческих ответов от сгенерированных ИИ на тестах с множественным выбором — помечая ответы ИИ как «отклоняющиеся». Как та же измерительная машинерия, которая оценивает обучение, может также следить за академической честностью?
Исследователи используют IRT для подтверждения того, что сгенерированные ИИ экзаменационные вопросы соответствуют написанным экспертами по трудности и различающей способности. Если ИИ написал задание, которое «выглядит» хорошо, почему эмпирическая калибровка относительно подогнанных параметров IRT всё ещё необходима?
Когда ИИ предсказывает и калибрует трудность заданий, что может пойти не так, если оценка моделью трудности не валидизирована относительно реальных данных ответов студентов?
IRT связана с адаптивным тестированием и трассированием знаний — использованием ваших ответов для выбора того, что спрашивать дальше. Как оценивание вашей способности по каждому ответу позволяет тесту стать более коротким и точным, а не просто более длинным?

Введение

IRT трактует способность (θ) и параметры заданий (трудность, различающую способность, иногда угадывание) как совместно оцениваемые на основе паттернов ответов, вместо того чтобы рассматривать сырой балл как меру. Это позволяет сравнивать учащихся по общей шкале, выбирать задания адаптивно и оценивать точность по каждому человеку, а не глобально.

Как IRT появляется в исследованиях

Предсказанная ИИ трудность: Предсказание трудности заданий с помощью LLM использует языковые модели для оценки трудности задания, что должно валидизироваться относительно эмпирически подогнанных параметров IRT.
Психометрическая калибровка: Психометрическая калибровка LLM согласует оценивание на основе моделей с измерением на основе IRT так, чтобы сгенерированные ИИ ответы сохраняли измерительные свойства.
Трассирование знаний и моделирование студента: IRT тесно связана с Трассирование знаний и Моделирование учащегося и адаптивное обучение — моделями, отслеживающими знания учащегося во времени, — разделяя цель оценки ненаблюдаемых состояний учащегося по наблюдаемым ответам.
Величины IRT, считываемые из логитов LLM. Huang et al. (2026) извлекают способность студента θ = z^GOOD − z^BAD и трудность хода репетитора d = z^HARD − z^EASY из логитов следующего токена и объединяют их в предсказателе 1PL Раша, делая трассирование знаний на основе диалога интерпретируемым (точность 64,29%, AUC 65,25 на QATD2k).
Байесовская иерархическая валидация в поле: Оценивание экзаменов, сгенерированных ИИ использует байесовскую иерархическую модель IRT 2PL (с опорными заданиями предтеста для размещения 1686 студентов на общей шкале θ), чтобы показать, что сгенерированные ИИ вопросы соответствуют заданиям стандартизированных экзаменов, написанным экспертами, по трудности и различающей способности, — крупномасштабная демонстрация IRT как основы валидации для Автоматическая генерация вопросов.
Тестовая информация локализует точность. Тест ИИ-грамотности GenAI из 20 заданий, валидизированный моделью 2PL (RMSEA = 0,03, CFI = 0,97), имел пик функции информации при θ = −0,8, что делает его наиболее точным для учащихся с низкой и средней грамотностью, а не равномерно точным по шкале (Jin et al. (2025)).
Отделение человеческих ответов от ответов GenAI с помощью статистик пригодности личности: Strugatski и Alexandron (2026) применяют статистики пригодности личности (PFS) в рамках IRT для отличения человеческих ответов от ответов Генеративный ИИ на оценивании с множественным выбором. PFS помечают ответы GenAI как ответы «отклоняющихся» респондентов в двух аутентичных контекстах (тест по химии и национальный экзамен), показывают, что различные чат-боты дают различные паттерны ответов (неоднородная группа «интеллектов»), и раскрывают, что новые версии GenAI становятся более человекообразными, — что позиционирует IRT как надёжную основу для скрининга честности в высокозначимом тестировании.
Одни и те же задания могут не измерять один и тот же скрытый конструкт для LLM. Strugatski, Zeinfeld и Alexandron (2026) сравнили факторные структуры человека и LLM по двум инструментам с помощью эксплораторного факторного анализа и сопоставления конгруэнтности; сходство LLM–человек надёжно оставалось ниже базовой линии человек–человек, поэтому параметры IRT, подогнанные на людях, не переносятся автоматически.
Оценка трудности LLM относительно параметров IRT Раша: Razavi и Powers (2026) оценивают, может ли GPT-4o оценивать трудность заданий по математике и чтению для K-5 (N = 5170), откалиброванных по модели IRT Раша. Подход прямой оценки в режиме zero-shot коррелировал от умеренно до сильно с истинными трудностями Раша (r = 0,83 по математике, r = 0,81 по чтению), но был неровным по классам и часто не лучше регрессора-фикции среднего по классу для классов K и 1, вероятно, из-за ограниченности диапазона трудностей заданий младших классов. Стратегия на основе признаков — извлечённые LLM когнитивные и лингвистические признаки, поданные в модели на основе деревьев, — превзошла прямую оценку (корреляции до r = 0,87), причём уровень класса и число слов были ведущими предикторами. Исследование подчёркивает, что оценки трудности LLM должны валидизироваться относительно эмпирически подогнанных параметров IRT и что структурированное извлечение признаков может усилить предсказание там, где целостное суждение zero-shot не справляется.
Объяснение трудности вместо её предсказания. Cui et al. (2026) подгоняют модель 1PL Раша к записям ответов LLM для GSM8K (1319 вопросов), BBH-structured (1396) и WinoGrande (1267), с 5000 моделями для GSM8K и WinoGrande и 3811 для BBH-structured. Затем они побуждают LLM предложить гипотезы на естественном языке о том, почему одно задание труднее другого, и отбирают их с помощью L1-регуляризованной регрессии на отложенных вопросах. Используемые отдельно на невиданных вопросах, отобранные гипотезы достигают R² = 0,373 на GSM8K, 0,580 на BBH-structured и 0,090 на WinoGrande — лучший результат среди сравниваемых методов на GSM8K и WinoGrande и второй лучший на BBH-structured, где донастроенная RoBERTa-base достигает 0,646. Как дополнительные признаки они добавляют +0,11 к RoBERTa-base на GSM8K (с 0,362 до 0,468) и +0,19 и +0,18 к двум замороженным моделям эмбеддингов. Причинная проба редактирует по 50 тестовых вопросов на набор данных в сторону гипотезы или от неё: правки, увеличивающие трудность, снижают среднюю точность на 15,27 и 23,88 процентных пункта на GSM8K и BBH-structured, тогда как правки, снижающие трудность, повышают её на 32,18 и 28,52. Здесь трудность оценивается по ответам моделей, а не по ответам людей-испытуемых, поэтому это результат оценки LLM и психометрики.
Моделирование респондентов может восстановить то, чего не может регрессия стимула: донастроенная мультимодальная LLM, воспроизводящая вероятности выбора варианта студентами на различных уровнях способности, аппроксимировала отложенную трудность с r = 0,85, выше базовых линий регрессии MathBERT (0,68) и MetaMath (0,75), и восстановила параметр угадывания c на уровне 0,48, тогда как различающая способность a осталась слабой (0,31) (Ormerod и Kim, 2026).
Недостатки составления заданий как предшествующий развёртыванию скрининг параметров IRT: Schmucker и Moore (2026) проверяют, предсказывают ли рубрики недостатков составления заданий (IWF) — текстовая оценка, общая для предметной области, не требующая данных студентов, — эмпирически оценённые трудность и различающую способность по IRT. На 7126 вопросах с множественным выбором по STEM (физические науки, математика, науки о жизни и Земле) они с помощью автоматизированного кодирования с участием LLM показали, что рубрики IWF обладают предсказательной валидностью для эмпирических параметров IRT, предлагая масштабируемый скрининг перед развёртыванием, который дополняет или частично заменяет ресурсоёмкое пилотное тестирование.
Фильтрация рисков на основе IRT для избирательного оценивания ИИ: Cvengros и Kortemeyer подгоняют двухпараметрическую логистическую модель IRT к данным по рукописным работам по химии, оценённым ИИ, и определяют «риск» принятия суждения ИИ как абсолютное отклонение между нормированным баллом ИИ и ожидаемой по IRT вероятностью зачёта (Risk = |s−p|); принятие только тех заданий, которые находятся в выбранном допуске от этого байесовского ожидания, помечает «неожиданные» оценки ИИ для проверки человеком, превращая IRT из чистого инструмента агрегации баллов в операциональный механизм принятия/отсрочки для Автоматизированное оценивание — механизм, который достиг согласованности с оцениванием человеком, сопоставимой с более простыми порогами частичного зачёта, но при меньшей нагрузке на людей, хотя его логика менее прозрачна для нетехнической аудитории.
IRT как слой калибровки внутри диагностической модели: PLCD добавляет вдохновлённую IRT голову угадывания-и-ошибки поверх ответов уровня упражнений, улучшая качество вероятностей, а не точность — ожидаемая ошибка калибровки упала с 0,071 до 0,037 на XES3G5M, — что делает IRT внутренней коррекцией шума ответов, а не только моделью оценивания (Liu et al. (2026)).
Калибровка методом «разделяй и властвуй» для непрерывно развивающихся банков: Jewsbury et al. (2026) трактуют перекалибровку IRT как задачу масштабирования, а не задачу подгонки. Когда генерация заданий на основе ИИ и предсказание параметров на основе признаков делают банк больше, разреженнее и постоянно обновляемым, повторная подгонка полной истории ответов при каждом обновлении становится всё дороже; их консенсусная калибровка вместо этого калибрует каждый период времени один раз и объединяет новый период с уже вычисленными более ранними постериорами. Две особенности отличают её от существующих работ IRT по принципу «разделяй и властвуй»: периоды не разделяют скрытую метрику, поэтому каждый связан с опорной метрикой надёжным критерием Хаэбары, решаемым отдельно для каждой постериорной выборки (что переносит ошибку связывания в связанные постериоры), и каждый период является собственной иерархической подгонкой, вносящей оцённое априорное распределение, поэтому наивное произведение постериоров должно иметь это априорное распределение разделённым и восстановленным консенсусным априорным распределением — сводясь к правилу байесовской комиссии машин, когда априорные распределения фиксированы. На объединённом бенчмарке по четырём квартальным периодам Duolingo English Test средние постериоры согласовывались с r = ,998 (трудность) и ,991 (лог-различающая способность), а СД постериоров — с r = ,970 и ,920, оставляя слабую недодисперсию (отношение СД 0,91–0,98), наибольшую в самом нижнем тертиле экспозиции за период. Это калибровка IRT, перепроектированная для условий доставки, которые создают банки заданий, сгенерированные ИИ.
Насколько редко IRT служит основой валидации инструментов: оценка инструментов измерения ИИ-грамотности преподавателей количественно описывает скорее отсутствие IRT, чем её использование. Zainal, Mohd Matore и Maat (2026) оценили 33 инструмента по матрице решений, адаптированной из COSMIN и Terwee et al. (2007); структурная валидность была сильной, причём 24 (72,7%) находились на грейде A благодаря CFA, PLS-SEM или моделированию IRT, однако ни один не использовал IRT или Раша как основное доказательство, и только пять инструментов (15,2%) сообщали об инвариантности измерения или дифференциальном функционировании заданий. Авторы выступают за IRT и задания на результативность наряду с самооценкой, чтобы отделить подтверждённую способность от заявленной уверенности.
Причинная альтернатива ассоциативной IRT. Mangili et al. (2026) утверждают, что IRT и байесовские сетевые модели учащегося не могут выражать вмешательства или контрфактические утверждения, и вместо этого извлекают структурные уравнения от экспертов; на батарее адаптивного теста из 109 студентов извлечённая модель была немного менее предсказательной (−287 против −277 лог-правдоподобия теста), но поддерживала контрфактические запросы о помощи.

Связи

IRT является основой Образовательное измерение и Валидность оценивания, поддерживает Адаптивное обучение (адаптивный выбор заданий) и Моделирование учащегося и адаптивное обучение, а также связана с Психометрически осведомлённый ИИ (оценивание ИИ, согласованное с теорией измерений) и Трассирование знаний. Она фигурирует в калибровке трудности LLM для оценивания по программированию.

Связанные концепции

Связанные статьи

What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language — Объяснение трудности вопросов LLM на естественном языке через IRT и причинные правки (Cui et al. 2026)
The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory — Влияние недостатков составления заданий на трудность и различающую способность по IRT (Schmucker и Moore 2026)
Causal Modelling of Support Interventions for Student Competency Assessment — Причинное моделирование поддерживающих вмешательств для оценивания компетенций студентов
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Измеряют ли инструменты оценивания одно и то же для людей и LLM? (Strugatski et al. 2026)
Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Крупномасштабная валидация экзаменов, сгенерированных ИИ, по IRT в поле
GLAT: The Generative AI Literacy Assessment Test — GLAT использует валидацию IRT/2PL (Jin et al. 2025)
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — Предсказание трудности заданий с помощью LLM
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Согласование оценивания LLM с психометрической калибровкой
From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — Калибровка трудности LLM на экзаменах по программированию
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Мультимодальная оценка параметров заданий
Interpretable Knowledge Tracing — Интерпретируемое трассирование знаний
Applying psychometric methods to distinguish between human and generative AI responses to multiple-choice assessments — Использование IRT для отделения человеческих ответов и ответов GenAI в тестах с множественным выбором
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Оценка трудности заданий с помощью LLM и машинного обучения на деревьях
Assisting the grading of a handwritten general chemistry exam with artificial intelligence
Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis — Beyond ID Embeddings: моделирование языка на основе процессов для когнитивной диагностики
Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — Байесовская консенсусная калибровка непрерывно развивающегося банка заданий IRT (Jewsbury et al. 2026)
Assessing teachers' AI literacy: a systematic review of measurement tools — Полевой аудит, показывающий, что IRT/Раш редко используются как основное доказательство валидации в инструментах измерения ИИ-грамотности преподавателей
StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: репетиторство ИИ и человека дают эквивалентные приросты в обучении по GRE

Метаданные

Технологии и методы	Трассирование знаний, Моделирование учащегося и адаптивное обучение
Оценивание и измерение	Валидность оценивания, Образовательное измерение, Психометрически осведомлённый ИИ

Source History Edit Chat