Теорія відгуку завдань

На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Теорія відгуку завдань (IRT) — родина психометричних моделей, що оцінюють латентну здібність із відгуків на завдання, моделюючи відношення між здібністю здобувача та ймовірністю правильної відповіді на кожне завдання. Моделі IRT задають складність і дискримінативність завдання, уможливлюючи точність вимірювання та адаптивне тестування. В епоху ШІ IRT зустрічається з LLMs у Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction та Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach: ШІ передбачає та калібрує складність завдань, потенційно покращуючи точність вимірювання й живлячи Адаптивне навчання.

Питання для роздумів

Теорія відгуку завдань розглядає здібність і складність завдання як спільно оцінювані з патернів відгуків, а не розглядає сирий бал тесту як міру. Чим двоє студентів із однаковою кількістю правильних відповідей могли б справді відрізнятися за здібністю?
IRT дає вам змогу порівнювати здобувачів на спільній шкалі й оцінювати точність для кожної особи. Чому знання складності й дискримінативності завдання могло б мати більше значення, ніж лише знання того, чи студент відповів правильно?
Одне дослідження використало статистики придатності особи IRT, щоб відрізняти людські відповіді від згенерованих ШІ на тестах із множинним вибором — позначаючи відповіді ШІ як «аберрантні». Як би той самий вимірювальний апарат, що оцінює навчання, міг би й поліцувати академічну доброчесність?
Researchers використовують IRT, щоб валідувати, що згенеровані ШІ іспитові питання зрівнюються з написаними експертами за складністю та дискримінативністю. Якщо ШІ пише завдання, що «виглядає» добре, чому емпірична калібрація проти пристосованих параметрів IRT усе ще необхідна?
У міру того як ШІ передбачає й калібрує складність завдань, що могло б піти не так, якби оцінка складності моделлю не була валідована проти реальних даних відгуків студентів?
IRT пов'язаний з адаптивним тестуванням і відстеженням знань — використанням ваших відгуків для вибору того, що питати далі. Як оцінювання вашої здібності з кожної відповіді дає змогу тесту стати коротшим і точнішим, а не просто довшим?

Вступ

IRT розглядає здібність (θ) і параметри завдання (складність, дискримінативність, іноді вгадування) як спільно оцінювані з патернів відгуків, а не розглядає сирий бал як міру. Це дає змогу порівнювати здобувачів на спільній шкалі, відбирати завдання адаптивно та оцінювати точність для кожної особи, а не глобально.

Як IRT з'являється в дослідженнях

Передбачена ШІ складність: LLM item-difficulty prediction використовує мовні моделі для оцінювання складності завдання, що має бути валідовано проти емпірично пристосованих параметрів IRT.
Психометрична калібрація: LLM psychometric calibration узгоджує оцінювання на основі моделей із вимірюванням на основі IRT так, щоб згенеровані ШІ відповіді зберігали вимірювальні властивості.
Відстеження знань і моделювання студента: IRT тісно пов'язаний з Відстеження знань і Моделювання здобувача та адаптивне навчання — моделями, що відстежують знання здобувача з часом, — поділяючи мету оцінювання ненаблюдовних станів здобувача зі спостережуваних відгуків.
Величини IRT, вичитані з логітів LLM. Huang et al. (2026) витягують здібність студента θ = z^GOOD − z^BAD і складність ходу тьютора d = z^HARD − z^EASY з логітів наступного токена й поєднують їх у предикторі 1PL Rasch, роблячи діалогове відстеження знань інтерпретованим (64,29% точності, 65,25 AUC на QATD2k).
Байєсівська ієрархічна польова валідація: Assessing AI-Generated Exams використовує байєсівську ієрархічну модель IRT 2PL (із завданнями-якорями претесту для розміщення 1 686 студентів на спільній шкалі θ), щоб показати, що згенеровані ШІ питання зрівнюються з написаними експертами завданнями стандартизованих іспитів за складністю та дискримінативністю — масштабну демонстрацію IRT як хребта валідації для Автоматизована генерація питань.
Інформація тесту локалізує точність. Тест літератури GenAI з 20 завдань, валідований моделлю 2PL (RMSEA = 0,03, CFI = 0,97), мав пік функції інформації на θ = −0,8, роблячи його найточнішим для здобувачів із низькою та помірною літературністю, а не рівномірним по всій шкалі (Jin et al. (2025)).
Відокремлення людських відповідей від відповідей GenAI за допомогою статистик придатності особи: Strugatski and Alexandron (2026) застосовують статистики придатності особи (PFS) у межах IRT, щоб відрізняти людські відповіді від відповідей Генеративний ШІ на оцінюваннях із множинним вибором. PFS позначають відповіді GenAI як «аберрантних» респондентів у двох автентичних контекстах (тест chemistry та національний іспит), показують, що різні chatbots породжують різні патерни відгуків (гетерогенну групу «інтелектів»), і розкривають, що новіші версії GenAI стають більш людськоподібними — позиціонуючи IRT як стійку рамку для відбору integrity в тестуваннях з високими ставками.
Ті самі завдання можуть не вимірювати того самого латентного конструкту для LLM. Strugatski, Zeinfeld and Alexandron (2026) порівняли людські та LLM структури факторів на двох інструментах за допомогою дослідницького факторного аналізу та узгоджувального зіставлення; схожість LLM–людина надійно залишалася нижчою за базову лінію людина–людина, тому параметри IRT, пристосовані на людях, не переносяться автоматично.
Оцінювання складності засобами LLM проти параметрів IRT Rasch: Razavi and Powers (2026) оцінюють, чи може GPT-4o оцінювати складність завдань оцінювання математики та читання K-5 (N = 5170), каліброваних за моделлю IRT Rasch. Підхід прямої оцінки zero-shot корелював помірно–сильно зі справжніми складностями за шкалою Rasch (r = 0,83 математика, r = 0,81 читання), але був нерівномірним між класами й часто не кращим за регресор-фіктивну зі середнім за класом для класів K і 1, ймовірно через обмеження діапазону в складностях завдань нижчих класів. Стратегія на основі ознак — когнітивні та лінгвістичні ознаки, витягнуті LLM і подані в моделі на основі дерев, — перевершила пряму оцінку (кореляції до r = 0,87), причому рівень класу й кількість слів були найкращими предикторами. Дослідження підкреслює, що оцінки складності засобами LLM мають бути валідовані проти емпірично пристосованих параметрів IRT, і що структуроване витягання ознак може загострити передбачення там, де цілісний zero-shot розсуд не витримує.
Пояснення складності замість її передбачення. Cui et al. (2026) пристосовують модель 1PL Rasch до записів відгуків LLM для GSM8K (1 319 питань), BBH-structured (1 396) і WinoGrande (1 267), з 5 000 моделей для GSM8K і WinoGrande і 3 811 для BBH-structured. Потім вони підказують LLM запропонувати гіпотези природною мовою про те, чому одне завдання є складнішим за інше, і відбирають їх L1-регуляризованою регресією на утриманих питаннях. Використані поодиноко на небачених питаннях відібрані гіпотези досягають R² = 0,373 на GSM8K, 0,580 на BBH-structured і 0,090 на WinoGrande, найкращі з порівнюваних методів на GSM8K і WinoGrande та другі за кращими на BBH-structured, де дотренований RoBERTa-base досягає 0,646. Як додаткові ознаки вони додають +0,11 до RoBERTa-base на GSM8K (з 0,362 до 0,468) і +0,19 та +0,18 до двох заморожених моделей вкладань. Причинний зонд редагує по 50 тестових питань на набір даних у бік або від гіпотези: редагування, що збільшує складність, знижує середню точність на 15,27 і 23,88 відсоткових пункти на GSM8K і BBH-structured, тоді як редагування, що знижує складність, підвищує її на 32,18 і 28,52. Складність тут оцінюється з відгуків моделей, а не з людських виконавців тесту, тому це є результатом з оцінювання LLM та психометрики.
Імітація респондентів може відновити те, чого не може регресія стимулу: дотренована мультимодальна LLM, що відтворює ймовірності вибору варіанта студентами на різних рівнях здібності, наблизила утриману складність на r = 0,85, вище за базові лінії регресії MathBERT (0,68) і MetaMath (0,75), і відновила параметр вгадування c на 0,48, тоді як дискримінативність a залишалася слабкою (0,31) (Ormerod & Kim, 2026).
Вади написання завдань як пре-розгортальний фільтр для параметрів IRT: Schmucker and Moore (2026) перевіряють, чи рубрики Item-Writing Flaw (IWF) — загальнодоменне, текстуальне оцінювання, що не потребує даних студентів, — передбачають емпірично оцінені складність і дискримінативність IRT. На 7 126 питаннях із множинним вибором у STEM (фізична наука, mathematics, науки про життя/землю) вони використали автоматизоване, зі співучастю LLM кодування, щоб показати, що рубрики IWF несуть предиктивну валідність для емпіричних параметрів IRT, пропонуючи масштабований пре-розгортальний фільтр, що доповнює або частково заміщає ресурсомістке пілотне тестування.
Фільтрування ризиків на основі IRT для селективного оцінювання ШІ: Cvengros & Kortemeyer пристосовують логістичну модель IRT з двома параметрами до оцінених ШІ даних рукописної хімії й визначають «ризик» прийняття судження ШІ як абсолютне відхилення між нормалізованим балом ШІ та очікуваною за IRT ймовірністю зарахування (Risk = |s−p|); приймання лише завдань у межах обраної толерантності до цього байєсівського очікування позначає «дивні» бали ШІ для human review, перетворюючи IRT з чистого інструмента агрегування балів на операційний механізм прийняття/відкладання для Автоматизоване оцінювання — такий, що досяг узгодження з людським оцінюванням, подібного до простіших порогів часткового зарахування, але за меншого людського навантаження, хоч його логіка менш прозора для нетехнічних аудиторій.
IRT як шар калібрації всередині діагностичної моделі: PLCD додає натхненну IRT голову вгадування-й-ковзання над відгуками на рівні вправи, покращуючи якість ймовірностей, а не точність — очікувана помилка калібрації впала з 0,071 до 0,037 на XES3G5M, — роблячи IRT внутрішньою корекцією шуму відгуків, а не лише моделлю оцінювання (Liu et al. (2026)).
Калібрація методом розділяй і володарюй для безперервно еволюціонуючих банків: Jewsbury et al. (2026) розглядають рекалібрацію IRT як задачу масштабування, а не як задачу пристосування. Коли генерація завдань на основі ШІ та передбачення параметрів на основі ознак роблять банк більшим, розрідженішим і безперервно оновлюваним, перепристосування всієї історії відгуків на кожному оновленні стає сталіше дорожчим; їхня консенсусна калібрація замість цього калібрує кожен часовий період один раз і поєднує новий період з уже обчисленими ранішими постериорами. Дві ознаки відокремлюють її від наявної роботи IRT «розділяй і володарюй»: періоди не поділяють латентної метрики, тому кожен зв'язується з еталонною метрикою стійким критерієм Haebara, розв'язаним окремо для кожного малюнка постериора (переносячи помилку зв'язування в зв'язані постериори), і кожен період є власним ієрархічним пристосуванням, що вносить оцінений апріор, тому наївний добуток постериорів має мати цей апріор поділеним і консенсусний апріор відновленим — сходячись до правила байєсівського комітетного механізму, коли апріори фіксовані. Проти зведеного бенчмарку на чотирьох квартальних періодах Duolingo English Test середні постериорів погоджувалися на r = .998 (складність) і .991 (лог-дискримінативність), а SD постериорів — на r = .970 і .920, залишаючи легке недо-диспергування (відношення SD 0,91–0,98), найбільше в найнижчому тертилі експозиції на період. Це калібрація IRT, переінженерена для умов постачання, які створюють банки завдань, згенеровані ШІ.
Наскільки рідко IRT закріплює валідацію інструмента: оцінка інструментів ШІ-літературності викладачів квантифікує відсутність IRT, а не його використання. Zainal, Mohd Matore and Maat (2026) оцінили 33 інструменти за матрицею рішень, адаптованою з COSMIN і Terwee та співавторів (2007); структурна валідність була сильною, з 24 (72,7%) на класі A через CFA, PLS-SEM або моделювання IRT, проте жоден не використовував IRT чи Rasch як своє первинне свідчення, і лише п'ять інструментів (15,2%) повідомили свідчення інваріантності вимірювання або диференційованої функції завдання. Автори стверджують на користь IRT і завдань на продуктивність поруч із самооцінюванням, щоб відокремити валідовану спроможність від заявленої впевненості.
Причинна альтернатива асоціативному IRT. Mangili et al. (2026) стверджують, що IRT і моделі здобувачів на основі байєсівських мереж не можуть виражати інтервенції або контрфактичні твердження, і натомість викликають структурні рівняння в експертів; на батареї адаптивного тесту зі 109 студентами викликана модель була дещо менш предиктивною (−287 проти −277 тестової лог-правдоподібності), проте підтримувала контрфактичні запити про допомогу.

Зв’язки

IRT є основою Освітнє вимірювання та Валідність оцінювання, підпирає Адаптивне навчання (адаптивний відбір завдань) і Моделювання здобувача та адаптивне навчання, і пов'язується з Психометрично обізнаний ШІ (оцінювання ШІ, узгоджене з теорією вимірювання) та Відстеження знань. Він фігурує в LLM difficulty calibration для оцінювання програмування.

Пов’язані поняття

Пов’язані статті

What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language — Пояснення складності питань засобами LLM природною мовою через IRT та причинні редагування (Cui та співавтори 2026)
The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory — Вплив вад написання завдань на складність і дискримінативність IRT (Schmucker та Moore 2026)
Causal Modelling of Support Interventions for Student Competency Assessment — Causal Modeling of Support Interventions for Student Competency Assessment
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Чи вимірюють інструменти оцінювання те саме для людей і LLM? (Strugatski та співавтори 2026)
Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Масштабна польова валідація IRT згенерованих ШІ іспитів
GLAT: The Generative AI Literacy Assessment Test — GLAT використовує валідацію IRT/2PL (Jin та співавтори 2025)
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — Передбачення складності завдань засобами LLM
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Узгодження оцінювання LLM із психометричною калібрацією
From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — Калібрація складності засобами LLM в іспитах із програмування
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Мультимодальне оцінювання параметрів завдань
Interpretable Knowledge Tracing — Інтерпретоване відстеження знань
Applying psychometric methods to distinguish between human and generative AI responses to multiple-choice assessments — Використання IRT для відокремлення людських відповідей і відповідей GenAI на питаннях із множинним вибором
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Оцінювання складності завдань засобами LLM та ML на основі дерев
Assisting the grading of a handwritten general chemistry exam with artificial intelligence
Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis — Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis
Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — Байєсівська консенсусна калібрація безперервно еволюціонуючого банку завдань IRT (Jewsbury та співавтори 2026)
Assessing teachers' AI literacy: a systematic review of measurement tools — Польовий аудит, що показує, як рідко IRT/Rasch використовуються як первинне свідчення валідації в інструментах ШІ-літературності викладачів
StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: тьюторинг із ШІ й людський тьюторинг дають еквівалентні навчальні здобутки GRE

Метадані

Технології та методи	Відстеження знань, Моделювання здобувача та адаптивне навчання
Оцінювання та вимірювання	Валідність оцінювання, Освітнє вимірювання, Психометрично обізнаний ШІ

Source History Edit Chat