Психометрически осведомлённый ИИ

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Психометрически осведомлённый ИИ — системы оценивания на базе ИИ, согласованные с теорией измерений, — это стандарт, продвигаемый в работах Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction, Confidence Aware AI Assessment и Теория Item Response Theory (IRT): калиброванное, осознающее неопределённость оценивание с помощью ИИ сохраняет надёжность и валидность вместо того, чтобы подменять психометрические свидетельства сырой уверенностью модели.

Вопросы для размышления

ИИ оценивает ответ студента и выдаёт уверенно звучащий балл. На каком основании вы стали бы доверять этому числу — и изменится ли ваш ответ, если вы узнаете, что модель не калибровалась ни по одному стандарту измерений?
Страница предостерегает от подмены психометрических свидетельств сырой уверенностью модели. Вспомните момент, когда вы поверили уверенному выходу ИИ, который оказался ошибочным. Что делало эту уверенность незаработанной, и как вместо этого выглядел бы выход, «осознающий неопределённость»?
Research обнаружило, что на одном и том же инструменте оценивания структуры ответов человека и LLM расходятся — то есть модель может хорошо оценивать, но при этом измерять не то, что задумано экзаменом. Если бы вы были teacher, использующим автоматическое оценивание с ИИ, как бы вы вообще могли обнаружить, что тест «означает» для машины не то же, что для ваших студентов?
Предсказание трудности заданий использует LLM для оценки того, насколько вопрос сложен. Прежде чем читать, подумайте: «насколько сложен этот вопрос?» — это факт о вопросе или о людях (или моделях), которые на него отвечают — и что эта неоднозначность означает для использования ИИ при калибровке экзаменов?
Калибровка, надёжность и валидность — это измерительные концепции с точными значениями. Какие из них вы действительно продумали в собственной практике оценивания, и в каких местах вы, возможно, опираетесь на выход ИИ, который никогда не проверялся на соответствие им?
Для Администраторы или разработчика: если инструмент оценивания на базе ИИ, который вы рассматриваете, сообщает только сырую точность, какие конкретные вопросы вы теперь задали бы его поставщику перед внедрением с реальными студентами?

Введение

Поскольку системы ИИ всё чаще оценивают ответы, предсказывают трудность и предоставляют Обратная связь, ключевой риск состоит в том, что они выдают уверенно звучащие выходные данные, которые не проверялись на соответствие принципам измерений. Психометрически осведомлённый ИИ решает эту проблему, опирая оценивание с помощью ИИ Оценивание на устоявшуюся психометрию — калибруя выходы, количественно оценивая неопределённость и сохраняя стандарты Валидность оценивания и Образовательное измерение вместо того, чтобы полагаться на сырую точность или self-reported уверенность.

Как психометрически осведомлённый ИИ представлен в исследованиях

Калибровка и уверенность: Confidence-aware assessment и LLM psychometric calibration обеспечивают выда ИИ содержательных, осознающих неопределённость баллов, а не чрезмерно уверенных точечных оценок.
Уверенности модели недостаточно. На наборе SciEntsBank вербализованная, латентная и основанная на согласованности уверенность каждая по отдельности не смогла разделить верные и неверные короткие ответы; наилучшая калибровка была получена добавлением алеаторной неопределённости, выведенной из набора данных, — внутрикластерной энтропии встроенных ответов, — через Random Forest плюс шкалирование Платта, что сделало возможным селективное автоматическое оценивание и проверку человеком (Cong et al. (2026)).
Метки уверенности служат для сортировки проверки, а не для принятия. При высокостимульном оценивании рукописных работ по физике метки уверенности ИИ отслеживались при значительно меньшей ошибке баллов на частях с высокой уверенностью, однако некоторые части с высокой уверенностью и без флага всё же расходились с официальными оценками, поэтому метки полезны для приоритизации проверки экзаменатором, а не для санкционирования автоматического принятия (Pathak et al. (2026)).
Предсказание трудности: Item-difficulty prediction показывает, что оценки на базе LLM должны проверяться на соответствие психометрическим моделям (см. Теория Item Response Theory (IRT)). Razavi and Powers (2026) дают крупномасштабную демонстрацию: на 5170 заданиях по математике и чтению для K–5, откалиброванных по модели IRT Раша, zero-shot оценки трудности от GPT-4o коррелировали с истинной трудностью от умеренно до сильно (r = 0.83 по математике, r = 0.81 по чтению), но были неравномерны по классам, тогда как признаковый подход (извлечённые LLM признаки, поданные в древовидные модели) достигал корреляций до r = 0.87. Интерпретируемая feature importance в исследовании (уровень класса и количество слов — ведущие предикторы) и его практический семишаговый рабочий процесс иллюстрируют, как психометрически осведомлённый ИИ можно ввести в эксплуатацию, — при том что вывод об ограничении диапазона в младших классах и оговорки об обобщаемости подчёркивают необходимость проверять оценки LLM на соответствие подогнанным психометрическим параметрам.
Восстановить кривую — не то же самое, что восстановить каждый параметр. Мультимодальная модель, дообученная как simulated respondent, оценила отложенную трудность заданий с r = 0.85 и восстановила параметр угадывания на уровне 0.48, но дифференцирующая способность была слабой — 0.31, — так что именно то, какой параметр метод восстанавливает, и является результатом (Ormerod & Kim, 2026).
Валидность измерений: концепция связана с Валидность оценивания и Образовательное измерение — рамками, которые определяют, как выглядит валидное и надёжное оценивание с ИИ.
Валидность латентной структуры: Strugatski et al. (2026) показывают, что психометрически осведомлённая позиция должна также проверять, измеряет ли оценивание один и тот же латентный конструкт в LLM и в человеке. Поскольку факторные структуры ответов LLM и человека расходятся на одних и тех же инструментах, даже хорошо оценивающие модели могут измерять не тот конструкт, который экзамен призван измерять, — и это оговорка для любого оценивания с ИИ, которое заимствует свидетельства валидности, полученные на человеке.
Метка может измерять больше или меньше, чем называет. Встраивание 55 конструктов и 272 заданий из 12 инструментов ИИ-грамотности выявило пары jangle (одна и та же метка, разное измерение) и пары jingle (разные метки, почти идентичная формулировка), восстановив надёжность на уровне r = 0.49 — проверка до сбора данных о том, что различия конструктов сохраняются в формулировках заданий (He et al. (2026)).
Конвейеры латентной способности и установление стандартов: Curi et al. (2026) дают конкретный шаблон психометрически осведомлённого оценивания на национальном экзамене: баллы по пунктам рубрики никогда не суммируются напрямую, а подаются в модель IRT, оценки латентной способности которой разделяются методом установления стандартов Bookmark на категории Proficient / Close to Proficiency / Insufficient, причём для сдачи требуется как минимум две секции уровня Proficient, а оставшаяся — как минимум Close to Proficiency. Авторы воспроизвели этот конвейер в автоматизированной форме (67%-ная вероятность правильного ответа как минимум на 7 пунктов рубрики для нижней границы и как минимум на 10 — для верхней), что позволило сравнивать баллы ИИ и человека по идентичным критериям принятия решения, а не только по сырому согласию.

Связи

Психометрически осведомлённый ИИ находится на пересечении Образовательное измерение, Валидность оценивания, Теория Item Response Theory (IRT) и Confidence Aware AI Assessment. Он занимает центральное место для Оценивание ИИ-образования (можно ли доверять оцениванию с ИИ) и связан с Большие языковые модели (LLM)-основанным Автоматизированное оценивание и Automated Grading. Его акцент на валидности также относится к measurement limitations исследований AIED.

Связанные концепции

Связанные статьи

A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — Рамка «человек в контуре» для оценивания письменных работ с помощью ИИ в крупномасштабном контексте
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Измеряют ли инструменты оценивания одно и то же для человека и для LLM? (Strugatski et al. 2026)
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Согласование оценивания с LLM с психометрической калибровкой
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — Предсказание трудности заданий с помощью LLM
Confidence Estimation in Automatic Short Answer Grading with LLMs — Осведомлённое об уверенности автоматическое оценивание коротких ответов
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Мультимодальная оценка параметров заданий
Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — Компетентностное образование с GenAI
Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Оценивание рукописных работ по физике с помощью ИИ (олимпиада)
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Оценка трудности заданий с использованием LLM и древовидного ML
Clarifying the Conceptual Landscape in AI Literacy Measurement: A Large Language Model Based Approach — Сравнение инструментов ИИ-грамотности: пары jangle и jingle на материале 55 конструктов
Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Использование LLM студентами и пределы сгенерированной ИИ трудности вопросов в курсах по анализу данных

Метаданные

Технологии и методы	Большие языковые модели (LLM)
Оценивание и измерение	Валидность оценивания, Автоматизированное оценивание, Образовательное измерение, Теория Item Response Theory (IRT)

Source History Edit Chat