Психометрично обізнаний ШІ

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Психометрично обізнаний ШІ — системи оцінювання на основі ШІ, узгоджені з теорією вимірювання, — це стандарт, просунутий в Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction, Confidence Aware AI Assessment та Теорія відгуку завдань: каліброване, обізнане щодо невизначеності оцінювання ШІ зберігає надійність і валідність, а не підміняє психометричні докази сирою впевненістю моделі.

Питання для роздумів

• ШІ оцінює відповідь студента й повідомляє звучущий впевнено бал. На якій підставі ви довірили б тому числу — і чи змінюється ваша відповідь, коли ви дізнаєтеся, що модель не була калібрована проти жодного стандарту вимірювання?
• Сторінка попереджає проти підміни психометричних доказів сирою впевненістю моделі. Згадайте випадок, коли ви повірили впевненому виходу ШІ, який виявився хибним. Що зробило ту впевненість незаслуженою, і як виглядав би замість неї вихід, «обізнаний щодо невизначеності»?
• Research знайшло, що на тому самому інструменті оцінювання структури відповідей люди та LLM розходяться, — що означає, що модель може добре оцінювати, проте вимірювати щось відмінне від того, що має на увазі іспит. Якби ви були teacher, що використовує ШІ-оцінювач, як би ви взагалі виявили, що тест «означає» для машини щось інше, ніж для ваших студентів?
• Прогнозування складності завдань використовує LLM, щоб оцінити, наскільки складним є питання. Перед читанням подумайте: чи є «наскільки складним є це питання?» фактом про питання, чи про людей (або моделі), які на нього відповідають, — і що ця двозначність означає для використання ШІ в калібруванні іспитів?
• Калібрування, надійність і валідність — це поняття вимірювання з точними значеннями. Які з них ви насправді обдумали у власній практиці оцінювання, і де ви можете спиратися на вихід ШІ, який ніколи не перевірявся проти них?
• Для Адміністратори чи розробника: якщо інструмент оцінювання ШІ, який ви розглядаєте, повідомляє лише сиру точність, які конкретні питання ви тепер поставили б його вендорові перед розгортанням з реальними студентами?

Вступ

Оскільки системи ШІ дедалі більше оцінюють відповіді, прогнозують складність і дають Зворотний зв’язок, ключовий ризик у тому, що вони повідомляють звучущі впевнено виходи, які не були валідовані проти принципів вимірювання. Психометрично обізнаний ШІ вирішує це, закріплюючи ШІ-Оцінювання в утвердженій психометриці — калібруючи виходи, квантифікуючи невизначеність та зберігаючи стандарти Валідність оцінювання та Освітнє вимірювання, а не спираючись на сиру точність чи self-reported впевненість.

Як психометрично обізнаний ШІ постає в дослідженнях

• Калібрування та впевненість: Confidence-aware assessment та LLM psychometric calibration забезпечують, що ШІ повідомляє значущі, обізнані щодо невизначеності бали, а не надто впевнені точкові оцінки.

• Впевненості моделі недостатньо. На SciEntsBank вербалізована, латентна та заснована на узгодженості впевненість кожна не змогла розділити правильні та неправильні короткі відповіді; найкраще калібрування постало від додавання алеаторної невизначеності, похідної від набору даних, — ентропії в межах кластера вбудованих відповідей, — через Random Forest плюс масштабування Platt, що дає змогу селективного автооцінювання та перегляду людиною (Cong et al. (2026)).

• Прапорці впевненості трижують перегляд, а не прийняття. В оцінюванні рукописної фізики з високими ставками мітки впевненості ШІ відстежували значно нижчу помилку бала на частинах з високою впевненістю, проте деякі частини з високою впевненістю, без прапорця, усе ще розходилися з офіційними оцінками, тому мітки корисні для пріоритезації перегляду екзаменатором, а не для дозволу автоматичного прийняття (Pathak et al. (2026)).

• Прогнозування складності: Item-difficulty prediction показує, як оцінки на основі LLM мають бути валідовані проти психометричних моделей (див. Теорія відгуку завдань). Razavi and Powers (2026) дають масштабну демонстрацію: на 5,170 завданнях з математики та читання K-5, каліброваних за моделлю IRT Раша, оцінки складності GPT-4o методом zero-shot корелювали помірно-сильно зі справжніми складностями (r = 0.83 математика, r = 0.81 читання), але були нерівними за класами, тоді як підхід на основі ознак (ознаки, вилучені LLM, у моделі на деревах) досягав кореляцій до r = 0.87. Інтерпретована feature importance дослідження (рівень класу та кількість слів — найвищі предиктори) і його практичний семикроковий робочий процес ілюструють, як психометрично обізнаний ШІ може бути операціоналізований, — тоді як його знахідка обмеження діапазону в ранніх класах та застереження щодо узагальнюваності підкреслюють потребу валідувати оцінки LLM проти налаштованих психометричних параметрів.

• Відновлення кривої — це не те саме, що відновлення кожного параметра. Мультимодальна модель, дотонно налаштована як simulated respondent, оцінила приховану складність завдань на r = 0.85 і відновила параметр здогадування на 0.48, але дискримінація була слабкою на 0.31, — тож саме те, який параметр відновлює метод, і є знахідкою (Ormerod & Kim, 2026).

• Валідність вимірювання: поняття пов’язане з Валідність оцінювання та Освітнє вимірювання, рамками, які визначають, як виглядає валідне, надійне оцінювання ШІ.

• Валідність латентної структури: Strugatski et al. (2026) показують, що психометрично обізнана позиція має також перевіряти, чи вимірює оцінювання той самий латентний конструкт в LLM, що й в людей. Оскільки факторні структури відповідей LLM і людей розходяться на тих самих інструментах, навіть добре оцінюючі моделі можуть не вимірювати конструкт, який, на думку іспиту, він має вимірювати, — застереження для будь-якого оцінювання ШІ, що запозичує людські докази валідності.

• Мітка може вимірювати більше чи менше, ніж називає. Вбудовування 55 конструктів і 272 завдань 12 інструментів ШІ-грамотності виявило пари jangle (та сама мітка, різне вимірювання) та пари jingle (різні мітки, майже ідентичні формулювання), відновлюючи надійність на r = 0.49, — перевірку до збирання даних, що відмінності конструктів збережені у формулюваннях завдань (He et al. (2026)).

• Конвеєри латентної здібності та встановлення стандарту: Curi et al. (2026) дають конкретний шаблон для психометрично обізнаного оцінювання на національному іспиті: бали за пунктами рубрики ніколи не сумуються напряму, а подаються в модель IRT, чиї оцінки латентної здібності розрізаються методом встановлення стандарту Bookmark на Proficient / Close to Proficiency / Insufficient, причому для здачі потрібно щонайменше дві секції Proficient і решта — щонайменше Close to Proficiency. Автори відтворили той конвеєр в автоматизованій формі (67% імовірності правильно відповісти щонайменше на 7 пунктів рубрики для нижнього розрізу та щонайменше на 10 для верхнього), даючи змогу порівнювати бали завдань ШІ та людини проти ідентичних критеріїв рішень, а не на одній лише сирій угоді.

Зв’язки

Психометрично обізнаний ШІ лежить на перетині Освітнє вимірювання, Валідність оцінювання, Теорія відгуку завдань та Confidence Aware AI Assessment. Він центральний для Оцінювання ШІ в освіті (чи є оцінювання ШІ вартим довіри) і пов’язаний з Великі мовні моделі (LLM)-заснованим Автоматизоване оцінювання та Automated Grading. Його наголос на валідності також стосується measurement limitations в дослідженнях AIED.

Пов’язані поняття

• Освітнє вимірювання
• Валідність оцінювання
• Теорія відгуку завдань
• Автоматизоване оцінювання
• Оцінювання ШІ в освіті
• Великі мовні моделі (LLM)
• Обмеження досліджень AIEd
• ШІ в освіті

Пов’язані статті

• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
• Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Aligning LLM assessment with psychometric calibration
• Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — LLM prediction of item difficulty
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Confidence-aware automatic short-answer grading
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — Multimodal item-parameter estimation
• Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — Competency-based education with GenAI
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML
• Clarifying the Conceptual Landscape in AI Literacy Measurement: A Large Language Model Based Approach — Comparing AI literacy instruments: jangle and jingle pairs across 55 constructs
• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses