Когнітивна діагностика

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Когнітивна діагностика — виведення прихованого стану знань здобувача — конкретних понять, навичок і хибних уявлень, які він має або яких йому бракує, — з його відповідей або поведінки. Це оцінювальний аналог Відстеження знань, зосереджений на тому, щоб окреслити, що саме знає студент, а не лише передбачити його подальші результати.

Питання для роздумів

• Когнітивна діагностика виводить прихований стан знань здобувача — конкретні поняття, навички та хибні уявлення, які він має або яких йому бракує, — з його відповідей, а не просто передбачає наступний бал. Перш ніж читати далі, яку різницю ви очікували б між «передбаченням оцінки студента» і «діагностикою того, що він насправді не розуміє»?
• Ключова ідея — «пастка правильної відповіді»: правильна відповідь приховує недосконале міркування. Чи траплялося вам бути впевненим, що студент щось зрозумів, бо відповів правильно, а потім виявити під цим хибне уявлення? Як діагностика може виявити це там, де оцінка не зможе?
• Сторінка відрізняє когнітивну діагностику (статичний, дрібнозернистий знімок того, що здобувач зараз тримає в голові) від відстеження знань (темпоральна динаміка оволодіння знанням у часі). Навіщо інтелектуальному тьютору потрібні обидва — і знати, що саме не так, і знати, чого вчити далі?
• Тут принципом проєктування є відокремлення діагностики від зворотного зв’язку: тьютори на основі ВММ підтверджують правильні кроки, але надто часто відхиляють валідні міркування та підтверджують помилки, а точна діагностика не дає надійно дієвого зворотного зв’язку. Чому знання того, що саме не так, усе ж може не дати корисної наступної дії?
• Діагностика в епоху ВММ поширюється з тестів із вибором відповіді на відкриті, рукописні та розмовні роботи. Що може піти не так, якщо ШІ діагностує хибне уявлення за роботою, якої він не може повністю зрозуміти, — і як ви перевірили б, що сама діагностика заслуговує на довіру?

Вступ

Тоді як відстеження знань зазвичай оцінює скалярне оволодіння в часі, когнітивна діагностика дає більш детальний профіль: які компоненти знань опановані, які крихкі та які хибні уявлення присутні. Цей профіль є підґрунтям для Персоналізоване навчання, Інтелектуальний тьюторінг та Адаптивне навчання.

Як працює когнітивна діагностика

• Діагностичні моделі: психометричні моделі (часто в межах Теорія відгуку завдань та Освітнє вимірювання) виводять приховані стани навичок із патернів правильних і неправильних відповідей, іноді через моделі когнітивної діагностики, які відображають завдання на кілька компонентів знань.

• Автоматизований пошук моделі: оскільки жодна єдина діагностична модель не пасує кожному здобувачу, підходи на базі AutoML (наприклад, персоналізований пошук нейронної когнітивної архітектури) генерують діагностичні моделі для гетерогенних профілів здобувачів — інтегруючи мультимодальні освітні дані, щоб уможливити динамічний аналіз навчальних процесів і когнітивну діагностику для кожного здобувача, а не покладатися на статичні результати іспитів та прості статистичні показники (Personalized neural cognitive architecture search).

• Дані відповідей: діагностика спирається на відповіді на завдання оцінювання, підказки, Пошук допомоги та час на завдання — сигнали, набагато багатші за сирі бали.

• Діагностика на основі ВММ: новіші підходи використовують великі мовні моделі для діагностики за відкритими або рукописними роботами та для визначення конкретних Хибні уявлення про AI за помилкою (наприклад, «пастка правильної відповіді», коли правильна відповідь приховує недосконале міркування). Два результати 2026 року окреслюють межі цієї діагностики. OmniEdu (Liang et al., 2026) з контролем навчала діагностичному міркуванню як одній із чотирьох можливостей у відкрітній родині моделей 4B/9B/27B, і діагностика стану знань залишалася її найслабшою виміряною можливістю — 54.04% на 27B і 53.55% на 9B, достатньо близько, щоб потроєння кількості параметрів не закрило розрив, — тоді як CoLearn (He et al., 2026): оцінювач на основі ВММ корелював зі справжнім оволодінням на r = 0.68 за об’єднаними відповідями, але лише на r ≈ 0.15 в межах найслабшого рівня здібностей (r ≈ 0.48 змішаний, 0.41 сильний), тобто надійність діагностики залежить від рівня здібностей здобувача так само сильно, як від моделі.

• Діагностика типових помилок на рівні цілої групи, а не однієї відповіді за раз. Killich et al. (2026) розвертають звичний напрям: замість діагностики помилки одного здобувача Великі мовні моделі (LLM) пропонує кандидатні трансформації виправлення помилок, які відображають неправильні формалізації на правильні в межах усього освітнього набору даних, і кожен кандидат валідується алгоритмічно, перш ніж його залишать. На 6 106 парах правильних і неправильних формалізацій пропозиційної логіки процес виявив 248 кластерів трансформацій, що пояснюють 5 156 пар (84.44%), проти 4 370 (71.57%) для помилок, відібраних вручну в попередньому найкращому стані мистецтва, і він відтворив помилки, які експерт-предметник визначив вручну в літературі. Кластеризація упорядковує кандидатів у групи з однією трансформацією, еквівалентних трансформацій та ієрархічні групи, а отриманий граф кореляцій можна візуалізувати для викладачів; той самий конвеєр перенесли на модальну логіку та регулярні вирази, де лише одна трансформація «диз’юнкція замість кон’юнкції» покрила 98.80% свого кластера з 334 пар. Це шлях до інвентаризації хибних уявлень, необхідної діагностичній моделі, перш ніж її можна буде налаштувати.

• Відтворення правильного розв’язку, а не симуляція помилки, є вузьким місцем. Моделі побудували розв’язок у 95.2% слідів дистракторів і змоделювали конкретне хибне уявлення Eedi з точністю 0.92, проте надання правильної відповіді все ж підвищило збіг із дистракторами людей (0.52 → 0.56) — невдача лежить вище за течією, у відтворенні розв’язку (Zengaffinen et al. (2026)).

• Діагностика на рівні результатів у навчальних програмах OBE: Pradeesh et al. (2026) діагностують, які результати курсу досяг здобувач, при освіті, орієнтованій на результати, трактуючи результати як концепти знань, надаючи відношення між концептами через перевірені експертами відображення спорідненості OBE між результатами курсу та програми (явна альтернатива неявно навченим відношенням уваги або графічним зв’язкам), і використовуючи модуль із розширеною пам’яттю для оцінки того, як досягнення одного результату впливає на інші — перевершуючи базові моделі DKT, DKVMN, EKT і SimpleKT (89.81% AUC) на реальних даних інженерної програми.

• Діагностика за інструментами, побудованими для чогось іншого. Le et al. (2026) показують, що модель CD може витягнути інформацію на рівні цілей із завдань, які ніколи не писалися для діагностики. Відобразивши завдання FCI, FMCE і EMCS на 14 дрібнозернистих навчальних цілей у механіці для початківців і налаштувавши DINA на 24 394 відповідях постиспитів із 807 курсів, вони виявили добру узгодженість для двох із трьох інструментів (FCI RMSEA² = 0.033; EMCS = 0.022) і точність класифікації на рівні або вище базового показника формативного оцінювання з низькими ставками для 19 із 22 комбінацій «ціль–оцінювання». Саме структура атрибутів, а не якість завдань, була обмежувальним чинником: експертне кодування витримало перевірку моделлю майже недоторканим — DINA запропонувала переглянути лише 14% із 754 кодувань «завдання–ціль», і кодувальники прийняли 20 із них (2.7%), — проте модель не змогла розділити три концептуально вкладені цілі з енергії (Potential Energy 0.675, Conserve Energy 0.705, Kinetic Energy 0.745), оскільки будь-які дві з них поділяли близько 70% своїх завдань (перекриття Жаккара 0.67–0.73), порушуючи кон’юнктивну припущення незалежності DINA, тоді як цілі з імпульсу на тому ж інструменті досягли 0.820–0.917. Тонші атрибути також узгоджувалися краще, а не гірше: структура з 14 цілей покращила узгодженість моделі порівняно з ранішою структурою тієї ж команди з чотирьох широких навичок на всіх трьох інструментах. Саме перекриття завдань, а не помилка кодування, обмежує, наскільки дрібно можна розділити оволодіння.

• Баєсівська DINA для персоналізованих навчальних шляхів: Feng and Huang (2026) інтегрують баєсівську модель DINA (навчену на наборі даних EdNet, N=5 000) з теорією простору знань і алгоритмом найкоротшого шляху опрацювання, щоб генерувати персоналізовані навчальні шляхи, та емпірично перевіряють опосередковану роль когнітивного навантаження через переходи станів прихованої марківської моделі (валідовано на 120 студентах) — вирішуючи водночас проблему збіжності традиційних моделей DINA, спричинену розрідженістю, і неперевірений психологічний механізм за ефективністю персоналізованих шляхів.

• Мовна підґрунтованість замість ID-вбудувань. Liu et al. (2026) замінюють дискретні ідентифікатори студентів, вправ і концептів на побудовані ВММ схеми концептів і підґрунтовані процесом свідчення, калібруючи апостеріорний стан кожного студента з записів відповідей. У трьох наборах даних із математики з платформи рамка досягає 83.51% ACC / 85.37% AUC на XES3G5M і 87.16% ACC на MOOC, а приріст зосереджений саме там, де класичні моделі когнітивної діагностики деградують: нові концепти (+4.60 ACC над KCD) і відсутні записи Q-матриці (+4.52). Видалення структурованих свідчень обвалює точність MOOC з 87.16% до 78.95%, тобто покращення походить від структури, виведеної з мови, а не від масштабу моделі. (Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis)

• Культурно вбудовані завдання можуть передувати аналізу ШІ. Anggara et al. (2026) дали 178 учням 7–8-х класів в Індонезії виконати культурно контекстуалізовані відкриті завдання до аналізу відповідей ШІ; діагнози ШІ узгодилися з експертною оцінкою (ICC = 0,81), тоді як культурне вбудовування асоціювалося з символічною математичною продуктивністю (β = 0,42) і залученістю (β = 0,37).

Чому це важливо

Точна діагностика дозволяє навчанню націлюватися на справжні прогалини, а не на глобальний показник «здібності», — уможливлюючи Автоматизоване оцінювання, яке пояснює, чому студент помилився, і системи Feedback Loop, що опрацьовують конкретні стани знань. Погана діагностика дає протилежне: навчання, націлене на неправильні концепти. Саме тому Психометрично обізнаний ШІ наголошує на діагностичній валідності нарівні з точністю передбачення.

Співвідношення з відстеженням знань та інтелектуальним тьюторингом

Когнітивна діагностика перебуває в самому серці архітектури Інтелектуальний тьюторінг і є оцінювальним аналогом Відстеження знань:

• Діагностика проти відстеження — доповнювальні темпоральні погляди. Відстеження знань стежить за темпоральною динамікою оволодіння — оцінюючи, як скалярний стан знань розвивається через послідовність вправ і передбачаючи наступну відповідь. Когнітивна діагностика дає статичний, дрібнозернистий знімок того, які компоненти знань, навички або хибні уявлення здобувач зараз має. Тьютору потрібні обидва: відстеження знань — щоб упорядкувати, чого вчити далі, когнітивна діагностика — щоб знати, що саме не так. Діагностичні моделі на основі IRT та вимірювань, а також моделі когнітивної діагностики, що відображають завдання на кілька компонентів, реалізують діагностичний бік.
• Діагностика в епоху ВММ. ВММ поширюють діагностику з відповідей із вибором на відкриті, рукописні та розмовні роботи, визначаючи конкретні Хибні уявлення про AI за помилкою (наприклад, «пастка правильної відповіді», коли правильна відповідь приховує недосконале міркування). HiLLM-CD використовує ВММ для автоматизованої побудови дерева концептів та ієрархічного виведення володіння, з’єднуючи діагностику й відстеження. Boyapati et al. (2026) просуваються далі, федеративно об’єднуючи діагностику через кілька комерційних API ВММ з ε-локальною диференційною приватністю, показуючи, що точна, зберігаюча приватність діагностика можлива без жодної моделі, яка бачила б сирі дані студентів.
• Відокремлення діагностики від зворотного зв’язку — принцип проєктування. Тьютори на основі ВММ надійно підтверджують правильні кроки, але надмірно відхиляють валідні міркування та надмірно підтверджують помилки — і точна діагностика не дає надійно дієвого Зворотний зв’язок. Тому проєктування ІТ має відокремлювати діагностичний компонент від компонента зворотного зв’язку/Скаффолдинг (Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most).

Зв’язки

Когнітивна діагностика пов’язана з Відстеження знань, Моделювання здобувача та адаптивне навчання, Освітнє вимірювання та Оцінювання. Її ідеї живлять Інтелектуальний тьюторінг і Адаптивне навчання, а роботи епохи ВММ пов’язують її з визначенням хибних уявлень у AI Tutoring.

Пов’язані поняття

• Відстеження знань
• Граф знань
• Моделювання здобувача та адаптивне навчання
• Освітнє вимірювання
• Теорія відгуку завдань
• Оцінювання
• Інтелектуальний тьюторінг
• Адаптивне навчання
• Персоналізоване навчання
• Автоматизоване оцінювання
• Аналітика навчання

Пов’язані статті

• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Оцінювання ВММ у діагностиці когнітивних навичок із рукописної математики
• The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions — Пастка правильної відповіді
• The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty — Легка пастка: чому ВММ недооцінюють складність, зумовлену хибними уявленнями
• What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics — Виявлення хибних уявлень студентів за допомогою ВММ
• Archetypes or ability? Clustering for modelling student mathematical competence — Кластеризація для моделювання математичної компетентності студентів
• Cognitive Agent Compilation for Explicit Problem Solver Modeling — Компіляція когнітивного агента для явного моделювання розв’язувача задач
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: діагностика за змодельованими здобувачами
• Interpretable Knowledge Tracing — Інтерпретоване відстеження знань
• HiLLM-CD: LLM-Enhanced Hierarchical Cognitive Diagnosis — HiLLM-CD: дерева концептів на ВММ + ієрархічне виведення володіння
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Відокремлення діагностики від зворотного зв’язку в тьюторах на ВММ
• Integrating AI Into Computational Thinking: Development and Validation of an Assessment Tool for Higher Education Students — Обчислювальне мислення в тесті навчання ШІ (CTAT)
• Bayesian cognitive diagnosis optimizes personalized learning paths via mediation of cognitive load and Hidden Markov Model state transitions — Баєсівська когнітивна діагностика для персоналізованих навчальних шляхів
• Personalized neural cognitive architecture search — AutoML-пошук персоналізованої нейронної когнітивної архітектури для профілів здобувачів
• Outcome-based knowledge tracing with affinity mapping and memory augmented outcome impact — Відстеження знань за результатами з відображенням спорідненості
• Privacy-Preserving Heterogeneous Multi-LLM Federated Inference for Cognitive Diagnosis — Федеративна діагностика на гетерогенних ВММ, що зберігає приватність
• Finding Common Mistakes In Modelling With Mathematical Formalisms Using LLMs — Видобування типових помилок моделювання у масштабі за допомогою згенерованих ВММ й алгоритмічно валідованих трансформацій виправлення помилок (Killich et al. 2026)
• Mechanics Cognitive Diagnostic: Testing Fine-Grained Learning Objectives in Introductory Physics — Механіка Cognitive Diagnostic: діагностика на основі DINA для 14 навчальних цілей на основі наявних інвентарів фізичних понять (Le et al. 2026)
• Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing — Анотація концептів знань ВММ і калібровані стани знань на рівні концептів
• Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation for Multiple-Choice Questions — дистрактори на основі хибних уявлень як завдання діагностичного проєктування завдань
• Misconception Acquisition Dynamics in Large Language Models — місце, де помилка входить у розв’язок, є вузьким місцем діагностики
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — Від генерації змісту до підтримки навчання: педагогічно керовані генеративні відеотьютори для навчання STEM
• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: аґентний тьютор, що вчиться свого здобувача в петлі людсько-ШІ-спільного навчання
• OmniEdu: Open Foundation Models for Learning and Teaching — OmniEdu: відкриті фундаментальні моделі для навчання та викладання
• Rethinking Diagnostic Assessment Through Culturally Embedded AI for Meaningful Learning — Переосмислення діагностичного оцінювання через культурно вбудований ШІ для значущого навчання