Когнитивная диагностика

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Когнитивная диагностика — вывод скрытого состояния знаний учащегося — конкретных понятий, навыков и заблуждений, которые у него есть или которых ему не хватает, — по его ответам или поведению. Это сторона оценивания, парная Трассирование знаний, сосредоточенная на характеризации того, что знает студент, а не только на предсказании его следующего результата.

Вопросы для размышления

Когнитивная диагностика выводит скрытое состояние знаний учащегося — конкретные понятия, навыки и заблуждения, которые у него есть или которых ему не хватает, — по его ответам, а не просто предсказывает его следующую оценку. До чтения подумайте, какую разницу вы ожидали бы между «предсказанием оценки студента» и «диагностикой того, чего он на самом деле не понимает»?
Ключевая идея — «ловушка правильного ответа», где верный ответ скрывает порочное рассуждение. Бывало ли, что вы были уверены, что студент что-то понял, потому что ответил верно, а потом обнаруживали заблуждение под этим? Как диагностика может выявить это там, где оценка не смогла бы?
Страница различает когнитивную диагностику (статический, мелкозернистый снимок того, что учащийся удерживает в данный момент) и трассировку знаний (временную динамику владения во времени). Почему интеллектуальному репетитору нужны обе — знать, что неверно, и знать, чему учить дальше?
Принцип проектирования здесь — отделить диагностику от обратной связи: репетиторы на базе LLM подтверждают верные шаги, но избыточно отвергают обоснованное рассуждение и избыточно подтверждают ошибки, а точная диагностика не даёт надёжно действенной обратной связи. Почему знание того, что неверно, может всё же не давать полезного следующего шага?
Диагностика эпохи LLM расширяется с выборов из нескольких вариантов на открытые, письменные и разговорные работы. Что может пойти не так, если ИИ диагностирует заблуждение по работе, которую он не может полностью понять, — и как бы вы проверили, что сама диагностика заслуживает доверия?

Введение

Тогда как трассировка знаний обычно оценивает скалярное владение во времени, когнитивная диагностика даёт более зернистый профиль: какие компоненты знаний усвоены, какие шатки, а какие заблуждения присутствуют. Этот профиль является субстратом для Персонализированное обучение, Интеллектуальное тьюторство и Адаптивное обучение.

Как работает когнитивная диагностика

Диагностические модели: психометрические модели (часто в рамках Теория Item Response Theory (IRT) и Образовательное измерение) выводят скрытые состояния навыков по закономерностям верных и неверных ответов, иногда через модели когнитивной диагностики, отображающие задания на множественные компоненты знаний.
Автоматический поиск модели: поскольку ни одна диагностическая модель не подходит каждому учащемуся, подходы на основе AutoML (например, персонализированный поиск нейрокогнитивной архитектуры) генерируют диагностические модели для разнородных профилей учащихся — интегрируя мультимодальные образовательные данные для обеспечения динамического анализа учебных процессов и когнитивной диагностики отдельного учащегося, вместо опоры на статические результаты экзамена и простые статистические показатели (Personalized neural cognitive architecture search).
Данные ответов: диагностика опирается на ответы на оценивание, подсказки, Поиск помощи и время на задание — более богатые сигналы, чем сырые оценки.
Диагностика на базе LLM: новые подходы используют большие языковые модели для диагностики по открытым или письменным работам и для выявления конкретных Заблуждения об ИИ, лежащих за ошибкой (например, «ловушка правильного ответа», где верный ответ скрывает порочное рассуждение). Два результата 2026 года ограничивают то, как далеко простирается эта диагностика. OmniEdu (Liang et al., 2026) контролировала диагностическое рассуждение как одну из четырёх возможностей в открытом семействе 4B/9B/27B, и диагностика состояния знаний оставалась его самой слабой измеренной возможностью — 54,04% при 27B и 53,55% при 9B, достаточно близко, чтобы утроение числа параметров не закрыло разрыв, — тогда как оценщик LLM CoLearn (He et al., 2026) коррелировал с истинным владением при r = 0,68 по объединённым ответам, но лишь при r ≈ 0,15 внутри самого слабого уровня способностей (r ≈ 0,48 среднего, 0,41 сильного), так что надёжность диагностики отслеживает уровень способностей учащегося не меньше, чем модель.
Диагностика типичных ошибок в масштабе когорты, а не по одному ответу за раз. Killich et al. (2026) переворачивают обычное направление: вместо диагностики ошибки отдельного учащегося Большие языковые модели (LLM) предлагает преобразования-кандидаты на исправление багов, отображающие некорректные формализации на корректные по всему образовательному набору данных, и каждый кандидат проверяется алгоритмически до принятия. На 6 106 парах корректных и некорректных формализаций пропозициональной логики рабочий процесс обнаружил 248 кластеров преобразований, объясняющих 5 156 пар (84,44%), против 4 370 (71,57%) для отобранных вручную ошибок предыдущего состояния техники, и восстановил ошибки, которые эксперт-предметник выявил вручную в литературе. Кластеризация упорядочивает кандидатов в группы с одним преобразованием, эквивалентных преобразований и иерархические группы, а полученный корреляционный граф может быть визуализирован для преподавателей; тот же конвейер переносился на модальную логику и регулярные выражения, где одно лишь преобразование «дизъюнкция вместо конъюнкции» покрывало 98,80% своего кластера из 334 пар. Это путь к инвентаризации заблуждений, который нужен диагностической модели, прежде чем её можно будет подогнать.
Восстановление корректного решения, а не симуляция ошибки, — узкое место. Модели построили решение в 95,2% трасс дистракторов и симулировали конкретное заблуждение Eedi с точностью 0,92, однако предоставление верного ответа всё же повышало совпадение с человеческими дистракторами (0,52 → 0,56) — сбой находится выше по течению, в восстановлении решения (Zengaffinen et al. (2026)).
Диагностика на уровне результатов в учебных планах OBE: Pradeesh et al. (2026) диагностируют, каких результатов курса достиг учащийся в образовании, основанном на результатах, трактуя результаты как понятия знания, поставляя отношения между понятиями через проверенные экспертами отображения аффинности OBE между результатами курса и программы (явная альтернатива неявно выученным отношениям внимания или графа), и используя модуль с памятью для оценки того, как достижение одного результата влияет на другие, — превосходя базовые уровни DKT, DKVMN, EKT и SimpleKT (89,81% AUC) на живых данных инженерной программы.
Диагностика по инструментам, построенным для чего-то другого. Le et al. (2026) показывают, что модель CD может извлекать информацию на уровне целей из заданий, никогда не писавшихся для диагностики. Отобразив задания FCI, FMCE и EMCS на 14 мелкозернистых учебных целей во вводной механике и подогнав DINA на 24 394 ответов на посттестах из 807 курсов, они обнаружили хорошее соответствие для двух из трёх инструментов (FCI RMSEA² = 0,033; EMCS = 0,022) и точность классификации на уровне или выше порога формирующего оценивания с низкими ставками для 19 из 22 комбинаций «цель — оценивание». Структура атрибутов, а не качество заданий, была связывающим ограничением: кодирование экспертами пережило проверку моделью почти без изменений — DINA предложила пересмотреть лишь 14% из 754 кодировок «задание — цель», и кодировщики приняли 20 из них (2,7%), — однако модель не смогла разделить три концептуально вложенные энергетические цели (Potential Energy 0,675, Conserve Energy 0,705, Kinetic Energy 0,745), потому что любые две разделяли около 70% своих заданий (перекрытие Жаккара 0,67–0,73), нарушая конъюнктивное допущение о независимости DINA, тогда как цели по импульсу на том же инструменте достигали 0,820–0,917. Более мелкие атрибуты тоже соответствовали лучше, а не хуже: структура из 14 целей улучшила соответствие модели по сравнению с прежней структурой четырёх широких навыков той же команды по всем трём инструментам. Перекрытие заданий, а не ошибка кодирования, — это то, что ограничивает, насколько тонко можно разделить владение.
Байесовская DINA для персонализированных учебных траекторий: Feng and Huang (2026) интегрируют байесовскую модель DINA (обученную на наборе данных EdNet, N=5 000) с теорией пространства знаний и алгоритмом кратчайшего пути к восстановлению для генерации персонализированных учебных траекторий и эмпирически проверяют опосредующую роль когнитивной нагрузки через переходы состояний скрытой марковской модели (проверено на 120 студентах), — решая как проблему сходимости, вызванную разреженностью, традиционных моделей DINA, так и непроверенный психологический механизм за эффективностью персонализированных траекторий.
Опора на язык вместо ID-вложений. Liu et al. (2026) заменяют дискретные идентификаторы студента, упражнения и понятия построенными LLM схемами понятий и опирающимися на процесс свидетельствами, калибруя апостериорное состояние каждого студента по записям ответов. На трёх наборах данных с математических платформ рамка достигает 83,51% ACC / 85,37% AUC на XES3G5M и 87,16% ACC на MOOC, причём выигрыш сосредоточен именно там, где классические модели когнитивной диагностики деградируют: на новых понятиях (+4,60 ACC сверх KCD) и пропущенных записях Q-матрицы (+4,52). Удаление структурированных свидетельств обрушивает точность MOOC с 87,16% до 78,95%, так что улучшение приходит от производной из языка структуры, а не от масштаба модели. (Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis)
Культурно встроенные задачи могут предшествовать ИИ-анализу. Anggara et al. (2026) предложили 178 ученикам младших классов средней школы в Индонезии выполнить культурно контекстуализированные открытые задачи до анализа ответов ИИ; диагнозы ИИ согласовывались с экспертной оценкой (ICC = 0,81), а культурная встроенность была связана с результативностью по символической математике (β = 0,42) и вовлечённостью (β = 0,37).

Почему это важно

Точная диагностика позволяет обучению нацеливаться на фактические пробелы, а не на глобальную оценку «способностей», — давая возможность Автоматизированное оценивание объяснять, почему студент ошибся, и системам Feedback Loop исправлять конкретные состояния знаний. Плохая диагностика даёт обратное: обучение, нацеленное на неверные понятия. Именно поэтому Психометрически осведомлённый ИИ подчёркивает диагностическую валидность наряду с точностью предсказания.

Отношение к трассировке знаний и интеллектуальному репетиторству

Когнитивная диагностика лежит в основе архитектуры Интеллектуальное тьюторство и является стороной оценивания, парной Трассирование знаний:

Диагностика против трассировки — комплементарные временные взгляды. Трассировка знаний отслеживает временную динамику владения — оценивая, как скалярное состояние знания эволюционирует по упражнениям, и предсказывая следующий ответ. Когнитивная диагностика даёт статический, мелкозернистый снимок того, какие компоненты знаний, навыки или заблуждения учащийся удерживает в данный момент. Репетитору нужны обе: трассировка знаний, чтобы упорядочить, чему учить дальше, когнитивная диагностика, чтобы знать, что на самом деле неверно. IRT- и основанные на измерении диагностические модели, а также модели когнитивной диагностики, отображающие задания на множественные компоненты, воплощают диагностическую сторону.
Диагностика эпохи LLM. LLM расширяют диагностику с ответов из нескольких вариантов на открытые, письменные и разговорные работы, выявляя конкретные Заблуждения об ИИ, лежащие за ошибкой (например, «ловушка правильного ответа», где верный ответ скрывает порочное рассуждение). HiLLM-CD использует LLM для автоматического построения дерева понятий и иерархического вывода владения, соединяя диагностику и трассировку. Boyapati et al. (2026) продвигают это дальше, федерализуя диагностику по множественным коммерческим API LLM с ε-локальной дифференциальной приватностью, показывая, что точная, сохраняющая приватность диагностика возможна без того, чтобы хоть одна модель видела сырые данные студентов.
Отделение диагностики от обратной связи — принцип проектирования. Репетиторы на базе LLM надёжно подтверждают верные шаги, но избыточно отвергают обоснованное рассуждение и избыточно подтверждают ошибки, — а точная диагностика не даёт надёжно действенной Обратная связь. Поэтому дизайн ИТР должен отделять диагностический компонент от компонента обратной связи/Скаффолдинг (опоры, постепенно снимаемой поддержки) (Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most).

Связи

Когнитивная диагностика соединяется с Трассирование знаний, Моделирование учащегося и адаптивное обучение, Образовательное измерение и Оценивание. Её выводы питают Интеллектуальное тьюторство и Адаптивное обучение, а работа эпохи LLM связывает её с выявлением заблуждений в AI Tutoring.

Связанные понятия

Связанные статьи

Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmarking LLMs for Diagnosing Cognitive Skills from Handwritten Math
The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions — The Correct Answer Trap
The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty — The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty
What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics — LLM identification of student misconceptions
Archetypes or ability? Clustering for modelling student mathematical competence — Clustering for Modeling Student Mathematical Competence
Cognitive Agent Compilation for Explicit Problem Solver Modeling — Cognitive Agent Compilation for Explicit Problem Solver Modeling
EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: diagnosing from simulated learners
Interpretable Knowledge Tracing — Interpretable knowledge tracing
HiLLM-CD: LLM-Enhanced Hierarchical Cognitive Diagnosis — HiLLM-CD: LLM concept trees + hierarchical proficiency inference
Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Separating diagnosis from feedback in LLM tutors
Integrating AI Into Computational Thinking: Development and Validation of an Assessment Tool for Higher Education Students — Computational Thinking in AI Training Test (CTAT)
Bayesian cognitive diagnosis optimizes personalized learning paths via mediation of cognitive load and Hidden Markov Model state transitions — Bayesian cognitive diagnosis for personalized learning paths
Personalized neural cognitive architecture search — AutoML personalized neural cognitive architecture search for learner profiles
Outcome-based knowledge tracing with affinity mapping and memory augmented outcome impact — Outcome-based knowledge tracing with affinity mapping
Privacy-Preserving Heterogeneous Multi-LLM Federated Inference for Cognitive Diagnosis — Privacy-preserving heterogeneous multi-LLM federated diagnosis
Finding Common Mistakes In Modelling With Mathematical Formalisms Using LLMs — Mining common modeling mistakes at scale with LLM-generated, algorithmically validated bug-fixing transformations (Killich et al. 2026)
Mechanics Cognitive Diagnostic: Testing Fine-Grained Learning Objectives in Introductory Physics — Mechanics Cognitive Diagnostic: DINA-based diagnosis of 14 learning objectives from existing physics concept inventories (Le et al. 2026)
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing — LLM knowledge-concept annotation and calibrated concept-level knowledge states
Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation for Multiple-Choice Questions — misconception-based distractors as a diagnostic item-design task
Misconception Acquisition Dynamics in Large Language Models — where the error enters the solution is the diagnostic bottleneck
From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning
CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop
OmniEdu: Open Foundation Models for Learning and Teaching — OmniEdu: Open Foundation Models for Learning and Teaching
Rethinking Diagnostic Assessment Through Culturally Embedded AI for Meaningful Learning — Rethinking Diagnostic Assessment Through Culturally Embedded AI for Meaningful Learning

Метаданные

Технологии и методы	Интеллектуальное тьюторство, Трассирование знаний, Аналитика обучения, Моделирование учащегося и адаптивное обучение
Оценивание и измерение	Оценивание, Образовательное измерение, Психометрически осведомлённый ИИ

Source History Edit Chat