Интерпретируемый ИИ

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Интерпретируемый ИИ (XAI) в образовании — это проектирование и исследование вопроса о том, как сделать решения системы ИИ понятными для её образовательных заинтересованных сторон — Учащиеся, преподавателей, администраторов, родителей, исследователей и политиков. Центральное различение, на котором настаивает область: объяснение предметного содержания (почему факт истинен) — это не то же самое, что объяснение решения системы ИИ (почему этому учащемуся назначили это задание, почему этот ответ был отмечен как неверный, какие доказательства поддерживают прогноз риска). Образование привносит особые потребности в интерпретируемости — зашумлённые данные об обучении, объяснения, которые могут напрямую поддерживать Метакогниция и Саморегулируемое обучение, и заинтересованные стороны, которым требуются принципиально разные типы объяснений. Главный проектный вопрос — это качество объяснения, а не просто наличие объяснения: объяснение, которое технически присутствует, но нечитаемо, вводит в заблуждение или не подходит своей аудитории, может принести больше вреда, чем полное отсутствие объяснения.

Вопросы для размышления

• Когда ИИ-тьютор сообщает, почему была дана подсказка, объясняет ли он предметное содержание или решение системы? Можете ли вы назвать по три примера каждого в собственном использовании образовательного ИИ?
• Кому в образовании нужны объяснения — и нужны ли учащимся, преподавателям и политикам одного и того же рода? Для чего каждый из них использовал бы объяснение?
• ИИ помечает студента как группу риска по отчислению. Что должен знать преподаватель, чтобы действовать по этому поводу, в сравнении с тем, что должен знать студент? Подходит ли одно и то же объяснение для обоих?
• Страница утверждает, что качество объяснения важнее наличия объяснения. Из-за чего технически присутствующее объяснение может потерпеть неудачу — можете ли вы вспомнить случай, когда объяснение было, но было бесполезным или, что хуже, вводило в заблуждение?
• Доверие и объяснение связаны, но не тождественны. Почему уверенное, гладко изложенное объяснение может создать ложную уверенность в дефектной системе — и как бы вы обнаружили, что это происходит?

Введение

Интерпретируемый ИИ в образовании называет растущее ожидание, что системы ИИ в учебных аудиториях не должны быть чёрными ящиками. Поскольку ИИ в образовании влияет на последствия значимые решения — оценки, флаги риска, траектории обучения, рекомендации ресурсов, — заинтересованные стороны всё чаще требуют знать не только что заключила система, но и почему. Образование обостряет это до двух различных вопросов: объяснение изучаемого предметного содержания и объяснение собственного процесса принятия решений системой ИИ. Их смешение — это ошибка категории с практическими последствиями: ИИ, который превосходно объясняет ответ по физике, всё равно не даёт студенту и преподавателю никакого понимания того, почему система отнесла их к группе риска, порекомендовала определённое задание или отметила ответ как неверный.

Объяснение предметного содержания против объяснения решения системы

Фундаментальный вклад области — структура XAI-ED (Khosravi et al., 2022) — настаивает на том, что у образования особые потребности в интерпретируемости, выходящие за рамки XAI общего назначения. Главная среди них — разделение между двумя целями объяснения:

• Объяснения предметного содержания проясняют содержание: почему подсказка обращается к ложному представлению, почему ответ неверен, как физический результат следует из принципов. Это педагогические объяснения, которые поддерживают Скаффолдинг, Обратная связь и Метакогниция.
• Объяснения решений системы проясняют модель: почему этому учащемуся назначили это задание, почему система прогнозирует, что этот студент в группе риска, какие доказательства поддерживают прогноз трассировки знаний или Аналитика обучения. Это объяснения прозрачности, которые поддерживают Калибровка доверия, Снижение перекосов (bias mitigation) и подотчётность.

Различие важно, потому что они служат разным заинтересованным сторонам и разным целям. Учащемуся, задающемуся вопросом «почему это отмечено как неверное?», в основном нужно объяснение предметного содержания; преподавателю, решающему, действовать ли по флагу риска, или политику, проверяющему систематическую ошибку, нужно объяснение решения системы. Спроектировать одно объяснение, которое служило бы и тому и другому, редко возможно, — и именно поэтому мультизаинтересованное проектирование (multi-stakeholder design) является одной из ключевых тем XAI-ED.

Кому нужны объяснения: мультизаинтересованное проектирование

• Учащиеся нуждаются в объяснениях, которые поддерживают их собственное обучение и саморегуляцию — почему была дана подсказка, почему их ответ отмечен как неверный, почему рекомендован этот ресурс (поддерживая Саморегулируемое обучение). Доказательства с точки зрения студентов показывают, что учащиеся проводят резкую черту между принятием обратной связи ИИ (полезной для доработки) и передачей полномочий по оцениванию (оставляемых за человеческим преподавателем) — откалиброванная, сопоставленная с функцией позиция, активируемая прозрачностью относительно участия ИИ. Работа по проектированию, чувствительному к ценностям, со студентами общественных колледжей обостряет этот тезис: студенты предпочитали коллаборативные, очеловеченные объяснения (например, «возможно, ИИ здесь не уверен, так что давайте проверим это вместе») сырой уверенности модели или технической прозрачности, потому что прозрачность сама по себе имеет малую ценность, если она напрямую не поддерживает их обучение. Исследование выявило напряжение между прозрачностью и интерпретируемостью, которое толкает проектирование объяснений в сторону семантики, обращённой к учащемуся, а не вывода о важности признаков.
• Преподаватели нуждаются в объяснениях, которые информируют вмешательство — какие студенты в группе риска и почему, на каких доказательствах. Исследования интерпретируемости с преподавателями показывают, что объяснения на предметно-специфичном, учебно-программном языке выстраивают принятие и откалиброванное доверие эффективнее, чем обобщённые объяснения о важности признаков, однако преподаватели всё же хотят получить реальный опыт в учебной аудитории, прежде чем полностью полагаться на систему, — объяснение само по себе не даёт калибровки.
• Разработчики и исследователи нуждаются в объяснениях для отладки поведения модели и обнаружения систематической ошибки — выявления того, какие признаки управляют прогнозами.
• Администраторы и политики нуждаются в объяснениях для подотчётности, соблюдения требований к Приватность и Регулирование ИИ в образовании (например, права на объяснение), и для проверки того, являются ли принимаемые с помощью ИИ решения справедливыми и равноправными.

Подходы и форматы

Структура XAI-ED каталогизирует основные модальности объяснения: визуальные (тепловые карты, деревья решений), текстовые (обоснования на естественном языке), основанные на примерах (контрфактические, ближайшие соседи), ранжирования важности признаков, извлечение правил и упрощение модели. Она также сопоставляет подходы с классами моделей:

• Белоблочные (white-box) модели (деревья решений, линейные модели, правиловые) по своей природе интерпретируемы.
• Черноблочные (black-box) модели (нейронные сети, ансамбли) требуют методов постфактум-объяснения.
• Подходы стеклоблочные (glass-box) пытаются уравновесить точность с прозрачностью.

Конкретная база доказательств AIED охватывает все эти классы. Интерпретируемая трассировка знаний делает модели знаний учащегося непосредственно инспектируемыми (Interpretable Knowledge Tracing, Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning, Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling). Самообъясняющие суррогаты дистиллируют черноблочную модель в маленькую, интерпретируемую языковую модель для Аналитика обучения (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Контрфактические объяснения — «что должно было бы измениться для другого исхода» — поддерживают образовательную поддержку принятия решений и возможности обжалования (From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support). Федеративная + интерпретируемая аналитика обучения показывает, что качество объяснения может дрейфовать (калибровка ухудшается), даже когда стабильность ранжирования сохраняется, подчёркивая, что объяснения не являются фиксированным свойством, а продуктом системы, подлежащим измерению (Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions). А интерпретируемая аффективная ИТС демонстрирует объяснения в осведомлённом об эмоциях обучении (An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training).

Качество объяснения, а не наличие

Повторяющийся урок всей совокупности доказательств: иметь объяснение недостаточно; объяснение должно подходить своей аудитории, быть точным и калиброванным по значимости ставок. Структура XAI-ED называет подводные камни явно:

• Перегрузка объяснением — слишком много информации перегружает пользователя и сводит на нет пользу.
• Вводящие в заблуждение объяснения — постфактум-объяснения могут не отражать фактическое рассуждение модели, создавая ложную уверенность.
• Систематическая ошибка подтверждения — пользователи выборочно обращают внимание на объяснения, которые подтверждают существующие убеждения.
• Избыточное доверие — гладко изложенные объяснения могут создавать ложную уверенность в дефектных системах, питая чрезмерную опору (обратную сторону Калибровка доверия).
• Игра с системой — студенты могут использовать объяснения, чтобы обойти фактическое обучение.

Качество объяснения имеет и измерение справедливости: объяснение, которое технически присутствует, но нечитаемо для данной заинтересованной стороны, — или которое скрывает систематическую ошибку в прогнозе, — не достигает своей цели. Именно поэтому проектный вопрос — это качество и соответствие, и почему человекоцентричное, специфичное для заинтересованных сторон проектирование объяснений неотделимо от технической генерации объяснений. Эффективный XAI — это акт коммуникации, спроектированный под когнитивные потребности получателя, а не просто технический артефакт.

Объяснение не всегда работает выравнивающе. В эксперименте 2 × 2 с виньетками на 250 учеников седьмого класса письменное обоснование оценки по математике повышало принятие и воспринимаемую справедливость в обоих условиях, но расширяло, а не закрывало разрыв между решениями, принятыми преподавателем, и решениями, принятыми ИИ (Zhang et al. (2026)).

Два предостережения обостряют это ещё сильнее, и оба новейший вклад вики в этот вопрос делает центральными. Во-первых, сама машинерия объяснения не нейтральна: постфактум-методы, такие как LIME и SHAP, могут быть неверны фактическому поведению модели, поэтому технически присутствующее объяснение может вводить в заблуждение, а не информировать (Lund et al. 2026, опираясь на Chuan et al. 2024). Во-вторых, объяснение — это не подотчётность. Отчёт о том, какие признаки управляли прогнозом, не раскрывает, уместно ли было эти признаки использовать, были ли обучающие данные репрезентативными и отражало ли проектирование системы взвешенное суждение; объяснения могут создавать видимость прозрачности, оставляя нетронутыми структурные условия, которые произвели решение (Mittelstadt et al. 2019). Для образования это означает, что вопрос, который следует продолжать задавать, — не было ли произведено объяснение, а мог ли человек, его получающий — студент, преподаватель, советник, — понять его, действовать на его основании или оспорить стоящее за ним решение. Та же неудача понятности проявляется на стороне безопасности автоматизированного оценивания: красная команда Хамбла (2026), направленная на инструмент оценивания с ИИ обнаружила, что тот молча отключает чат после блокировки инъекции в промпт, и — объявив, что никогда не будет следовать встроенным инструкциям, — следует им в шести дальнейших запусках на том же файле, не оставляя пользователю никакого надёжного сигнала, на который можно было бы опереться при доверии.

Интерпретируемость по проектированию (explainable-by-design) — один из ответов на проблему постфактум-верности. Li, Yang and Fang (2025) параметризуют декодер объяснения тем же самым слитым представлением и предсказанной оценкой, которые решают Оценивание, так что низкая оценка по формирующему опросу даёт обоснование, называющее недостаточные уточняющие вопросы, и сопровождают его двухлинзовым вниманием к стандартам учебной программы и предметно-специфичным ходам критериев. Выравнивание внимания к критериям достигает 78,0% против 41,7% для GPT-4 при zero-shot и 32,1% для BERT, а верность проверяется контрфактическим удалением критичных для критериев фрагментов наряду с человеческими оценками по чек-листу, привязанному к критериям, давая показатель достоверности объяснения 0,78 — увеличение на 0,31 по сравнению с BERT-base. Аудит также показывает, где архитектурное утверждение становится тонким: на эмоциональных сигналах модель выделяет 28,4% веса внимания против 15,2% у эксперта (выравнивание 0,53), при этом в одном случае отказа 28% приходятся на токен «frustrated», что авторы читают как переобучение на аффект, а не на педагогику, и называют областью для дальнейшего уточнения. Встраивание объяснений в путь принятия решений делает их более верными, чем постфактум-обоснования; но не делает их правильными.

Преподавание интерпретируемости как практики подотчётности

Если качество объяснения решает, полезен ли XAI, то создание объяснений должно преподаваться как профессиональная привычка, а не демонстрироваться как возможность. Lund и коллеги (2026) предлагают делать это через четыре столпа — ответственность за объяснение (answerability) (обязанность давать объяснения тем, на кого это влияет), ответственность (responsibility) (вред предвидится на протяжении жизненного цикла, а не защищается постфактум), принуждение (enforcement) (последствия внутри курса) и рефлексивность (документированное исследование собственных предположений), — каждый со своими заданиями и своей ценой в учебной аудитории.

Что касается именно интерпретируемости, то задания, которые имеют значение, — это те, что выталкивают объяснение из блокнота: оцениваемые карточки модели, взвешиваемые наравне с метриками точности, и структурированные аудиты объяснения, в которых студенты применяют инструменты интерпретируемости к своим собственным моделям, а затем представляют результаты аудитории без общего технического бэкграунда. Принуждение — это столп, который чаще всего отсутствует в курсах, примыкающих к этике, и именно он делает остальное больше, чем символическим, — критерии, которые вознаграждают ответственную документацию, проекты, которые могут быть возвращены на доработку по этическим основаниям, и взаимооценивание, проводимое по критериям подотчётности, а не только техническим. Авторы работы честны в том, что инструменты резко различаются по цене: карточки модели и заявления о позиционности не требуют нового программного обеспечения и рискуют только поверхностным соответствием, тогда как панели сверстников и вовлечение заинтересованных сторон требуют координации и институциональной закупочной поддержки, и именно поэтому работа рекомендует поэтапное внедрение, а не принцип «всё или ничего». См. Проектирование учебного плана, где это встраивается в программу.

Связанные концепты

• Калибровка доверия
• Доверие
• ИИ-грамотность
• Аналитика обучения
• Автоматизированное оценивание
• Моделирование учащегося и адаптивное обучение
• Интеллектуальное тьюторство
• Трассирование знаний
• Снижение перекосов (bias mitigation)
• Человек в контуре
• Педагогическая безопасность
• Метакогниция
• Саморегулируемое обучение
• Когнитивный оффлоадинг
• Приватность
• Регулирование ИИ в образовании
• Рекомендательные системы и учебные траектории

Связанные статьи

• Toward Socially Accountable Data Science Education: A Conceptual Framework for Integrating Explainable AI and Accountability Principles — Структура из четырёх столпов (ответственность за объяснение, ответственность, принуждение, рефлексивность) для преподавания XAI как практики подотчётности (Lund et al. 2026)

• Value-Sensitive Design in Action: Designing Student-Centered Intelligent Tutoring Systems with Community College Students and Instructors — Проектирование ИТС, центрированной на студенте, с чувствительностью к ценностям (коллаборативные против сырых объяснений)

• Explainable Artificial Intelligence in Education (XAI-ED) — XAI-ED: фундаментальная структура интерпретируемого ИИ в образовании (Khosravi et al. 2022)

• The Impact of Explainable AI on Teachers' Trust and Acceptance of AI EdTech Recommendations: The Power of Domain-specific Explanations — Предметно-специфичные объяснения выстраивают доверие и принятие преподавателей (Feldman-Maggor et al. 2025)

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — Взгляды студентов на прозрачное оценивание с поддержкой ИИ (AlGhamdi 2026)

• Interpretable Knowledge Tracing — Интерпретируемая трассировка знаний

• Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning — Интерпретируемая трассировка знаний через вероятностные вкрапления

• Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling — Нейро-символическая трассировка знаний

• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Дистилляция черноблочных моделей в самообъясняющиеся языковые модели для аналитики обучения

• Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions — Федеративная и интерпретируемая аналитика обучения для моделирования риска с сохранением приватности

• From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support — Контрфактическое обжалование с ограничениями по семантике для образовательной поддержки принятия решений

• Fair and explainable educational recommendations with a hybrid Graph-GRU framework — Справедливые и интерпретируемые образовательные рекомендации

• An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training — Интерпретируемая ИТС с замкнутым циклом для мультимодальной аффективной обратной связи

• Explaining ChatGPT Adoption in Higher Education: Insights for AI Literacy, Educational Practice, and Responsible AI — Объяснение внедрения ChatGPT в высшем образовании

• Towards trustworthy and explainable-by-design large language models for automated teacher assessment — Структура интерпретируемости по проектированию на базе LLM: двухлинзовое внимание и параметризуемые оценкой объяснения для автоматизированного оценивания преподавателей (Li et al. 2025)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Инъекция в промпт в опосредованном ИИ оценивании, где обнаружение так и не было доведено до сведения пользователя (Humble 2026)

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Оценка предварительно обученных моделей для педагогической оценки новых образовательных вопросов с участием ИИ

• Teacher or Artificial Intelligence? The Effect of Decision-Making Agent on Junior High School Students’ Decision Acceptance: A Moderated Mediation Model — Решения об оценивании, принятые преподавателем против принятых ИИ: письменное обоснование расширило разрыв в справедливости

Цитирование

Khosravi, H., Buckingham Shum, S., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 100074.