Пояснюваний ШІ

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Пояснюваний ШІ (XAI) в освіті — проєктування і дослідження того, як зробити рішення системи ШІ зрозумілими для її освітніх зацікавлених сторін — Здобувачі, викладачів, administrators, parents, дослідників і policymakers. Центральне розрізнення, на якому наполягає галузь: пояснення предмета (чому факт є істинним) — не те саме, що пояснення рішення системи ШІ (чому цьому здобувачеві було призначено це завдання, чому ця відповідь було позначено хибною, які докази підтримують прогноз ризику). Освіта приносить своєрідні потреби в пояснюваності — шумні навчальні дані, пояснення, що можуть безпосередньо підтримувати Метакогніція і Саморегульоване навчання, та зацікавлені сторони, яким потрібні принципово різні типи пояснень. Оперативним питанням проєктування є якість пояснення, а не лише його наявність: пояснення, яке технічно присутнє, але нечитабельне, оманливе чи невідповідне своїй аудиторії, може зашкодити більше, ніж повна відсутність пояснення.

Питання для роздумів

• Коли AI tutor каже вам, чому було дано підказку, чи пояснює він предмет чи рішення системи? Чи можете ви назвати три приклади кожного з них у власному використанні освітнього ШІ?
• Кому потрібні пояснення в освіті — і чи потрібні здобувачам, викладачам і політикам того самого роду? Для чого кожен із них використовував би пояснення?
• ШІ позначає студента як такого, що ризикує відвалитися. Що має знати teacher, щоб діяти на цій основі, проти того, що має знати студент? Чи є те саме пояснення відповідним для обох?
• Сторінка стверджує, що якість пояснення важливіша за його наявність. Що змушує технічно присутнє пояснення зазнати невдачі — чи можете ви пригадати час, коли пояснення було, але марне, або, гірше, оманливе?
• Trust і пояснення пов’язані, але не тотожні. Чому впевнене, плавне пояснення може створити фальшиву впевненість у дефектній системі — і як би ви виявили, що це відбувається?

Вступ

Пояснюваний AI in education найменує зростаюче очікування, що системи ШІ в аудиторіях не мають бути чорними ящиками. Оскільки ШІ в освіті впливає на важливі рішення — оцінки, позначки ризику, learning paths, рекомендації ресурсів, — зацікавлені сторони дедалі частіше вимагають знати не лише що система визначила, але чому. Освіта загострює це в два розділені питання: пояснення предмета, який вивчається, і пояснення власного процесу прийняття рішень системою ШІ. Їхнє змішування є категоріальною помилкою з практичними наслідками: ШІ, який ідеально пояснює відповідь з physics, усе одно не дає студенту й викладачеві жодного розуміння того, чому система зарахувала їх у групу ризику, рекомендувала певне завдання чи позначила відповідь хибною.

Пояснення предмета проти пояснення рішення системи

Фундаментальний внесок галузі — рамка XAI-ED framework (Khosravi et al., 2022) — наполягає, що освіта має своєрідні потреби в пояснюваності поза загального призначення XAI. Головна з них — розділ між двома цілями пояснення:

• Пояснення предмета прояснюють зміст: чому підказка звертається до misconception, чому відповідь є хибною, як фізичний результат випливає з принципів. Це pedagogical пояснення, що підтримують Скаффолдинг, Зворотний зв’язок і Метакогніція.
• Пояснення рішення системи прояснюють модель: чому цьому здобувачеві було призначено це завдання, чому система прогнозує, що цей студент у групі ризику, які докази підтримують прогноз трасування знання чи Аналітика навчання. Це пояснення прозорості, що підтримують Калібрування довіри, Пом’якшення упередженості і підзвітність.

Розрізнення важливе, бо вони служать різним зацікавленим сторонам і різним цілям. Здобувачеві, що відповідає на питання «чому це позначено хибним?», здебільшого потрібне пояснення предмета; викладачеві, який вирішує, чи діяти на основі позначки ризику, або політику, який аудитує на упередженість, потрібне пояснення рішення системи. Проєктувати єдине пояснення, яке служить обом, рідко можливо — тому багатозацікавлене проєктування є ключовою темою XAI-ED.

Кому потрібні пояснення: багатозацікавлене проєктування

• Здобувачі потребують пояснень, що підтримують їхнє власне навчання і саморегуляцію — чому було дано підказку, чому їхню відповідь було позначено хибною, чому рекомендується цей ресурс (підтримуючи Саморегульоване навчання). Докази student-perspective evidence показують, що здобувачі проводять чітку лінію між прийняттям зворотного зв’язку ШІ (корисного для переробки) та поступленням авторитету оцінювання (збереженого для викладача-людини), — каліброваною, функціонально відповідною позицією, активованою прозорістю щодо залучення ШІ. Роботи Value-sensitive design work with community college students загострюють цю думку: студенти надавали перевагу колаборативним, гуманізованим поясненням (наприклад, «ШІ може бути тут невизначеним, тож перевірмо це разом») над сирою впевненістю моделі чи технічною прозорістю, бо прозорість сама по собі має малу цінність, якщо вона безпосередньо не підтримує їхнє навчання. Дослідження виявило напругу прозорість проти інтерпретованості, що спрямовує проєктування пояснень до звернених до здобувача семантик, а не до результатів важливості ознак.
• Викладачі потребують пояснень, що інформують втручання — які студенти в групі ризику і чому, на яких доказах. Дослідження Explainability studies with teachers показують, що domain-specific, мовою curricular пояснення будують прийняття і калібровану довіру ефективніше, ніж узагальнені пояснення важливості ознак, проте викладачі все одно хочуть реального досвіду в аудиторії перед повною сперяністю — саме пояснення не дає calibration.
• Розробники і дослідники потребують пояснень для діагностики поведінки моделі та виявлення bias — виведення на поверхню того, які ознаки рухають прогнози.
• Адміністратори і політики потребують пояснень для підзвітності, Приватність і дотримання Регулювання ШІ в освіті (наприклад, права на пояснення), а також для аудиту того, чи є керовані ШІ рішення справедливими та equitable.

Підходи та формати

Рамка XAI-ED каталогізує основні модальності пояснення: візуальні (теплові карти, дерева рішень), текстові (обґрунтування природною мовою), на основі прикладів (контрфактичні, найближчі сусіди), ранжування важливості ознак, вилучення правил і спрощення моделі. Вона також відображає підходи на класи моделей:

• Моделі white-box (дерева рішень, лінійні моделі, на основі правил) є сутнісно інтерпретованими.
• Моделі black-box (neural networks, ансамблі) потребують методів пояснення post-hoc.
• Підходи glass-box намагаються зрівноважити точність із прозорістю.

Конкретна база доказів AIED сягає всіх із них. Інтерпретоване knowledge tracing робить моделі знання здобувача безпосередньо оглядовими (Interpretable Knowledge Tracing, Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning, Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling). Самопояснювальні сурогати дистилюють модель чорного ящика в малу, інтерпретовану language model для Аналітика навчання (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Контрфактичні пояснення — «що мало б змінитися для іншого результату» — підтримують підтримку освітніх рішень і засоби відшкодування (From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support). Федеративна + пояснювана аналітика навчання показує, що якість пояснення може дрейфувати (калібрування деградує) навіть коли стійкість ранжування тримається, підкреслюючи, що пояснення — не фіксована властивість, а результат системи, який слід вимірювати (Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions). І інтерпретовані affective ITS демонструють пояснення в emotion-aware репетиторстві (An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training).

Якість пояснення, а не наявність

Повторюваний урок по всьому корпусу доказів: мати пояснення недостатньо; пояснення має бути правильним для своєї аудиторії, точним і каліброваним до ставок. Рамка XAI-ED явно найменує пастки:

• Перевантаження поясненням — забагато інформації переповнює користувача і зводить нанівець вигоду.
• Оманливі пояснення — пояснення post-hoc можуть не відображати справжнього міркування моделі, даючи фальшиву впевненість.
• Упередженість підтвердження — користувачі вибірково звертають увагу на пояснення, що підтверджують наявні переконання.
• Надмірна довіра — плавні пояснення можуть створювати фальшиву впевненість у дефектних системах, живлячи over-reliance (обернену сторону Калібрування довіри).
• Гра з системою — студенти можуть використовувати пояснення, щоб обходити справжнє навчання.

Якість пояснення має також вимір справедливості: пояснення, яке технічно присутнє, але нечитабельне для даної зацікавленої сторони — або яке приховує bias у прогнозі, — зазнає невдачі у своїй цілі. Тому питанням проєктування є якість і відповідність, і тому гуманоцентричне, специфічне для зацікавлених сторін проєктування пояснень є невіддільним від технічної генерації пояснень. Ефективний XAI — це акт комунікації, спроєктований для когнітивних потреб отримувача, а не лише технічний артефакт.

Пояснення не завжди є вирівнювачем. У 2 × 2 експерименті з кейсами на 250 студентів сьомого класу письмове обґрунтування оцінки з математики підвищило прийняття і сприйману справедливість в обох умовах, але розширило, а не закрило розрив між рішеннями, зробленими teacher і ШІ (Zhang et al. (2026)).

Два застереження загострюють це далі, і обидва найновіший внесок вікі з цього предмета робить центральними. По-перше, механізм пояснення сам не є нейтральним: методи post-hoc, такі як LIME і SHAP, можуть бути невірними справжній поведінці моделі, тож технічно присутнє пояснення може оманляти, а не інформувати (Lund et al. 2026, спираючись на Chuan et al. 2024). По-друге, пояснення — не підзвітність. Опис того, які ознаки рухали прогноз, не розкриває, чи було відповідним їх використання, чи були навчальні дані репрезентативними, або чи відображало проєктування системи обґрунтований розсуд; пояснення можуть створювати видимість прозорості, залишаючи структурні умови, що породили рішення, недоторканими (Mittelstadt et al. 2019). Для освіти це означає, що питання, яке слід продовжувати ставити, — не чи було створено пояснення, а чи міг би його зрозуміти людина, яка його отримує — студент, викладач, радник, — діяти на його основі чи оскаржити рішення за ним. Та сама відмова читабельності з’являється на боці безпеки automated assessment: Humble's (2026) red-team of an AI grading tool виявив, що він мовчки вимикав чат після блокування ін’єкції підказки і — оголосивши, що ніколи не виконуватиме вбудованих інструкцій, — виконував їх у шести подальших прогонах на тому самому файлі, не залишаючи користувачеві жодного надійного сигналу, на якому можна було б базувати сперяння.

Пояснюваний за проєктуванням — одна з відповідей на проблему вірності post-hoc. Li, Yang and Fang (2025) параметризують декодер пояснень тим самим злитим представленням і передбаченим балом, що вирішують Оцінювання, так що низький бал на formative запитанні дає обґрунтування, що найменує недостатні запитні питання, і поєднують його з увагою двох лінз над стандартами курсу і специфічними для предмету ходами рубрики. Узгодженість «увага-до-рубрики» досягає 78,0 % проти 41,7 % для GPT-4 zero-shot і 32,1 % для BERT, а вірність перевіряється контрфактичним видаленням критичних для рубрики фрагментів поряд із людськими оцінками за чеклістом, прив’язаним до рубрики, даючи бал достовірності пояснення 0,78 — приріст на 0,31 над BERT-base. Аудит також показує, де архітектурне твердження тоншає: на емоційних сигналах модель виділяє 28,4 % ваги уваги проти експертних 15,2 % (узгодженість 0,53), причому один випадок відмови присвоює 28 % токену «frustrated», що автори читають як перенавчання на афект, а не на педагогіку, і найменують як область для вдосконалення. Вбудовування пояснень у шлях рішення робить їх вірнішими за обґрунтування post-hoc; воно не робить їх правильними.

Викладання пояснюваності як практики підзвітності

Якщо якість пояснення вирішує, чи є XAI корисним, то створення пояснень має викладатися як професійна звичка, а не демонструватися як можливість. Lund and colleagues (2026) пропонують робити це через чотири опори — answerability (обов’язок давати причини тим, кого це зачіпає), responsibility (передбачена шкода через усе життя, а не захист після факту), enforcement (наслідки всередині курсу) і reflexivity (документоване дослідження власних припущень), — кожна з власними завданнями і власною вартістю в аудиторії.

Щодо пояснюваності специфічно, завдання, які мають значення, — ті, що витискують пояснення з блокнота: оцінювані картки моделей, зважені поряд із метриками точності, і структуровані аудити пояснень, у яких студенти застосовують інструменти інтерпретованості до власних моделей і потім представляють результати аудиторії без спільного технічного тла. Примус — це опора, яка найчастіше бракує в курсах, суміжних з етикою, і яка робить рештою більше за символічне, — рубрики, що винагороджують відповідальне документування, проєкти, які можуть бути повернені на переробку з ethical підстав, і peer review, здійснюваний проти критеріїв підзвітності, а не лише технічних. Автор відверто зазначає, що інструменти різко відрізняються за вартістю: картки моделей і заяви про позиційність не потребують нового програмного забезпечення і ризикують лише поверхневим дотриманням, тоді як панелі рівесників і залучення зацікавлених сторін потребують координації та інституційної підтримки, тому він рекомендує поетапне впровадження, а не зобов’язання «все або нічого». Див. Конструювання навчальної програми щодо того, де це влаштовується в програмі.

Пов’язані поняття

• Калібрування довіри
• Довіра
• ШІ-грамотність
• Аналітика навчання
• Автоматизоване оцінювання
• Моделювання здобувача та адаптивне навчання
• Інтелектуальний тьюторінг
• Відстеження знань
• Пом’якшення упередженості
• Людина в циклі
• Педагогічна безпека
• Метакогніція
• Саморегульоване навчання
• Розвантаження когніції
• Приватність
• Регулювання ШІ в освіті
• Системи рекомендацій і навчальні траєкторії

Пов’язані статті

• Toward Socially Accountable Data Science Education: A Conceptual Framework for Integrating Explainable AI and Accountability Principles — Рамка з чотирьох опор (answerability, responsibility, enforcement, reflexivity) для викладання XAI як практики підзвітності (Lund et al. 2026)

• Value-Sensitive Design in Action: Designing Student-Centered Intelligent Tutoring Systems with Community College Students and Instructors — Чутливе до цінностей проєктування зосереджених на студенті ITS (колаборативні проти сирих пояснень)

• Explainable Artificial Intelligence in Education (XAI-ED) — XAI-ED: фундаментальна рамка для пояснюваного ШІ в освіті (Khosravi et al. 2022)

• The Impact of Explainable AI on Teachers' Trust and Acceptance of AI EdTech Recommendations: The Power of Domain-specific Explanations — Специфічні для домену пояснення будують довіру і прийняття викладачів (Feldman-Maggor et al. 2025)

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — Перспективи студентів щодо прозорого оцінювання з допомогою ШІ (AlGhamdi 2026)

• Interpretable Knowledge Tracing — Інтерпретоване трасування знання

• Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning — Пояснюване трасування знання через ймовірнісні вбудовування

• Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling — Нейросимволічне трасування знання

• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Дистиляція моделей чорного ящика в самопояснювальні LM для аналітики навчання

• Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions — Федеративна та пояснювана аналітика навчання для моделювання ризику зі збереженням приватності

• From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support — Обмежене семантикою контрфактичне відшкодування для підтримки освітніх рішень

• Fair and explainable educational recommendations with a hybrid Graph-GRU framework — Справедливі та пояснювані освітні рекомендації

• An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training — Інтерпретований ITS із замкненим циклом для мультимодального афективного зворотного зв’язку

• Explaining ChatGPT Adoption in Higher Education: Insights for AI Literacy, Educational Practice, and Responsible AI — Пояснення впровадження ChatGPT у вищій освіті

• Towards trustworthy and explainable-by-design large language models for automated teacher assessment — Пояснювана за проєктуванням рамка LLM: увага двох лінз і параметризовані балом пояснення для автоматизованого оцінювання викладачами (Li et al. 2025)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Ін’єкція підказки в оцінюванні, опосередкованому ШІ, де виявлення ніколи не повідомлялося користувачеві (Humble 2026)

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Оцінювання попередньо навчених моделей для педагогічного оцінювання нових освітніх питань із допомогою ШІ

• Teacher or Artificial Intelligence? The Effect of Decision-Making Agent on Junior High School Students’ Decision Acceptance: A Moderated Mediation Model — Рішення про оцінювання, зроблені викладачем проти ШІ: письмове обґрунтування розширило розрив у справедливості

Цитування

Khosravi, H., Buckingham Shum, S., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 100074.