База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Небезпека галюцинацій

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Небезпека галюцинацій — це загроза того, що системи ШІ генерують правдоподібний, але фактично неправильний або вигаданий контент в освітніх контекстах, де такі помилки можуть ввести в оману Здобувачі, підірвати Довіра і дати недійсні оцінювання. Галюцинації особливо злодійливі в освіті, бо студенти можуть не мати предметних знань для виявлення помилок ШІ, а викладачі можуть покладатися на згенеровані ШІ діагнози чи зворотний зв’язок, які звучать авторитетно, але є безпідставними.

Питання для роздумів

  • Студенти часто не мають предметних знань, щоб помітити помилку ШІ, а викладачі можуть довіряти авторитетно звучащим діагнозам ШІ. Як ця асиметрія знань між ШІ і здобувачем робить галюцинації особливо небезпечними в освіті?
  • Одне дослідження виявило, що ШІ, що діагностує рукописну математику студентів, може фабрикувати цитати-докази, яких там не було, і водночас стверджувати впевненість. Коли ШІ звучить упевнено й цитує «докази», що має змусити вас зупинитися і перевірити?
  • Якщо репетитор на основі ШІ надмірно підтверджує неправильні розв’язання і надмірно відхиляє правильне, але неоптимальне міркування, яким був би довгостроковий ефект для студентів і викладачів, які йому довіряють?
  • Сторінка пропонує перевірку за участі людини в циклі, калібрування впевненості з урахуванням доказів і заземлення в перевірених джерелах як способи пом’якшення. Який із них здається найздійсненнішим у вашому власному контексті, і що він усе ж міг би не зловити?
  • Як галюцинації можуть взаємодіяти з надмірною залежністю: чому помилка ШІ найнебезпечніша, коли користувачі довіряють результату некритично, а не коли вони скептичні?
  • Якби ви проєктували інструмент зворотного зв’язку на основі ШІ для своїх студентів, яких конкретних захисних заходів ви б вимагали для захисту від правдоподібного, але хибного результату — і як би ви дізналися, що вони працюють?

Вступ

Галюцинації в освітньому ШІ мають кілька форм, задокументованих у статтях цієї бази знань: вигадані докази в оцінюванні студентів, надмірно впевнена помилкова діагностика знань здобувача та правдоподібно звучащі, але неправильні пояснення, які студенти сприймають як істину. Небезпека посилюється в освіті, бо асиметрія знань між ШІ і здобувачем означає, що здобувач погано розташований для перевірки результатів ШІ. Ще один випадок — згенеровані ШІ читання для курсу, що заміняють підручник: у магістерському курсі, який так замінив свій комерційний підручник, лише близько 0,80 % із 4 487 зареєстрованих сторінок містило цитування в тексті у стилі APA, а рядки DOI були фактично відсутні, тому більшість тверджень не можна було перевірити зсередини артефакту (Sidorkin, 2026). Ця прогалина простежуваності відрізняється від неправильної відповіді, бо текст звучить авторитетно, пропонуючи водночас обмежені внутрішні засоби підтвердження.

Огляд 125 досліджень встановлює діапазон поширеності та прогалини виявлення: рівні галюцинацій 10–40 %, причому студенти медицини виявляли помилки ШІ лише в 44–55 % випадків (Rathnayake (2026)).

Галюцинації в оцінюванні особливо шкідливі. MathCog виявив, що LLM фабрикують цитати-докази, яких немає в рукописі студента, при діагностиці когнітивних умінь, і 58,5 % неправильних діагнозів супроводжувалися фальшивими ствердженнями про доказову впевненість. The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows задокументував систематичну надмірну атрибуцію доказів у міркуванні Великі мовні моделі (LLM) — моделі стверджують доказову підтримку там, де її не існує. Обидва пов’язані з питаннями Оцінювання ШІ в освіті та Відстеження знань щодо Валідність оцінювання. Ivory et al. (2026) додають два режими відмов, видимі, коли результат ШІ оцінюється, а не перевіряється: вигадані подробиці, що проходять оцінювання — рецензована стаття, якої не існує, з нерозв’язним DOI, і розмір вибірки, поданий як 378, коли джерело казало 329 — та самосуперечність у межах єдиної відповіді, де модель дійшла міркуванням до правильного варіанта, а потім повідомила інший у підсумковому резюме. Оскільки списки літератури нині оцінюються на форматування, а не на точність, цей клас помилок досягає прохідної оцінки, водночас збиваючи з пуття студента, який використовує той самий інструмент для повторення.

У пілоті з проєктування оцінювання Paula et al. (2026) виявили вигадані посилання та нереалістичні оцінки часу, які витримували повторювані підказки і потребували суттєвого академічного редагування — галюцинації в інструменті підготовки, орієнтованому на педагога, а не в роботі студента.

Стратегічні Хибні уявлення про AI — тонший родич відкритих галюцинацій. Miličević et al. (2026) доручили сімом моделям з відкритими вагами створити «сократичну пастку» для 35 основних понять комп’ютерних наук — пояснення, що є плавним і авторитетним, спираючись водночас на тонку, предметно специфічну помилку — і три експерти-предметники підтвердили 221 із 241 підказкового сегмента (91,7 %) як стратегічні хибні уявлення, без значущих відмінностей між галузями КН. Помилки були переважно концептуальними, а не фактичними (66,5 % проти 33,5 %), і жодна не була суто логічною, а їх оцінювали як помірно високо до високо переконливі (M = 3,71 за п’ятибальною шкалою), причому ідентичність моделі пояснювала 43 % дисперсії. Оскільки окремі твердження можуть бути правильними, тоді як зв’язок між ними — хибним, перевірки фактів недостатньо; автори стверджують, що здобувачі потребують концептуальної перевірки та валідації ментальних моделей. Вони також застережують, що ця частка вимірює здатність за змагального формулювання підказок, а не поширеність таких помилок у звичайному вжитку, і що студентів не тестували, тому не було виміряно ні омани, ні навчальних результатів.

Маніпульовані, а не вигадані докази. Пов’язаний режим відмов в автоматизованому оцінюванні — результат, змінений ззовні. Humble (2026) провів ред-тімінг звичайного робочого процесу оцінювання ШІ і виявив, що інструкції, приховані всередині поданого файлу, підвищували оцінку непрохідного есе без видимого попередження в 9 із 9 ітерацій для однієї стратегії і в 17 із 18 для іншої. Дві подробиці стосуються калібрування довіри: виявлену ін’єкцію заблокували, тихо вимкнувши чат, і ніколи не повідомили про неї користувачеві, а в одному запуску, де інструмент оголосив, що дотримуватиметься лише офіційних інструкцій завдання, шість повторних запусків того самого файлу все одно підвищили оцінку. Оцінка, отримана таким чином, не несе жодного ствердження про дійсність, і, оскільки маніпуляція не залишає стійкого сліду, викладач залишається єдиною справжньою перевіркою результату, створеного так, щоб його не було видно.

Захист від такої маніпуляції несе власний компроміс: багатошаровий конвеєр ґардрейлів залишив 46,34 % ін’єкцій успішними, а Prompt Guard — 38,48 %, тоді як NeMo Guardrails заблокував кожну атаку, але позначив 16,22 % нешкідливих студентських запитів — частота хибних спрацьовувань, яка сама по собі є педагогічною шкодою в репетитора (Maiorano (2026)).

Галюцинації в репетиторстві безпосередньо впливають на навчання. Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most виявив, що LLM надмірно підтверджували неправильні розв’язання, надмірно відхиляючи правильне, але неоптимальне міркування — системні відмови, які збили б з пуття як студентів, так і викладачів. Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks і EduGuard: A Safe RAG-Based LLM Tutor for Programming Education стосуються механізмів безпеки для освітніх LLM. Ці небезпеки пов’язані з вимогами Педагогічна безпека та Людина в циклі.

Підходи до пом’якшення включають проєкти Людина в циклі, де ШІ підтримує, а не замінює судження викладача, архітектури, обізнані з доказами, які калібрують впевненість на основі якості доказів (як відстоює MathCog), і заземлення на основі RAG (генерація з доповненням пошуком), що обмежує результати LLM перевіреними джерелами. Поняття надмірної залежності тісно пов’язане — галюцинації найнебезпечніші, коли користувачі некритично довіряють результатам ШІ. Sidorkin (2026) додає режим відмов, який стос пом’якшення покриває не повністю: надмірно специфічні інституційні твердження, з близько 1,03 % зареєстрованих сторінок, що поєднують названий кампус, наприклад «Sacramento State», із стверджувальними дієсловами політики про переглянуті правила утримання, tenure та просування або виконавчі накази CSU, і жодне з них не можна перевірити з тексту. Специфічність і робить це дорогим, бо вигадана локальна подробиця виглядає достатньо точною, щоб пройти перевірку читача на правдоподібність, і запропонований у дослідженні засіб є скоріше процедурним, ніж технічним: розглядайте генерацію як виробництво чернетки під оглядом викладача, а потім куруйте джерела в проєкт із посиленням на пошук.

Позначена ненадійність знизила заявлену залежність, а не підвищила її. Коли 546 учасників читали той самий діалог GAI, позначений або як такий, що містить вигадану інформацію, або як перевірений і точний, позначення як вигаданий давало нижчу Довіра та сприйняту контрольованість і вищу когнітивну дисонансність та розчарування поряд із нижчими балами залежності (M = 2,935 проти 3,254) (Liu et al. (2026)). Результат уточнює логіку надмірної залежності цієї сторінки: бачити, що результат може бути вигаданим, — не те саме, що продовжувати на нього спиратися.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Технології та методиГенеративний ШІ, Людина в циклі, Великі мовні моделі (LLM)
Методи досліджень та оцінкаОцінювання ШІ в освіті
Справедливість, етика та відповідальне використанняНебезпека галюцинацій, Педагогічна безпека
Основи ШІ в освітіРозвантаження когніції
Вид сторінкиEvaluation
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.