Риск галлюцинаций

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Риск галлюцинаций — опасность того, что системы ИИ генерируют правдоподобное, но фактически неверное или сфабрикованное содержание в образовательных контекстах, где такие ошибки могут вводить в заблуждение Учащиеся, подрывать Доверие и делать оценивание недействительным. Галлюцинации особенно значимы в образовании, потому что студенты могут не обладать знаниями в предметной области, необходимыми для обнаружения ошибок ИИ, а преподаватели могут опираться на сгенерированные ИИ диагнозы или обратную связь, которые выглядят авторитетно, но необоснованны.

Вопросы для размышления

• Студенты часто не обладают знаниями в предметной области, чтобы заметить ошибку ИИ, а преподаватели могут доверять звучащим авторитетно диагнозам ИИ. Как эта асимметрия знаний между ИИ и учащимся делает галлюцинации особенно опасными в образовании?
• Одно исследование обнаружило, что ИИ, диагностирующий письменные математические работы студентов, мог фабриковать цитаты-свидетельства, которых там не было, заявляя при этом уверенность. Когда ИИ звучит уверенно и ссылается на «свидетельства», что должно заставить вас остановиться и проверить?
• Если репетитор на основе ИИ избыточно подтверждает неверные решения и избыточно отвергает обоснованное, но неоптимальное рассуждение, каким был бы долгосрочный эффект для студентов и преподавателей, которые ему доверяют?
• На странице предлагаются смягчение через проверку с человеком в контуре, калибровка уверенности с учётом свидетельств и заземление в проверенных источниках. Какое из них кажется наиболее осуществимым в вашем контексте, и что оно всё же может не заметить?
• Как галлюцинации могут взаимодействовать с чрезмерной опорой: почему ошибка ИИ наиболее опасна, когда пользователи доверяют выводу некритично, а не когда они настроены скептически?
• Если бы вы проектировали инструмент обратной связи на основе ИИ для своих студентов, какие конкретные предохранители вы бы обязательно потребовали для защиты от правдоподобного, но неверного вывода, — и как бы вы узнали, что они работают?

Введение

Галлюцинации в образовательном ИИ принимают несколько форм, документированных в статьях этой базы знаний: сфабрикованные свидетельства в оценивании студентов, избыточно уверенное ошибочное диагностирование знаний учащегося и правдоподобно звучащие, но неверные объяснения, которые студенты принимают за истину. Риск усиливается в образовании, потому что асимметрия знаний между ИИ и учащимся означает, что учащийся плохо подготовлен к проверке выводов ИИ. Ещё одна область — сгенерированные ИИ материалы курса, заменяющие учебник: в курсе магистратуры, заменившем таким образом коммерческий учебник, только около 0,80% из 4 487 зарегистрированных страниц содержали цитату в тексте в стиле APA, а строки DOI практически отсутствовали, поэтому большинство утверждений нельзя было проверить изнутри артефакта (Sidorkin, 2026). Этот пробел в прослеживаемости отличается от неверного ответа, потому что текст читается как авторитетный, предлагая при этом ограниченные внутренние средства подтверждения.

Обзор 125 исследований задаёт диапазон для распространённости и разрыва в обнаружении: частоты галлюцинаций 10–40%, при этом студенты-медики обнаруживали ошибки ИИ только в 44–55% случаев (Rathnayake (2026)).

Галлюцинации в оценивании особенно разрушительны. MathCog обнаружил, что LLM фабрикуют цитаты-свидетельства, отсутствующие в письменных работах студентов, при диагностике когнитивных навыков, причём 58,5% неверных диагнозов сопровождались ложными заявлениями о доказательной уверенности. The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows задокументировало систематическое избыточное приписывание свидетельств в рассуждениях Большие языковые модели (LLM) — модели заявляют о доказательной поддержке там, где её не существует. Оба связаны с озабоченностями Оценивание ИИ-образования и Трассирование знаний относительно Валидность оценивания. Ivory et al. (2026) добавляют два режима отказа, видимых, когда вывод ИИ оценивается, а не изучается: сфабрикованные частности, переживающие оценивание, — рецензируемая статья, которой не существует, в комплекте с неразрешимым DOI, и размер выборки, указанный как 378, тогда как в источнике было 329, — и самопротиворечие внутри одного ответа, когда модель рассуждала до верного варианта, а затем сообщила другой в своей итоговой сводке. Поскольку списки литературы в настоящее время оцениваются на оформление, а не на точность, этот класс ошибок получает проходной балл, вводя при этом в заблуждение студента, который использует тот же инструмент для подготовки.

В пилоте по дизайну оценивания Paula et al. (2026) обнаружили сфабрикованные ссылки и нереалистичные оценки времени, которые выдерживали повторные промпты и требовали существенной академической правки, — галлюцинации в инструменте составления текстов для преподавателей, а не в работах студентов.

Стратегические Заблуждения об ИИ — более тонкий родственник явной галлюцинации. Miličević et al. (2026) побуждали семь моделей с открытыми весами создать «сократическую ловушку» для 35 основных концепций информатики — объяснение, которое является беглым и авторитетным, покоясь при этом на тонкой, специфичной для предметной области ошибке, — и три эксперта в предметной области подтвердили 221 из 241 предложенных сегментов (91,7%) как стратегические ложные представления, без значимых различий между областями информатики. Ошибки были преимущественно концептуальными, а не фактическими (66,5% против 33,5%), и ни одна не была чисто логической, а их оценивали как умеренно или высоко убедительные (M = 3,71 по пятибалльной шкале), при этом идентичность модели объясняла 43% дисперсии. Поскольку отдельные утверждения могут быть верными, в то время как связь между ними неверна, фактчекинга недостаточно; авторы утверждают, что учащимся нужна концептуальная верификация и валидация ментальных моделей. Они также предостерегают, что эта частота измеряет способность при состязательном промптинге, а не распространённость таких ошибок в обычном использовании, и что студенты не тестировались, поэтому никакое обманывание или результат обучения не измерялось.

Манипулируемые, а не сфабрикованные свидетельства. Смежный режим отказа в автоматизированном оценивании — вывод, изменённый извне. Humble (2026) провёл красную команду над обычным рабочим процессом оценивания на основе ИИ и обнаружил, что инструкции, спрятанные внутри сданного файла, повышали оценку провального эссе без видимого предупреждения в 9 из 9 итераций для одной стратегии и в 17 из 18 для другой. Две детали касаются доверия: обнаруженная инъекция блокировалась путём молчаливого отключения чата и никогда не сообщалась пользователю, а в одном запуске, где инструмент объявил, что будет следовать только официальным инструкциям задания, шесть перезапусков того же файла всё равно повышали оценку. Оценка, полученная таким образом, не несёт в себе притязания на валидность, и поскольку манипуляция не оставляет устойчивого следа, преподаватель остаётся единственной настоящей проверкой вывода, спроектированного так, чтобы быть невидимым.

Защиты от такой манипуляции несут собственный компромисс: многоуровневый конвейер ограничителей оставил успешными 46,34% инъекций, а Prompt Guard — 38,48%, тогда как NeMo Guardrails заблокировал каждую атаку, но пометил 16,22% безобидных студенческих запросов, — доля ложных срабатываний, которая сама является педагогическим вредом в репетиторе (Maiorano (2026)).

Галлюцинации в репетиторстве влияют на обучение напрямую. Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most обнаружили, что LLM избыточно подтверждают неверные решения, избыточно отвергая обоснованное, но неоптимальное рассуждение, — системные сбои, которые вводили бы в заблуждение и студентов, и преподавателей. Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks и EduGuard: A Safe RAG-Based LLM Tutor for Programming Education занимаются механизмами безопасности образовательных LLM. Эти риски связаны с требованиями Педагогическая безопасность и Человек в контуре.

Подходы к смягчению включают конструкции Человек в контуре, где ИИ поддерживает, а не заменяет суждение преподавателя, архитектуры, осведомлённые о свидетельствах, которые калибруют уверенность на основе доказательного качества (как отстаивает MathCog), и заземление на основе RAG (генерация с дополненным поиском), которое ограничивает выводы LLM проверенными источниками. Концепция чрезмерной опоры на инструмент тесно связана, — галлюцинации наиболее опасны, когда пользователи доверяют выводам ИИ некритично. Sidorkin (2026) добавляет режим отказа, который стек смягчений не покрывает полностью: избыточно специфичные институциональные утверждения, когда примерно 1,03% зарегистрированных страниц соединяют названный кампус, такой как «Sacramento State», с утвердительными глаголами политики о пересмотренных правилах удержания, предоставления tenure и продвижения по службе или исполнительных приказах CSU, ни одно из которых нельзя проверить по тексту. Именно специфичность делает это дорогостоящим, поскольку сфабрикованная локальная деталь выглядит достаточно точной, чтобы пережить проверку правдоподобия читателя, и предлагаемое исследованием средство является процедурным, а не техническим: трактовать генерацию как производство черновиков под рецензией преподавателя, а затем курировать источники в дизайн с дополнением извлечением.

Обозначенная ненадёжность снизила заявленную зависимость, а не повысила её. Когда 546 участников читали один и тот же диалог GAI, обозначенный либо как содержащий сфабрикованную информацию, либо как проверенный точным, ярлык «сфабриковано» давал более низкое Доверие и воспринимаемую контролируемость и более высокий когнитивный диссонанс и разочарование наряду с более низкими оценками зависимости (M = 2,935 против 3,254) (Liu et al. (2026)). Этот результат уточняет логику чрезмерной опоры данной страницы: видеть, что вывод может быть сфабрикован, — не то же самое, что продолжать на него опираться.

Связанные концепции

• Когнитивный оффлоадинг
• Человек в контуре
• Оценивание ИИ-образования
• Педагогическая безопасность
• Трассирование знаний
• RAG (генерация с дополненным поиском)
• Академическая добросовестность
• Преподавание
• Мультимодальный ИИ
• Генеративный ИИ
• Большие языковые модели (LLM)
• Продуктивная неудача

Связанные статьи

• GAI hallucinations and user dependence: cognitive-affective responses and individual differences — Обозначение диалога GAI как сфабрикованного снизило доверие и зависимость вместе
• The Integrity of Psychology Assessments in the AI Age: A Critical Examination — Сфабрикованные цитаты и самопротиворечащие выводы внутри получающих проходной балл студенческих работ (Ivory et al. 2026)
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work
• The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most
• Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks
• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs
• VeriForge: Mitigating Latent Knowledge Gaps in Narrative Drafting via Mixed-Initiative Scaffolding
• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025)
• From One-Size Texts to Tailored Readings: Student Experiences with AI-Generated Course Materials
• The Socratic trap: Benchmarking the capacity of large language models to generate strategic misconceptions in computer science education — SocraticTrap-CS: бегло правдоподобные объяснения, неверные на концептуальном уровне (Miličević et al. 2026)
• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Скрытые инъекции в промптах незаметно повышают оценки, выставленные ИИ, а обнаруженные атаки не доводятся до сведения пользователя (Humble 2026)
• Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education — Designing Authentic Assessments with Generative AI: пилотное исследование Assessment Authentifire в высшем образовании