Автоматическая генерация вопросов

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Автоматическая генерация вопросов (AQG) — использование ИИ, особенно NLP и больших языковых моделей (LLM), для автоматической генерации заданий образовательного оценивания (вопросов с множественным выбором, кратких ответов, заполнения пропусков, по коду и на выполнение) из исходного материала или целей обучения. AQG делает возможным оценивание в масштабе — производство формирующих викторин, адаптивных упражнений и практических заданий, — но качество резко варьируется между типами заданий и требует валидации, чтобы избежать галлюцинированных или плохо откалиброванных вопросов. Это ключевой компонент Автоматизированное оценивание и важнейший фактор, обеспечивающий Адаптивное обучение и Персонализированное обучение.

Вопросы для размышления

• Автоматическая генерация вопросов производит задания оценивания из исходного материала в масштабе — но эта страница предупреждает, что качество резко варьируется между типами заданий. До чтения: какой тип заданий, по вашему предположению, ИИ генерирует наиболее надёжно — с множественным выбором, краткий ответ или код — и почему?
• Центральная задача — контроль качества: LLM могут генерировать фактически неверные вопросы. Один конвейер снизил галлюцинации на 62%, добавив цикл «сгенерировать, затем проверить и уточнить». Почему, как вы думаете, просьба к ИИ проверить свои собственные вопросы осмысленно улучшила бы их, вместо того чтобы просто механически утвердить собственный результат?
• Исследования показывают, что сгенерированные вопросы могут быть смещены в сторону мышления низшего порядка (воспроизведения), если они явно не спроектированы для результатов высшего порядка. Если бы вы использовали ИИ для создания практических заданий, как бы вы узнали, тренируют ли они подлинное понимание или только запоминание?
• Калибровка трудности важна: оценки трудности ИИ сильно коррелируют с успеваемостью студентов, но страница предостерегает от злоупотребления в контекстах с высокими ставками. Когда вопрос, который ИИ считает «правильной трудности», всё ещё был бы неправильным вопросом для конкретного учащегося?
• Генерация с учётом Доступность строит вопросы, настроенные для неслышащих и слабослышащих учащихся, уточнённые в партнёрстве с целевым сообществом. На что указывает этот пример относительно того, почему генерацию вопросов нельзя рассматривать как чисто техническую или чисто содержательную задачу?

Введение

Автоматическая генерация вопросов важна потому, что задания оценивания дороги в создании вручную, а ИИ может производить их быстро и в масштабе. Однако исследования базы знаний показывают, что сгенерированные задания должны быть проверены на правильность, релевантность и трудность и что различные типы заданий (с множественным выбором, краткий ответ, код) варьируются по тому, насколько надёжно они могут быть сгенерированы. Поэтому AQG находится на пересечении генеративного ИИ, образовательного NLP и Образовательное измерение.

Подходы к генерации вопросов

Исследования базы знаний иллюстрируют несколько подходов:

• Конвейеры «сгенерировать, затем проверить»: Generate-Then-Validate вводит цикл «генерация → валидация → уточнение», который снижает галлюцинации LLM на 62% по сравнению с прямой генерацией, достигая точности 89% на наборах данных STEM и улучшения релевантности на 23%. Этап валидации отфильтровывает неверные или некачественные задания, а провалившиеся задания запускают повторную генерацию с корректирующими промптами.
• Генерация на основе трассировки знаний: KT4EQG генерирует персонализированные упражнения под руководством трассировки знаний, настраивая задания под состояние знаний каждого учащегося, вместо того чтобы генерировать общие вопросы.
• Дистракторы, привязанные к заблуждениям, как диагностические метки: CoLearn (He et al., 2026) прикрепляет каждый дистрактор к одному добытому заблуждению и помечает ровно один правильный вариант, так что задание генерируется со встроенными в него диагностическими целями и затем может быть детерминированно оценено без вызова Большие языковые модели (LLM) — около 7.6 секунд и примерно \$0.005 за раунд на живом развёртывании авторов, против примерно 32 секунд и \\$0.015 за раунд оценивания краткого ответа с помощью LLM. Привязка хороша ровно настолько, насколько хороши лежащие в её основе метки заблуждений, поскольку добытые Заблуждения об ИИ соответствовали целевым заблуждениям на F1 ≈ 0.56, а его выбор заданий служил поистине слабому навыку в 0.72 случаев.
• Генерация с учётом когнитивной глубины: Evaluating the cognitive depth of LLM-generated questions исследует, затрагивают ли сгенерированные задания мышление высшего порядка (создание, оценивание) или только запоминание, связываясь с таксономией Блума и Образовательное измерение.
• Задачи-случаи с внедрёнными ошибками для повторного оценивания: Takahashi et al. (2026) сгенерировали новые задачи иерархического диагностического рассуждения (HDR) — короткие случаи с намеренно внедрёнными ошибками, которые студенты должны найти и объяснить — и обнаружили, что задания, написанные GPT-4o, совпали с написанными человеком по внутренней согласованности (альфа Кронбаха = 0.78 для обоих) и трудности, причём точные тесты Фишера не обнаружили значимого различия в распределении оценок на 100 участниках. Формат соединяет требование мышления высшего порядка с ограниченным ответом, так что ответы сходятся, а оценивание становится воспроизводимым. Генеративная мотивация — повторное использование заданий: повторное использование одного случая приглашает к запоминанию и повторному использованию ответов, тогда как структурно эквивалентные, но контекстуально различные сгенерированные случаи подавляют перекос заданий при повторном измерении.
• Педагогические конвейеры: генерация Q&A по наборам слайдов использует многоэтапный конвейер для педагогически обоснованной генерации вопросов из материалов курса.
• Генерация с учётом доступности: Chen et al. проектируют систему генерации вопросов на базе LLM для неслышащих и слабослышащих учащихся, вводя стратегии вопросов «визуальных» и «эмоциональных», нацеленные на моменты визуальных или эмоциональных трудностей в видео, и итеративно уточняя вопросы вместе с целевым сообществом для обеспечения языковой доступности.
• Системы на основе RAG с человеком в контуре: CODE-GEN соединяет генерацию с дополненным поиском с пересмотром «человек в контуре» для генерации оцениваний с множественным выбором.
• Бенчмарки и оценивание: NSMQ Riddles предоставляет бенчмарк научно-математических загадок для оценивания систем генерации вопросов и рассуждения.

Валидация и качество

Центральная задача AQG — контроль качества:

• Оценивайте процесс решения, а не основу задания: ProIQA утверждает, что пересмотр качества заданий должен следовать тому, что делает эксперт, — моделировать решение, — и строит дерево рассуждений, сгенерированное LLM, для каждого задания, проверенное на математическую правильность на 90.38–97.80%, а затем кодирует его структуру зависимостей с помощью графовой нейронной сети наряду с представлением только основы. Оно сообщает средние выигрыши над вторым по силе методом в 7.5% при оценивании понятий, 6.3% при оценивании трудности и 19.5% при оценивании компетентности, а его анализ ошибок называет режим отказа, за которым стоит понаблюдать: логически правильное, но структурно неглубокое дерево рассуждений делает трудное задание выглядящим лёгким.

• Риск галлюцинаций: LLM могут генерировать фактически неверные вопросы. Generate-Then-Validate показывает, что выделенная фаза валидации резко снижает это, и риск галлюцинаций является признанной проблемой повсюду.

• Калибровка трудности: сгенерированные вопросы должны быть откалиброваны на соответствующую трудность. Исследования калибровки трудности показывают, что оценки трудности ИИ сильно коррелируют с успеваемостью студентов (например, ро ≈ −0.87), что делает возможным лучший отбор заданий, — при предостережении против злоупотребления в контекстах с высокими ставками. Razavi and Powers (2026) распространяют это на задания по математике и чтению для K-5 (N = 5170), откалиброванные по модели Раша IRT: оценки трудности GPT-4o без дообучения коррелировали умеренно-сильно с истинной трудностью (r = 0.83 математика, r = 0.81 чтение), но варьировались по классам, тогда как подход на основе признаков — извлечённые LLM когнитивные и лингвистические признаки, поданные в модели на деревьях, — достиг корреляций до r = 0.87. Структурированное извлечение признаков в этом исследовании (например, сложность синтаксиса, когнитивная нагрузка, коварность дистракторов) и его практический семишаговый рабочий процесс предлагают шаблон для калибровки сгенерированных заданий, тогда как его результат об ограничении диапазона в младших классах и оговорки об обобщаемости предостерегают от использования с высокими ставками.

• Сгенерированные метки трудности могут быть провалом валидности конструкта, а не ошибкой калибровки. На 378 сгенерированных заданиях метки Easy/Medium/Hard модели отслеживали уровень Блума, сгенерированный вместе с ними (ρ=0.90), и поверхностную форму — средняя длина основы заданий росла с 15.9 до 22.1 до 30.2 слов, — но коррелировали с эмпирической трудностью заданий лишь на ρ=0.06 на 7 888 ответах от 54 студентов — аргумент за калибровку сгенерированных метаданных против данных ответов, а не за доверие к сгенерированным вместе с ними тегам (An & Wang (2026)).

• Крупномасштабная психометрическая полевая валидация: Assessing AI-Generated Exams валидирует конвейер AQG итеративного уточнения (сгенерировать→судить→пересмотреть, в стиле Self-Refine) в 91 реальном университетском занятии (~1 686 студентов). Байесовский иерархический анализ IRT 2PL показывает, что сгенерированные ИИ вопросы работают на уровне экспертно написанных заданий стандартизированных экзаменов — несколько легче (β̄ = −0.45 против 0.35), но несколько более различающие (ᾱ = 1.3 против 1.2), с более высокой пиковой информацией теста (надёжность 0.79 против 0.72), — демонстрируя, что AQG может производить адаптированные к курсу, психометрически обоснованные оценивания в масштабе.

• Средний психометрический паритет может скрывать недостатки на уровне заданий: обзор сферы 153 отчётов по медицинскому образованию обнаружил, что генерация заданий ИИ иногда соответствовала человеческой трудности и различению, однако в одном сравнении по физиологии лишь 9 из 40 заданий ChatGPT отвечали всем идеальным критериям против 19 из 40 заданий преподавательского состава (Zhao et al. (2026)).

• Узнаваемость в живом экзамене и что на самом деле устраняет пересмотр: Vogt et al. (2026) поместили 30 сгенерированных ИИ и 30 заданий с множественным выбором из национального лицензионного экзамена в оцениваемый экзамен на планшетах, который прошли 119 студентов-медиков пятого курса, причём задания ИИ были составлены из собственных материалов курса с помощью ChatGPT-4o и Gemini 1.5 Pro через экспертную панель, которая приняла 82% из них и устранила 18.2% как непригодные. Атрибуция источников студентами не различалась между двумя видами заданий, а трудность заданий, распределение дистракторов и воспринимаемое соответствие учебной программе были статистически неотличимы — результат узнаваемости, а не качества, и причина, по которой авторы описывают пользу рабочего процесса как смещение усилий преподавателей с составления на пересмотр, а не как устранение этих усилий. Одно исследовательское различие сохранилось: задания Gemini были труднее заданий лицензионного экзамена (p = 0.028), тогда как задания ChatGPT — нет (p = 0.984).

• Зависимость от типа задания: надёжность генерации варьируется по типу задания. Оценивание кратких ответов и аналитическое оценивание письма показывают, что задания с открытыми ответами и письмом труднее генерировать и оценивать надёжно, чем структурированные задания.

• Когнитивное качество: оценивание когнитивной глубины показывает, что сгенерированные задания могут быть смещены в сторону мышления низшего порядка, если они явно не спроектированы для результатов высшего порядка.

• Автоматическая разметка когнитивного уровня не переносится на сгенерированные задания. Классификатор таксономии Блума, обученный на курируемом банке заданий, развалился на сгенерированных ИИ вопросах — macro F1 с 0.88 в распределении до 0.48 и 0.20 вне его, — поскольку сгенерированные задания в среднем содержат намного больше слов (18.2 против 9.3) и делят лишь медианные 10.5% своих глаголов-триггеров Блума с курируемым корпусом против 35.1% для более близкого набора; переобучение на размеченных данных вне распределения было крупнейшим единичным выигрышем при пороге примерно N > 1 000 размеченных образцов (Castanares et al., 2026)).

Роль в адаптивном и персонализированном обучении

AQG — ключевой фактор, обеспечивающий адаптивное и персонализированное обучение: он производит большие банки заданий, из которых черпают адаптивные тьюторы, и — в соединении с трассировкой знаний или моделированием студента — может генерировать задания, настроенные под состояния знаний индивидуальных учащихся (KT4EQG). Персонализация на основе интересов показывает, что AQG может адаптировать вопросы и к интересам студентов, а не только к трудности.

Следствия для ИИ в образовании

• Генерируйте, затем проверяйте: всегда соединяйте генерацию с этапом валидации/уточнения, чтобы контролировать галлюцинации и обеспечивать релевантность.
• Согласовывайте тип задания с надёжностью: используйте AQG для структурированных типов заданий (множественный выбор, заполнение пропусков, код), где он наиболее надёжен, и применяйте осторожную валидацию к заданиям с открытыми ответами и письмом.
• Проектируйте для когнитивной глубины: промпты и конвейеры должны быть нацелены на мышление высшего порядка, а не только на воспроизведение, чтобы поддерживать подлинное обучение.
• Калибруйте трудность: используйте оценки трудности ИИ для отбора заданий соответствующей сложности, с сильной валидацией перед использованием с высокими ставками.
• Персонализируйте через модели учащегося: соединяйте AQG с трассировкой знаний и моделями интересов для генерации адаптивных, индивидуализированных заданий.

Связанные концепции

• Большие языковые модели (LLM)
• Генеративный ИИ
• Обработка естественного языка в образовании (Educational NLP)
• Автоматизированное оценивание
• Автоматизированное оценивание эссе
• Оценивание
• Формативное оценивание
• Адаптивное обучение
• Персонализированное обучение
• Трассирование знаний
• Моделирование учащегося и адаптивное обучение
• RAG (генерация с дополненным поиском)
• Человек в контуре
• Образовательное измерение
• Теория Item Response Theory (IRT)
• Риск галлюцинаций
• Оценивание ИИ-образования
• Бенчмарк
• Скаффолдинг
• Интеллектуальное тьюторство
• ИИ в образовании

Связанные статьи

• Generative artificial intelligence and the transformation of medical education: a scoping review — Scoping review of 153 medical-education reports on AI item generation versus faculty item quality

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Large-scale field validation of AI-generated exam quality via IRT

• Generate-Then-Validate: Question Generation for Education — Generate-Then-Validate question generation

• KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing — Personalized question generation via knowledge tracing

• Exploring the Design of LLM-Powered Question Generation for Deaf and Hard of Hearing Learners — LLM-powered question generation for Deaf and Hard of Hearing learners

• From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions — Cognitive depth of LLM-generated questions

• Slide Deck Q&A Quality Assurance App: A Multi-Stage Pipeline for Pedagogical Question Generation — Slide-deck Q&A pedagogical question generation

• CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation — CODE-GEN: RAG-based human-in-the-loop question generation

• NSMQ Riddles: A Benchmark of Scientific and Mathematical Riddles for Quizzing Large Language Models — NSMQ Riddles benchmark

• Taklif.AI: LLM-Powered Platform for Interest-Based Personalized College Assignments — Interest-based personalized assignments

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — LLM-based difficulty calibration

• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs — Self-referential analytic writing assessment

• Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs — Cross-dataset Bloom question classification

• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — LLM chatbots and CS multiple-choice items

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Socratic tests: conversational assessment

• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries — LLM Turing test in legal exams

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML

• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Process-Based Math Item Quality Assessment

• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — Students could not tell AI-generated MCQs from licensing-exam items in a graded exam, and 18.2% of generated items were eliminated in review (Vogt et al. 2026)