Автоматизована генерація питань

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Автоматизована генерація питань (AQG) — використання ШІ, особливо NLP та великих мовних моделей (LLM), для автоматичної генерації пунктів освітнього оцінювання (завдань з вибором відповіді, короткої відповіді, заповнення пропусків, коду та питань на виконання) з вихідного матеріалу або цілей навчання. AQG дає змогу оцінювання в масштабі — створення формативних вікторин, адаптивних вправ і практичних пунктів, — але якість різко змінюється за типами пунктів і вимагає валідації, щоб уникнути галюцинованих або погано відкаліброваних питань. Це основний компонент Автоматизоване оцінювання і ключовий спусковний механізм Адаптивне навчання та Персоналізоване навчання.

Питання для роздумів

• Автоматизована генерація питань створює пункти оцінювання з вихідного матеріалу в масштабі — але ця сторінка попереджає, що якість різко змінюється за типами пунктів. Перед читанням: який тип пунктів, на вашу здогад, ШІ генерує найнадійніше: вибір відповіді, коротку відповідь чи код — і чому?
• Центральний виклик — контроль якості: LLM можуть генерувати фактично хибні питання. Один конвеєр зменшив галюцинації на 62%, додавши цикл «генеруй–валідуй–удосконалюй». Як ви думаєте, чому прохання до ШІ валідувати власні питання суттєво покращує їх, а не просто штампує власний вихід?
• Дослідження показує, що згенеровані питання можуть перекошуватися до мислення нижчого порядку (запам’ятовування), якщо їх явно не спроєктовано для результатів вищого порядку. Якщо б ви використовували ШІ для створення практичних пунктів, як би ви дізналися, чи тренують вони справжнє розуміння, чи лише запам’ятовування?
• Калібрування складності має значення: оцінки складності від ШІ сильно корелюють із продуктивністю студентів, але сторінка застерігає від хибного використання з великою вагою. Коли питання, яке ШІ вважає «правильної складності», усе одно є хибним питанням для конкретного здобувача?
• Генерація, уважна до Доступність, створює питання, налаштовані для глухих і слабкочуючих здобувачів, удосконалювані в партнерстві з цільовою спільнотою. Що цей приклад каже про те, чому генерацію питань не можна розглядати як суто технічну чи суто змістову проблему?

Вступ

Автоматизована генерація питань має значення, оскільки пункти оцінювання дорого створювати вручну, а ШІ може створювати їх швидко та в масштабі. Проте дослідження бази знань показує, що згенеровані пункти мають бути валідовані на правильність, релевантність і складність, і що різні типи пунктів (завдання з вибором відповіді, коротка відповідь, код) змінюються за тим, наскільки надійно їх можна генерувати. Тому AQG сидить на перетині генеративного ШІ, освітньої NLP та Освітнє вимірювання.

Підходи до генерації питань

Дослідження бази знань ілюструє кілька підходів:

• Конвеєри «генеруй–валідуй»: Generate-Then-Validate вводить цикл генерація → валідація → удосконалення, який зменшує галюцинації LLM на 62% порівняно з прямою генерацією, досягаючи точності 89% на наборах даних STEM і покращення релевантності на 23%. Крок валідації відфільтровує хибні або низькоякісні пункти, а провалені пункти викликають регенерацію з виправними підказками.
• Генерація на основі відстеження знань: KT4EQG генерує персоналізовані питання-вправи, керовані відстеженням знань, пристосовуючи пункти до стану знань кожного здобувача, а не генеруючи узагальнені питання.
• Дистрактори, зв’язані з хибними уявленнями, як діагностичні мітки: CoLearn (He et al., 2026) прив’язує кожен дистрактор до одного видобутого хибного уявлення і позначає точно один правильний варіант, тому пункт генерується з вбудованими діагностичними цілями і може потім бути оціненим детерміновано без виклику Великі мовні моделі (LLM) — приблизно 7.6 секунди та приблизно \$0.005 на раунд на живому розгортанні авторів, проти приблизно 32 секунд і \\$0.015 на раунд із оцінюванням короткої відповіді за допомогою LLM. Ця прив’язка лише настільки добра, наскільки добрі мітки хибних уявлень за нею, оскільки видобуті Хибні уявлення про AI збігалися з цільовими хибними уявленнями на F1 ≈ 0.56, а вибір пунктів обслуговував справді слабку навичку 0.72 часу.
• Генерація, уважна до когнітивної глибини: Evaluating the cognitive depth of LLM-generated questions досліджує, чи зачіпають згенеровані пункти мислення вищого порядку (творення, оцінювання), чи лише запам’ятовування, пов’язуючись із таксономією Блума та Освітнє вимірювання.
• Задачі-випадки із вбудованими помилками для повторного оцінювання: Takahashi et al. (2026) згенерували нові задачі ієрархічного діагностичного міркування (HDR) — короткі випадки, що несуть навмисно вбудовані помилки, які студенти мають знайти й пояснити, — і виявили, що пункти, написані GPT-4o, зрівнялися з написаними людиною за внутрішньою послідовністю (альфа Кронбаха = 0.78 для обох) і складністю, причому точні тести Фішера не знайшли суттєвої відмінності в розподілі оцінок між 100 учасниками. Формат поєднує вимогу мислення вищого порядку з обмеженою відповіддю, тому відповіді сходяться, і оцінювання стає відтворюваним. Генеративна мотивація — повторне використання пунктів: повторне використання одного випадку запрошує пам’ять і повторне використання відповідей, тоді як структурно еквівалентні, але контекстуально різні згенеровані випадки пригнічують упередженість пунктів при повторному вимірюванні.
• Педагогічні конвеєри: Slide-deck Q&A generation використовує багатостадійний конвеєр для педагогічно обґрунтованої генерації питань з матеріалів курсу.
• Генерація, уважна до доступності: Chen et al. проєктують систему генерації питань на основі LLM для глухих і слабкочуючих здобувачів, вводячи стратегії питань «візуальних» та «емоційних», націлених на моменти візуальної чи емоційної складнощі у відео, і ітеративно удосконалюючи питання разом із цільовою спільнотою, щоб забезпечити лінгвістичну доступність.
• Системи на основі RAG з людиною в циклі: CODE-GEN поєднує генерацію з доповненням вибіркою з розглядом з людиною в циклі для генерації оцінювань із вибором відповіді.
• Бенчмарки та оцінка: NSMQ Riddles дає бенчмарк наукових/математичних загадок для оцінки систем генерації питань і міркування.

Валідація та якість

Центральний виклик в AQG — контроль якості:

• Оцінюйте процес розв’язування, а не умову: ProIQA стверджує, що розгляд якості пункту має йти за тим, що робить експерт — симулювати розв’язок, — і будує дерево міркування, згенероване LLM, на пункт, перевірене на математичну правильність на 90.38–97.80%, потім кодує його структуру залежностей графовою нейронною мережею поряд із видом лише за умовою. Він повідомляє середні прирости над другим за якістю методом 7.5% в оцінюванні понять, 6.3% в оцінці складності та 19.5% в оцінюванні компетентності, і його аналіз помилок називає режим відмови, за яким варто стежити: логічно правильне, але структурно поверхневе дерево міркування змушує складний пункт виглядати легким.

• Ризик галюцинацій: LLM можуть генерувати фактично хибні питання. Generate-Then-Validate показує, що спеціальна фаза валідації різко це зменшує, а ризик галюцинацій є визнаним занепокоєнням усюди.

• Калібрування складності: згенеровані питання мають бути відкалібровані до відповідної складності. Дослідження калібрування складності показує, що оцінки складності від ШІ сильно корелюють із продуктивністю студентів (наприклад, rho ≈ −0.87), даючи змогу краще відбирати пункти, — застерігаючи водночас від хибного використання з великою вагою (misuse). Razavi and Powers (2026) розширюють це на пункти математики та читання K-5 (N = 5170), відкалібровані за моделлю IRT Раша: оцінки складності GPT-4o за zero-shot корелювали помірно-сильно зі справжніми складностями (r = 0.83 математика, r = 0.81 читання), але змінювалися за класом, тоді як підхід на основі особливостей — когнітивні та лінгвістичні особливості, витягнуті LLM, подані в моделі на основі дерев — досягав кореляцій до r = 0.87. Структуроване витягування особливостей цього дослідження (наприклад, складність синтаксису, когнітивне навантаження, хитрість дистракторів) та його практичний семикроковий робочий процес дають шаблон для калібрування згенерованих пунктів, тоді як його висновок про обмеження діапазону на ранніх класах та застереження щодо узагальнюваності застерігають від використання з великою вагою.

• Мітки складності, згенеровані автоматично, можуть бути провалом валідності конструкту, а не похибкою калібрування. На 378 згенерованих пунктах мітки Easy/Medium/Hard моделі відстежували рівень Блума, співзгенерований з ними (ρ=0.90), і поверхневу форму — середня довжина умови, що зростає з 15.9 до 22.1 до 30.2 слів, — але корелювали з емпіричною складністю пункту лише на ρ=0.06 за 7 888 відповідей від 54 студентів, — аргумент на користь калібрування згенерованих метаданих проти даних відповідей, а не довіри до співзгенерованих міток (An & Wang (2026)).

• Масштабна психометрична польова валідація: Assessing AI-Generated Exams валідує конвеєр AQG з ітеративним удосконаленням (генеруй→оцінюй→переглянь, у стилі Self-Refine) у 91 реальному коледжному класі (~1 686 студентів). Байєсівський ієрархічний аналіз 2PL IRT показує, що згенеровані ШІ питання виконуються на рівні пунктів стандартизованих іспитів, написаних експертами, — дещо легші (β̄ = −0.45 проти 0.35), але дещо більш дискримінативні (ᾱ = 1.3 проти 1.2), із вищим піком інформації тесту (надійність 0.79 проти 0.72), — демонструючи, що AQG може створювати адаптовані до курсу, психометрично обґрунтовані оцінювання в масштабі.

• Середній психометричний паритет може маскувати нестатки на рівні пунктів: оглядовий огляд 153 звітів із медичної освіти виявив, що генерація пунктів за допомогою ШІ іноді зрівнювалася з людською складністю та дискримінативністю, проте в одному порівнянні з фізіології лише 9 із 40 пунктів ChatGPT відповідали всім ідеальним критеріям проти 19 із 40 пунктів факультету (Zhao et al. (2026)).

• Упізнаваність на живому іспиті і те, що насправді прибирає розгляд: Vogt et al. (2026) поставили 30 завдань з вибором відповіді, згенерованих ШІ, і 30 завдань національного ліцензійного іспиту в оцінюваний іспит на планшетах, який складали 119 студентів медичного п’ятого курсу, причому пункти ШІ були написані з власних матеріалів курсу за допомогою ChatGPT-4o та Gemini 1.5 Pro через експертну панель, яка прийняла 82% із них і виключила 18.2% як непридатні. Атрибуція джерел студентами не відрізнялася між двома видами пунктів, а складність пунктів, розподіл дистракторів і сприймана узгодженість із навчальним планом були статистично нерозрізненними, — результат упізнання, а не якості, і причина, чому автори описують вигоду робочого процесу як переміщення зусиль освітян із чернеткування на розгляд, а не як його усунення. Одна дослідницька відмінність вижила: пункти Gemini були складнішими за пункти ліцензійного іспиту (p = 0.028), тоді як пункти ChatGPT — ні (p = 0.984).

• Залежність від завдання: надійність генерації змінюється за типом пункту. Оцінювання коротких відповідей та аналітичне оцінювання письма показують, що пункти з відкритою відповіддю та письма є складнішими для надійної генерації та оцінювання, ніж структуровані пункти.

• Когнітивна якість: оцінювання когнітивної глибини показує, що згенеровані пункти можуть перекошуватися до мислення нижчого порядку, якщо їх явно не спроєктовано для результатів вищого порядку.

• Автоматичне позначення когнітивного рівня не переноситься на згенеровані пункти. Класифікатор таксономії Блума, навчений на курованому банку пунктів, розвалився на згенерованих ШІ питаннях — макро F1 з 0.88 в розподілі до 0.48 і 0.20 поза ним, — оскільки згенеровані пункти в середньому мають значно більше слів (18.2 проти 9.3) і діляться лише медіанними 10.5% своїх тригерних дієслів Блума з курованим корпусом проти 35.1% для ближчого набору; перетренування на позначених даних поза розподілом було найбільшим одиночним приростом, при порогу приблизно N > 1 000 позначених зразків (Castanares et al., 2026).

Роль в адаптивному та персоналізованому навчанні

AQG є ключовим спусковим механізмом адаптивного та персоналізованого навчання: він створює великі банки пунктів, з яких черпають адаптивні репетитори, і — у поєднанні з відстеженням знань або моделюванням студента — може генерувати пункти, пристосовані до станів знань індивідуальних здобувачів (KT4EQG). Персоналізація на основі інтересів показує, що AQG може адаптувати питання й до інтересів студентів, а не лише до складності.

Наслідки для ШІ в освіті

• Генеруйте, потім валідуйте: завжди поєднуйте генерацію зі стадією валідації/удосконалення, щоб контролювати галюцинації та забезпечувати релевантність.
• Підбирайте тип пунктів під надійність: використовуйте AQG для структурованих типів пунктів (вибір відповіді, заповнення пропусків, код), де він найнадійніший, і застосовуйте ретельну валідацію до пунктів із відкритою відповіддю та письма.
• Проєктуйте для когнітивної глибини: підказки та конвеєри мають націлюватися на мислення вищого порядку, а не лише на запам’ятовування, щоб підтримувати справжнє навчання.
• Калібруйте складність: використовуйте оцінки складності від ШІ для відбору відповідно складних пунктів, із сильною валідацією перед використанням з великою вагою.
• Персоналізуйте через моделі здобувачів: поєднуйте AQG з відстеженням знань і моделями інтересів, щоб генерувати адаптивні, індивідуалізовані пункти.

Пов’язані поняття

• Великі мовні моделі (LLM)
• Генеративний ШІ
• Освітня NLP
• Автоматизоване оцінювання
• Автоматизоване оцінювання есе
• Оцінювання
• Формативне оцінювання
• Адаптивне навчання
• Персоналізоване навчання
• Відстеження знань
• Моделювання здобувача та адаптивне навчання
• RAG (генерація з доповненням пошуком)
• Людина в циклі
• Освітнє вимірювання
• Теорія відгуку завдань
• Небезпека галюцинацій
• Оцінювання ШІ в освіті
• Бенчмарк
• Скаффолдинг
• Інтелектуальний тьюторінг
• ШІ в освіті

Пов’язані статті

• Generative artificial intelligence and the transformation of medical education: a scoping review — Оглядовий огляд 153 звітів із медичної освіти про генерацію пунктів за допомогою ШІ в порівнянні з якістю пунктів факультету

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Масштабна польова валідація якості іспитів, згенерованих ШІ, через IRT

• Generate-Then-Validate: Question Generation for Education — Генерація питань «генеруй–валідуй»

• KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing — Персоналізована генерація питань через відстеження знань

• Exploring the Design of LLM-Powered Question Generation for Deaf and Hard of Hearing Learners — Генерація питань на основі LLM для глухих і слабкочуючих здобувачів

• From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions — Когнітивна глибина питань, згенерованих LLM

• Slide Deck Q&A Quality Assurance App: A Multi-Stage Pipeline for Pedagogical Question Generation — Педагогічна генерація питань із слайдів

• CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation — CODE-GEN: генерація питань на основі RAG з людиною в циклі

• NSMQ Riddles: A Benchmark of Scientific and Mathematical Riddles for Quizzing Large Language Models — Бенчмарк NSMQ Riddles

• Taklif.AI: LLM-Powered Platform for Interest-Based Personalized College Assignments — Персоналізовані завдання на основі інтересів

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — Калібрування складності на основі LLM

• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs — Самореференційне аналітичне оцінювання письма

• Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs — Міжнаборова класифікація питань за Блумом

• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — Чатботи на основі LLM і завдання з вибором відповіді з комп’ютерних наук

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Сократичні тести: розмовне оцінювання

• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries — Тест Тюрінга на основі LLM на юридичних іспитах

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Оцінка складності пунктів за допомогою LLM та ML на основі дерев

• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: оцінювання якості математичних пунктів на основі процесу

• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — Студенти не могли відрізнити завдання з вибору відповіді, згенеровані ШІ, від пунктів ліцензійного іспиту на оцінюваному іспиті, і 18.2% згенерованих пунктів було виключено під час розгляду (Vogt et al. 2026)