Як зробити ШІ кращим у підтримці навчання у власній предметній галузі?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Модель загального призначення із задоволенням відповість замість студента на його питання, при цьому вона нічого не знає ні про вашу навчальну програму, ні про вашу рубрику, ні про помилки, яких насправді припускаються ваші студенти. Подолання цієї прогалини зазвичай подається як задача навчання моделі. У цій базі знань це переважно задача ґрунтування та підказок, і докази на користь саме такого порядку дій надзвичайно прямі: дослідження асистента для курсу показало, що рішенням першого порядку був пошук і вилучення, а не модель, і що загальна модель без ґрунтування набрала менше, ніж проста базова лінія на TF-IDF.

Навчання — це реальний і іноді необхідний інструмент, але це третя або четверта річ, яку варто спробувати, а не перша. Далі наведено «сходи» в тому порядку, який дозволяє уникнути марних обчислювальних витрат.

Коротка версія

Існує п’ять важелів у порядку зростання витрат і зобов’язань: підказки (промптинг), пошук і вилучення за вашими власними матеріалами, параметрично ефективна адаптація (LoRA та подібні), повне донавчання і пост-тренування на сигналах уподобань або винагороди. Кожна щаблина потребує більше даних, більше обчислень і більшої дисципліни оцінювання, ніж попередня, і кожна є гіршим першим вибором, якщо підйом не виправданий вимірюванням.

Наукова література повідомляє переважно про верхівку тих сходів, і саме тому так легко тягнутися за навчанням там, де вистачило б ґрунтування.

Крок 1: Отримайте базову лінію, яку ви дійсно можете перевершити

Перш ніж щось змінювати, зафіксуйте, що дає проста підказка. Потім зафіксуйте, що дає тривіальний метод, — адже саме це число тримає вас у рамках чесності.

Дослідження асистента за базою знань курсу варте прочитання хоча б заради цього. Локальна LLM без пошуку і вилучення досягла точності 52.3%. Базова лінія на TF-IDF — лексичний метод десятилітньої давнини — досягла 55.4%. Модель виявилася гіршою за класичний метод.

Якщо пропустити цей крок, ви не зможете сказати, чи допомогло ваше донавчання, і можете випустити в світ щось, що поступається пошуку за ключовими словами.

Крок 2: Закріпіть модель на власних матеріалах

Додавання генерації з розширенням через пошук за матеріалами курсу, без жодного донавчання, підняло ту саму систему з 52.3% до 66.6%. Це найбільший одиничний приріст за свої кошти серед зафіксованих у цій базі знань, і він оборотний: коли ваші документи змінюються, ви переіндексуєте їх, а не перетреновуєте модель.

Два інших результати вказують у тому самому напрямі. PRISMA-огляд 23 емпіричних досліджень щодо адаптації ШІ для навчання письму виявив домінування інженерії підказок (N = 13) перед донавчанням (N = 7) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). І там, де база знань має залишатися актуальною, пошук і вилучення — єдиний важіль, який залишається актуальним без повторного запуску навчального процесу.

Пошук і вилучення має також педагогічну форму. Закріплення моделі на ваших власних розв’язаних прикладах і рубриках — це те, як вона залишається всередині спроєктованого вами скаффолдингу, а не дрейфує до загальних порад.

Крок 3: Побудуйте підказку проти рубрики

Робота над підказками — це не підготовчий етап, який виконують, поки чекаєш на навчання. Два результати показують, чого вона досягає сама по собі:

• Підказки, спрямовані рубрикою та ітеративно узгоджені з експертами, підняли узгодженість між LLM і людиною на проектних роботах студентів з 54.75% до 81.25% (альфа Кронбаха 0.393 → 0.798), і це взагалі без донавчання (From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• Спеціально побудована на літературі підказка викликала цільові математичні Хибні уявлення про AI із присутністю 0.98, проти 0.40 для широкої підказки (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

Практичний сигнал тут — це плато. У дослідженні генерації завдань ітеративне вдосконалення підказок перестало давати покращення, і донавчання GPT-4.1 на оптимізованій підказці потім додало решту приросту (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). Плато після справжньої роботи над підказками — це ваш доказ того, що навчання може щось додати. Тягнутися за навчанням, не досягнувши плато, — це вгадування.

Крок 4: Адаптуйте модель, коли ціль стабільна й конкретна

Адаптація окупається, коли вам потрібно, щоб модель надійно утримувала властивість: рівень читання, формат виведення, галузь, якої їй бракує. Повторюваний результат полягає в тому, що точне націлювання перевершує розмір.

• Три моделі на 8B параметрів, донавчені на розробленій експертами дитячій програмі читання, перевершили zero-shot GPT-4o і Llama 3.3 70B за метриками, пов’язаними зі складністю, за незначних проблем безпеки. Автори формулюють це як керованість понад масштаб (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Набір інструкцій із 24,795 прикладів, заґрунтований на Indian Knowledge Systems, дав донавчання на 7B із результатом 6.39 за п’ятьма експертами зовнішньої панелі, в межах 0.15 від сильної загальної еталонної моделі за частку від витрат на розгортання, — тоді як та сама базова модель без донавчання набирала майже нуль за галузевими вимірами (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Ця прогалина між «компетентним у цілому» і «компетентним саме тут» — весь аргумент на користь галузевої адаптації.
• Єдиний адаптер LoRA, навчений приблизно на 3,900 зведених оцінених прикладах, довів п’ять невеликих відкритих моделей (4B–30B) до паритету або кращих результатів із людським оцінювачем на двох іспитах з інформатики (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Один адаптер, один набір даних, кілька базових моделей: саме так виглядає розгортання, яке невелика команда справді здатна підтримувати.

Зверніть увагу на слово стабільна в заголовку. Формат, рубрика, рівень читання та галузева лексика — стабільні цілі. Насичений судженнями текст — ні, і саме тут адаптація зазнає невдачі.

Крок 5: Змініть те, як вона поводиться, а не лише те, що вона видає

Адаптація вчить модель чому видавати. Пост-тренування вчить її як поводитися, і для тьюторства саме в цій різниці полягає вся проблема: загальні моделі пост-тренуються на людських уподобаннях щодо корисності, а це означає відповідає швидко, тоді як викладання вимагає утримати відповідь.

Саме тут живуть найсильніші освітні результати. Модель винагороди EduQwen явно пріоритезувала напрямні відповіді над прямими відповідями, і її трьохетапний конвеєр досяг 96.52% на бенчмарку CDPK проти 90.55% у Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Симулятор письма SWIM пройшов шлях від підказок, заґрунтованих на рубриках (найкращий QWK 0.577), через контрольоване донавчання (0.474 ± 0.023) до навчання з підкріпленням (0.618 ± 0.005) за всіма рисами та всіма підказками (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Одну знахідку в цій галузі легко пропустити і дорого проігнорувати: якість нагляду перевершує кількість нагляду. Налаштовані на інструкції моделі засвоювали хибні уявлення з алгебри лише тоді, коли навчалися на слідах розв’язань на рівні кроків; навчені лише на фінальних відповідях, вони залишалися на точності нижче 30% за будь-якого обсягу даних (Misconception Acquisition Dynamics in Large Language Models). Якщо ваші навчальні приклади — це пари «питання і правильна відповідь», ви навчаєте не тієї речі.

Коли адаптація моделі не допомагає

Це та частина, яку ентузіазм зазвичай пропускає.

• Текст, насичений судженнями. У WrAFT той самий проєкт, який успішно донавчався для виставлення оцінок за есе (QWK 0.84), видавав обрізане й нерозбірливе виведення, коли донавчався для зворотного зв’язку, тоді як пряме підказкове використання Claude 3.7 дало зворотний зв’язок, який викладачі оцінили найвище (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Донавчання навчило модель потрапляти в оцінку; воно не навчило її писати.
• Масштаб не є надійним предиктором якості на виході за умов адаптації методом LoRA, і ідентичні гіперпараметри давали якісно різну поведінку на різних архітектурах (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). Рецепт, який спрацював на одній моделі, не є рецептом.
• Архітектура може важливішою за кількість параметрів. Донавчання трьох відкритих моделей «текст в зображення» на 1,000 підписаних зображеннях із ядерної інженерії суттєво покращило Stable Diffusion XL, дало обмежений приріст для SD-v3.5-Medium і не дало жодного вимірюваного покращення для Flux.1 взагалі (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).
• Іноді відповідь — це валідація, а не навчання. Ненавчений GPT-4.1 найновішого рівня при створенні зворотного зв’язку для тьюторства видавав приблизно 35% надто загальних, неправильних або таких, що розкривають відповідь, підказок, і його власні автоматизовані перевірки якості розходилися з людським судженням (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Що потрібно на практиці

Для щабліни адаптації планка нижча, ніж припускає більшість команд: від кількох сотень до кількох тисяч прикладів і один GPU. LoRA навчає невелику кількість доданих параметрів і залишає базові ваги замороженими, тому з одного адаптера можна обслуговувати кілька моделей.

Ранг — це компроміс, а не ручка, яку треба викручувати на максимум: приріст на мільйон параметрів адаптера монотонно падав із зростанням рангу, а узгодженість на рівні курсу була рішенням щодо масштабу й рангу, а не безкоштовним оновленням (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Те, які шари ви адаптуєте, — також справжній вибір: оновлення лише останніх чотирьох шарів трансформера аналізатора дискурсу на базі BERT перевершило і адаптацію лише верхнього шару, і донавчання на всю глибину (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

Витрата, яку легко недооцінити, — це оцінювання, а не обчислення. Див. Як дізнатися, що освітній ШІ працює правильно, а не просто добре набирає очки?

Скалібруйте свої очікування

Вибір моделі та підказки разом пояснюють лише близько 15% розбіжностей між LLM і навчальними здобутками студентів, і в тому дослідженні зважування за бенчмарками та ансамблі на одноголосному голосуванні робили узгодженість гіршою (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Дані предтренування — домінантний важіль поведінки моделі, і це той важіль, за який ви не можете потягнути.

Це не аргумент проти роботи вище. Це аргумент проти очікування, що донавчання виправить проблему проєктування. Якщо проблема в тому, що ваш тьютор занадто охоче відповідає, навчання може її вирішити. Якщо проблема в тому, що ваші здобувачі не взаємодіють із ним, навчання не допоможе.

Короткий порядок ухвалення рішень

1. Зафіксуйте базову лінію лише на підказці, включно з тривіальною.

2. Додайте пошук і вилучення за вашими власними матеріалами.

3. Побудуйте підказку ітеративно проти вашої рубрики і стежте за плато.

4. Адаптуйте модель за допомогою LoRA, коли ціллю є стабільний формат, рубрика, рівень або галузь.

5. Пост-тренуйте лише тоді, коли потрібно змінити те, як вона поводиться, і напишіть винагороду проти бенчмарку, бо він буде обіграний.

6. Здійснюйте нагляд на рівні кроків, а не на рівні відповідей.

7. Залишайте людину в циклі там, де впевненість низька.

8. Перевіряйте безпеку на цілих розмовах, а не на одиничних репліках.

Пов’язані питання

• Як навчити ШІ-тьютора направляти студентів, а не відповідати за них? — детально про пост-тренувальну половину

• Як дізнатися, що освітній ШІ працює правильно, а не просто добре набирає очки? — як з’ясувати, чи спрацювало щось із цього

• Які найкращі практики розробки ефективного ШІ-тьютора? — бік проєктування взаємодії тієї самої мети

• Які найкращі практики та поради щодо проєктування ефективного освітнього програмного забезпечення на ШІ?

• Тренування LLM і дотончення — повна сторінка поняття