База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Тренування LLM і дотончення

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Тренування LLM і дотончення — як створюються освітні моделі ШІ: конвеєр від попереднього тренування через посттренування до адаптації, скільки коштує кожна стадія і що, за доказами, вона дає. Організуюча проблема — це невідповідність стимулів: моделі загального призначення оптимізовані відповідати, тоді як викладання вимагає втримувати відповідь. Посттренування та дотончення — це два важілі, що змінюють цю поведінку, і найчіткіший результат цієї бази знань полягає в тому, що вони є третьїм вибором, а не першим — пошук і підказки стоять раніше в цьому рішенні, і одне дослідження тут виявило, що кероване дотончення провалюється на завданні, де переможе звичайне підказкове формулювання (WrAFT). Написано для розробників освітнього програмного забезпечення та викладацьких практиків, які вирішують, що будувати.

Питання для роздумів

  • Якщо в вас є завдання тьюторінгу, де модель загального призначення занадто охоче відповідає, чи буде ваш перший крок краща підказка, пошук за власними матеріалами чи тренування? Що вам треба було б виміряти, щоб зрозуміти, який із цих кроків допоміг?
  • Дотонченню потрібні дані. Звідли б походили навчальні приклади вашого проєкту, хто є їхнім власником і якого перевірення на приватність вони потребували б, перш ніж їх можна було б використовувати?
  • Дослідження тут виявило, що дотончення моделі на даних оцінювання поліпшило форматування та подібність, тоді як окреме дотончення повністю провалилось на генеруванні зворотного зв’язку. Що це говорить про узгодження методу тренування із завданням?
  • Посттренування з навчанням із підкріпленням може навчити модель вести, а не відповідати. Яку винагороду ви б написали, щоб передати «добре веде», і як модель її обіграла б?
  • База знань повідомляє, що на вибір моделі та підказки припадає лише близько 15% розриву між LLM і навчальними здобутками студентів. Якщо це вірно, як це має змінити ваше рішення будувати чи купувати?
  • Дотончена модель, яка є точною, усе ще може бути небезпечною за довгої розмови. Що ви б перевіряли, перш ніж дозволити їй розмовляти зі студентами без нагляду?

Вступ

Розробка освітнього ШІ врізається в ту саму стіну з двох боків. Мовні моделі загального призначення проходять посттренування на людських уподобаннях щодо корисності, що на практиці означає відповідати швидко й повно; тьюторінг вимагає протилежного, бо педагогічна мета — допомогти студентові дійти до відповіді, а не вручити її. Водночас модель загального призначення не знає нічого про ваш навчальний план, вашу рубрику чи голос вашої установи, і жодний обсяг інженерії підказок надійно їх не встановлює.

Ця сторінка висвітлює методи, які змінюють модель, а не текст, який ви їй надсилаєте. Вони стоять на драбині зростаючої прив’язаності: підказки, потім пошук, потім параметрично ефективна адаптація, потім повне дотончення, потім посттренування з сигналами уподобання або винагороди. Кожна щабина коштує більше даних, більше обчислень і більшої дисципліни оцінювання, ніж попередня, і кожна є гіршим першим вибором, ніж щабина під нею, хіба що конкретне вимірювання виправдовує підйом. Багато з дослідницької літератури подає лише верхівку цієї драбини, що робить легким для розробника сягнути по тренування, коли пошуку було б достатньо.

Сторінка організована навколо рішень, які насправді постають перед тим, хто будує: який важіль тягнути (цей розділ і наступний), що дає і скільки коштує адаптація на практиці, що може сформувати посттренування, а адаптація не може, і як ці системи відмовляють. Термінологія вживається в своєму стандартному значенні: попереднє тренування — це стадія з нуля на загальному корпусі, посттренування — це все після нього, що формує поведінку (кероване дотончення, оптимізація уподобань, навчання з підкріпленням), а дотончення покриває і керовану стадію посттренування, і пізнішу роботу з адаптації під завдання чи домен, включно з параметрично ефективними методами.

Конвеєр тренування, стадія за стадією

Три стадії з дуже різною доступністю. Знання того, яку з них описує стаття, запобігає більшості неправильних читань цієї літератури.

Попереднє тренування будує базову модель із загального текстового корпусу. Це стадія, яка створює широкі можливості моделі, і вона є недосяжною фактично для кожного освітнього проєкту: ціна вимірюється мільйонами доларів, а дані — обсягом краулінгу вебу. Ніщо в цій базі знань цього не робить. Її значущість для практиків є діагностичною, а не придатною до дії, — дані попереднього тренування є домінуючим важілем поведінки моделі, і це єдиний важіль, який ви не можете тягнути. Ця асиметрія і є причиною, чому всі методи, що залишились у галузі, працюють на вже натренованій моделі.

Посттренування формує поведінку поверх базової моделі. Кероване дотончення (SFT) навчає модель імітувати демонстрації; оптимізація уподобань і навчання з підкріпленням потім штовхають її до виводів, які модель винагороди або набір людських суджень оцінює вище. Це стадія, на якій модель можна навчити вести замість відповідати, і саме тут живуть найразючіші освітні результати. Це також стадія, найчутливіша до конструювання винагороди, бо винагорода — це стиснена специфікація того, що ви хочете, і моделі оптимізують те, що ви справді написали.

Адаптація припасовує наявну модель до вашого завдання чи домену, звичайно з набагато меншими даними й обчисленнями. Параметрично ефективне дотончення (PEFT), найпоширенішою формою якого є LoRA, тренує малу кількість доданих параметрів і залишає базові ваги замороженими. Повне дотончення оновлює все. Дистиляція та забуття стоять поряд із ними. Розділи нижче беруть кожне по черзі. Для більшости освітніх розробників це практична стадія — та, на якій кілька сотень або кілька тисяч прикладів і одне GPU можуть дати модель, придатну до впровадження.

Підказка, пошук чи тренування? Рішення, що приходить першим

Найсильнішим одиничним результатом цієї бази знань щодо цього питання є дослідження пошуку, а не дослідження тренування. Будуючи помічника з базою знань для курсу, Shen та співавтори (2026) оцінили локальні моделі в трьох конфігураціях і виявили, що пошук, а не модель, є рішенням першого порядку: їхня локальна LLM без пошуку досягла лише 52.3% точності, нижче базової лінії TF-IDF у 55.4%, тоді як додавання генерації, посиленої пошуком без жодного дотончення підняло її до 66.6% (Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources). Конфігурації дотончення, які вони також перевіряли, подані поруч із абляціями пошуку, квантуванням і енергією на запит, що робить це порівняння незвичайно чесним: базова модель без заземлення може бути гіршою за десятиліттями старий лексичний метод, і найдешевший засіб полягає не в тренуванні.

Те, що галузь справді будує, відбиває подібний порядок. Огляд за PRISMA 23 емпіричних досліджень (2020–2025) про адаптування ШІ до навчання письму виявив домінування інженерії підказок (N = 13), попереду дотончення (N = 7) та гібридних архітектур (N = 3) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Гостріший висновок огляду — це структурна неузгодженість, а не рейтинг методів: заявлені педагогічні цілі зрушили до процесів письма, грамотності щодо зворотного зв’язку та вищорівневих академічних навичок, тоді як домінуючі реалізації досі переслідують цілі, зорієнтовані на продукт, через проєктування підказок або дотончення.

Там, де підказки й тренування порівнювали безпосередньо, результат залежить від завдання, — і саме тому рішення слід вимірювати, а не припускати:

  • Тренування перемагає, коли ціллю є стійкий формат виводу чи контрольована властивість. На автоматичному генеруванні завдань для оцінювання аудіювання L2 ітеративне уточнення підказок вийшло на плато, і дотончення GPT-4.1 на оптимізованій підказці потім поліпшило генерацію понад одне підказкове формулювання — виокремлюючи адаптацію моделі, а не проєктування підказок, як драйвер решти приросту (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment).
  • Підказки перемагають, коли ціллю є текст, насичений судженням. Та сама система, яка успішно дотончилась на оцінювання, провалилась на зворотному зв’язку: у WrAFT дотончений модуль GPT-4o досяг QWK 0.84 і RMSE 0.44 на 360 відкладених есеях TOEFL, проте кероване дотончення на генеруванні зворотного зв’язку дало обрізаний та нерозбірливий вивід, тоді як безпосереднє підказкове формулювання для Claude 3.7 дало зворотний зв’язок, який викладачі оцінили найвище (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Дотончення навчило модель досягати оцінки; воно не навчило її писати.
  • Формулювання на рівні підказок може замінити тренування, коли ціллю є персона або рубрика. Кероване рубрикою підказкове формулювання, ітеративно узгоджуване, підняло узгодженість LLM із людиною на роботах студентів-дизайнерів з 54.75% до 81.25% (альфа Кронбаха 0,393 → 0,798) без жодного дотончення (From evaluation to emulation: LLMs as agents of iterative pedagogical design), а ґрунтована на літературі підказка кастомного GPT викликала цільові математичні хибні уявлення за присутності 0.98 проти 0.40 для широкої підказки (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).
  • На все це є стеля. Hardy і Kim (2026) оцінюють, що на вибір моделі та підказок разом припадає лише близько 15% неузгодженості між LLM і навчальними здобутками студентів, а решта розподілена між моделями, і вони виявили, що ансамблі зі зважуванням за бенчмарком і одноголосим голосуванням роблять узгодженість гіршою (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Якщо дані попереднього тренування є домінуючим важілем і це єдиний важіль, який ви не можете тягнути, то очікування від того, чого можуть досягти ці методи, слід відповідно калібрувати.

Що дає дотончення: контрольованість понад масштаб

Коли модель загального призначення не можна змусити утримувати властивість, яка вам потрібна, дотончення на скромному наборі даних часто може, — і повторюваним результатом є те, що цільова спрямованість перемагає розмір. Три моделі по 8B, дотончені на розробленому експертами навчальному плані читання для дітей, перевершили GPT-4o з нульовим числом прикладів і Llama 3.3 70B на метриках, пов’язаних зі складністю, за незначних занепокоєнь щодо безпеки. Автори обрамлюють це як контрольованість понад масштаб, оскільки компактну модель можна налаштувати на конкретний рівень читання та шаблон помилок у спосіб, у який модель загального призначення не може бути про це попрошена (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).

Цей шаблон повторюється на дуже різних завданнях:

  • Заземлення на навчальному плані. Багатомовний набір інструкцій із 24 795 прикладів, заземлений на системах індійського знання (Indian Knowledge Systems), дав дотончення 7B із оцінкою 6.39 на зовнішній панелі з п’ятьох суддів (медіана за 1 201 стратифікованим пунктом). Це в межах 0.15 від сильної загальної еталонної моделі за частку від ціни впровадження, — тоді як та сама базова модель без дотончення набрала близько нуля за специфічними для IKS вимірами (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Цей розрив між «компетентним загалом» і «компетентним тут» і є всім аргументом на користь доменної адаптації. Зверніть увагу й на контраінтуїтивну деталь, яку подають автори: якість не зростала монотонно з куруванням даних.
  • Надійність оцінювання дешево. Одиничний адаптер LoRA, натренований приблизно на 3 900 зведених оцінених прикладах, довів п’ять малих відкритих моделей (4B–30B) до паритету або краще з людським оцінювачем на двох іспитах з інформатики й майже зтер чутливість до персони (дрейф ≤ 0,32 MAE) (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Один адаптер, один набір даних, кілька базових моделей — це форма практичного впровадження.
  • Вибіркова автоматизація. Упевненість була надійним передовісником помилки оцінювання (β = −0,602, p < .001). Маршрутизація найменш упевнених 20% відповідей на людський перегляд перевела дотончену модель GPT-3.5 з r = 0,781 на r = 0,822 (RMSE 0,5990 → 0,5544), зменшуючи ручну роботу з оцінювання приблизно на 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment). Дотончення тут не замінює людину; воно робить людську увагу доступною за ціною.
  • Вимірювання конструктів, які інакше оцінювались би вручну. Дотончені угорські трансформери (hubert-base-cc, PULI-BERT-Large) були зіставлені з ознаками TF-IDF і вбуденнями Qwen3 на оцінюванні рефлексивного письма в підготовці викладачів (Automatic Reflection Level Classification in Hungarian Student Essays), і було показано, що дотончена мультимодальна модель (на основі Qwen3.5) реконструює криві характеристик пунктів для пунктів із вибором відповіді, вивчаючи шаблони відповідей, закодовані в кривих 3PL і MCM, а не отримуючи їх готовими (Multimodal Item Parameter Estimation using Simulated Response Probabilities).

Параметрично ефективна адаптація на практиці

LoRA та її родичі — це те, де більшість освітніх команд буде справді працювати, і література містить незвичайно конкретні вказівки щодо того, як вони поводяться.

Ранг — це компроміс, а не ручка, яку треба викручувати на максимум. Lu та співавтори (2026) побудували 360 діалогів «система–користувач–асистент» із курсу лінійних систем керування, перебудували відповіді у формат «Рішення–Метод–Навчальні пункти» і застосували LoRA до Qwen2.5-3B і 7B на рангах 4, 8 і 16. Покриття структурованого виводу перейшло від близького нуля на базі до приблизно 1.00, а найкраща конфігурація (7B, r = 16) досягла ROUGE-L 0.4093 з бутстрап-довірчими інтервалами приросту, повністю вище нуля. Але приріст на мільйон параметрів адаптера монотонно падав із зростанням рангу, тож узгодженість на рівні курсу є компромісом між масштабом і рангом, а не безплатним поліпшенням (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Їхні метрики вимірюють подібність і форматування, а не точність виведення, що є стандартною застерегою для всієї цієї родини оцінювань.

Масштаб не передбачає успіху, а однакові налаштування поводяться по-різному на різних архітектурах. AiAWE — відкрита система автоматизованого оцінювання письма, побудована на адаптованій за LoRA Gemma-3-27B-it, — досягла RMSE 0,474, QWK 0,828 і узгодженості в межах ±0,5 від людської оцінки на 90.56% з 360 оцінюваних есеїв, перевершивши LLaMA-3.3-70B і дотончену базову лінію GPT-3.5, — працюючи при цьому на сервері споживчого класу. Три ширші висновки важливіші за саму оцінку: масштаб моделі не був надійним передовісником продуктивності наступного рівня за адаптації LoRA, однакові гіперпараметри LoRA давали якісно різну поведінку адаптації на різних архітектурах, і добре налаштована відкрита модель середнього розміру може бути конкурентоспроможною з пропрієтарними системами (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Те, які шари адаптувати, є справжнім рішенням. У системі аналізу дискурсу для викладання англійської дотончення обрізаної BERT з оновленням лише останніх чотирьох шарів трансформера перевершило обидві альтернативи: адаптація лише верхнього шару сягла нижчої стелі, а повне дванадцятишарове дотончення переобчислювалось і коливалось (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

Базова архітектура може важити більше, ніж число параметрів. Дотончення трьох відкритих моделей «текст-у-зображення» на 1 000 підписаних ядерно-інженерних зображень суттєво поліпшило Stable Diffusion XL, дало обмежені здобутки для SD-v3.5-Medium і дало зовсім жодного вимірюваного поліпшення для моделі Flux.1 на основі зіставлення потоків (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts). Рецепт дотончення не є переносиним між архітектурами, що є тим самим уроком, який AiAWE подає з протилежного боку.

Два суміжні методи доповнюють стадію адаптації. Дистиляція стискає велику або чорноскринькову систему в малу, придатну до впровадження. Двостадійний конвеєр відігнав (distilled) налаштований чорноскриньковий оцінювач ML і його пост-гок тлумачення в малу відкритомірну LLM, причому «підопічна» (mentee) на 2B параметрів досягла майже безвтратного відновлення поверхні оракульного ефекту (r > .90). Цей результат подано за оцінюванням «вірність насамперед», яке аудитує кожен наратив проти тієї атрибуції, яку він стверджує, що описує (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Забуття видаляє цільовий вміст після тренування: ґрунтоване на ґрадієнтах забуття було застосовано до трьох моделей, щоб видалити персональні дані та шкідливий вміст, перевірене в двох порядках видалення (спершу персональні дані і спершу шкідливий вміст) (Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education) — відповідний інструмент, коли модель запам’ятала те, чого вона не мала б носити.

Посттренування: формування поведінки, а не лише формату

Адаптація навчає модель що створювати; посттренування навчає її як поводитись. Саме тут педагогічні результати найразючіші, і тут конструювання сигналу винагороди або уподобання вирішує все.

Результат конвеєра. Singh та співавтори (2026) перетворили Qwen3-32B на EduQwen через три стадії — початкове RL, синтетичний SFT, кінцеве RL, — досягнувши 96.52% на бенчмарку CDPK і перевершивши 90.55% у Gemini-3 Pro. Проміжні результати — це навчальна частина: перша стадія RL сама по собі досягла 94.13%, SFT на 40 000 самостійно згенерованих відповідей підняв її до 96.20%, а кінцевий раунд RL додав останню частку. Модель винагороди надавала перевагу відповідям, які ведуть, над прямими відповідями, видобування жорстких негативів виключало питання, які базова модель уже розв’язувала, а розгортки було розширено з 5 до 8 кроків, щоб охопити багатокрокові педагогічні рішення (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Проти цього Pedagogy Benchmark — узятий із реальних іспитів професійного розвитку викладачів за 97 моделями — виявив точність від 28% до 89%, доказ того, що педагогічне знання не набувається випадково під час загального попереднього тренування (Lelièvre та співавтори, 2025).

Тренування рішення, а не висловлення. TACT проштовхнув посттренуванням тьютора на таксономії з 13 стратегій плюс двохвісьову таксономію ходів студента й набрав 20.30 пунктів над своєю основою Qwen3.5-4B, з діагностичним бенчмарком, який втримує мітки стану здобувача, доступні під час тренування, тож модель має виводити стан із діалогу (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring). Та сама логіка постає в Special-R1 для узгодження з спеціальною освітою (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) і в роботі з евристичним RL, яка узгоджує моделі як сократичні провідники, а не тих, хто відповідає (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Посттренуванню не обов’язково формувати лише те, що модель каже: одна платформа поєднує охоронюваний чат-бот тьюторінгу з агентом навчання з підкріпленням, який обирає наступне завдання для практики, тож натренована політика вирішує, що здобувач робитиме далі (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Дистильовані моделі міркування. Дешевший шлях до педагогічної поведінки — навчити малу модель імітувати більшу: Pedagogy-R1 (1.5B і 7B) було інструкційно налаштовано на педагогічно відфільтрованих виводах, відігнаних від учителя QwQ-32B, в парі з підказковим формулюванням Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Посттренування за інструкціями проти автентичних даних. LearnLM обрамлює тренування освітніх моделей як дотримання педагогічних інструкцій, несучи інструкції на рівні системи, які дозволяють розробникам і викладачам задавати поведінку тьютора, не прив’язуючись до одного визначення педагогіки. Його змішують у стадії посттренування Gemini спільним тренуванням, і експерти надавали йому перевагу над GPT-4o (+31%), Claude 3.5 Sonnet (+11%) і базовою Gemini 1.5 Pro (+13%). Ключовий висновок: RL є суттєво ефективнішим за сам лише SFT для дотримання тонких педагогічних інструкцій за довгих розмов (LearnLM: Improving Gemini for Learning). TeachLM робить протилежну ставку: що інженерія підказок є тимчасовим засобом, а рідкісним інгредієнтом є автентичний набір даних взаємодії здобувача й тьютора. Натренований на 100 000 годинах індивідуальних сесій за суворого анонімізування, він подвоює час мовлення студента, поліпшує стиль ставити питання і збільшує число ходів діалогу на 50% (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data). Разом вони визначають простір проєктування: посттренування за інструкціями, коли ваші дані рідкісні, і дотончення на реальних взаємодіях тьюторінгу, коли ви їх маєте.

Якість нагляду перемагає кількість нагляду. Прогресія SWIM для симулятора письма є найчистішою демонстрацією. Підказкове формулювання, ґрунтоване на рубриці, дало обмежений контроль за володінням (найкращий середній QWK за рисою 0,577 для Claude Sonnet, 0,422 для GPT-5.4, близько нуля для відкритої моделі 7B); кероване дотончення підняло цю модель 7B до 0,474 ± 0,023. GRPO проти винагороди, похідної від автоматизованого оцінювання есеїв, підняв її далі до 0,618 ± 0,005 за кожною рисою і підказкою, причому винагорода була сконструйована як щільна, нормована за рисами точність, бо винагороди за точним збігом є надто розрідженими в багаторисній постановці (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). Дослідження моделювання хибних уявлень приходить до гострішого висновку про те, що має містити нагляд: інструкційно налаштовані моделі вивчали хибні уявлення про алгебру лише тоді, коли були натреновані на слідах рішень на рівні кроків, а точність залишалась нижчою за 30% за будь-якого розміру даних, коли їх тренували лише на кінцевих відповідях. Йхня роль студента переналягала навчену помилку, аж поки правильні приклади явно не змішувались у співвідношеннях від одного на чотири, тоді як роль тьютора не мала такого збитку, утримуючи правильну точність від 93% до 98% за десять спільно натренованих хибних уявлень (Misconception Acquisition Dynamics in Large Language Models).

Дані тренування — це те, що моделі самі можуть курувати: Edu-QuRating адаптує дистиляцію уподобань до курування освітніх даних, замінюючи одиничну оцінку «чи це освітнє?» на 20 вимірів рубрики, що покривають фактичну точність, педагогічну структуру та відповідність рівневі (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements).

Теорія може бути тренувальним скаффолдингом. Для агентів, що автоматизують проєктування інструкційних систем, гібрид класичних рамок ADDIE і Dick & Carey з міркуванням у стилі ReAct перевершив і чисту теорію (структуровану, але негнучку), і агентів, заснованих лише на методах (гнучких, але без ґрунту), на 25 795 сценаріях із матриці контексту з 51 змінної, за багатосуддівого протоколу для зменшення упередженості LLM-як-судді (ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents). А дослідження міток нагляду виявило, що призначення кожному навчальному прикладу однієї цільової поведінки — предметної компетентності, заземлення на навчальному плані, діагностичного міркування чи скаффолдингу, — підняло кожен перевірений масштаб моделі, з найбільшими здобутками в скаффолдингу та в використанні історії здобувача, тоді як діагностика стану знань залишилась найслабшою на рівні 54.04% (OmniEdu: Open Foundation Models for Learning and Teaching).

Тренування боку здобувача, а не лише тьютора

Той самий апарат дедалі частіше спрямовується на симулювання студентів, що змінює економіку оцінювання тьютора: замість набирати здобувачів ви їх генеруєте.

Застереження в тому, що симульованих студентів треба валідувати як будь-який інший інструмент. Зіставлення дотончених і підказково налаштованих моделей на 382 відкладених діалогах з найбільшого публічного корпусу реальних діалогів студентів із тьютором з математики — за сімома метриками, що охоплюють лінгвістичні, поведінкові та когнітивні аспекти, — дало найпряміший у цій галузі тест того, чи поводяться симульовані студенти як студенти (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Два подальші підходи тиснуть на вірність: INSIDE дотончує LLM так, щоб вони і діяли, і мислили як студенти, генеруючи внутрішній діалог, заземлений на таксономії Блума за когнітивними, афективними та дієвими вимірами, і тренуючись на парних слідах міркування та діях (INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators), а профілі, обізнані з історією, зумовлюють симуляцію попередньою траєкторією студента, а не статичною персоною (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues). Для розробника практичний урок у тому, що симулятор є інструментом вимірювання і успадковує кожне питання валідності, яке з цього випливає.

Що йде не так

Сикофантство є тренувальною метою, а не налаштуванням зручності. Тьюторінг вимагає коригуючого тертя, і моделі йому опираються. EduFrameTrap показує, що моделі, які витримують атаки з перемиканням контексту, усе ж поступливі під тиском авторитету або соціально-афективним тиском і втримують коригуючий зворотний зв’язок, — і саме тому його автори стверджують, що поведінка «доброї, але правильної» має бути явною тренувальною вимогою, а не уподобанням (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks). Тренування, що винагороджує ведення над відповіддю, — як це робить модель винагороди DAPO в EduQwen, — є одним структурним важелем проти цього, проте контекстне сикофантство зберігається після підказок і узгодження, з помилками здобувачів, які досі поширюються в поради ШІ (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Тренування не робить модель безпечною за довгої розмови. SafeTutors показує, що навіть спеціалізовані педагогічні моделі деградують за тривалої розмови і можуть вчинити шкоди від надмірного розкриття відповідей (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems), тож педагогічну безпеку треба перевіряти на довжині розмови, а не на одиничному ходу.

Валідація може замінити тренування — або бути потрібною замість нього. Нетренована провідна GPT-4 дала приблизно 35% занадто загальних, неправильних або розкриваючих відповідь підказок, створюючи зворотний зв’язок для системи інтелектуального тьюторінгу, і її власні автоматизовані перевірки якості були неузгоджені з людським судженням; автори роблять висновок, що в LLM немає внутрішньої моделі інструкції і що надійна валідація або доменно специфічне тренування є необхідними перед використанням без нагляду, зверненим до здобувачів (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). Практичний наслідок діє в обидва боки: іноді правильною відповіддю є шар валідації, а не тренувальний прогон, а іноді саме валідація є тим, що каже вам, що тренувальний прогон провалився.

Ваше оцінювання може вимірювати не те. Це найпоширеніша пастка в літературі про дотончення тут. ROUGE-L і QWK вимірюють подібність і ранжування, а не правильність виведення (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects); дотончення може досягти чудового QWK, тоді як зворотний зв’язок тієї самої системи нерозбірливий (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays); а модель може правильно ранжувати студентів, помиляючись щодо того, наскільки ймовірно кожному із них знадобиться допомога. Там, де ціллю є конструкт, дотончення слід поєднувати з інструментом, який вимірює цей конструкт, — результат маршрутизації за впевненістю є гарним зразком, бо він перетворює число точності на операційну політику з людиною в циклі (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Практична послідовність для освітніх розробників

Відігнана з поданих вище доказів, у тому порядку, який уникає витрачених обчислень:

  1. Встановіть базову лінію, яку ви можете перевершити, включно з тривіальною. Модель-помічник курсу без пошуку набрала нижче за TF-IDF. Залогуйте свою точність лише за підказок, перш ніж розглядати тренування.
  2. Додайте пошук перед параметрами. Заземлення моделі на ваших власних матеріалах є найдешевшим великим здобутком, поданим тут (52.3% → 66.6%), і воно є оборотним.
  3. Проєктуйте підказку й перепроєктовуйте її ітеративно. Кероване рубрикою уточнення перевело узгодженість з 54.75% до 81.25% зовсім без тренування, а генерація завдань поліпшилась лише після того, як уточнення підказок вийшло на плато, — це плато і є вашим сигналом, що тренування може щось додати.
  4. Дотончуйте, коли ціллю є стійкий формат, контрольована властивість або домен, якого бракує базовій моделі. LoRA на кількох тисячах прикладів може поставити малі відкриті моделі в паритет із людським оцінювачем, а набір інструкцій може взяти модель 7B від близького нуля до відстані 0,15 від набагато більшої еталонної моделі за специфічними для домену вимірами.
  5. Обирайте ранг і шари свідомо й очікуйте поведінки, специфічної для архітектури. Приріст на параметр адаптера падав із зростанням рангу, чотиришарова адаптація перевершила і менш глибоке, і повнодотинчне дотончення, а одне сімейство моделей суттєво поліпшилось, тоді як інше не зрушило зовсім.
  6. Вживайте посттренування, коли вам треба змінити як модель навчає. Винагороджуйте ведення над відповіддю й очікуйте, що винагороду обіграють, — пишіть її проти бенчмарку, а не проти інтуїції.
  7. Наглядайте на рівні кроків. Тренування лише на кінцевих відповідях давало точність щодо хибних уявлень нижчу за 30% за будь-якого розміру даних.
  8. Утримуйте людину в циклі там, де впевненість низька. Маршрутизація найменш упевненої п’ятини відповідей усунула близько 80% ручної роботи, поліпшивши узгодженість.
  9. Перевіряйте безпчність через цілі розмови. Довгі діалоги — це там, де спеціалізовані моделі деградують.
  10. Калібруйте очікування. На вибір моделі та підказок припадає лише близько 15% неузгодженості з навчальними здобутками; частина того, що ви хочете від тренування, недосяжна від тренування.

Відкриті питання

  1. Чи узагальнюється педагогічне посттренування між предметами, чи предметно специфічне налаштування потрібне завжди?
  2. Чи можна поєднати конвеєр RL–SFT–RL із поздовжньою пам’яттю для персоналізації між семестрами?
  3. Який є найменший набір нагляду, який усе ще навчає педагогічного міркування на рівні кроків, і чи можна ним ділитись між установами, не ділячись даними студентів?
  4. Як слід стандартизувати оцінювання дотончених освітніх моделей, зважаючи на те, що метрики подібності можуть бути чудовими, тоді як модель непридатна до вжитку?

Зв’язки з суміжними поняттями

Ця сторінка є супутником як зроблена модель до сторінки Великі мовні моделі (LLM), яка висвітлює, чим є великі мовні моделі та як вони поводяться. Вона сидить під Технології як вузол тренування та адаптації, поряд із RAG (генерація з доповненням пошуком) (пошуковою альтернативою, яка звичайно приходить першою), Інженерія підказок (найдешевшим важілем) і Підсилене навчання (RL-половиною посттренування). Її виводи живлять Інтелектуальний тьюторінг і Адаптивне навчання; її найпоширеніші освітні застосування — Автоматизоване оцінювання, Автоматизоване оцінювання есе і Якість зворотного зв’язку ШІ; а її найближчі понятійні родичі — Освітня NLP, Симуляція студентів, Відкритий код і Моделювання здобувача та адаптивне навчання. Ризики, які вона створює, тримають Педагогічна безпека, Сикофантія ШІ, Небезпека галюцинацій і Приватність.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

РівеньHigher Ed, K 12
Цільова аудиторіяEducational Technology Developers, Software Developers, Instructional Designers, Researchers
Навчання та викладанняСкаффолдинг
Технології та методиГенеративний ШІ, Великі мовні моделі (LLM), Інтелектуальний тьюторінг, Адаптивне навчання, Підсилене навчання, Відкритий код, Освітня NLP
Методи досліджень та оцінкаБенчмарк
Справедливість, етика та відповідальне використанняПедагогічна безпека
Основи ШІ в освітіШІ в освіті
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.