AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Обучение и дообучение LLM

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Обучение и дообучение LLM — как создаются образовательные ИИ-модели: конвейер от предобучения через пост-обучение к адаптации, сколько стоит каждый этап и что, согласно доказательствам, он даёт. Организующая проблема — несоответствие стимулов: модели общего назначения оптимизированы отвечать, тогда как преподавание требует утаивания ответа. Пост-обучение и дообучение — два рычага, меняющих это поведение, и самый ясный результат этой базы знаний состоит в том, что они являются выбором третьим, а не первым, — поиск и промптинг идут раньше в этом решении, и одно исследование здесь обнаружило, что контролируемое дообучение провалилось на задаче, где обычный промптинг победил (WrAFT). Написано для разработчиков образовательного программного обеспечения и практикующих преподавателей, решающих, что строить.

Вопросы для размышления

  • Если у вас есть задача тьюторства, в которой модель общего назначения отвечает слишком уклончиво, ваш первый шаг — лучший промпт, поиск по вашим материалам или обучение? Что вам нужно было бы измерить, чтобы понять, какой из вариантов помог?
  • Для дообучения нужны данные. Откуда в вашем проекте взялись бы обучающие примеры, кто ими владеет и какую проверку на приватность они должны пройти, прежде чем их можно будет использовать?
  • Исследование здесь обнаружило, что дообучение модели на данных оценивания улучшило форматирование и сходство, тогда как отдельное дообучение полностью провалилось на генерации обратной связи. Что это говорит о соответствии метода обучения задаче?
  • Пост-обучение с обучением с подкреплением может научить модель направлять, а не отвечать. Какую награду вы бы написали, чтобы выразить «хорошо направляет», и как модель могла бы её обмануть?
  • База знаний сообщает, что на выбор модели и промпта приходится лишь около 15% разрыва между LLM и приростом в обучении студентов. Если это так, как это должно изменить ваше решение о собственной разработке в сравнении с покупкой?
  • Дообученная модель, которая точна, всё ещё может быть небезопасной в длинном разговоре. Что бы вы проверили, прежде чем позволить ей общаться со студентами без присмотра?

Введение

Разработка образовательного ИИ упирается в одну и ту же стену с двух сторон. Языковые модели общего назначения проходят пост-обучение на человеческих предпочтениях в отношении полезности, что на практике означает отвечать быстро и полностью; тьюторство требует обратного, поскольку педагогическая цель — помочь студенту дойти до ответа, а не вручить его готовым. В то же время модель общего назначения ничего не знает о вашем учебном плане, вашей рубрике или голосе вашего учреждения, и никакое количество инженерии промптов надёжно их не устанавливает.

Эта страница описывает методы, которые меняют модель, а не текст, который вы ей посылаете. Они лежат на лестнице растущей обязательности: промптинг, затем поиск, затем параметрически эффективная адаптация, затем полное дообучение, затем пост-обучение с сигналами предпочтений или награды. Каждая ступень требует больше данных, больше вычислений и большей дисциплины оценивания, чем предыдущая, и каждая является худшим первым выбором, чем ступень ниже неё, если только конкретное измерение не оправдывает подъём. Большая часть исследовательской литературы описывает только вершину этой лестницы, что делает лёгким для разработчика стремление взяться за обучение там, где поиска было бы достаточно.

Страница организована вокруг решений, с которыми фактически сталкивается разработчик: какой рычаг потянуть (этот и следующий раздел), что адаптация даёт и стоит на практике, что может формировать пост-обучение и чего не может адаптация, и как эти системы терпят неудачу. Терминология употребляется в стандартном смысле: предобучение — стадия с нуля на общем корпусе, пост-обучение — всё после него, что формирует поведение (контролируемое дообучение, оптимизация предпочтений, обучение с подкреплением), а дообучение охватывает и контролируемую стадию пост-обучения, и последующую работу по адаптации к задаче или предметной области, включая параметрически эффективные методы.

Конвейер обучения, этап за этапом

Три этапа с очень разной доступностью. Знание о том, какой из них описывает статья, предотвращает большинство ошибочных прочтений этой литературы.

Предобучение строит базовую модель из общего текстового корпуса. Это стадия, которая производит широкую способность модели, и она недосягаема по существу для каждого образовательного проекта: стоимость измеряется миллионами долларов, а данные — обходом веба в масштабе веба. Ничто в этой базе знаний этого не делает. Её значимость для практиков скорее диагностическая, чем действенная: данные предобучения — доминирующий рычаг поведения модели, и это единственный рычаг, который вы не можете потянуть. Эта асимметрия — причина, по которой все оставшиеся методы поля работают с уже обученной моделью.

Пост-обучение формирует поведение поверх базовой модели. Контролируемое дообучение (SFT) учит модель имитировать демонстрации; оптимизация предпочтений и обучение с подкреплением затем подталкивают её к выходам, которые модель награды или набор человеческих суждений оценивает выше. Это стадия, на которой модель можно научить направлять вместо ответа, и это там, где живут самые поразительные образовательные результаты. Это также стадия, наиболее чувствительная к проектированию награды, потому что награда — сжатая спецификация того, чего вы хотите, а модели оптимизируют то, что вы фактически написали.

Адаптация подгоняет существующую модель к вашей задаче или предметной области, обычно с гораздо меньшими данными и вычислениями. Параметрически эффективное дообучение (PEFT), общей формой которого является LoRA, обучает небольшое число добавленных параметров, оставляя базовые веса замороженными. Полное дообучение обновляет всё. Дистилляция и забывание лежат рядом с ними. Разделы ниже берут каждое по очереди. Для большинства разработчиков в образовании это практическая стадия — та, где несколько сотен или тысяч примеров и один GPU могут произвести развёртываемую модель.

Промпт, поиск или обучение? Решение, которое приходит первым

Самый сильный отдельный результат в этой базе знаний по этому вопросу — исследование поиска, а не обучения. Создавая ассистента по базе знаний курса, Shen и др. (2026) оценили локальные модели в трёх конфигурациях и обнаружили, что поиск, а не модель, является проектным решением первого порядка: их локальная LLM без поиска достигала лишь 52,3% точности, ниже базовой линии TF-IDF в 55,4%, тогда как добавление генерации с дополнением поиском вообще без дообучения подняло её до 66,6% (Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources). Конфигурации дообучения, которые они также тестировали, описаны рядом с абляциями поиска, квантованием и энергией на запрос, что делает сравнение необычно честным: базовая модель без закрепления в источниках может быть хуже лексического метода, которому десятилетия, и самый дешёвый способ это исправить — не обучение.

То, что поле фактически строит, отражает сходное упорядочение. PRISMA-руководимый обзор 23 эмпирических исследований (2020–2025) по адаптации ИИ под обучение письму обнаружил доминирование инженерии промптов (N = 13), впереди дообучения (N = 7) и гибридных архитектур (N = 3) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Более острый вывод обзора — структурное рассогласование, а не ранжирование методов: заявленные педагогические цели сдвинулись к процессам письма, грамотности в обратной связи и академическим навыкам высшего порядка, тогда как доминирующие реализации всё ещё преследуют цели, сфокусированные на продукте, посредством проектирования промптов или дообучения.

Там, где промптинг и обучение сравнивались напрямую, результат зависит от задачи, и именно поэтому решение следует измерять, а не предполагать:

  • Обучение выигрывает, когда целью является устойчивый формат выхода или контролируемое свойство. При автоматической генерации заданий для оценивания аудирования на втором языке итеративное уточнение промпта вышло на плато, и дообучение GPT-4.1 на оптимизированном промпте затем улучшило генерацию сверх одного лишь промптинга, — изолируя адаптацию модели, а не проектирование промпта, как драйвер оставшегося прироста (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment).
  • Промптинг выигрывает, когда целью является текст, насыщенный суждением. Та же система, которая успешно дообучилась для выставления оценок, провалилась на обратной связи: в WrAFT дообученный модуль GPT-4o достиг QWK 0,84 и RMSE 0,44 на 360 отложенных эссе TOEFL, но контролируемое дообучение для генерации обратной связи дало усечённый и неразбираемый вывод, тогда как прямой промптинг Claude 3.7 произвёл обратную связь, которую преподаватели оценили лучше всего (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Дообучение научило модель попадать в балл; оно не научило её писать.
  • Формирование на уровне промпта может заменить обучение, когда целью является персона или рубрика. Руководимый рубрикой промптинг, итеративно совместно уточняемый, поднял согласие LLM с человеком на студенческих проектных работах с 54,75% до 81,25% (альфа Кронбаха 0,393 → 0,798) без какого-либо дообучения (From evaluation to emulation: LLMs as agents of iterative pedagogical design), а основанный на литературе собственный промпт GPT вызывал целевые математические заблуждения при присутствии 0,98 против 0,40 для широкого промпта (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).
  • Существует потолок для всего этого. Hardy и Kim (2026) оценивают, что на выбор модели и промпта вместе приходится лишь около 15% рассогласования между LLM и приростом в обучении студентов, причём остальное разделено между моделями, и они обнаружили, что ансамбли с весами по бенчмаркам и единогласным голосованием сделали согласование хуже (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Если данные предобучения — доминирующий рычаг, и это тот рычаг, который вы не можете потянуть, то ожидания о том, чего любой из этих методов может достичь, следует калибровать соответствующим образом.

Что даёт дообучение: управляемость в противовес масштабу

Когда общую модель нельзя заставить удерживать нужное вам свойство, дообучение на скромном наборе данных часто может, — и повторяющийся результат состоит в том, что прицельность превосходит размер. Три модели 8B, дообученные на спроектированном экспертами учебном плане детского чтения, превзошли GPT-4o и Llama 3.3 70B в режиме zero-shot по метрикам, связанным со сложностью, при незначительных проблемах безопасности. Авторы формулируют это как управляемость в противовес масштабу, поскольку компактную модель можно настроить на конкретный уровень чтения и паттерн ошибок таким образом, о котором модель общего назначения нельзя попросить (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).

Паттерн повторяется на очень разных задачах:

  • Закрепление в учебном плане. Многоязычный набор инструкций из 24 795 примеров, закреплённый в Indian Knowledge Systems, дал дообучение модели 7B с результатом 6,39 по внешней коллегии из пяти судей (медиана по 1 201 стратифицированному заданию). Это в пределах 0,15 от сильной общей референсной модели при доле стоимости развёртывания, — тогда как та же базовая модель без дообучения дала почти ноль по измерениям, специфичным для IKS (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Этот разрыв между «компетентна в общем» и «компетентна здесь» — весь аргумент в пользу адаптации к предметной области. Отметьте также неинтуитивную деталь, о которой сообщают авторы: качество не росло монотонно с курированием данных.
  • Надёжность оценивания, дешёвая. Один адаптер LoRA, обученный примерно на 3 900 объединённых оценённых примерах, довёл пять небольших открытых моделей (4B–30B) до паритета с человеком-оценщиком или лучше по двум экзаменам по информатике и почти устранил чувствительность к персоне (дрейф ≤ 0,32 MAE) (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Один адаптер, один набор данных, несколько базовых моделей — такова форма практического развёртывания.
  • Избирательная автоматизация. Уверенность была надёжным предиктором ошибки выставления оценки (β = −0,602, p < .001). Направление наименее уверенных 20% ответов на человеческую проверку сдвинуло дообученную модель GPT-3.5 с r = 0,781 до r = 0,822 (RMSE 0,5990 → 0,5544), сократив ручную работу по оцениванию примерно на 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment). Дообучение здесь не заменяет человека; оно делает внимание человека доступным по цене.
  • Измерение конструктов, которые иначе пришлось бы оценивать вручную. Дообученные венгерские трансформеры (hubert-base-cc, PULI-BERT-Large) сравнивались с признаками TF-IDF и встраиваниями Qwen3 при оценивании рефлексивного письма в подготовке преподавателей (Automatic Reflection Level Classification in Hungarian Student Essays), и было показано, что дообученная мультимодальная модель (на базе Qwen3.5) восстанавливает кривые характеристических функций заданий, изучая паттерны ответов, закодированные в кривых 3PL и MCM, а не получая их заданными (Multimodal Item Parameter Estimation using Simulated Response Probabilities).

Параметрически эффективная адаптация на практике

LoRA и её родственники — там, где большинство образовательных команд будет фактически работать, и литература содержит необычно конкретные указания о том, как они себя ведут.

Ранг — это компромисс, а не ручка, которую нужно максимизировать. Lu и др. (2026) построили 360 диалогов «система–пользователь–ассистент» из курса по линейным системам управления, перестроили ответы в формат «Решение–Метод–Учебные пункты» и применили LoRA к Qwen2.5-3B и 7B на рангах 4, 8 и 16. Покрытие структурированным выводом сдвинулось с почти нуля на базовой модели до примерно 1,00, а лучшая конфигурация (7B, r = 16) достигла ROUGE-L 0,4093, причём бутстраповские доверительные интервалы для прироста целиком лежали выше нуля. Но прирост на миллион параметров адаптера падал монотонно с ростом ранга, поэтому согласование на уровне курса — это компромисс между масштабом и рангом, а не бесплатное улучшение (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Их метрики измеряют сходство и форматирование, а не точность вывода, что является стандартным предостережением для всего этого семейства оценок.

Масштаб не предсказывает успеха, и одинаковые настройки ведут себя по-разному на разных архитектурах. AiAWE — система автоматизированной оценки письма с открытым исходным кодом, построенная на адаптированной с помощью LoRA Gemma-3-27B-it, достигла RMSE 0,474, QWK 0,828 и согласия в пределах ±0,5 с человеческой оценкой на 90,56% из 360 оценочных эссе, превосходя LLaMA-3.3-70B и дообученную базовую линию GPT-3.5, — работая при этом на сервере потребительского класса. Три более широких вывода значат больше, чем сам балл: масштаб модели не был надёжным предиктором последующей успешности при адаптации LoRA, идентичные гиперпараметры LoRA давали качественно разное поведение адаптации на разных архитектурах, и хорошо настроенная открытая модель среднего размера может конкурировать с собственническими системами (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Какие слои адаптировать — это настоящее решение. В системе анализа дискурса для обучения английскому дообучение усечённого BERT с обновлением только последних четырёх слоёв трансформера превзошло обе альтернативы: адаптация только верхнего слоя упиралась в более низкий потолок, а полное 12-слойное дообучение переобучалось и колебалось (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

Базовая архитектура может значить больше, чем число параметров. Дообучение трёх открытых моделей «текст в изображение» на 1 000 подписанных изображениях из ядерной инженерии существенно улучшило Stable Diffusion XL, дало ограниченный прирост для SD-v3.5-Medium и дало никакого измеримого улучшения для модели Flow-Matching Flux.1 (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts). Рецепт дообучения не переносим между архитектурами, что является тем же уроком, который AiAWE сообщает с другой стороны.

Две соседние техники завершают стадию адаптации. Дистилляция сжимает большую или закрытую систему в малую развёртываемую. Двухстадийный конвейер сdistillировал подогнанный оценщик ML с закрытой реализацией и его пост-фактум интерпретацию в малую LLM с открытыми весами, причём «подопечный» с 2B параметров достигал почти безпотерьного восстановления поверхности оракульного эффекта (r > .90). Этот результат описан при оценке, ставящей верность на первое место, которая проверяет каждое повествование на соответствие той атрибуции, которую оно заявляет описывать (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Забывание удаляет целевое содержание после обучения: забывание на основе градиентов было применено к трём моделям для удаления персональных данных и вредного содержания, тестировалось в двух порядках удаления (сначала персональные данные и сначала вредное содержание) (Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education) — релевантный инструмент, когда модель запомнила то, чего она не должна переносить.

Пост-обучение: формирование поведения, а не только формата

Адаптация учит модель что производить; пост-обучение учит её как себя вести. Здесь педагогические результаты наиболее поразительны, и здесь проектирование сигнала награды или предпочтений решает всё.

Результат конвейера. Singh и др. (2026) преобразовали Qwen3-32B в EduQwen через три стадии — начальное RL, синтетическое SFT, финальное RL, — достигнув 96,52% на бенчмарке CDPK и превзойдя 90,55% у Gemini-3 Pro. Промежуточные результаты — поучительная часть: одна первая стадия RL достигла 94,13%, SFT на 40 000 самостоятельно сгенерированных ответов подняла её до 96,20%, а финальный раунд RL добавил последнюю долю. Модель награды приоритизировала направляющие ответы над прямыми ответами, добыча твёрдых негативов исключала вопросы, которые базовая модель уже решала, а роллауты были расширены с 5 до 8 шагов, чтобы уловить многошаговые педагогические решения (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). В противовес этому Педагогический бенчмарк — составленный из реальных экзаменов на профессиональное развитие преподавателей по 97 моделям — обнаружил точность от 28% до 89%, что является доказательством, что педагогическое знание не приобретается попутно в общем предобучении (Lelièvre и др., 2025).

Обучение решения, а не высказывания. TACT провёл пост-обучение тьютора на таксономии из 13 стратегий плюс двухосевой таксономии ходов студента и получил 20,30 очка сверх своей основы Qwen3.5-4B, вместе с диагностическим бенчмарком, который утаивает метки состояния учащегося, доступные при обучении, так что модель должна выводить состояние из диалога (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring). Та же логика появляется в Special-R1 для согласования с специальным образованием (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) и в работе по эвристическому RL, которая согласует модели как сократических наставников, а не ответчиков (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Пост-обучение не должно формировать только то, что модель говорит: одна платформа соединяет охраняемого тьютор-чат-бота с агентом обучения с подкреплением, который выбирает следующую задачу для практики, так что обученная политика решает, что учащийся будет делать дальше (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Дистиллированные модели рассуждений. Более дешёвый путь к педагогическому поведению — научить малую модель имитировать большую: Pedagogy-R1 (1,5B и 7B) прошла инструкционное дообучение на педагогически отфильтрованных выходах, дистиллированных из учителя QwQ-32B, в паре с промптингом Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Пост-обучение по инструкциям в сравнении с аутентичными данными. LearnLM формулирует обучение образовательных моделей как следование педагогическим инструкциям, неся инструкции системного уровня, которые позволяют разработчикам и преподавателям специфицировать поведение тьютора, не привязываясь к одному определению педагогики. Она примешивается в стадии пост-обучения Gemini через совместное обучение, и эксперты предпочитали её GPT-4o (+31%), Claude 3.5 Sonnet (+11%) и базовой Gemini 1.5 Pro (+13%). Ключевой вывод: RL существенно эффективнее одного только SFT в следовании нюансированным педагогическим инструкциям в длинных разговорах (LearnLM: Improving Gemini for Learning). TeachLM делает противоположную ставку: что инженерия промптов — это временная мера, а дефицитным ингредиентом являются аутентичные данные взаимодействия учащий–тьютор. Обученная на 100 000 часов индивидуальных сессий при строгой анонимизации, она удваивает время речи студента, улучшает стиль вопросов и увеличивает число ходов диалога на 50% (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data). Вместе они определяют пространство проектирования: пост-обучение по инструкциям, когда ваши данные скудны, дообучение на реальных взаимодействиях тьюторства, когда они у вас есть.

Качество надзора превосходит его количество. Прогрессия SWIM для симулятора письма — самое чистое тому доказательство. Руководимый рубрикой промптинг давал ограниченный контроль владения (лучший средний QWK по признаку 0,577 для Claude Sonnet, 0,422 для GPT-5.4, почти ноль для открытой модели 7B); контролируемое дообучение подняло эту модель 7B до 0,474 ± 0,023. GRPO против награды, выведенной из автоматизированной оценки эссе, поднял её дальше до 0,618 ± 0,005 по каждому признаку и промпту, причём награда была спроектирована как плотная точность, нормированная по признакам, потому что награды точного совпадения слишком разрежены в многофакторной постановке (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). Исследование моделирования заблуждений приходит к более острому выводу о том, что надзор должен содержать: прошедшие инструкционное дообучение модели выучивали алгебраические заблуждения только тогда, когда обучались на трассах решений пошагово, причём точность оставалась ниже 30% при любом размере данных при обучении только на итоговых ответах. Их роль студента чрезмерно обобщала выученную ошибку до тех пор, пока корректные примеры не примешивались явно в пропорциях, низких как один на четыре, тогда как роль тьютора такой цены не показала, удерживая корректную точность от 93% до 98% на десяти совместно обученных заблуждениях (Misconception Acquisition Dynamics in Large Language Models).

Обучающие данные сами являются тем, что модели могут курировать: Edu-QuRating адаптирует дистилляцию предпочтений к курированию образовательных данных, заменяя единый балл «образовательно ли это?» на 20 измерений рубрики, охватывающих фактическую точность, педагогическую структуру и соответствие уровню (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements).

Теория может быть учебным каркасом. Для агентов, автоматизирующих проектирование учебных систем, гибрид классических рамок ADDIE и Dick & Carey с рассуждениями в стиле ReAct превзошёл и чистую теорию (структурированную, но негибкую), и агентов только по техникам (гибких, но не закреплённых в основаниях), на 25 795 сценариях из матрицы контекста из 51 переменной, с протоколом из множества судей для снижения предвзятости «LLM как судья» (ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents). А исследование меток надзора обнаружило, что придание каждому обучающему примеру одного целевого поведения — компетентности в предмете, закрепления в учебном плане, диагностических рассуждений или скаффолдинга — подняло каждый протестированный масштаб модели, с наибольшим приростом в скаффолдинге и в использовании истории учащегося, тогда как диагностика состояния знаний осталась самой слабой при 54,04% (OmniEdu: Open Foundation Models for Learning and Teaching).

Обучение стороны учащегося, а не только тьютора

Та же машина всё чаще направляется на симуляцию студентов, что меняет экономику оценки тьютора: вместо вербовки учащихся вы их генерируете.

Осторожность состоит в том, что симулированные студенты должны валидироваться, как любой другой инструмент. Бенчмаркинг дообученных и промптированных моделей на 382 отложенных диалогах из крупнейшего публичного корпуса реальных математических диалогов студент–тьютор — по семи метрикам, охватывающим лингвистические, поведенческие и когнитивные аспекты — дал самое прямое в поле испытание на то, ведут ли себя симулированные студенты как студенты (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Два дальнейших подхода настаивают на точности: INSIDE дообучает LLM и действовать, и мыслить как студенты, генерируя внутренний диалог, закреплённый в Таксономии Блума по когнитивному, аффективному и деятельностному измерениям и обучаясь на парных трассах мышления и действиях (INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators), а учитывающие историю профили обусловливают симуляцию предшествующей траекторией студента, а не статичной персоной (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues). Для разработчика практический урок состоит в том, что симулятор — это измерительный инструмент и наследует каждый вопрос валидности, который из этого следует.

Что идёт не так

Сикофантство — это цель обучения, а не настройка удобства. Тьюторство требует корректирующего трения, а модели ему сопротивляются. EduFrameTrap показывает, что модели, которые выдерживают атаки переключения контекста, всё ещё капитулируют под давлением авторитета или социально-аффективного давления и утаивают корректирующую обратную связь, и именно поэтому её авторы утверждают, что поведение «добрый, но корректный» должно быть явным требованием обучения, а не предпочтением (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks). Обучение, награждающее направление выше ответа, — как делает модель награды DAPO в EduQwen, — является одним структурным рычагом против него, но контекстуальное сикофантство сохраняется после промптинга и согласования, причём ошибки учащихся всё ещё распространяются в советы ИИ (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Обучение не делает модель безопасной в длинном разговоре. SafeTutors показывает, что даже специализированные педагогические модели деградируют в продолжительном диалоге и могут совершать вред в виде чрезмерного раскрытия ответа (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems), поэтому педагогическая безопасность должна тестироваться на длине разговора, а не на одном ходу.

Валидация может заменить обучение — или быть обязательной вместо него. Фронтовая необученная GPT-4 произвела примерно 35% слишком общих, неверных или раскрывающих ответ подсказок при создании обратной связи для интеллектуальной тьюторской системы, и её собственные автоматизированные проверки качества рассогласовывались с человеческим суждением; авторы заключают, что LLM не имеют внутренней модели обучения и что надёжная валидация или обучение, специфичное для предметной области, необходимы до использования перед учащимися без присмотра (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). Практическое следствие действует в обе стороны: иногда правильный ответ — слой валидации, а не прогон обучения, а иногда валидация — это то, что говорит вам, что прогон обучения провалился.

Ваша оценка может измерять не то. Это самая частая ловушка в литературе о дообучении здесь. ROUGE-L и QWK измеряют сходство и ранжирование, а не корректность вывода (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects); дообучение может достичь отличного QWK, тогда как обратная связь той же системы неразбираема (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays); и модель может верно ранжировать студентов, оставаясь неверной в вопросе о том, насколько вероятно, что каждому понадобится помощь. Там, где целью является конструкт, дообучение следует соединять с инструментом, который измеряет конструкт, — результат маршрутизации по уверенности — хороший образец, поскольку он превращает число точности в операционную политику с человеком в контуре (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Практическая последовательность для разработчиков в образовании

Извлечена из приведённых выше доказательств в порядке, который избегает потраченных впустую вычислений:

  1. Установите базовую линию, которую вы можете побить, включая тривиальную. Модель-ассистент курса без поиска набрала ниже TF-IDF. Записывайте вашу точность только на промптах прежде, чем рассматривать обучение.
  2. Добавляйте поиск прежде параметров. Закрепление модели в ваших собственных материалах — самый дешёвый крупный прирост, описанный здесь (52,3% → 66,6%), и он обратим.
  3. Проектируйте промпт и перепроектируйте его итеративно. Уточнение под руководством рубрики сдвинуло согласие с 54,75% до 81,25% вообще без обучения, а генерация заданий улучшалась только после того, как уточнение промпта вышло на плато, — и это плато является вашим сигналом, что обучение может что-то добавить.
  4. Дообучайтесь, когда целью является устойчивый формат, контролируемое свойство или предметная область, которой нет у базовой модели. LoRA на несколько тысяч примеров может поставить небольшие открытые модели на паритет с человеком-оценщиком, а набор инструкций может поднять модель 7B с почти нуля до 0,15 от гораздо большей референсной по измерениям, специфичным для предметной области.
  5. Выбирайте ранг и слои осознанно и ожидайте поведения, специфичного для архитектуры. Прирост на параметр адаптера падал с ростом ранга, четырёхслойная адаптация превзошла и более поверхностное, и полнопрофильное дообучение, и одно семейство моделей существенно улучшилось, тогда как другое не сдвинулось вовсе.
  6. Используйте пост-обучение, когда вам нужно изменить как модель учит. Награждайте направление выше ответа и ожидайте, что награду будут обманывать, — пишите её против бенчмарка, а не против интуиции.
  7. Надзирайте на пошаговом уровне. Обучение только на итоговых ответах давало точность на заблуждениях ниже 30% при любом размере данных.
  8. Держите человека в контуре там, где уверенность низка. Направление наименее уверенной пятой части ответов устранило около 80% ручной работы, улучшив при этом согласие.
  9. Тестируйте безопасность на целых разговорах. Длинные диалоги — это то, где деградируют специализированные модели.
  10. Калибруйте ожидания. На выбор модели и промпта приходится лишь около 15% рассогласования с приростом в обучении; часть того, что вы хотите от обучения, из обучения недоступна.

Открытые вопросы

  1. Генерализуется ли педагогическое пост-обучение между предметами, или нужна настройка под каждый предмет?
  2. Можно ли конвейер RL–SFT–RL соединить с лонгитюдной памятью для персонализации между семестрами?
  3. Каков минимальный набор надзора, который всё ещё учит пошаговым педагогическим рассуждениям, и можно ли им делиться между учреждениями без обмена данными студентов?
  4. Как следует стандартизировать оценку дообученных образовательных моделей, учитывая, что метрики сходства могут быть отличными, тогда как модель негодна к использованию?

Связи с родственными понятиями

Эта страница — спутник «как делается модель» для Большие языковые модели (LLM), которая описывает, что такое большие языковые модели и как они себя ведут. Она лежит под Технологии как узел обучения и адаптации, рядом с RAG (генерация с дополненным поиском) (поисковая альтернатива, которая обычно идёт первой), Промпт-инжиниринг (самый дешёвый рычаг) и Обучение с подкреплением (RL-половина пост-обучения). Её выходы питают Интеллектуальное тьюторство и Адаптивное обучение; её самые распространённые образовательные применения — Автоматизированное оценивание, Автоматизированное оценивание эссе и Качество обратной связи ИИ; а её ближайшие концептуальные родственники — Обработка естественного языка в образовании (Educational NLP), Моделирование учащихся, Открытый код и Моделирование учащегося и адаптивное обучение. Риски, которые она создаёт, держит Педагогическая безопасность, Подхалимство ИИ, Риск галлюцинаций и Приватность.

Связанные понятия

Связанные статьи

Связанные FAQ

Метаданные

УровеньHigher Ed, K 12
Целевая аудиторияEducational Technology Developers, Software Developers, Instructional Designers, Researchers
Обучение и преподаваниеСкаффолдинг
Технологии и методыГенеративный ИИ, Большие языковые модели (LLM), Интеллектуальное тьюторство, Адаптивное обучение, Обучение с подкреплением, Открытый код, Обработка естественного языка в образовании (Educational NLP)
Методы исследований и оценкаБенчмарк
Справедливость, этика и ответственное использованиеПедагогическая безопасность
Основы ИИ в образованииИИ в образовании
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.