Обучение с подкреплением

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Обучение с подкреплением обучает ИИ-тьюторов и агентов с помощью сигналов вознаграждения: Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training, Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning, Pedagogical Safety in Educational Reinforcement Learning и AI Coaching for Accelerating Human Skill Development with Reinforcement Learning согласуют RL с педагогическими целями, включая безопасность и перенос навыков (Интеллектуальное тьюторство, Агентный ИИ).

Вопросы для размышления

• RL-тьютор «учится» тому, что делать, максимизируя сигнал вознаграждения. Прежде чем читать дальше: что может быть не так с ИИ, который оптимизируется под вознаграждение — особенно если вознаграждение — это что-то вроде «студент нажал продолжить» или «верный ответ сейчас»?
• На странице отмечается, что дизайн вознаграждения кодирует образовательные ценности. Если бы вам нужно было определить вознаграждение, которое должен максимизировать ИИ-тьютор, что бы вы в него вложили — и что ваше вознаграждение случайно проигнорировало бы или поощряло бы неверно?
• RL обучает агентов выстраивать длинные последовательности решений (какую подсказку дать, когда повышать сложность, как задавать темп), а не отдельные ответы. Чем это отличается от правильности «от момента к моменту», которую можно было бы наивно вознаграждать, — и почему эта разница важна для обучения?
• Ограничения безопасности могут быть интегрированы в RL так, чтобы оптимизация вознаграждения не достигалась за счёт благополучия учащегося. Подумайте о «полезном» поведении, которое мог бы проявлять максимизирующий вознаграждение тьютор и которое на самом деле было бы педагогически вредным (например, раздачу ответов ради завышения процента завершения). Где бы вы провели границу безопасности?
• Оптимизация вознаграждения может сохранять или разрушать продуктивную трудность — в зависимости от дизайна. По вашему опыту, «студент выполнил задание» — это то же самое, что «студент научился»? Где вы видели ИИ, оптимизированный под первое и подрывающий второе?

Введение

Как работает обучение с подкреплением в AIED

Обучение с подкреплением (RL) обучает агента, вознаграждая желаемое поведение — агент вырабатывает политику, максимизирующую кумулятивное вознаграждение методом проб и ошибок. В AIED RL используется для обучения тьютор-агентов и учебных компаньонов, которые должны выстраивать последовательности решений (какую подсказку дать, когда повышать сложность, как задавать темп практики), а не выдавать отдельные ответы. Именно поэтому RL хорошо подходит для Адаптивное обучение и Интеллектуальное тьюторство, где важны долгосрочные педагогические решения.

Применения, описанные в базе знаний

• RL, согласованный с педагогикой. EduQwen использует конвейер RL-SFT-RL для обучения модели, которая направляет, а не отвечает, согласуя вознаграждение с педагогическими целями; Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training применяет RL к дизайну тьюторов для Специальное образование.
• RL превосходит дообучение с учителем в следовании педагогическим инструкциям. Обучение LearnLM показало, что основанное на предпочтениях RL значительно эффективнее одного лишь SFT, потому что суждения о предпочтениях улавливают контекстно-зависимые различия в длинных диалогах, которые размеченные инструкциями обучающие данные охватывают лишь частично (Команда LearnLM (2025)).
• Безопасность и перенос навыков. Pedagogical Safety in Educational Reinforcement Learning интегрирует ограничения безопасности в тьюторство на основе RL, чтобы оптимизация вознаграждения не достигалась за счёт благополучия учащегося; AI Coaching for Accelerating Human Skill Development with Reinforcement Learning показывает коучинг на основе RL, поддерживающий подлинное развитие и перенос навыков.
• То, что вознаграждение оставляет за бортом, определяет, кому достаётся польза. Tithi et al. (2026) обнаружили, что тьютор на глубоком RL, вознаграждаемый за тестовый балл и временную эффективность, соответствовал эвристике BKT на посттесте (A = .58 у каждого, против 65.7), но назначал лишь 4% учебных задач на конструктивное разбор ошибок на примерах и отдавал предпочтение студентам с высокими предварительными знаниями.
• Симуляция и практика. Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues и Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis используют RL и моделируемых учащихся для обучения и оценивания педагогических агентов, связывая RL с Моделирование учащегося и адаптивное обучение и Аналитика обучения.
• RL с долгим горизонтом и приоритетом безопасности. ResidencyRL (Liévin et al., 2026) оптимизирует целые клинические встречи из 60 ходов — значительно за пределами горизонтов ≤12 ходов у современных диалоговых систем, — а обучение на противоборстве с моделируемыми пациентами и вознаграждением, согласованным с безопасностью, повысило точность диагностики на 7.0% и снизило долю пропущенных тревожных признаков примерно на треть.

Доказательная база по отрасли

Систематический обзор RL в образовании, выполненный по стандарту PRISMA (Riedmann, Schaper & Lugrin, 2025), синтезировал 89 исследований (2000–2024) и выявил резкий рост после 2016 года применений Адаптивное обучение и тьюторства, сосредоточенных в STEM (особенно в Преподавание математики). В нём сообщается, что преобладало RL без моделей (n = 72), причём наиболее распространённым алгоритмом был Q-learning, однако классическое RL последовательно эффективнее, чем глубокое RL (61% против 36% работ, показывающих значимое превосходство); что адаптация разделилась на механизмы планирования содержания (n = 53) и связанные с наставничеством (n = 36), причём RL чаще превосходило базовые уровни именно в наставничестве; и что прирост в обучении — особенно нормализованный прирост — был наиболее эффективным источником вознаграждения. Обзор также предупреждает, что более половины исследований (n = 54) обходились без статистической проверки, так что рост области опередил её методологическую строгость.

Связь с базой знаний

RL лежит в основе большей части современного дизайна Агентный ИИ и Интеллектуальное тьюторство, где агент должен оптимизировать долгосрочное обучение, а не отдельный верный ответ. Она связана с Обучение и дообучение LLM (RL как метод обучения), Скаффолдинг (дизайн вознаграждения, сохраняющий продуктивную трудность) и Саморегулируемое обучение (агенты, помогающие учащимся регулировать собственную стратегию). Поскольку дизайн вознаграждения кодирует образовательные ценности, исследования RL в AIED тесно связаны с Педагогическая безопасность и с вопросами справедливости в справедливом поведении тьюторов.

Связанные концепции

• Интеллектуальное тьюторство
• Опыт студентов
• STEM-образование
• Саморегулируемое обучение
• Скаффолдинг
• Активное обучение
• Edtech-платформа
• Высшее образование
• Аналитика обучения
• Открытый код
• Педагогическая безопасность
• Обучение и дообучение LLM
• Технологии — Обобщающая: технологии и методы ИИ (модели, обучение LLM, робототехника, RAG, агентность)

Связанные статьи

• Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues
• Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis
• Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments
• LearnLM: Improving Gemini for Learning — LearnLM: RLHF для следования педагогическим инструкциям
• Adaptive Scaffolding for Cognitive Engagement in an Intelligent Tutoring System — Адаптивный скаффолдинг ICAP в ITS (BKT против DRL)
• Reinforcement Learning in Education: A Systematic Literature Review