Aprendizagem por reforço

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

A aprendizagem por reforço treina tutores e agentes de IA por meio de sinais de recompensa: Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training, Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning, Pedagogical Safety in Educational Reinforcement Learning e AI Coaching for Accelerating Human Skill Development with Reinforcement Learning alinham o RL com objetivos pedagógicos, incluindo segurança e transferência de competências (Tutoria inteligente, IA agêntica).

Perguntas para considerar

• Um tutor de RL "aprende" o que fazer maximizando um sinal de recompensa. Antes de ler, o que poderia haver de errado com uma IA que otimiza por uma recompensa — especificamente se a recompensa for algo como "estudante clica em continuar" ou "resposta correta agora"?
• A página observa que o design da recompensa codifica valores educacionais. Se você tivesse que especificar a recompensa que um tutor de IA deveria maximizar, o que você colocaria nela — e o que a sua recompensa ignoraria ou recompensaria por acidente de forma incorreta?
• O RL treina agentes a tomar sequências de decisões de longo horizonte (que dica dar, quando avançar a dificuldade, como ritmar) em vez de respostas únicas. Como isso difere da correção momento a momento que você poderia ingenuamente recompensar — e por que a diferença importa para a aprendizagem?
• Restrições de segurança podem ser integradas ao RL para que a otimização da recompensa não venha ao custo do bem-estar de quem aprende. Pense em um comportamento "prestativo" que um tutor otimizado por recompensa poderia exibir e que seria de fato pedagogicamente danoso (por exemplo, entregar as respostas para inflar a conclusão). Onde passaria a sua linha de segurança?
• A otimização por recompensa pode preservar ou destruir a luta produtiva, dependendo do design. Pela sua experiência, "estudante conclui a tarefa" é o mesmo que "estudante aprende"? Onde você já viu uma IA otimizada para o primeiro ao mesmo tempo que minava o segundo?

Introdução

Como a aprendizagem por reforço funciona na IAED

A aprendizagem por reforço (RL) treina um agente recompensando o comportamento desejado — o agente aprende uma política que maximiza a recompensa acumulada por tentativa e erro. Na IA na educação, o RL é usado para treinar agentes tutores e companheiros de aprendizagem que precisam tomar sequências de decisões (que dica dar, quando avançar a dificuldade, como ritmar a prática) em vez de respostas únicas. Isso torna o RL bem adequado à aprendizagem adaptativa e à tutoria inteligente, onde decisões pedagógicas de longo horizonte importam.

Aplicações documentadas na base de conhecimento

• RL pedagogicamente alinhado. O EduQwen usa um pipeline RL-SFT-RL para treinar um modelo que guia em vez de responder, alinhando a recompensa com objetivos pedagógicos; o Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training aplica RL ao design de tutores para educação especial.

• RL supera o ajuste supervisionado em seguir instruções pedagógicas. O treinamento do LearnLM concluiu que o RL baseado em preferências foi significativamente mais eficaz que o SFT isolado, porque julgamentos de preferência capturam distinções dependentes de contexto ao longo de conversas longas que dados supervisionados rotulados por instrução só tratam parcialmente (LearnLM Team (2025)).

• Segurança e transferência de competências. O Pedagogical Safety in Educational Reinforcement Learning integra restrições de segurança à tutoria baseada em RL para que a otimização da recompensa não venha ao custo do bem-estar de quem aprende; o AI Coaching for Accelerating Human Skill Development with Reinforcement Learning mostra coaching orientado por RL que apoia o desenvolvimento e a transferência genuínos de competências.

• O que uma recompensa deixa de fora molda quem se beneficia. Tithi et al. (2026) concluíram que um tutor de RL profundo recompensado por nota de teste e eficiência de tempo igualou uma heurística BKT no pós-teste (A = 0,58 cada, contra 65,7), mas atribuiu apenas 4% dos problemas de treino a reparo construtivo por exemplos errôneos e favoreceu estudantes com alto conhecimento prévio.

• Simulação e prática. O Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues e o Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis usam RL e estudantes simulados para treinar e avaliar agentes pedagógicos, conectando o RL à modelagem de estudantes e à análise de aprendizagem.

• RL de longo horizonte ponderado por segurança. O ResidencyRL (Liévin et al., 2026) otimiza encontros clínicos completos de 60 turnos — muito além dos horizontes de ≤12 turnos dos sistemas de diálogo contemporâneos — e o treinamento contra pacientes simulados adversariais com uma recompensa alinhada à segurança elevou a acurácia diagnóstica em 7,0% e reduziu as taxas de sinal de alerta perdido em cerca de um terço.

Evidência do campo

Uma revisão sistemática do RL na educação (Riedmann, Schaper e Lugrin, 2025) no padrão PRISMA sintetizou 89 estudos (2000–2024), concluindo por um crescimento acentuado após 2016 nas aplicações de aprendizagem adaptativa e tutoria concentradas em STEM (especialmente educação em matemática). Ela relata que o RL livre de modelo dominou (n = 72), com o Q-learning sendo o algoritmo mais comum, mas que o RL clássico foi mais consistentemente eficaz que o RL profundo (61% contra 36% dos trabalhos mostrando superioridade significativa); que a adaptação se dividiu em mecanismos de agendamento de conteúdo (n = 53) e de orientação (n = 36), com o RL superando as linhas de base com mais frequência na orientação; e que o ganho de aprendizagem — especialmente o ganho de aprendizagem normalizado — foi a fonte de recompensa mais eficaz. A revisão também alerta que mais da metade dos estudos (n = 54) não fez teste estatístico, de modo que o crescimento do campo superou seu rigor metodológico.

Conexão com a base de conhecimento

O RL sustenta muito do design moderno de IA agêntica e tutoria inteligente, onde o agente precisa otimizar a aprendizagem de longo prazo em vez de uma única resposta correta. Ele se conecta ao treinamento e ajuste de LLMs (o RL como método de treinamento), ao andaime (design de recompensa que preserva a luta produtiva) e à aprendizagem autorregulada (agentes que ajudam quem aprende a regular sua própria estratégia). Como o design da recompensa codifica valores educacionais, a pesquisa em RL na IAED está fortemente ligada à segurança pedagógica e às considerações de equidade do comportamento equitativo do tutor.

Conceitos conectados

• Tutoria inteligente
• Experiência dos estudantes
• Educação em STEM
• Aprendizagem autorregulada
• Andaime (Scaffolding)
• Aprendizagem ativa
• Plataforma Edtech
• Ensino superior
• Analítica de aprendizagem
• Código aberto
• Segurança pedagógica
• Treinamento e ajuste fino de LLM
• Tecnologias — Guarda-chuva: tecnologias e técnicas de IA (modelos, treinamento de LLM, robótica, RAG, agentes)

Artigos conectados

• Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues
• Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis
• Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments
• LearnLM: Improving Gemini for Learning — LearnLM: RLHF para seguir instruções pedagógicas
• Adaptive Scaffolding for Cognitive Engagement in an Intelligent Tutoring System — Andaimes ICAP adaptativos em um ITS (BKT vs DRL)
• Reinforcement Learning in Education: A Systematic Literature Review