Como treinamos um tutor de IA para orientar os estudantes em vez de lhes responder?

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Um modelo de propósito geral é pós-treinado na preferência humana por prestatividade, e, na prática, prestatividade significa responder à pergunta pronta e completamente. A tutoria exige o oposto: ajudar um estudante a chegar à resposta, em vez de entregá-la. Este é o único lugar na IA educacional em que você pode genuinamente precisar mudar o comportamento aprendido do modelo, e não o seu prompt, e é também a parte mais bem evidenciada do campo. Os resultados são grandes, e a variável decisiva é a recompensa, não o algoritmo.

Por que o prompting pode não bastar aqui

O prompting e mesmo o treinamento geral de alinhamento deixam uma atração em direção à concordância. A bajulação contextual persiste depois do prompting e do alinhamento, com os erros de quem aprende ainda se propagando para os conselhos da IA. O EduFrameTrap mostra que modelos que resistem a ataques de troca de contexto ainda capitulam sob pressão de autoridade ou socioafetiva e retêm o feedback corretivo — e é por isso que seus autores argumentam que o comportamento "gentil, mas correto" deveria ser uma exigência explícita de treinamento, e não uma preferência (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks).

Se o modo de falha do seu tutor é concordar com uma resposta errada, fazer-lhe prompt para não concordar é uma mitigação, e não uma correção.

A recompensa é todo o desenho

Uma recompensa é uma especificação comprimida do que você quer, e os modelos otimizam aquilo que você realmente escreveu. Isso torna o desenho da recompensa a decisão de maior alavanca no processo, e é onde o melhor resultado aqui foi conquistado.

O modelo de recompensa do EduQwen priorizou respostas que orientam acima de respostas diretas, com mineração de negativos difíceis para excluir questões que o modelo de base já resolvia, e rollouts estendidos de 5 para 8 passos, de modo que as decisões pedagógicas de múltiplos passos fossem capturadas. Seu pipeline de três estágios — RL inicial, SFT sintético, RL final — alcançou 96,52% no benchmark CDPK, contra os 90,55% do Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning).

Duas coisas se seguem diretamente. Primeiro, espere que a recompensa seja burlada: ela especifica menos do que você quis dizer, então escreva-a contra um benchmark, e não contra uma intuição. Segundo, os números intermediários são instrutivos — o primeiro estágio de RL isolado alcançou 94,13%, o SFT sobre 40.000 respostas autogeradas levou-a a 96,20%, e a rodada final de RL acrescentou a última fração. A maior parte do ganho veio cedo.

O aprendizado por reforço vence a imitação para a pedagogia

Se você faz apenas ajuste fino supervisionado, ensina o modelo a imitar suas demonstrações. Isso basta para o formato e não basta para o julgamento. O achado do LearnLM é explícito: o RL é substancialmente mais eficaz do que o SFT isolado para seguir instruções pedagógicas matizadas em conversas longas (LearnLM: Improving Gemini for Learning).

Seu enquadramento condicionado por instruções também permite que desenvolvedores e professores especifiquem o comportamento do tutor sem se comprometer com uma única definição de pedagogia, e ele é misturado aos estágios de pós-treinamento do Gemini por cotreinamento. Os especialistas o preferiram ao GPT-4o (+31%), ao Claude 3.5 Sonnet (+11%) e ao Gemini 1.5 Pro de base (+13%).

Supervisione o processo, não a resposta

O achado mais acionável nesta área diz respeito a o que os dados de treinamento precisam conter. Modelos ajustados por instrução aprenderam ideias equivocadas de álgebra apenas quando treinados com rastros de solução no nível do passo. Treinados apenas com respostas finais, a precisão ficou abaixo de 30% em todos os tamanhos de dados (Misconception Acquisition Dynamics in Large Language Models).

Dois detalhes adicionais daquele estudo importam para quem constrói qualquer um dos lados de um tutor:

• O papel de estudante generalizou demais o erro aprendido até que exemplos corretos fossem explicitamente misturados em proporções tão baixas quanto um em quatro.
• O papel de tutor não mostrou tal custo, mantendo a precisão correta de 93% a 98% ao longo de dez ideias equivocadas treinadas conjuntamente.

Se você está treinando um tutor para diagnosticar, seus exemplos precisam do raciocínio, e não apenas do veredicto. Um conjunto de dados de pares de pergunta e resposta correta não consegue ensinar um modelo a notar onde um estudante errou.

Faça os dados de treinamento carregarem a pedagogia

Se a supervisão precisa conter raciocínio, o esquema de rotulação é uma decisão de currículo, e não um passo de limpeza de dados. Dois resultados aqui repercutem diretamente nisso.

Rotule cada exemplo com o comportamento que você quer. Um estudo de rótulos de supervisão descobriu que atribuir a cada exemplo de treinamento um comportamento-alvo — competência na disciplina, fundamentação no currículo, raciocínio diagnóstico ou apoio — elevou cada escala de modelo testada, com os maiores ganhos em apoio e no uso do histórico de quem aprende. O diagnóstico de estado de conhecimento permaneceu o comportamento mais fraco em 54,04%, o que é uma expectativa útil de carregar: o diagnóstico é a coisa mais difícil desta lista de ensinar (OmniEdu: Open Foundation Models for Learning and Teaching).

Trate a seleção de dados como um problema de treinamento por direito próprio. O Edu-QuRating adapta a destilação de preferências à curadoria de dados educacionais, substituindo uma única pontuação de "isto é educacional?" por 20 dimensões de rubrica cobrindo precisão factual, estrutura pedagógica e adequação de nível (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements). Se você está montando um corpus a partir de texto da web, esse é o tipo de filtro que decide com que o seu modelo aprende a soar.

A densidade da recompensa importa tanto quanto a recompensa

Uma recompensa de correspondência exata é esparsa demais quando a coisa de que você se importa tem várias dimensões. O simulador de escrita SWIM mostra a progressão de forma limpa:

• Prompting fundamentado em rubrica: melhor QWK médio de traço 0,577 (Claude Sonnet), 0,422 (GPT-5.4), perto de zero para um modelo 7B aberto
• Ajuste fino supervisionado: 0,474 ± 0,023 para aquele modelo 7B
• GRPO com uma recompensa densa e normalizada por traço: 0,618 ± 0,005, em cada traço e prompt (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)

O desenho da recompensa era o ponto: um sinal denso normalizado por traço, e não correspondência exata, porque a correspondência exata é esparsa demais em um contexto de múltiplos traços. Se a sua recompensa dispara apenas em uma resposta perfeita, a maior parte do seu sinal de treinamento é silêncio.

Treine a decisão, não apenas a enunciação

O pós-treinamento não precisa apenas moldar o que o modelo diz. O TACT pós-treinou um tutor com uma taxonomia de 13 estratégias somada a uma taxonomia de dois eixos de movimentos do estudante e ganhou 20,30 pontos sobre sua espinha dorsal Qwen3.5-4B, com um benchmark diagnóstico que retém os rótulos de estado de quem aprende disponíveis durante o treinamento, de modo que o modelo tem de inferir o estado a partir do diálogo (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring).

A mesma lógica corre pelo alinhamento de educação especial (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) e pelo trabalho de RL heurística que alinha modelos como guias socráticos, em vez de respondentes (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Uma plataforma vai mais longe e treina a política, e não a prosa: um agente de aprendizado por reforço escolhe o próximo problema de prática, de modo que o que quem aprende faz a seguir é decidido pelo modelo treinado (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Que dados você precisa?

Duas apostas opostas definem o espaço, e qual delas você toma depende do que você já tem:

• Pós-treinamento condicionado por instruções quando seus dados são escassos. O LearnLM carrega instruções em nível de sistema que permitem a professores e desenvolvedores especificar o comportamento do tutor, e se apoia no cotreinamento, em vez de em um grande corpus de transcrições de tutoria.
• Ajuste fino com dados autênticos de interação quando você os tem. O TeachLM aposta que a engenharia de prompts é um paliativo e que o ingrediente escasso é a interação real aprendiz–tutor. Treinado com 100.000 horas de sessões individuais sob rigorosa anonimização, ele dobra o tempo de fala do estudante, melhora o estilo de questionamento e aumenta as rodadas de diálogo em 50% (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data).

Uma rota mais barata para o comportamento pedagógico é a destilação: o Pedagogy-R1 (1,5B e 7B) foi ajustado por instrução com saídas pedagogicamente filtradas destiladas de um professor QwQ-32B, emparelhado com o prompting Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Teste-o no comprimento da conversa

O treinamento não torna um modelo seguro ao longo de uma conversa longa. O SafeTutors mostra que mesmo modelos pedagógicos especializados degradam ao longo do diálogo sustentado e podem cometer danos de revelação excessiva de respostas (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems). A segurança pedagógica precisa ser testada no comprimento da conversa, e não no turno único — incluindo os turnos em que o estudante está errado, é persistente ou insiste.

Para onde ir a seguir

• Como podemos fazer a IA apoiar melhor a aprendizagem na nossa própria disciplina? — se o treinamento é a alavanca certa de alguma forma
• Como sabemos que uma IA educacional está funcionando corretamente, e não apenas pontuando bem? — medir se o comportamento realmente mudou
• Quais são as melhores práticas para desenvolver um tutor de IA eficaz? — a contraparte de desenho de interação, que molda o mesmo comportamento de orientação por meio de apoio e escadas de pistas, em vez de treinamento
• Treinamento e ajuste fino de LLM — a página de conceito completa