Como podemos fazer a IA apoiar melhor a aprendizagem na nossa própria disciplina?

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Um modelo de propósito geral responderá com prazer à pergunta de um estudante por ele, e não sabe nada sobre o seu currículo, a sua rubrica ou os erros que seus estudantes realmente cometem. Fechar essa lacuna costuma ser enquadrado como um problema de treinamento. Nesta base de conhecimento, é em grande parte um problema de fundamentação e prompting, e a evidência dessa ordenação é excepcionalmente direta: um estudo de assistente de curso descobriu que a recuperação, e não o modelo, era a decisão de primeira ordem, e que um modelo geral sem fundamentação pontuou abaixo de uma linha de base simples de TF-IDF.

O treinamento é real e às vezes necessário, mas é a terceira ou quarta coisa a tentar, em vez da primeira. O que segue é a escada na ordem que evita computação desperdiçada.

A versão curta

Há cinco alavancas, em ordem crescente de custo e compromisso: prompting, recuperação sobre os seus próprios materiais, adaptação eficiente em parâmetros (LoRA e similares), ajuste fino completo, e pós-treinamento com sinais de preferência ou recompensa. Cada degrau custa mais dados, mais computação e mais disciplina de avaliação do que o de baixo, e cada um é uma escolha inicial pior, a menos que uma mensuração justifique a subida.

A literatura de pesquisa relata majoritariamente o topo dessa escada, e é por isso que é fácil alcançar o treinamento quando a fundamentação teria bastado.

Passo 1: Obtenha uma linha de base que você realmente possa superar

Antes de mudar qualquer coisa, registre o que você obtém com um prompt simples. Depois registre o que um método trivial obtém, porque esse é o número que o mantém honesto.

O estudo do assistente de base de conhecimento de curso vale a leitura só por isso. Um LLM local sem recuperação alcançou 52,3% de precisão. Uma linha de base de TF-IDF — um método lexical de décadas atrás — alcançou 55,4%. O modelo foi pior do que o método clássico.

Se você pula este passo, não consegue dizer se o seu ajuste fino ajudou, e pode lançar algo que uma busca por palavra-chave supera.

Passo 2: Fundamente o modelo nos seus próprios materiais

Acrescentar geração aumentada por recuperação sobre os materiais do curso, sem nenhum ajuste fino, elevou esse mesmo sistema de 52,3% para 66,6%. Esse é o maior ganho único relatado nesta base de conhecimento para o custo, e é reversível: quando os seus documentos mudam, você reindexa, em vez de retreinar.

Dois outros resultados apontam na mesma direção. Uma revisão PRISMA de 23 estudos empíricos sobre a customização de IA para ensino de escrita descobriu que a engenharia de prompts era dominante (N = 13), à frente do ajuste fino (N = 7) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). E onde uma base de conhecimento precisa permanecer atual, a recuperação é a única alavanca que permanece atual sem rodar de novo um trabalho de treinamento.

A recuperação também tem uma forma pedagógica. Fundamentar um modelo nos seus próprios exemplos trabalhados e rubricas é como ele permanece dentro do apoio que você desenhou, em vez de derivar para conselhos genéricos.

Passo 3: Projete o prompt contra uma rubrica

O trabalho de prompt não é um preliminar que você faz enquanto espera treinar. Dois resultados aqui mostram o que ele alcança por conta própria:

• O prompting guiado por rubrica, iterativa e co-refinado, elevou a concordância LLM–humano sobre o trabalho de desenho dos estudantes de 54,75% para 81,25% (Alfa de Cronbach 0,393 → 0,798), sem nenhum ajuste fino (From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• Um prompt customizado fundamentado na literatura elicitou ideias equivocadas matemáticas-alvo com 0,98 de presença, contra 0,40 para um prompt amplo (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

O sinal prático é o platô. No estudo de geração de itens, o refinamento iterativo do prompt parou de melhorar, e o ajuste fino do GPT-4.1 com base no prompt otimizado acrescentou então o ganho restante (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). Um platô depois de um trabalho real de prompt é a sua evidência de que o treinamento poderia acrescentar algo. Alcançar o treinamento antes de você ter atingido um platô é adivinhar.

Passo 4: Adapte o modelo quando o alvo é estável e específico

A adaptação compensa quando você precisa que o modelo mantenha uma propriedade de forma confiável: um nível de leitura, um formato de saída, um domínio que lhe falta. O resultado recorrente é o de que mirar vence tamanho.

• Três modelos 8B ajustados finamente com um currículo de leitura infantil desenhado por especialistas superaram o GPT-4o zero-shot e o Llama 3.3 70B em métricas relacionadas à dificuldade, com problemas de segurança negligenciáveis. Os autores enquadram isso como controlabilidade acima de escala (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Um conjunto de dados de instrução de 24.795 exemplos fundamentado nos Indian Knowledge Systems produziu um ajuste fino 7B pontuando 6,39 em um painel externo de cinco juízes, dentro de 0,15 de um forte modelo geral de referência a uma fração do custo de implantação — enquanto o mesmo modelo de base pontuava quase zero nas dimensões específicas de domínio sem o ajuste fino (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Essa lacuna entre "competente em geral" e "competente aqui" é todo o argumento para a adaptação de domínio.
• Um único adaptador LoRA treinado em aproximadamente 3.900 exemplos corrigidos agrupados trouxe cinco pequenos modelos abertos (4B–30B) à paridade ou além de um corretor humano ao longo de dois exames de ciência da computação (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Um adaptador, um conjunto de dados, vários modelos de base: essa é a forma de uma implantação que uma equipe pequena pode realmente rodar.

Note a palavra estável no título. Formato, rubrica, nível de leitura e vocabulário de domínio são alvos estáveis. A prosa carregada de julgamento não é, e é aí que a adaptação falha.

Passo 5: Mude como ele se comporta, não apenas o que produz

A adaptação ensina a um modelo o que produzir. O pós-treinamento ensina-lhe como se comportar, e para a tutoria essa distinção é todo o problema: os modelos gerais são pós-treinados na preferência humana por prestatividade, o que significa responder prontamente, enquanto ensinar exige reter a resposta.

É aqui que vivem os resultados educacionais mais fortes. O modelo de recompensa do EduQwen priorizou explicitamente respostas que orientam acima de respostas diretas, e seu pipeline de três estágios alcançou 96,52% no benchmark CDPK contra os 90,55% do Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). O simulador de escrita SWIM foi do prompting fundamentado em rubrica (melhor QWK 0,577) para o ajuste fino supervisionado (0,474 ± 0,023) até o aprendizado por reforço (0,618 ± 0,005) em cada traço e prompt (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Um achado nesta área é fácil de perder e caro de ignorar: a qualidade da supervisão vence a quantidade da supervisão. Modelos ajustados por instrução aprenderam ideias equivocadas de álgebra apenas quando treinados com rastros de solução no nível do passo; treinados apenas com respostas finais, a precisão ficou abaixo de 30% em todos os tamanhos de dados (Misconception Acquisition Dynamics in Large Language Models). Se os seus exemplos de treinamento são pares de pergunta e resposta correta, você está treinando a coisa errada.

Quando adaptar o modelo não ajuda

Esta é a parte que o entusiasmo costuma pular.

• Texto carregado de julgamento. No WrAFT, o mesmo projeto que ajustou finamente com sucesso para pontuar redações (QWK 0,84) produziu saída truncada e não analisável quando ajustou finamente para dar feedback, enquanto o prompting direto do Claude 3.7 produziu o feedback que os professores avaliaram como o melhor (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). O ajuste fino ensinou o modelo a acertar uma nota; não lhe ensinou a escrever.
• A escala não é um preditor confiável do desempenho a jusante sob adaptação LoRA, e hiperparâmetros idênticos produziram comportamento qualitativamente diferente entre arquiteturas (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). Uma receita que funcionou em um modelo não é uma receita.
• A arquitetura pode importar mais do que a contagem de parâmetros. O ajuste fino de três modelos abertos de texto-para-imagem com 1.000 imagens legendadas de engenharia nuclear melhorou substancialmente o Stable Diffusion XL, deu ganhos limitados para o SD-v3.5-Medium, e não produziu nenhuma melhora mensurável para o Flux.1 (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).
• Às vezes a resposta é a validação em vez do treinamento. Um GPT-4 não treinado de fronteira produziu aproximadamente 35% de pistas genéricas demais, incorretas ou reveladoras de resposta ao redigir feedback de tutoria, e suas próprias verificações automatizadas de qualidade discordaram do julgamento humano (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

O que isso exige na prática

Para o degrau da adaptação, a barra é mais baixa do que a maioria das equipes supõe: de algumas centenas a alguns milhares de exemplos e uma única GPU. O LoRA treina um pequeno número de parâmetros acrescentados e deixa os pesos de base congelados, então vários modelos podem ser servidos a partir de um único adaptador.

O rank é um trade-off, e não um seletor a ser maximizado: o ganho por milhão de parâmetros de adaptador caiu monotonamente à medida que o rank subia, e o alinhamento em nível de curso foi uma decisão de escala e rank, em vez de uma atualização gratuita (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Quais camadas você adapta também é uma escolha real — atualizar apenas as últimas quatro camadas de Transformer de um analisador de discurso baseado em BERT superou tanto adaptar apenas a camada superior quanto o ajuste fino de profundidade total (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

O custo fácil de subestimar é a avaliação, não a computação. Veja Como sabemos que uma IA educacional está funcionando corretamente, e não apenas pontuando bem?

Calibre o que você espera

A escolha de modelo e prompt respondem juntas por apenas cerca de 15% do desalinhamento entre LLMs e ganhos de aprendizagem dos estudantes, e nesse estudo os ensembles de ponderação por benchmark e de votação unânime tornaram o alinhamento pior (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Os dados de pré-treinamento são a alavanca dominante sobre como um modelo se comporta, e é a única alavanca que você não consegue puxar.

Isso não é um argumento contra o trabalho acima. É um argumento contra esperar que um ajuste fino conserte um problema de desenho. Se o problema é que o seu tutor responde com demasiada presteza, o treinamento pode endereçá-lo. Se o problema é que os seus aprendizes não se engajam com ele, o treinamento não vai.

Uma ordem curta de decisão

1. Registre uma linha de base apenas com prompt, incluindo uma trivial. 2. Acrescente recuperação sobre os seus próprios materiais. 3. Projete o prompt iterativamente contra a sua rubrica, e observe o platô. 4. Adapte o modelo com LoRA quando o alvo é um formato, rubrica, nível ou domínio estável. 5. Faça pós-treinamento apenas quando você precisa mudar como ele se comporta, e escreva a recompensa contra um benchmark, porque ele vai ser burlado. 6. Supervisione no nível do passo, não no nível da resposta. 7. Mantenha um humano no laço onde a confiança é baixa. 8. Teste a segurança ao longo de conversas inteiras, não de turnos únicos.

Perguntas relacionadas

• Como treinamos um tutor de IA para orientar os estudantes em vez de lhes responder? — a metade do pós-treinamento em detalhe
• Como sabemos que uma IA educacional está funcionando corretamente, e não apenas pontuando bem? — como saber se alguma disso funcionou
• Quais são as melhores práticas para desenvolver um tutor de IA eficaz? — o lado do desenho de interação do mesmo objetivo
• Quais são as melhores práticas e dicas para desenhar software de IA educacional eficaz?
• Treinamento e ajuste fino de LLM — a página de conceito completa