Que medidas e métodos de pesquisa um instrutor pode usar para avaliar intervenções relacionadas à IA?

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Combine o método com a afirmação. Se você quer saber se os estudantes gostaram de uma atividade com IA, uma pesquisa pode ajudar. Se você quer saber se eles aprenderam, use medidas de desempenho. Uma pesquisa é uma medida de autorrelato — o instrumento certo para atitudes e o errado para aprendizagem, pelas razões coletadas naquela página. Se você quer saber se a IA causou uma melhora, você precisa de uma condição de comparação crível e, de preferência, de atribuição aleatória.

Opções de método

A página de Métodos de Pesquisa em AIED distingue várias opções úteis:

• Experimentos randomizados fornecem a inferência causal mais forte.
• Desenhos quase experimentais de pré/pós ou de grupos pareados são frequentemente mais práticos em turmas intactas, mas apoiam afirmações causais mais fracas.
• Qualitativos: entrevistas, grupos focais, observações e análise de artefatos revelam mecanismos e experiências inesperadas.
• Análise qualitativa assistida por IA pode reorganizar corpora de entrevistas ou observações em minutos, então a garantia de fundamento importa tanto quanto a precisão ou a declaração: registre as reorganizações documentadas que permitem a um leitor inspecionar, contestar e revisar o caminho dos dados à afirmação.
• Métodos mistos combinam evidência de desfecho com explicações de por que os efeitos ocorreram.
• Pesquisa baseada em desenho é útil quando os instrutores estão desenvolvendo e refinando iterativamente uma intervenção em um curso autêntico.

Seja qual for o canal que você use, apenas três condições tornam uma afirmação causal interpretável: um tratamento descrito com precisão, uma condição de comparação bem definida, e uma medida válida de aprendizagem durável. Weidlich et al. (2025) auditam 19 comparações de ChatGPT na educação exatamente contra esses critérios e descobrem que apenas 4 (21%) satisfazem os três — 74% tinham um tratamento bem definido, 42% um grupo de controle bem definido, e 53% um desfecho que se qualificava como aprendizagem. Uma ferramenta de propósito geral introduzida junto com novas atividades, feedback ou desenho de interface confunde o meio com o método, então um resultado significativo não pode ser atribuído à IA.

Uma avaliação gerenciável em sala de aula

Para uma avaliação gerenciável em sala de aula, um mínimo útil é uma medida de linha de base, a intervenção, uma medida imediata posterior, e uma medida tardia sem assistência. Sempre que possível, inclua uma condição de comparação, como a prática existente, sem IA, IA sem restrições versus IA com apoio, ou dois desenhos alternativos. Meça o desempenho assistido e a aprendizagem independente separadamente.

A síntese de Avaliação em IA Educacional recomenda desfechos como ganho de aprendizagem sem assistência, retenção tardia, transferência para uma nova tarefa, qualidade do raciocínio, ideias equivocadas, adoção do feedback e desempenho por subgrupo. Engajamento, satisfação, registros de uso de IA, autoeficácia e utilidade percebida podem ser medidas secundárias valiosas, mas não deveriam ser tratadas como substitutas da aprendizagem. Carga de trabalho do instrutor e economia de tempo também são desfechos de implementação legítimos.

Dois cuidados se aplicam a como os resultados são lidos. Primeiro, um efeito médio da literatura é um guia fraco para uma única sala de aula: a auditoria de O'Neill (2026) de 14 metanálises de alto impacto descobriu que nenhuma fornecia uma base válida para suas afirmações — "desempenho acadêmico" agrupado misturava notas de teste, motivação, autoeficácia e atitudes em uma única estimativa, a heterogeneidade relatada era extrema (I² variou de 77,2% a 94,4% nas 13 análises que a relatavam, com 12 dessas 13 acima de 80%), todas as 14 avaliavam viés de publicação de forma inválida, e 61% dos estudos primários averiguados aleatoriamente carregavam problemas de validade, enquanto as estatísticas que mostrariam até onde os resultados individuais realmente se espalhavam estavam amplamente ausentes (apenas quatro análises relataram variância entre estudos e apenas duas relataram um intervalo de predição, ambos incluindo zero). Segundo, uma pontuação conveniente pode medir o constructo errado: em uma avaliação de oito agentes de ensino com IA, o agente classificado em terceiro pela pontuação da própria plataforma ficou em último em uma rubrica validada por especialistas, porque as pontuações da plataforma indexavam o desempenho do estudante durante a interação, e não a qualidade de ensino do agente. Trate qualquer métrica única de painel como uma hipótese a validar contra uma medida atrelada à capacidade que você pretende desenvolver.

Para saber o que a evidência atual mostra e não mostra, e onde ela permanece escassa, veja Usar IA realmente ajuda meus estudantes a aprender? e Quais são as lacunas notáveis na literatura de pesquisa sobre IA na Educação?.