Avaliação de IA na educação

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Avaliação de IA na educação — o conjunto de métodos, benchmarks e critérios usados para avaliar se as ferramentas de IA na educação (tutores baseados em LLM, corretores automatizados, sistemas de feedback, agentes) realmente funcionam — não apenas em acurácia agregada, mas em confiabilidade, qualidade pedagógica, validade e impacto real na aprendizagem. Um tema recorrente nas pesquisas da base de conhecimento é que a avaliação precisa ser específica do domínio, sensível à confiabilidade e ancorada no julgamento humano e nos resultados educacionais, em vez de números únicos de acurácia agregada.

Perguntas para refletir

• Como você decidiria se uma ferramenta de tutoria com IA "funciona"? Que evidência — além de um número de acurácia agregada — convenceria você de que ela realmente melhora a aprendizagem?
• Um achado central é que confiabilidade não garante validade: um sistema pode ser altamente consistente e ainda assim julgar mal o que constitui um bom ensino. Por que uma IA estável e repetível ainda poderia estar errada?
• A avaliação precisa ser específica do domínio — um benchmark que funciona para uma disciplina pode induzir ao erro em outra. Quando você vê um resultado de benchmark brilhante para uma ferramenta de IA, o que você gostaria de verificar sobre o contexto?
• O "ground truth" contra o qual os sistemas são julgados muitas vezes é contestado — o que conta como resposta ou nota correta varia entre especialistas e disciplinas. Como essa incerteza complica a confiança em qualquer avaliação?
• A pesquisa mostra que avaliadores baseados em LLM de texto privilegiam comportamentos explicitamente verbalizados e subponderam o contexto implícito — um "viés de pista explícita". Que tipos de bom ensino uma máquina poderia sistematicamente deixar passar por só procurar o óbvio?
• A avaliação moderna também pesa o custo ambiental e de infraestrutura — energia, hardware — e não apenas a qualidade da saída. A sustentabilidade deveria entrar no seu julgamento do valor de uma ferramenta de IA?

Introdução

A avaliação de IA na educação abrange vários objetos distintos de avaliação. Ela pode avaliar a saída (a resposta, a nota ou o feedback da IA está correto e é confiável?), o processo (a ferramenta apoia uma avaliação e uma aprendizagem válidas e defensáveis?) e o agente (um tutor ou agente de IA ensina de forma eficaz e se comporta de maneira apropriada?). Cada um exige métodos diferentes e levanta questões de validade diferentes.

A trajetória de uma década do campo é, por si só, um enquadramento: Xiong e Li (2026) traçam três eras — Formativa (2015–2018), de Expansão (2019–2022) e Generativa (2023–presente) — ao longo de 313 artigos, e argumentam que os construtos e os argumentos de validade precisam ser reescritos para a colaboração humano–IA, já que os modelos de TRI e da Teoria Clássica dos Testes foram construídos sobre o desempenho humano sem assistência.

Como a avaliação de IA na educação aparece na pesquisa

• Confiabilidade da saída e ground truth: Modernizando o ground truth argumenta que os problemas de confiabilidade na avaliação de IA na educação muitas vezes remontam aos próprios dados de referência — os rótulos de "ground truth" contra os quais os sistemas são julgados — e propõe quatro mudanças para melhorar a confiabilidade e a validade. Calibrando a confiabilidade co-desenha métricas de avaliação e visualizações com as partes interessadas, para que a confiança em uma ferramenta de IA repouse sobre evidência demonstrada e interpretável.

• Correção e pontuação automatizadas: a correção de respostas curtas com LLM, o ASAG com consciência de confiança, a engenharia de prompt CoTAL com humano no circuito e o diagnóstico cognitivo de matemática manuscrita mostram que os LLMs conseguem corrigir e diagnosticar, mas que a confiabilidade depende da supervisão humana, do ancoramento em domínio específico e da calibração de confiança, e não do tamanho bruto do modelo.

• Um benchmark para o conhecimento pedagógico em vez do conteúdo. Lelièvre et al. (2025) pontuam 97 modelos em itens de provas de professores chilenos (CDPK 28–89%), muitos superando uma linha de base humana estimada em ~50%, embora os itens estáticos de múltipla escolha não consigam testar o planejamento de aula nem o andaimento passo a passo.

• Validando itens gerados contra um benchmark psicométrico. Isley et al. (2025) geraram provas sob medida para 71 turmas e usaram outras 20 como benchmark contra itens de AP Statistics escritos por humanos, ajustando um modelo de TRI 2PL bayesiano hierárquico com âncoras de pré-teste ao longo de 1.686 estudantes; os itens de IA eram mais fáceis, mas mais discriminantes (ᾱ = 1,3 vs. 1,2).

• Qualidade pedagógica e alinhamento: Por que as máquinas interpretam mal a qualidade pedagógica documenta o desalinhamento entre humanos e máquinas ao julgar o que torna uma instrução boa, e o Índice de Efetividade da Tutoria prevê a qualidade do tutor a partir do comportamento de ensino. Avaliação responsável na era da IA e processos autenticados argumentam que a avaliação precisa ir além das respostas corretas, até a questão de saber se a avaliação permanece autêntica, válida e defensável quando a IA consegue produzir os "produtos" da aprendizagem.

• Monitoramento de produção e calibração de juízes: Rohlfs et al. (2026) relatam o que acontece quando a avaliação com LLM como juiz roda em escala de produto, apoiando-se em uma suíte K-12 que atende milhões de mensagens de professores e estudantes por mês. À medida que o programa amadureceu, os falsos positivos passaram a dominar os sinalizadores dos avaliadores e desviaram a atenção dos analistas de falhas que mereciam mudança de produto. Três mudanças — painéis de reprovação unânime com execuções repetidas do juiz, escolhas de modelo de juiz por avaliador e rubricas suavizadas — cortaram os falsos positivos confirmados em 99% e elevaram a precisão por sinalizador de 0,6% para 49% ao longo de 21 avaliadores implantados, enquanto um conjunto de falhas graves manteve a captura em 100%. A lição para a prática de avaliação é que o ponto de operação de um avaliador, e não sua acurácia agregada, decide se um sinalizador é acionável.

• A diversidade de juízes como protocolo de validade. Um benchmark para agentes de desenho instrucional extraiu seus juízes de diferentes fornecedores de modelos, e não de um só, relatando alta confiabilidade inter-juízes ao longo de 1.017 cenários pontuados (Jeon et al. (2026)).

• Audite uma explicação contra a atribuição que ela alega, não contra a fluência. Pan et al. (2026) condicionam as narrações de um modelo ao fechamento aritmético, às covariáveis citadas, à fidelidade da decisão e à taxa de tratamento inseguro, porque um texto fluente é igualmente bem-formado quer seu sinal seja exato ou ruidoso — 98,8% das narrações passaram, enquanto a cauda negativa foi truncada.

• A sensibilidade ao prompt é uma propriedade de primeira ordem de um corretor com LLM. Habibullah et al. (2026) corrigiram uma prova de visão computacional com 570 estudantes ao longo de 171 configurações e uma prova de aprendizagem de máquina com 1.038 estudantes ao longo de 162: um pequeno preâmbulo de "corretor estrito" tirou 14 de 17 modelos de pesos abertos da faixa de correção, enquanto a replicação reproduziu a vulnerabilidade, mas não sua direção, melhorando sete modelos cujos prompts neutros superavaliavam. A acurácia de um prompt não é evidência de um corretor utilizável, e o viés com sinal deve figurar ao lado do erro absoluto médio; o ajuste fino com LoRA sobre exemplos de dupla correção agrupados levou cinco modelos pequenos à paridade com humanos e quase apagou a sensibilidade à persona.

• A evidência classificável é uma variável de desenho, não uma propriedade da tarefa. Globerson et al. (2026) deixaram um LLM Executivo segurar a rubrica e conduzir a conversa em direção à competência avaliada, elevando a evidência classificável a 92,4% para gestão de projetos e 85% para resolução de conflitos, enquanto pedir aos participantes que atentassem à competência não mudou nada.

Por que a avaliação é difícil na educação com IA

A avaliação de IA na educação é difícil por várias razões. Primeiro, a confiabilidade não basta — um sistema pode concordar com uma rubrica e ainda assim julgar mal a pedagogia, como mostra a pesquisa sobre alinhamento humano–máquina. Segundo, o ground truth é contestado — o que conta como resposta, nota ou movimento de ensino "correto" é, ele mesmo, um julgamento que varia entre disciplinas e especialistas, segundo a modernização do ground truth. Terceiro, a validade educacional é multidimensional — validade da avaliação, avaliação formativa e avaliação autêntica impõem, cada uma, critérios diferentes que uma única métrica de acurácia não consegue capturar. Por fim, o alvo não para de se mover — a IA agêntica e os modelos multimodais exigem frameworks de avaliação (IA agêntica, avaliação invariante a ferramentas) em vez da reutilização de benchmarks de modelos de texto. Os achados de avaliação também estão sujeitos às mesmas limitações transversais que afetam toda a pesquisa em AIED — envelhecem à medida que a IA melhora, dependem de reprodutibilidade e de práticas FAIR, e podem repousar sobre sistemas proprietários —, portanto os resultados de avaliação devem ser lidos com as ressalvas de limitações da pesquisa em AIED. Uma dimensão emergente adicional é a sustentabilidade de recursos: implantações locais relatam cada vez mais consumo de energia e requisitos de hardware (por exemplo, VRAM, mWh por consulta) ao lado da acurácia — ver assistentes locais sustentáveis de base de conhecimento —, de modo que uma avaliação completa pesa o custo ambiental e de infraestrutura, e não apenas a qualidade da saída.

A confiabilidade não garante validade. A validação da observação de sala de aula baseada em LLM mostra que um modelo pode ser altamente estável ao longo de avaliações repetidas e ainda assim se desalinhar do julgamento de especialistas, e, inversamente, que os modelos que se alinham bem aos especialistas muitas vezes são mais variáveis — confiabilidade e acurácia se dissociam, de modo que um número único de acuráia em passagem única pode superestimar a confiabilidade. O mesmo estudo documenta um viés de pista explícita: avaliadores baseados em LLM de texto privilegiam comportamentos explicitamente verbalizados e subponderam a evidência implícita ou contextual (por exemplo, a autorregulação sustentada do estudante, onde uma rubrica permite notas altas em critérios tolerantes à ausência), produzindo discordância sistemática, e não aleatória. Isso ressalta que a confiabilidade da mensuração é um pré-requisito para — e não um substituto de — uma interpretação válida, e que a avaliação precisa incluir verificações de estabilidade com medidas repetidas ao lado da acurácia ancorada em especialistas.

Mesmo um modelo validado de discurso de longo horizonte rastreia medidas de resultado independentes apenas fracamente: os escores de Raciocínio do Estudante e de Adoção pelo Professor do NSPA se correlacionaram com modelos de valor agregado de efetividade docente a ρ = 0,10, portanto construtos automatizados precisam de validação externa contra resultados antes de informar a avaliação (Fang e Liu, 2026).

A avaliação de estudantes simulados enfrenta o mesmo padrão: um simulador só é válido se seu comportamento for fiel de forma epistêmica, e não meramente fluente, de modo que ele deve ser pontuado contra seu objetivo comportamental declarado e seu ambiente, e não contra uma "humanidade" genérica — e juízes automatizados coincidem com as preferências de humanos especialistas cerca de 65% das vezes (Yuan et al. (2026)).

A acurácia agregada esconde quem é mal atendido. As avaliações de modelos visão-linguagem no DrawEduMath mostram que a acurácia geral obscurece uma fraqueza sistemática: os modelos têm desempenho pior exatamente sobre o trabalho dos estudantes que mais precisa de ajuda pedagógica (trabalho errôneo, de estudantes com dificuldades), de modo que desagregar a avaliação por proficiência do estudante e por status de erro é necessário para não superestimar a capacidade e não ampliar as lacunas de desempenho.

A correção binária esconde as falhas que importam. Em um benchmark de diagnóstico de passo com três categorias sobre 10.836 pares simulados, sete tutores com LLM classificaram os passos ótimos quase perfeitamente (F1 94–99%), mas as alternativas válidas ficaram em F1 0–76% e os passos incorretos em 4–55% — excesso de rejeição e excesso de validação —, e o diagnóstico preciso ainda não produziu feedback acionável (Yasir et al. (2026)).

• Reutilizar instrumentos humanos para avaliar LLMs exige uma verificação da estrutura latente. Strugatski et al. (2026) ajustaram análise fatorial exploratória separadamente para humanos e para seis LLMs multimodais: a congruência LLM–humano ficou abaixo da linha de base humano–humano nos dois instrumentos, e a análise paralela reteve contagens de fatores diferentes (cinco para humanos contra quatro para LLMs).

• A avaliação conjunta revela compensações que um único escore esconde. Jiang et al. (2026) pontuam nove modelos voltados à educação em capacidade, segurança, educação básica e cultivo de alto nível sob um único protocolo: os seis primeiros são estatisticamente indistinguíveis no geral, mas diferem em 19,5 pontos em Segurança, e a Segurança é fortemente anticorrelacionada com Educação Básica (r = −0,83).

• A assimetria de classes pode tornar uma métrica de avaliação enganosa. Csibi e colegas (2026) classificaram o nível de reflexão em 1.954 redações de formação docente húngaras nas quais 68% estavam em um único nível: uma configuração rasa alcançou ROC-AUC 0,7131 com apenas 0,5162 de acurácia, e o balanceamento de classes reduziu todas as métricas (0,6672 de acurácia sem balanceamento contra 0,6408 com ele). Os modelos rasos deram os melhores escores agregados, enquanto os transformers lidaram melhor com os níveis minoritários, portanto o número relatado deve acompanhar o desempenho do qual uma decisão realmente depende.

• Erros de benchmark e de corretor são confundidos com falha do modelo. Uma recorreção por especialistas de seis benchmarks amplamente usados de física auditou 250 itens rejeitados e atribuiu 143 (57,20%) a defeitos do benchmark e 95 (38,00%) a erros de corretor, restando apenas 12 (4,80%) de erros genuínos do modelo, de modo que 95,20% da lacuna medida não era atribuível ao modelo. Reparar os itens moveu a média HLE-Physics mean@4 de 47,28% para 78,66% e a CritPt mean@5 de 32,29% para uma corrigida de 87,50%, convertendo uma aparente fraqueza de modelo de fronteira em quase saturação. A auditoria argumenta que um escore relatado é uma propriedade conjunta do modelo, do banco de itens e do corretor, e que a adjudicação por especialistas deve preceder qualquer afirmação de capacidade extraída de um benchmark. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

A velocidade dos sistemas avaliados é uma restrição adicional. Harrison et al. (2026) descrevem diretamente o problema temporal: quando um ensaio de larga escala foi desenhado, aplicado, analisado e publicado, a tecnologia estudada pode já ter mudado materialmente, o que empurra a prática para dados observacionais ou de uso, mais fracos, exatamente no momento em que uma evidência mais forte é necessária. A resposta deles não é aceitar desenhos mais fracos, e sim encurtar o ciclo — microensaios randomizados conduzidos por praticantes que preservam o contraste causal e o repetem à medida que a plataforma evolui.

• A fidelidade dos dados é um problema de avaliação distinto da qualidade da saída. Coortes educacionais sintéticas que reproduzem as estatísticas resumidas de cada variável ainda podem deturpar a estrutura dos dados: um grafo semanal de proximidade entre estudantes variou de 2,6 a 4,9 vezes menos ao longo de um período letivo nas versões sintéticas do que nas coortes reais, de modo que um escore de fidelidade não prevê quais análises sobrevivem aos dados reais (Inoue e Yasutake, 2026)).

• A acurácia dentro da distribuição não é implantabilidade. Um classificador de nível de Bloom com macro F1 de 0,88 sobre seu banco de itens curado caiu para 0,48 e 0,20 em dois conjuntos de questões geradas por IA, uma perda que acompanhou a quase ausência de verbos de gatilho de Bloom explícitos, e não o tamanho do modelo; LLMs não treinados foram a opção mais robusta fora da distribuição (0,79 e 0,41–0,51), e o retreinamento com dados rotulados fora da distribuição recuperou os maiores ganhos (até 0,82), portanto a transferência deve figurar no relatório ao lado do ajuste dentro da distribuição (Castanares et al., 2026)).

• Uma escala de dificuldade de IA é um auxiliar de avaliação, não uma nota. As estimativas de dificuldade da IA acompanharam fortemente a taxa de aprovação no nível do problema (rho = −0,871 ao longo de 79 problemas), mas enfraqueceram para −0,552 em uma amostra de 106 problemas de CS101 e se aproximaram de zero no nível da prova, portanto tais escalas pertencem à revisão de itens, e não à avaliação de estudantes (Yan et al., 2026)).

Conexões com conceitos relacionados

A avaliação de IA na educação está no centro dos métodos e dos riscos da base de conhecimento. Ela operacionaliza validade da avaliação, mensuração educacional e benchmark dentro da avaliação e da avaliação automatizada. Sua defesa da supervisão humana se conecta à IA com humano no circuito e ao papel docente, enquanto seu foco na confiabilidade se conecta ao risco de alucinação, à avaliação de IA com consciência de confiança e à calibração da confiança. A distinção entre avaliar desempenho e avaliar aprendizagem se liga à desempenho vs. aprendizagem e à modelagem do estudante; e a avaliação de agentes pedagógicos se conecta à tutoria inteligente, ao treinamento e ajuste fino de LLMs e à segurança pedagógica.

Avaliação de ganhos de aprendizagem

Um objeto central da avaliação de IA na educação é o ganho de aprendizagem — a melhoria mensurável em conhecimento ou habilidade que uma ferramenta de IA produz (ver ganhos de aprendizagem). Avaliar ganhos de forma rigorosa exige escolher a medida de resultado correta, porque desempenho e aprendizagem divergem: a IA pode inflar o desempenho imediato em tarefas assistidas por IA deixando a aprendizagem durável e sem assistência inalterada ou reduzida (ver redução do tempo de estudo em matemática, penalidade de aprendizagem com IA generativa no ensino médio). A avaliação eficaz de ganhos, portanto:

• Usa medidas de resultado sem assistência e resistentes à IA. A evidência de salvaguardas e a pesquisa sobre avaliação somativa mostram que medidas proctoradas, de livro fechado e sem assistência — e não lição de casa ou trabalho para casa assistidos por IA — revelam os ganhos de aprendizagem genuínos.
• Distingue desempenho assistido de aprendizagem durável. A meta-análise mostra que a IA pode produzir grandes ganhos de produtividade sem ganho significativo de aprendizagem (g ≈ 0), portanto as avaliações devem relatar ambos.
• A geração da tecnologia pode não importar, e faltam dados de custo. Burneo et al. (2026) agrupam 14 ensaios randomizados em um ganho médio de aprendizagem de 0,125 dp, com a IA generativa não mostrando vantagem sobre softwares adaptativos anteriores (0,022 dp, SE 0,075) e custos por estudante comparáveis relatados em apenas dois ou três estudos.
• Combina medidas pré/pós com verificações de validade. Validade da avaliação e mensuração educacional fundamentam a mensuração do ganho; a revisão meta-analítica agrupa tamanhos de efeito entre estudos para estabelecer a evidência de ganhos do campo.
• Desagrega por estudante e contexto. Como os ganhos de aprendizagem variam por população, domínio e configuração de IA, a avaliação deve relatar ganhos para diferentes subgrupos de estudantes (por exemplo, por proficiência prévia, como revelam as avaliações de VLM para o status de erro) em vez de um único agregado, e deve conectar os achados de ganho à meta-análise e revisão sistemática para situá-los na base de evidências mais ampla.

Benchmarks condicionados ao contexto são necessários: Zhang et al. (2026) argumentam que benchmarks anteriores de tutoria (MathTutorBench, MRBench, LearnLM) recompensam um lado do dilema da assistência ou dão orientações subespecificadas. O TutorMoments, em vez disso, reproduz pontos de decisão pedagógica identificados pelos professores, avaliando se a ajuda do tutor é apropriada ao momento específico de aprendizagem — andaimento vs. rigor.

• A métrica que você escolhe pode reverter suas conclusões. Zhang et al. (2026), ao avaliar agentes de ensino com IA na educação médica, constataram que os escores agregados não divulgados de uma plataforma educacional ordenavam os agentes quase de forma oposta a uma rubrica transparente e validada por especialistas de qualidade de ensino em 8 dimensões (acurácia de conhecimento médico, orientação pedagógica, cobertura de conhecimento, qualidade do role-play, dificuldade adaptativa, segurança médica, engajamento, feedback). Os escores da plataforma indexam o desempenho do estudante; a rubrica indexa o comportamento de ensino do agente — escolher a métrica errada determina quais agentes são adotados ou refinados. Eles também constataram que a leniência do LLM como avaliador difere por modelo (alguns lenientes demais para discriminar), portanto a pontuação automatizada precisa de calibração humana e é mais confiável nas dimensões de processo cognitivo.
• Uma taxa de erro pode esconder a falha que ela deveria capturar. Stanchev (2026) enviou uma gravação texto-para-fala de uma passagem de inglês médico para quatro serviços de ASR: os dois serviços gratuitos retornaram 87,96% e 88,34% da referência, enquanto os dois pagos retornaram prévias de 32,76% e 55,35% e, por isso, pontuaram taxas de erro por palavra de 73,21% e 48,77%. As taxas altas de erro vieram de tokens nunca retornados, e não de tokens mal ouvidos, de modo que ordenar apenas pela taxa de erro tratou uma restrição de exportação como uma falha de transcrição. A cobertura deve figurar ao lado da taxa de erro sempre que uma métrica automatizada substitui o artefato que o estudante vê.
• Ancore as suítes de avaliação à aprendizagem medida, não a proxies. Benchmarks de capacidade de ensino, rubricas de pedagogia conversacional e latência do tutor devem ser validados contra ganhos de aprendizagem reais em vez de tratados como substitutos deles, e a latência é ela mesma um eixo de avaliação porque molda se os estudantes se engajam de algum modo (Northcutt et al., 2026).
• Avaliações baseadas em julgamento de especialistas precisam de sua própria contabilidade de confiabilidade. Puech et al. (2026) pediram a 25 especialistas do domínio que avaliassem 92 vídeos de aula gerados contra uma rubrica ancorada na "qualidade de uma aula padrão de MOOC", julgando 87% no nível ou acima da barra (média 3,42 de 5). Cada vídeo foi avaliado uma vez por um único avaliador (k = 1), portanto o desenho distribui o painel pelo corpus ao custo de uma estatística de concordância interavaliadores; um modelo de interceptores aleatórios atribuiu cerca de 35% da variância residual ao avaliador (ICC = 0,35), e o artigo relata intervalos agrupados por avaliador em vez de um único valor de precisão. Uma avaliação construída sobre julgamento de especialistas é tão forte quanto a análise de confiabilidade que publica.

Conceitos conectados

• Interpretar e aplicar a pesquisa em AIEd
• Investigação educacional assistida por IA — Investigação educacional assistida por IA
• Validade da avaliação — Validade da interpretação na avaliação de IA na educação
• Medição educacional — Teoria da mensuração para avaliar a aprendizagem
• IA psicometricamente consciente — Aplicação da psicometria à avaliação baseada em IA
• Ponto de referência (Benchmark) — Benchmarks padronizados para avaliar sistemas de IA
• Avaliação automatizada — Sistemas de correção e pontuação baseados em IA
• Analítica de aprendizagem — Análise de dados do comportamento de aprendizagem
• Métodos de pesquisa em AIED — Métodos de pesquisa em IA na educação
• Ganhos de aprendizagem — Mensuração dos ganhos de aprendizagem com ferramentas de IA
• Avaliação formativa — Avaliação contínua para orientar a instrução
• Avaliação somativa — Avaliação somativa: formatos resistentes à IA (orais, proctorados, de livro fechado)
• Avaliação autêntica — Avaliação de desempenho real e transferível
• IA com humano na alça (HITL) — Supervisão humana da avaliação com IA
• Calibração da confiança — Calibração da confiança em sistemas de IA
• Risco de alucinação — Risco de conteúdo fabricado nas saídas da IA
• Tutoria inteligente — Avaliação de sistemas de tutoria com IA
• IA agêntica — Avaliação do comportamento de agentes de IA autônomos

Artigos conectados

• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — O que os escores de plataforma deixam passar: avaliação multidimensional de agentes de ensino com IA
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Os instrumentos de avaliação medem a mesma coisa para humanos e para LLMs? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Avaliação da qualidade de provas geradas por IA: um estudo de campo em larga escala
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Alinhamento pedagógico neuro-simbólico (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Benchmark de classificação em três categorias de agentes de tutoria com LLM (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Avaliação de VLMs no DrawEduMath: o conteúdo de erro é o mais difícil (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Benchmark do conhecimento pedagógico de LLMs (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — Validação da observação de sala de aula com LLM: confiabilidade vs. acurácia (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — Assistentes locais de base de conhecimento OER com IA: avaliação multidimensional
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Modernizando o ground truth: quatro mudanças para melhorar a confiabilidade e a validade
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Calibrando a confiabilidade: codesenhando métricas e visualizações
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: avaliando a capacidade de ensino de LLMs
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Por que as máquinas interpretam mal a qualidade pedagógica: alinhamento humano-máquina
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Correção automática de respostas curtas com LLMs
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: engenharia de prompt com humano no circuito para avaliação formativa
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmark de LLMs para diagnosticar as habilidades cognitivas dos estudantes
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — O Índice de Efetividade da Tutoria: prevendo a qualidade de tutores de matemática com LLM
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — Benchmark de agentes de desenho instrucional
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — Um framework invariante a ferramentas para ensinar e avaliar métodos computacionais
• Towards Valid Student Simulation with Large Language Models — Rumo a uma simulação válida de estudantes com grandes modelos de linguagem
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — De modelos avaliados a auxiliares de avaliação
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — O fundamento teórico dos testes socráticos
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Avaliação responsável na era da IA
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — De produtos autênticos a processos autenticados
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Meta-análise dos resultados educacionais da IA generativa
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — Quando a ajuda não ajuda: avaliando tutores de IA para a luta produtiva
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: benchmark de LLMs para educação
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Correção por IA de avaliações manuscritas de física (Olimpíada)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Destilando um LM autoexplicativo para analítica da aprendizagem
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Avaliação meta-analítica de EdTech adaptativa + IA
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — O papel da IA na correção, na psicometria e na avaliação
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Avaliando a tutoria com IA na velocidade da inovação: microensaios randomizados conduzidos por praticantes de uma plataforma de tutoria com IA em ciências do GCSE
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: avaliação da qualidade de itens de matemática baseada em processo
• Towards Scalable Measurement of Durable Skills — Rumo a uma mensuração escalável de competências duráveis
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — Da geração de conteúdo ao apoio à aprendizagem: tutores de vídeo generativos orientados pela pedagogia para a aprendizagem em STEM
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: tutoria com IA e humana produzem ganhos de aprendizagem equivalentes no GRE
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — O que as métricas de fidelidade deixam passar: uma verificação estrutural dos dados educacionais sintéticos
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Avaliação de modelos pré-treinados para a avaliação pedagógica de novas questões educacionais assistidas por IA
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — Quando os avaliadores gritam lobo: lições da avaliação com LLM como juiz em produção na IA educacional