Base de Conhecimento AIEdAIEd KB
Nesta página

Esta página foi traduzida para o português. As páginas de artigo continuam escritas em inglês. Ler esta página em inglês

Conceitos

Ponto de referência (Benchmark)

Criado 2026-08-09 · Atualizado 2026-10-09

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Benchmark — conjuntos padronizados de testes e frameworks de avaliação usados para medir o desempenho de modelos de IA em tarefas educacionais. Os benchmarks permitem comparação reproduzível entre modelos e abordagens, e são essenciais para avaliar a confiabilidade, a justiça e a qualidade pedagógica dos sistemas de IA na educação.

Perguntas para refletir

  • Um benchmark é um conjunto padronizado de testes para medir o desempenho de modelos de IA em tarefas educacionais. Antes de ler, o que você acha que a maioria dos benchmarks de IA realmente testa — e por que isso poderia ser diferente do que um bom tutor precisa?
  • Esta página destaca um Pedagogy Benchmark que testa conhecimento pedagógico — estratégias de ensino, métodos de avaliação, pedagogia da educação especial — em vez de conhecimento de conteúdo. Por que uma IA que domina uma matéria poderia ainda assim falhar em ensiná-la, e por que um benchmark que ignora a pedagogia deixaria isso passar?
  • Uma lição aqui é metodológica: como você valida um benchmark muda os resultados dramaticamente, com a validação ingênua reportando desempenho muito mais alto do que métodos rigorosos independentes de tentativas. Como um desenvolvedor ou fornecedor de modelos poderia ser tentado a desenhar a validação para parecer boa, e como você identificaria isso?
  • O desempenho em benchmarks frequentemente não se transfere para a utilidade no mundo real. Você consegue pensar em um cenário em que uma IA "vence" um benchmark, mas falha em uma sala de aula real — e o que essa lacuna diz sobre confiar apenas nas pontuações de benchmark?
  • A página observa que o próprio desenho do benchmark pode codificar ou amplificar viés. Se um benchmark é composto de certas tarefas, em certas línguas, de certas populações, a aprendizagem de quem ele acaba medindo — e a de quem ele ignora?

Introdução

Os benchmarks servem como fundamento evidente da pesquisa em IA na educação. Eles fornecem conjuntos de dados, tarefas e métricas padronizados que permitem aos pesquisadores comparar modelos, acompanhar o progresso e identificar modos de falha. Na pesquisa desta base de conhecimento, os benchmarks aparecem em múltiplos domínios:

  • O CSTutorBench avalia modelos de linguagem pequenos para tarefas de tutoria em ciência da computação.

  • O ANVIL coloca em benchmark as animações educacionais geradas por IA contra alternativas criadas por humanos.

  • Os benchmarks de feedback de ensino avaliam a transferência entre línguas da classificação de qualidade do feedback.

  • O Pedagogy Benchmark (CDPK + SEND) testa conhecimento pedagógico — estratégias de ensino, métodos de avaliação e pedagogia da educação especial — em vez de conhecimento de conteúdo, e reporta uma "fronteira de valor" de custo versus acurácia ao longo de 97 modelos (a maioria dos benchmarks gerais testa conhecimento de conteúdo; a pedagogia é uma dimensão distinta e crítica para a educação).

  • O ISD-Agent-Bench coloca em benchmark agentes de desenho instrucional baseados em LLMs ao longo de 25.795 cenários de desenho instrucional, mostrando que agentes híbridos fundamentados em frameworks clássicos de ISD (ADDIE, Dick & Carey, Prototipagem Rápida) superam os puramente teóricos ou puramente técnicos — um resultado de benchmark com implicações diretas para o desenho de IA agêntica na educação.

  • A adaptação ao estudante como critério explícito de benchmark. O Teaching Monster Challenge pontua a adaptação a uma persona de estudante especificada, mas seu juiz automatizado com LLM separou apenas uma cauda fraca — os melhores sistemas pontuaram perto de seu teto, e seu ranking discordou da preferência da multidão (ρ de Spearman = −0,17) (Lin et al. (2026)).

Por que os benchmarks importam na AIED

Os benchmarks se conectam à avaliação de IA na educação e à validade da avaliação — sem benchmarks rigorosos, as afirmações sobre a eficácia da tutoria com IA são inverificáveis. Eles também se cruzam com a mitigação de viés, já que o desenho do benchmark pode codificar ou amplificar vieses. A tensão entre desempenho em benchmark e utilidade no mundo real é explorada em vários artigos, conectando-se às preocupações de transferência de aprendizagem nas aplicações de IA generativa.

  • Quando a métrica, e não o sistema, é a falha: o AlgoRAG pontuou BLEU-4 = 0,0000 em todas as 179 questões teóricas de exame de ciência da computação, enquanto uma rubrica pedagógica de seis critérios deu 0,7620, porque provas logicamente equivalentes rotineiramente diferem em notação, nomes de variáveis e estratégia de prova. Uma pontuação zero diz mais sobre a sobreposição de n-grams do que sobre a qualidade da resposta, o que é o caso geral contra tratar métricas de superfície como o número de destaque para sistemas de AIED em domínios formais.

  • Benchmarks contrafactuais no nível do construto. O CFES-P24 expressa princípios de aprendizagem multimídia como transformações determinísticas e reversíveis de slides, para auditar se as MLLMs respondem a construtos específicos de desenho instrucional em vez de produzir avaliações holísticas plausíveis. Um piloto congelado mostrou reconhecimento de construtos (operação, princípio, reparo, localização de evidência) em 8/8, enquanto o julgamento comparativo (direção 6/8) e a calibração de severidade (0/8) falharam — argumentando por scorecards em camadas em vez de pontuações compostas. (Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

  • Fundamente a alucinação e a energia na avaliação, e não apenas na acurácia. Shen et al. (2026) pontuaram a alucinação como implicação contra os blocos de licença aberta recuperados (κ = 0,76 com julgamento de especialistas) e registraram 1,8 mWh por consulta, e sua ablação colocou a recuperação em primeiro lugar: um LLM local sem recuperação pontuou 52,3%, abaixo da linha de base de 55,4% do TF-IDF.

  • A verificação pode superar o julgamento em conteúdo gerado. Kumar et al. (2025) fazem a retrotradução de diagramas matemáticos gerados para uma representação intermediária restrita por esquema e executam verificações determinísticas por regras, alcançando concordância maior com avaliadores humanos (κ de Cohen 0,48–0,56) do que o LLM-como-juiz (0,39–0,47), e permitindo que um modelo pequeno iguale o melhor juiz a um custo 10× menor.

  • Avaliação independente de tentativas em benchmarks fisiológicos. Nanayakkara & Halloluwa (2026) colocam em benchmark 15 modelos de ML/DL para predição de familiaridade baseada em EEG e mostram que a escolha do esquema de validação muda dramaticamente os resultados de destaque: a validação cruzada estratificada padrão permite vazamento temporal e reporta até F1 de 0,9853, enquanto a validação Group K-Fold independente de tentativas derruba o pico para F1 de 0,6038. A lição — a avaliação consciente de temporalidade/vazamento é essencial para benchmarks educacionais críveis — se estende para além do EEG a qualquer benchmark que use dados sequenciais ou estruturados no tempo.

  • A mudança de distribuição é um segundo eixo de benchmark, além do vazamento. Um benchmark que reporta a pontuação de um classificador dentro da distribuição e sua pontuação de transferência está reportando duas grandezas diferentes: um classificador de nível de Bloom manteve macro F1 de 0,88 em seu banco curado, mas caiu para 0,48 e 0,20 em dois conjuntos de questões geradas por IA, e o retreinamento com dados rotulados fora da distribuição recuperou até 0,82, de modo que um único número de leaderboard dentro da distribuição superestima o que um instrumento implantado fará (Castanares et al., 2026).

  • Um corpus construído para testar transferência entre corpora. O ICLE++ anota redações persuasivas com pontuações holísticas e em dez traços para expor a dependência da pesquisa em AES do ASAP, cujas redações cronometradas e apenas de falantes nativos confundem extensão com qualidade; os modelos treinados em anotações por traços transferiram melhor entre corpora do que aqueles treinados apenas em pontuações holísticas (Li & Ng, 2026).

  • Um benchmark normado por humanos pode não medir o mesmo construto para um LLM. Strugatski et al. (2026) compararam as estruturas de resposta de humanos e de uma MLLM em um diagnóstico de química e em um exame de raciocínio quantitativo; a congruência fatorial entre LLMs e humanos ficou abaixo da linha de base humano–humano, e a análise paralela reteve contagens de fatores diferentes.

  • A multimodalidade não melhorou a calibração da evidência. No MathCog, com 3.036 veredictos anotados por professores ao longo de 639 respostas matemáticas manuscritas, nenhum dos 18 LLMs alcançou macro F1 de 0,5 — o melhor, GPT-4o-img, pontuou 0,448 — e os modelos multimodais degradaram mais do que os apenas de texto quando a evidência era vaga, atribuindo evidência em excesso e fabricando citações (Kim et al. (2025)).

  • Benchmarks sintéticos para tutoria com IA. Conjuntos de dados abertos e reproduzíveis para avaliar a tutoria com IA continuam escassos. O ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) é um protótipo de tutoria multiagente e um framework de benchmark para estudar programação colaborativa com agentes socialmente diferenciados, suportando configurações apenas-tutor, par-de-tutores e par-multiagente (N=540; 360 sessões; 1.440 episódios) com um esquema pronto para rastreamento que permite análise reproduzível da interação, do equilíbrio de participação e da verificação.

  • O horizonte é um eixo de benchmark, não um detalhe. Lee et al. (2026) colocam um agente tutor em uma relação contínua de 30 dias com um estudante simulado e constatam que todo adaptador estabilizou em platô entre os dias 5–10, que nenhum adaptador liderou ganho de aprendizagem em mais de um nível de modelo base, e que os cinco eixos de pontuação eram em grande parte independentes.

  • Um benchmark de tutoria pontuado contra tutores humanos em vez de leaderboards. O StudentBench distribui aleatoriamente 2.383 adultos entre tutoria com IA, tutoria humana ao vivo com especialistas e um controle por vídeo em itens de GRE recém-escritos, constatando que a tutoria com IA agrupada é estatisticamente equivalente à tutoria humana (p = 0,015) e fica 5,5–6,9 pontos percentuais acima do controle; seus leaderboards de qualidade de ensino, construídos a partir de 2.028 comparações pareadas de especialistas, classificam planos de aula e comportamento conversacional, e não quanto os estudantes aprenderam (Northcutt et al. (2026)).

  • Auditar benchmarks passou a ser uma contribuição de pesquisa por si só. Três artefatos de 2026 empurram o trabalho com benchmarks para além da agregação em leaderboards. O EduFair-Bench mantém um estudante simulado fixo e varia atributos demográficos, transformando um benchmark de tutoria em uma auditoria de justiça com métricas pedagógicas no nível do turno (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). O GeoVAD-Bench diagnostica construções visuais intermediárias — percepção, qualidade de auxiliares, utilização — em vez da correção final em 600 problemas de geometria (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). A repontuação por especialistas de seis benchmarks de física quantificou o erro que tais pontuações carregam: 57,20% das rejeições auditadas eram defeitos de item, 38,00% erros do avaliador e apenas 4,80% falhas reais do modelo (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Juntos, argumentam que uma pontuação de benchmark deve sempre ser lida com seu próprio orçamento de erro auditado, a mesma disciplina que a validade da avaliação exige dos instrumentos de sala de aula.

  • Anotação e geração de questões desacopladas como paradigma de construção. A maioria dos benchmarks constrói pares de pergunta–resposta específicos por item ou imagem, o que torna caro estender para novas tarefas, torna os dados difíceis de reutilizar entre tarefas e deixa controle limitado sobre a forma e a complexidade das questões. O MUSE inverte a ordem: anota cada obra de arte uma vez em uma representação estruturada reutilizável de seu conteúdo visual e semântico, e então instancia 12 tarefas a partir de regras de geração predefinidas, de modo que uma imagem produz uma instância de avaliação multivista, com dificuldade e formato tratados como variáveis explícitas de desenho em vez de subprodutos (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Sua evidência de correlação é um segundo argumento a favor do desenho — as 12 tarefas medem capacidades relacionadas, mas não redundantes (Quebra-Cabeça se correlaciona fracamente com a maioria das outras, ρ = 0,25 a −0,10), e em seis benchmarks externos as pontuações multimodais gerais se transferem de forma desigual para imagens educacionais artísticas (Quebra-Cabeça no BLINK versus no MUSE ρ = −0,20), o que é o argumento de cobertura de construto contra ler qualquer pontuação agregada única como proxy de capacidade educacionalmente relevante (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

  • A geração de saída multimodal é o eixo que a maioria dos benchmarks omite. Chen et al. (2026) pontuam 15.246 questões de física e 19.850 imagens do ensino médio até a universidade, incluindo um subconjunto de edição de diagramas: sintetizar ou editar diagramas de física estruturados mostrou-se mais difícil do que responder, e os modelos líderes ficaram abaixo de 70% de domínio estrito.

  • A cobertura de ciências no K-12 e o problema da saturação. Um benchmark alinhado à NGSS para ciências do ensino médio (1.078 + 1.150 itens sintéticos, validados por três avaliadores) constatou que nove modelos de pesos abertos ficaram acima de 90% de acurácia em one-shot, enquanto as estatísticas clássicas de item mostraram valores altos de dificuldade e baixa de discriminação: o tamanho do modelo não previu o desempenho, e os autores perguntam se o teste é fácil demais (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). É o caso específico do domínio para ler as estatísticas de item do próprio benchmark junto de seu leaderboard.

  • Uma linha de base trivial e a ground truth de TRI como verificação da acurácia de destaque. Worden et al. (2026) constroem o FoundationalASSIST a partir de 1.722.169 interações do ASSISTments com o texto das questões e as respostas reais dos estudantes preservados, pontuam a tarefa de rastreamento de conhecimento contra uma linha de base de "sempre correto" de 51,3%, e leem a competência dos modelos contra estimativas de TRI de dois parâmetros ajustadas aos mesmos dados. Quatro modelos de ponta superam a linha de base trivial por cerca de cinco pontos (melhor: 56,2%), caem abaixo do acaso ao julgar a discriminação de itens e — a falha que um benchmark construído para esse propósito consegue ver — predizem a correção 85,4% das vezes nas respostas corretas, mas apenas 12,6% nas incorretas, de modo que sua aparente habilidade é viés de otimismo.

  • A configuração do avaliador é, ela mesma, uma variável. Habibullah et al. (2026) varrem 171 configurações de correção sobre um exame de 570 estudantes com correção dupla e constatam que um preâmbulo curto de "corretor estrito" empurra 14 de 17 modelos de pesos abertos para fora da faixa corrigida, e então replicam com 162 configurações em um exame independente de 1.038 estudantes cujos resultados reproduzem a vulnerabilidade, mas não sua direção. A melhor configuração (MAE 1,64/35, abaixo dos 2,61/35 que os corretores humanos alcançam entre si) não é, portanto, evidência de que a correção por LLM funciona — embora um adaptador LoRA treinado nos rótulos humanos agrupados leve cinco modelos pequenos à paridade humana enquanto quase apaga a sensibilidade à persona.

  • Restringir o corpus para tornar a afirmação de capacidade atribuível. Li et al. (2026) filtram o FineWeb-Edu para 88B de tokens de material dos EUA do K–5 e treinam do zero um modelo de 5B com ele, e então verificam a costura por sondagens comportamentais em vez de pontuações — retenção próxima de zero em passagens além do K–5, colapso em itens de Jeopardy além do K–5, e menos da metade dos problemas de Matemática do 8º ano resolvidos mesmo com pass@1024. Como a exposição prévia é conhecida, uma capacidade que aparece após escalonamento, pós-treinamento ou exemplos em contexto pode ser creditada à intervenção; os autores também reportam que a fronteira não tem forma humana, já que o modelo às vezes supera uma habilidade derivada enquanto falha em seu pré-requisito.

  • A regra de pontuação faz parte do instrumento. Srivastava (2026) executa quatro regras de atualização de rastreamento de conhecimento sobre as mesmas sequências de eventos do ASSISTments 2012–13, diferindo apenas em como pontuam as linhas com assistência de dicas, e pré-registra as comparações atrás de uma cerca que retém a metade confirmatória dos estudantes até que o arquivo de registro esteja presente. Creditar qualquer conclusão supera por pouco uma constante de dificuldade de habilidade (AUC agrupada 0,604 contra 0,595 ao longo de 985.813 eventos pontuados) e declara 93,9% dos pares estudante–habilidade como dominados contra 72,8% sob uma regra que lê as linhas assistidas como primeiras tentativas falhas (0,658) — a lição geral sendo que um rótulo de domínio é definido pela regra de evidência, e não pelo log.

  • Reporte a capacidade do modelo como um nível calibrado, e não apenas como acurácia. Min et al. (2026) mapeiam 624 itens anotados por especialistas sobre níveis nomeados de proficiência usando 2.050 respostas de estudantes, e constatam que os modelos de ponta excedem o teto calibrado — um limite que uma porcentagem esconde.

  • Uma regra de pontuação pode ser enganada pelo modelo que ela treina. Uma métrica de adaptatividade maximizada pela repetição de uma única melhor decisão mostra que o desenho de benchmark deveria publicar o argmax, pontuar a adaptação como uma diferença e reportar linhas de base acima do aleatório (Domínguez Figaredo & Fernández De la Cruz, 2026).

Conceitos conectados

Artigos conectados

Perguntas frequentes relacionadas

Metadados

Tecnologias e técnicasIA generativa, Grandes modelos de linguagem (LLMs)
Avaliação e mediçãoAvaliação
Métodos de pesquisa e avaliaçãoAvaliação de IA na educação, Ponto de referência (Benchmark)
Tipo de páginaEvaluation
SourceHistoryEditChat

Incorporar esta página

Copie o código abaixo para incorporar esta página num sistema de gestão da aprendizagem ou noutro site. A versão incorporada mostra apenas o conteúdo da página — o cabeçalho, a navegação e o rodapé do site ficam escondidos.