Conceitos
Medição educacional
Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.
Medição educacional — a teoria e os métodos psicométricos para quantificar e validar a aprendizagem e seus constructos — perpassa as páginas de teoria da resposta ao item, rastreamento de conhecimento e validade da avaliação desta base de conhecimento. A era dos LLMs força a medição a conciliar a psicometria clássica com os novos fluxos de respostas geradas por IA: correção automatizada, dificuldade prevista por IA e rastros multimodais precisam ser validados contra princípios de medição estabelecidos para preservar confiabilidade e validade.
Questões para considerar
- Um LLM prevê que um item de prova é fácil, mas dados empíricos de teste dizem que os estudantes o acham difícil. Em qual deles você confia, e o que o convenceria a confiar na estimativa da máquina?
- Medição educacional trata de transformar observações da aprendizagem em afirmações quantitativas defensáveis. Quando uma IA corrige uma redação ou pontua uma resposta, uma "nota" é automaticamente uma medição — ou algo precisa ser validado primeiro? O quê?
- Alguma pesquisa sugere que instrumentos de avaliação podem não medir a mesma coisa para humanos e para LLMs — a estrutura latente diverge. Se os constructos genuinamente diferem entre humanos e IA, o que isso implica sobre notas geradas por IA ou classificações de dificuldade?
- A IA pode pontuar, gerar itens e prever dificuldade em escala sem precedentes. "Mais medição" é o mesmo que "melhor medição"? O que torna uma nota confiável e válida, e esses padrões podem ser preservados quando a medição é feita por um modelo generativo?
- Benchmarks e notas geradas por IA estão por toda parte agora. O que você precisaria ver antes de tratar uma avaliação baseada em IA como evidência sobre a compreensão real de um estudante, e não apenas um número?
Introdução
A medição educacional é a disciplina de transformar observações sobre a aprendizagem — respostas, comportamentos, notas — em afirmações quantitativas defensáveis. Ela abrange definição de constructos, desenho de itens e testes, escalonamento, confiabilidade e validade. Na IA em educação, questões de medição estão por toda parte: uma nota de benchmark mede o que pensamos? Uma nota gerada por IA é confiável e válida? As dificuldades de item previstas por IA concordam com as estimadas empiricamente?
Como a medição educacional aparece na pesquisa
-
A remodelação do campo pela IA ao longo de uma década: Xiong e Li (2026) mapeiam o impacto da IA ao longo de três eras (Formativa 2015–2018, Expansão 2019–2022, Generativa 2023–presente) por meio de um framework Eficiência–Aprimoramento–Transformação, abrangendo IA na correção e na geração de itens, modelagem psicométrica, inovação em avaliação e dados de processo, e justiça/ética/equidade. Eles defendem um novo paradigma que integre teoria da medição com métodos de IA e a reconceituação dos constructos no contexto da interação humano–IA — a mesma fronteira que a comparação de estrutura latente investiga empiricamente.
-
Dificuldade prevista por IA e calibração: A calibração de dificuldade por LLM e a previsão de dificuldade de itens usam LLMs para estimar a dificuldade dos itens, o que precisa ser validado contra estimativas psicométricas (ver teoria da resposta ao item). Razavi e Powers (2026) acrescentam um teste em larga escala no K-5 dessa premissa: ao longo de 5.170 itens de matemática e leitura calibrados pelo modelo IRT de Rasch, as classificações zero-shot de dificuldade do GPT-4o correlacionaram-se de moderada a fortemente com as dificuldades reais (r = 0,83 em matemática, r = 0,81 em leitura), mas de forma desigual entre as séries, e não superaram um regressor fictício da média por série para as séries K e 1. Uma abordagem baseada em atributos — atributos cognitivos e linguísticos extraídos por LLM alimentados em modelos baseados em árvores — alcançou correlações de até r = 0,87, com série e contagem de palavras como principais preditores. O estudo ilustra tanto a promessa quanto os limites da dificuldade prevista por IA como insumo de medição, e oferece um fluxo de trabalho prático de sete passos para profissionais de teste.
-
Quando rótulos de dificuldade gerados não medem dificuldade. Uma auditoria de validade de constructo de 311 itens gerados por LLM em produção concluiu que o rótulo de dificuldade gerado correlacionava-se com seu próprio nível de Bloom cogerado em ρ=0,90, mas com a dificuldade empírica (o índice 1−p da Teoria Clássica dos Testes) em apenas ρ=0,06, enquanto o comprimento das alternativas corria ao contrário (ρ=−0,18) — um resultado de rótulos-como-forma-superficial que limita as leituras otimistas da dificuldade prevista por IA acima (An e Wang (2026)).
-
Julgue itens gerados pelo caminho da solução, não pela redação. Codificar a árvore de raciocínio verificada de cada item elevou o desempenho acima do segundo melhor método em 7,5% na avaliação de conceitos, 6,3% na estimativa de dificuldade e 19,5% na avaliação de competências, casos em que uma baseline zero-shot rotulou errado um item que segue modelo como "Raciocínio" e um item geométrico como "Saber" (Tong et al. (2026)).
-
Consciência psicométrica na avaliação por IA: a IA psicometricamente consciente é o padrão de que a avaliação baseada em IA esteja alinhada à teoria da medição — calibrada, ciente de incerteza e preservadora de validade (ver Avaliação por IA consciente de confiança).
-
Rótulos de domínio são construídos, não observados. Onde o diagnóstico precisa de ground truth, Jia e Dong (2026) a construíram por meio de um procedimento de controle de validade — grafos de conceitos curriculares, mapeamentos de pontos de conhecimento revisados pelo instrutor e evidência convergente de avaliação — em vez de converter rastros comportamentais diretamente, e seus diagnósticos empataram psicólogos educacionais em kappa de Cohen 0,78 contra 0,65 da IRT.
-
Correção automatizada e validade: Correção por IA e viés de linguagem e a estimação multimodal de parâmetros de item examinam como a correção automatizada e os dados multimodais afetam a qualidade da medição.
-
Frameworks de validade: Validade da avaliação e PLN educacional fornecem os padrões e as ferramentas para validar a medição baseada em LLM.
-
Comparação de estrutura latente: Strugatski et al. (2026) estendem a medição educacional ao contexto dos LLMs ao testar se os instrumentos de avaliação mostram a mesma estrutura fatorial para humanos e LLMs. Usando EFA, congruência fatorial e reamostragem, eles mostram que as estruturas latentes LLM–humano divergem sistematicamente em instrumentos de química e de raciocínio quantitativo, implicando que os constructos medidos diferem entre populações — uma verificação necessária antes de se assumir que evidência de validade humana se transfere à IA.
-
A IA como corretora com erro mensurável: Cvengros & Kortemeyer tratam pontos atribuídos por IA como observações falíveis com múltiplas fontes de erro (itens, execuções, tarefas) sob a teoria da generalizabilidade e a validade baseada em argumento de Kane. A análise de confiabilidade de uma prova manuscrita de química geral com 296 estudantes mostrou alta estabilidade das notas totais ao longo de cinco execuções de IA (ICC(A,1) = 0,967, W de Kendall = 0,959, coeficiente de repetibilidade 95% de 5,33 de 60 pontos) com estabilidade menor no nível do item (ICC(A,1) = 0,836) — erros não sistemáticos se cancelam parcialmente quando somados (um efeito de agregação de Spearman–Brown que eleva a concordância da nota total para R² = 0,91), enquanto um pequeno intercepto positivo com inclinação < 1 revelou um viés de compressão de notas de "corretora tímida". Isso enquadra a média de execuções e a agregação como decisões de desenho de medição, e motiva filtros de confiança calibrados ao risco de IRT como salvaguarda de validade antes de confiar em medidas automatizadas.
-
A versão do modelo é uma condição de medição. Hao (2026) concluiu que a similaridade de respostas dentro do modelo (0,715–0,795) excedeu consistentemente a similaridade entre modelos (0,443–0,604) ao longo de quatro LLMs, de modo que um argumento de correção estabelecido para uma implantação não se transfere automaticamente à sua sucessora.
-
Um resultado nulo não é evidência de equivalência a menos que seja limitado. O StudentBench testou se a tutoria por IA agrupada equiparava-se à tutoria humana especializada com dois testes unilaterais contra ±0,25 desvios-padrão agrupados, em vez de um teste de diferença, relatando uma diferença ajustada de -0,58 pontos percentuais (IC 90% [−2,18, 1,03]) — a escolha que transforma um nulo subpotente em uma afirmação de equivalência (Northcutt et al. (2026)).
-
Calibração que escala com novos dados em vez de todo o histórico: Jewsbury et al. (2026) confrontam a consequência operacional da geração de itens por IA — bancos maiores, mais esparsos e atualizados com mais frequência que os convencionais, em que reajustar todos os dados de resposta acumulados a cada atualização é custoso e pode exceder a memória disponível. Sua calibração por consenso combina períodos trimestrais calibrados independentemente ao mapear as amostras posteriores de cada período para uma métrica comum com um link robusto de Haebara por amostra (de modo que a incerteza do vínculo se propaga em vez de ser tratada como transformação fixa), agregando então como um produto de posteriores Gaussianas do qual é subtraído o prior estimado e hierárquico de cada período e reinstalado um prior de consenso. Em dados operacionais do Duolingo English Test ao longo de quatro períodos, o agregado empatou um benchmark de execução única agrupada nas médias posteriores (r = ,998 para dificuldade, ,991 para log-discriminação) e nos desvios-padrão (r = ,970 e ,920), com subdispersão residual de 0,91–0,98 na razão DP consenso/agrupado ao longo dos tercis de exposição — concentrada no tercil de itens mais esparso, onde a supercontagem do prior morde com mais força. A lição de medição é dupla: um prior estimado não pode ser tratado pelos dispositivos-padrão de prior de subconjunto da computação Bayesiana paralela, e a dispersão posterior — a incerteza que a seleção e a correção adaptativas consomem — é tão alvo da correção quanto a média posterior.
-
Identificando a dispersão de um sistema a partir de dois números publicados: Restrepo Morales et al. (2026) mostram que o desvio-padrão da distribuição de desempenho pode ser recuperado apenas de estatísticas resumidas publicadas — a média e a parcela de estudantes em ou acima de um ponto de corte fixo de proficiência — porque, sob uma suposição distribucional, σ = (c − μ) / z(1 − p). Aplicado ao PISA 2025 de El Salvador (média de matemática 346, 12,28% em ou acima do corte de nível 2 de 420,07), o σ implícito é 63,8 (leitura 76,8, ciências 63,8), bem abaixo do benchmark internacional de 100, como esperado para uma distribuição pressionada contra o piso da escala; as três estimativas foram obtidas de pares independentes de números e ficam a cerca de 13 pontos umas das outras, uma leve verificação de consistência interna. A parcela no Nível 2 é relatada para todo sistema PISA e sustenta o indicador ODS 4.1.1, de modo que a identificação não precisa de microdados, e o mesmo artigo demonstra o problema do denominador em tamanhos de efeito ao relatar uma lacuna de matemática de três formas — 129 pontos, 1,29 desvios-padrão internacionais, ou 2,02 desvios-padrão da própria distribuição salvadorenha — com o argumento de que tamanhos de efeito padronizados divididos pela dispersão de sua própria amostra não são legitimamente comparáveis entre estudos.
Instrumentos de medição na base de conhecimento
Uma função central da medição educacional é o desenvolvimento, a validação e o uso de instrumentos — as escalas, testes e esquemas de codificação concretos que operacionalizam constructos. Os artigos desta base de conhecimento documentam uma ampla gama de instrumentos para constructos de IA em educação, que podem ser categorizados pelo que medem e por sua abordagem de medição.
Instrumentos de letramento em IA / IA generativa
O letramento em IA é o constructo com a cobertura instrumental mais rica na base de conhecimento. Existem duas grandes famílias: testes baseados em desempenho (objetivos, menos suscetíveis ao viés de autorrelato) e escalas de autorrelato (subjetivas, capturando competência percebida). As trocas dessa segunda família são o tema de Medidas de autorrelato: o autorrelato alcança atitudes e percepções a baixo custo, mas não pode sustentar uma afirmação sobre competência ou comportamento, e a base de conhecimento documenta uma lacuna de superestimação de 40% quando medidas paralelas de autorrelato e de desempenho são comparadas.
- Medidas baseadas em desempenho (objetivas). O carro-chefe é o GLAT (Teste de Avaliação de Letramento em IA Generativa), um instrumento de múltipla escolha de 20 itens construído sobre um projeto de 25 conceitos em quatro dimensões (Conhecer & Entender, Usar & Aplicar, Avaliar & Criar, Ética) e validado com CTT + IRT 2PL em 355 estudantes (RMSEA = 0,03, CFI = 0,97, α = 0,80, ω = 0,81). Criticamente, as notas do GLAT previram o desempenho em tarefas assistidas por IA onde o autorrelato não previu — evidência de que a medição baseada em desempenho supera o autorrelato para letramento em IA. Trabalhos relacionados em Desalinhamento na avaliação de letramento em IA quantificam a lacuna entre letramento em IA autorrelatado e baseado em desempenho (professores superestimam em ~40%), e Rastreamento de padrões de interação com IA generativa rastreia padrões reais de interação estudante–IA em vez de confiar no uso relatado.
- Medir o que os professores fazem, não apenas o que sabem. Uma validação com 486 professores produziu um instrumento de seis dimensões para os usos educacionais de IA generativa por professores — gestão, criação de materiais, avaliação, empoderamento, diversidade e motivação — confirmando que o uso é multidimensional, embora autorrelatos não possam sustentar uma afirmação sobre a prática em sala de aula (Pérez-Montesdeoca et al. (2026)).
- Escalas de autorrelato. SAIL operacionaliza o letramento em IA em três domínios (Conceitos de IA; Aplicação e Competências Técnicas; Cidadania Digital em IA) e quatro níveis progressivos; O Heptágono do Letramento em IA estrutura sete dimensões (técnica, aplicação, pensamento crítico, ética, impacto social, integração, legal/regulatório) com quatro níveis de proficiência alinhados a Bloom. Bypass de competência em IA generativa mapeia trajetórias divergentes de letramento em IA para estudantes vs. servidores, e Episódios de letramento em IA ancora a avaliação de letramento em episódios de aprendizagem situada. O desenvolvimento de instrumentos para quem aprende mais jovem também avança: o Questionário de Autoavaliação de Letramento em IA (AIL-SAQ) de Thianwan e Srikoon (2025) é uma escala de autorrelato de 15 itens para estudantes do 4º ao 6º ano, organizada em torno de Aprender Sobre IA, Aprender Como a IA Funciona e Aprender para a Vida com IA, validada com análise fatorial exploratória em 335 estudantes e análise fatorial confirmatória em mais 579, com alfa de Cronbach geral de ,934.
- Letramento em IA específico de domínio. Letramento em IA de professores pela teoria da autodeterminação desenvolve medidas de letramento em IA do professor dentro de um framework de teoria da autodeterminação (382 professores, validado por fatores); Conceituando a prontidão em IA de professores em formação mede a prontidão em IA de professores em formação via TPACK inteligente; Letramento em IA e adaptabilidade de carreira avalia a prontidão em IA de estudantes e a adaptabilidade de carreira na educação em negócios; e Revisão de pensamento crítico e trabalho em equipe revisa instrumentos para desfechos de pensamento crítico e trabalho em equipe apoiados por LLM. Estendendo-se à medição de educadores, a Escala de Letramento em IA de Professores (TAILS) operacionaliza as seis dimensões do framework ED-AI para medir letramento em IA especificamente na formação de professores de línguas (validada com análise fatorial), preenchendo uma lacuna em avaliações voltadas a estudantes ou usuários gerais.
Instrumentos de atitudes, aceitação e motivação
- Aceitação de tecnologia. Instrumentos fundamentados em TAM/UTAUT medem utilidade percebida, facilidade de uso e intenção comportamental de usar IA. Ver Modelo de Aceitação de Tecnologia e sua aplicação em Aceitação de ferramentas de IA para aprendizado de inglês (validação psicométrica entre grupos disciplinares/de proficiência) e Trajetórias de adoção de IA generativa.
- Autoeficácia e motivação. Instrumentos de autoeficácia e escalas de motivação (por exemplo, medidas baseadas em TAD de autonomia/competência/relação em Letramento em IA de professores pela TAD) capturam os antecedentes e as consequências motivacionais do uso de IA. Elas se conectam à medição de engajamento dos estudantes e de conhecimento prévio.
- Percepções sobre aprendizagem baseada em projetos. Zhu e Kong (2026) desenvolvem e validam uma escala de aprendizagem baseada em projetos com IA fundamentada no contexto (AI-PBLS) que mede as percepções dos estudantes sobre PBL ao usar IA para resolução de problemas em cursos de letramento em IA (EFA e CFA em 1.027 estudantes do ensino médio e universitários, 446 completos), e sua aplicação de SEM demonstra como empoderamento e consciência ética medeiam as relações de PBL para satisfação — um instrumento robusto para avaliar experiências percebidas de PBL em aplicações de IA.
Instrumentos de qualidade e validade da avaliação
- Correção automatizada e instrumentos de rubrica. HARMOGEN-R gera rubricas de avaliação; Correção e feedback supervisionados por instrutor com IA avalia a qualidade da correção por IA contra critérios de Feedback elaborado; Reforma da escala de avaliação trata de como a IA rompe as escalas tradicionais de avaliação.
- Desenhos que fortalecem a validade. Gêmeos de avaliação emparelham uma tarefa vulnerável a IA generativa com um equivalente menos vulnerável que avalia os mesmos desfechos, mapeando ameaças ao longo das seis vertentes de evidência de validade de Messick.
- Particionando o espaço de desfechos por assistência. Um programa de medição define autoria do modelo — até que ponto quem aprende, e não o sistema, origina o conteúdo de nível de domínio de um artefato — como um constructo de quatro facetas e quatro níveis, e relata que, de 24 estudos auditados, quase todos mediram desempenho com a IA disponível e nenhum mediu após sua retirada (Gousopoulos (2026)).
- Codificação de discurso e engajamento. Engajamento cognitivo com framework ICAP estendido estende o framework ICAP em um esquema de codificação de engajamento cognitivo de 7 pontos, comparando anotação humana (κ = 0,906–0,998) com rotulação por LLM (κ = 0,541–0,609) — um estudo de instrumento de medição que mostra que a codificação automatizada ainda fica atrás de humanos treinados. A codificação automatizada também avança via prompting consciente de contexto, que modela dependências contextuais e funde competências cognitivas e sociais para codificar competências de resolução colaborativa de problemas a partir de dados de processo com desempenho superior ao de baselines fortes — possibilitando avaliação em larga escala e em tempo real ao mesmo tempo em que enfrenta a intensidade de trabalho da codificação manual.
- Extração de competências. Análise de traço principal de competências deriva "competências" na colaboração humano–IA por meio de análise de traço principal — uma medição orientada por dados da competência de colaboração.
A abordagem de medição importa
A evidência desta base de conhecimento mostra repetidamente que como um constructo é medido muda as conclusões. O letramento em IA autorrelatado diverge agudamente das medidas baseadas em desempenho (Desalinhamento na avaliação de letramento em IA); a anotação por LLM do engajamento diverge da codificação humana treinada (Engajamento cognitivo ICAP); e as estruturas latentes diferem entre humanos e LLMs (Estrutura latente humano–LLM). A validação rigorosa de instrumentos — confiabilidade, validade estrutural, validade externa/preditiva — é, portanto, não uma formalidade, mas a fundação de evidência confiável em IA em educação, conectando-se a Validade da avaliação e IA psicometricamente consciente. Um estudo recente no nível do material mostra quanto trabalho de validação está por trás de uma simples afirmação de aceitação: Wang, Chuang e Wu (2026) usaram um desenho de metade dividida (EFA em uma amostra de desenvolvimento, CFA em uma metade retida) para dois guias de letramento em IA por faixa de idade, relatando KMO = ,820, 67,3% de variância explicada, ajuste aceitável para estudantes (CFI = ,943, RMSEA = ,059, SRMR = ,059), confiabilidade composta de ,84 a ,90 e invariância de medição entre edições — e então documentando onde o instrumento tensiona, com valores HTMT de até ,950 e uma correlação restringida entre ludicidade e intenção que precisou ser testada contra a unidade. Suas verificações suplementares de funcionamento diferencial do item são um modelo da honestidade que esta página defende: a invariância se manteve, mas padrões de resposta de baixa variação entre estudantes mais jovens fizeram uma diferença de grupo enfraquecer quando esses respondentes foram excluídos, e o artigo relata isso ao lado do resultado de destaque, e não em lugar dele.
Oliveira et al. (2025) mostram a sequência de validação de uma nova medida de processo: pontuar os registros de interação dos estudantes com IA generativa contra uma taxonomia de 35 subcategorias alcançou apenas concordância interavaliadores moderada (κ de Cohen = 0,44), mas correlacionou-se r = 0,54 com as notas das redações, dando à nova medida apoio convergente.
- Coeficientes de concordância são propriedades do corpus, e notas são produtos conjuntos. Uma validação de correção automatizada de 60 publicações de marketing relatou concordância absoluta ICC(2,1) de ,435 para um LLM, ,266 para um híbrido de regras + LLM e ,091 para regras determinísticas, com incerteza estimada a partir de 2.000 amostras bootstrap agrupadas por autor e MAE de 6,28–17,22 pontos; acrescentar âncoras redigidas pelo pesquisador moveu a concordância interavaliadores de ,338 para ,902, mostrando quão fortemente essas estimativas dependem do conjunto de referência (Concordância na correção de publicações de marketing). Uma auditoria de reavaliação por especialistas dos benchmarks de física faz o ponto complementar no nível do instrumento: 95,20% das rejeições auditadas foram erros do benchmark ou do corretor, e não falhas do modelo, de modo que uma nota medida deve ser relatada como propriedade do banco de itens, da rubrica e do corretor juntos (Auditoria de benchmark de física). A confiabilidade é parcialmente recuperável do próprio modelo. Organisciak e Acar (2026) avaliam três melhorias baratas na correção baseada em LLM em mais de 20.000 respostas ao Teste dos Usos Alternativos: ler a confiança do próprio modelo no nível do token, tomar uma média ponderada por probabilidade sobre suas n principais notas previstas em vez de um único palpite, e fazer ensemble entre modelos. Cada uma melhorou a concordância com as notas humanas (correlação subindo de r = 0,781 para 0,823 e RMSE caindo de 0,599 para 0,498 na melhor configuração), e seus diagnósticos localizam uma falha específica da correção em passada única: a confiança expressa pelo modelo se relacionava negativamente à sua precisão (β = −0,602). Esse é um resultado de abordagem de medição, e não de modelo — o mesmo modelo, pontuado de forma diferente, é um instrumento mais confiável — e se situa ao lado da evidência de concordância no nível do corpus acima.
Uma apreciação de 2026 de 33 instrumentos de letramento em IA de professores mostra onde o desenvolvimento de instrumentos é maduro e onde não é. Zainal, Mohd Matore e Maat (2026) classificaram os instrumentos contra uma matriz de decisão adaptada do COSMIN e de Terwee et al. (2007) e concluíram que a consistência interna é o domínio mais forte (28 de 33 no Grau A, 84,8%) e a justiça o mais fraco, com apenas cinco instrumentos (15,2%) relatando invariância de medição ou evidência de funcionamento diferencial do item. A validade estrutural foi forte, com 24 instrumentos (72,7%) no Grau A por CFA, PLS-SEM ou modelagem IRT, mas a validade de conteúdo repousou sobretudo em revisão qualitativa, com 21 instrumentos (63,6%) no Grau B por carecer de estatísticas quantitativas de concordância de especialistas.
A seleção automatizada de itens pode encurtar um instrumento sem reformulá-lo: a otimização por colônia de formigas sobre uma amostra mesclada de duas ondas (N = 305, 342) produziu uma forma curta de 12 itens correlacionando r = 0,910–0,944 com a escala completa em cada dimensão, embora dois itens por dimensão cubram uma faixa de conteúdo mais estreita (Wang, Zhang e Zhang (2026)).
Problemas e limitações: o que a medição pode perder ou errar
A medição educacional é poderosa, mas falível. Compreender seus modos de falha é essencial para ler criticamente a evidência em IA em educação — e para reconhecer onde um aparente ganho de aprendizagem ou afirmação de constructo pode ser artefato da medição, e não um efeito real.
-
Limites de confiabilidade. A medição nunca é perfeitamente confiável; variância de erro está sempre presente. Quando instrumentos têm baixa consistência interna ou estabilidade teste–reteste, diferenças observadas podem ser ruído. Em contextos de IA, novos modos de falha agravam isso: respostas geradas por LLM podem ser pontuadas com alta concordância de máquina e, ainda assim, divergir da pontuação humana (Engajamento cognitivo ICAP), e a correção automatizada pode ser internamente consistente e sistematicamente errada — precisão sem validade. As limitações de medição da pesquisa em AIEd documentam instrumentos não confiáveis como uma fraqueza transversal.
-
Incerteza de codificação como erro confunde duas falhas. Em um teste de conhecimento em saúde mental com 30 afirmações, a pontuação por precisão contou não sei como incorreta, embora 67,3% dos estudantes a tenham escolhido em um fato, enquanto 60,6% das respostas do modelo estavam positivamente erradas — um formato forçado correto/incorreto não consegue separar incerteza de uma crença incorreta (Richter et al., 2026).
-
A concordância entre corretores define o teto prático. Uma validação em larga escala no Acredita EB do Uruguai concluiu que a concordância entre corretores humanos define o teto prático para a correção por IA: entre dez especialistas pontuando independentemente 50 textos, nenhum item de rubrica alcançou concordância unânime com o consenso, o corretor mais divergente costumava ficar abaixo de 80% de concordância enquanto o melhor superava 90%, e o Kappa de Cohen foi apenas leve ou regular para vários itens assimétricos que quase todas as respostas satisfazem. Os autores julgam, portanto, as notas automatizadas contra um padrão de referência que é ele próprio imperfeito — dez corretores, uma única nota operacional para a maioria das respostas, e vários itens na zona convencional de 70% de aceitabilidade — uma cautela para qualquer afirmação de medição construída sobre rótulos operacionais de corretor único.
-
Validade — medir a coisa errada. A validade pergunta se um instrumento mede o constructo que alega medir. Falhas comuns incluem sub-representação do constructo (um teste de letramento em IA que amostra apenas conhecimento técnico, perdendo a ética) e variância irrelevante ao constructo (um item que recompensa fluência de leitura em vez da competência-alvo). Correção por IA e viés de linguagem mostra como atributos de superfície — língua, formulação, estilo — podem dirigir notas automatizadas de formas não relacionadas ao constructo pretendido. Validade da avaliação é a proteção contra essas ameaças.
-
Uma escala pode devolver o número pretendido de fatores sem medir os constructos pretendidos. Kang, Lee e Kang (2026) retiveram seis fatores de uma escala de empatia com IA de 42 itens, mas os itens não recuperaram os seis subfatores pretendidos — Intenção Pró-social não formou fator algum —, de modo que a estrutura é apresentada como provisória.
-
A lacuna de autorrelato. Medidas de autorrelato capturam competência percebida, não competência real. A base de conhecimento mostra repetidamente o letramento em IA autorrelatado divergindo agudamente das medidas baseadas em desempenho (Desalinhamento na avaliação de letramento em IA, ~40% de superestimação por professores) e que o autorrelato falha em prever desempenho real assistido por IA onde testes de desempenho têm sucesso (GLAT). Medidas que dependem de autorrelato podem superestimar sistematicamente constructos e ocultar lacunas reais de competência.
-
A estimativa agrupada é frágil. Uma revisão estruturada de 2026 que agrupa apenas correlações subjetivas–objetivas de letramento em IA da mesma amostra (N = 2.765) dá r = ,055 (IC Hartung-Knapp 95% [−,047, ,156]); com k = 3, com os estimadores de heterogeneidade discordando e um estudo carregando 77,2% do peso, ela não pode fixar um ponto de corte de proficiência (Verí (2026)).
-
Constructos que não transferem entre populações. Strugatski et al. mostram que instrumentos de avaliação podem ter uma estrutura fatorial diferente para humanos e LLMs — o que significa que os mesmos itens podem não medir o mesmo constructo latente entre populações. Mesmo entre humanos, instrumentos validados em um grupo (por exemplo, ocidental, bem-resourciado no ensino superior) podem não generalizar a outros (Sul Global), uma preocupação para a generalizabilidade das medidas de IA em educação.
-
O que a medição pode perder. Alguns dos constructos mais centrais à aprendizagem em IA em educação são os mais difíceis de medir bem — e, portanto, os mais facilmente perdidos ou distorcidos por instrumentos:
- Processo e estratégia. Medidas-padrão de desfecho capturam o produto da aprendizagem, não o processo. Elas podem perder como os estudantes de fato se engajam com a IA — dependência excessiva, aceitação sem reflexão ou verificação crítica. Rastreamento de padrões de interação com IA generativa usa rastros de interação precisamente porque autorrelato e testes de desfecho perdem essas dinâmicas.
- Aprendizagem longitudinal e durável. Um único pós-teste pode mostrar desempenho inflado pela assistência de IA enquanto perde a erosão do conhecimento durável e não assistido (a lacuna desempenho–aprendizagem). Medir em um único ponto no tempo pode ser ativamente enganoso sobre a aprendizagem.
- Equidade e acesso. Instrumentos que presumem acesso uniforme a dispositivos/conectividade, ou que são normatizados sobre amostras privilegiadas, podem perder — ou sistematicamente submedir — as capacidades de estudantes de baixos recursos, atribuindo indevidamente lacunas de acesso a lacunas de capacidade.
- Estados afetivos e motivacionais. Engajamento, motivação e autoeficácia são frequentemente medidos por autorrelato, herdando a lacuna de autorrelato acima; eles podem não capturar as dinâmicas situadas e momentâneas que impulsionam a aprendizagem.
-
A medição automatizada pode estar confiantemente errada. A combinação de alta confiança de máquina e correção opaca é um risco distintivo da era da IA: um corretor ou anotador por LLM pode produzir notas altamente autoconsistentes e sistematicamente enviesadas, e a aparência de rigor (N grande, alta concordância entre LLMs) pode mascarar invalidade. Os frameworks Avaliação de IA em educação e IA psicometricamente consciente são o antídoto — exigindo calibração, consciência de incerteza e evidência de validade antes de confiar em medidas automatizadas.
Em suma, a medição educacional pode perder o que não amostra (processo, durabilidade, acesso, afeto) e pode errar o que amostra mal (autopercepção, atributos de superfície, constructos entre populações). Ler achados de IA em educação exige, portanto, perguntar não apenas o que foi medido, mas como — e o que o instrumento pode ter deixado de capturar.
- Codificação auditável separa erro de definição de erro de modelo. O EduBehaviors decompõe um constructo em comportamentos observáveis anotados separadamente mais uma regra de agregação explícita, de modo que um revisor pode ver qual evidência produziu um rótulo e rededuzir rótulos após uma mudança de regra sem novas chamadas de modelo; ele alcançou macro-F1 0,673 no Teacher TalkMoves, competitivo com o prompting direto por LLM (Bernado et al. (2026)).
Conexões
A medição educacional é a fundação da teoria da resposta ao item, da validade da avaliação, do rastreamento de conhecimento e do modelagem do estudante. Ela se conecta aos analytics de aprendizagem (medição de dados de aprendizagem), ao PLN educacional (medição da linguagem) e à IA psicometricamente consciente (IA alinhada à teoria da medição). Suas preocupações de validade e confiabilidade sustentam a avaliação de IA em educação e as limitações de medição do campo. Pelos constructos que mede, ela intersecciona letramento em IA, modelo de aceitação de tecnologia, autoeficácia, motivação e engajamento dos estudantes.
- Modelagem causal de intervenções de apoio (2026): um protocolo de modelagem causal estrutural leva a avaliação educacional além da atualização de crença associativa da teoria da resposta ao item rumo ao raciocínio intervencional e contrafactual (por exemplo, o efeito de dicas), com equações estruturais elicitadas de especialistas usando apenas informação lógica — ilustrado em tarefas de competências algorítmicas do ensino obrigatório (Causal Modelling of Support Interventions for Student Competency Assessment).
Conceitos conectados
- Interpretar e aplicar a pesquisa em AIEd
- Teoria de resposta ao item
- Validade da avaliação
- IA psicometricamente consciente
- Rastreamento de conhecimento
- Modelagem de quem aprende e instrução adaptativa
- PLN educacional
- Analítica de aprendizagem
- Avaliação de IA na educação
- Investigação educacional assistida por IA — Pesquisa educacional assistida por IA
- Avaliação automatizada
- Limitações na Pesquisa em AIEd
- Letramento em IA
- Modelos de adoção de tecnologia
- Autoeficácia
- Ponto de referência (Benchmark)
- Medidas de autorrelato
- Motivação
- Engajamento do estudante
Artigos conectados
-
A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — Um framework de humano-na-alça para correção assistida por IA em avaliação de escrita em larga escala
-
Causal Modelling of Support Interventions for Student Competency Assessment — Modelagem causal de intervenções de apoio para avaliação de competências de estudantes
-
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Instrumentos de avaliação medem a mesma coisa para humanos e LLMs? (Strugatski et al. 2026)
-
GLAT: The Generative AI Literacy Assessment Test — GLAT: teste de letramento em IA generativa validado por IRT (Jin et al. 2025)
-
Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents — Medindo engajamento cognitivo com um framework ICAP estendido
-
Assessment twins: An approach for strengthening assessment validity in the age of generative AI — Gêmeos de avaliação para fortalecer a validade sob IA generativa
-
The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education — O Heptágono do Letramento em IA
-
How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures — Desalinhamento entre letramento em IA autorrelatado e de desempenho
-
Teacher education for artificial intelligence literacy through a self-determination theory perspective — Letramento em IA de professores pela teoria da autodeterminação
-
Acceptance of AI-Assisted English Language Learning Tools in Higher Education: Psychological Correlates Across Disciplinary and Proficiency Groups — Medidas de aceitação de IA para ferramentas de aprendizado de inglês
-
From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — De modelos avaliados a auxílios de avaliação
-
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — Avaliação cognitiva da previsão de dificuldade de itens por LLM
-
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Estimação multimodal de parâmetros de item
-
AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics — Correção por IA e viés de linguagem em física
-
The AI Writes the Code, the Student Writes the Model: A Theory and Measurement Programme for Learning by Construction with Generative AI — Autoria do modelo: teoria e medição para a aprendizagem por construção com IA generativa
-
Assessing students' DRIVE: A framework to evaluate learning through interactions with generative AI — DRIVE: avaliando a aprendizagem pela interação com IA generativa (DRI + Especialização Visível)
-
A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — Revisão temática de uma década de IA na medição educacional
-
Design and Validation of a Questionnaire on Teachers' Uses of Generative Artificial Intelligence — Questionário sobre usos de IA generativa por professores (Pérez-Montesdeoca et al. 2026)
-
Personalized neural cognitive architecture search — Busca automatizada de arquitetura neural cognitiva personalizada para perfis de estudantes
-
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimando dificuldade de itens com LLMs e ML baseado em árvores
-
Assisting the grading of a handwritten general chemistry exam with artificial intelligence
-
Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers — Validação EFA/CFA de metade dividida com invariância, HTMT e verificações DIF, incluindo um relato honesto da sobreposição de constructos ludicidade–intenção
-
ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: avaliação de qualidade de itens de matemática baseada em processo
-
Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use — Além do letramento em IA: uma revisão estruturada e metanálise exploratória de medidas para uso competente de IA generativa
-
Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — Calibração Bayesiana por consenso: recalibração dividir-para-conquistar de um banco de itens IRT em evolução contínua (Jewsbury et al. 2026)
-
How much selection would be enough? Bounding the learning claim of El Salvador's artificial intelligence tutoring pilot — Limitando a afirmação de aprendizagem do piloto de tutoria por IA de El Salvador (Restrepo Morales et al. 2026)
-
Know When to Trust: Making AI Scoring More Reliable for Educational Assessment — Know When to Trust: autoconfiança do modelo, pontuação probabilística e ensembles como alavancas de confiabilidade da correção
-
Development of an AI literacy self-assessment questionnaire in upper primary school students — Um questionário de autoavaliação validado de 15 itens para letramento em IA no final do primário (Thianwan & Srikoon 2025)
-
Assessing teachers' AI literacy: a systematic review of measurement tools — Apreciação sistemática de 33 instrumentos de letramento em IA de professores em domínios de qualidade estilo COSMIN (Zainal et al. 2026)
-
Mental Health Literacy Across Psychology Students and Large Language Models — Letramento em saúde mental entre estudantes de psicologia e grandes modelos de linguagem
-
StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: tutoria por IA e humana geram ganhos de aprendizagem equivalentes no GRE
-
Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Uso de LLMs por estudantes e os limites da dificuldade de questões gerada por IA em cursos de ciência de dados
-
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues — EduBehaviors: esquemas baseados em asserção para codificação auditável de diálogos educacionais
-
What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — O que as métricas de fidelidade perdem: uma verificação estrutural de dados educacionais sintéticos
-
AI Empathy as a Human Disposition in Generative AI Interaction: Development and Preliminary Psychometric Evaluation of a Cognitive–Affective–Motivational Scale — Uma escala de empatia com IA de 42 itens cujos seis fatores não recuperaram os seis subfatores pretendidos
-
Generative artificial intelligence-supported self-regulated learning (GenAI-SRL) in L2 writing: scale development, validation, and short-form construction — Uma escala GenAI-SRL de seis dimensões para escrita em L2; forma curta de 12 itens otimizada por colônia de formigas acompanha a escala completa (r = 0,910–0,944), mas estreita a cobertura de conteúdo
-
A taxonomic label does not predict item behavior. Across 265 mathematics items, intended Bloom level explained under 5% of the variance in difficulty (ε² = .043) and none of discrimination (Kruskal–Wallis H = 0.54, p = .77), while an LLM classification agreed with expert coders only fairly (Cohen's κ = .22) and pulled items toward the apply/analyze band (Altaweel & Moussa (2026)).
-
Do Cognitive Classifications Predict Empirical Item Behaviour? Aligning Bloom's Taxonomy with the Psychometric Properties of National Centralized Mathematics Items across Grades 4–12 — Do Cognitive Classifications Predict Empirical Item Behaviour? Aligning Bloom's Taxonomy with the Psychometric Properties of National Centralized Mathematics Items across Grades 4–12