Validade da avaliação

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Validade da avaliação — se as avaliações medem o que afirmam medir. A IA na educação levanta questões fundamentais de validade: as avaliações corrigidas por IA avaliam a aprendizagem do estudante ou a habilidade de fazer prompts de IA? O uso de IA invalida os pressupostos da avaliação tradicional?

Perguntas para refletir

• A validade pergunta se uma avaliação mede o que afirma medir. Antes de ler, se você visse um estudante entregar uma redação polida que você suspeitasse ser assistida por IA, você pensaria que o maior problema era a trapaça, ou que a tarefa já não estava medindo o que você pensava que ela media?
• Esta página coloca uma questão aguda: quando os estudantes usam IA, a nota reflete o conhecimento do estudante ou a habilidade de fazer prompts de IA? Você consegue pensar em uma avaliação que desenhou ou fez em que a nota agora poderia estar dizendo mais sobre a ferramenta do que sobre quem aprende?
• Um achado central é que a mesma entrada de um estudante pode receber respostas semanticamente diferentes dependendo de qual LLM subjacente é usada — introduzindo "variância irrelevante ao construto" que ameaça a confiabilidade e a equidade. Se dois estudantes recebem apoio diferente da IA puramente por causa do modelo por trás dela, quão justa é a comparação resultante?
• A página argumenta que, mesmo quando um LLM vai bem, transferir as interpretações humanas das notas exige similaridade na estrutura latente das respostas — e os LLMs divergem dos humanos aqui. O que isso sugere sobre confiar numa IA que "passa" num exame desenhado para humanos?
• Em vez de tentar detectar o uso de IA, a base de conhecimento defende redesenhar as avaliações para que permaneçam válidas para estudantes capazes de usar IA. Por que redesenhar a tarefa poderia ser uma estratégia mais preservadora de validade do que policiar se a IA foi usada?
• A IA agora serve como quem faz a prova, quem a cria, quem a corrige e quem a analisa — tornando opaca a cadeia interpretativa. Quando todos os papéis de uma avaliação são preenchidos pela IA, o que significa dizer que uma avaliação é "válida" para o estudante humano no meio de tudo isso?

Introdução

Desafios de validade

• Validade de construto: quando os estudantes usam IA nas avaliações, a nota reflete o conhecimento do estudante ou a capacidade da IA? A pesquisa sobre desempenho versus aprendizagem endereça isso diretamente.

• Variância irrelevante ao construto entre LLMs na avaliação baseada em conversa: Hao (2026) mostra que, mesmo para um único turno conversacional, o conteúdo semântico das respostas geradas por LLM varia entre modelos e condições de contexto conversacional. A similaridade dentro do mesmo modelo excede consistentemente a similaridade entre modelos (0,715–0,795 contra 0,443–0,604), e acrescentar histórico de conversa muda significativamente o conteúdo das respostas (similaridade entre históricos mediana de ~0,40–0,45). Como a mesma entrada de um estudante pode receber respostas semanticamente diferentes dependendo do modelo subjacente, o prompting e o contexto isoladamente não conseguem preservar a consistência das respostas — introduzindo potencial variância irrelevante ao construto que ameaça a validade, a confiabilidade e a equidade. Manter condições de avaliação consistentes à medida que os LLMs evoluem é, portanto, um desafio de infraestrutura (regras simbólicas, gabaritos de resposta, camadas de validação), e não meramente um desafio de engenharia de prompts.

• Evidência que está presente, mas nunca chega a quem corrige: Abreu, Stari e Martí (2026) nomeiam uma ameaça de irrelevância ao construto que precede qualquer raciocínio: na revisão por IA de relatórios experimentais de laboratório de física, uma equação, um gráfico, uma tabela ou uma unidade pode estar corretamente incluída no relatório, mas não ser recuperada do conteúdo processado com que o modelo trabalha, e como uma mudança de sinal, valor ou unidade altera a interpretação física, uma discordância com o instrutor não precisa indicar erro de raciocínio. O remédio deles é procedural — PDFs de alta resolução em vez de fotografias de digitalizações, equações escritas num editor de equações, eixos e unidades legíveis dentro das figuras, e instruções exigindo uma citação concreta para cada nota —, porque a qualidade do documento estabelece o teto de qualquer afirmação de validade que a nota resultante sustenta.

• Validade da estrutura latente entre humanos e LLMs: Strugatski et al. (2026) acrescentam uma condição de validade mais profunda: mesmo quando um LLM vai bem, transferir as interpretações humanas das notas exige similaridade na estrutura latente das respostas. Comparando seis LLMs multimodais a coortes humanas em instrumentos de química e de raciocínio quantitativo, eles constatam que as estruturas fatoriais LLM–humano divergem consistentemente (congruência LLM–humano abaixo da linha de base humano–humano), de modo que o desempenho num exame normado para humanos é evidência fraca sobre as capacidades dos LLMs nos construtos que os itens foram desenhados para medir.

• Validade consequencial: as avaliações mediadas por IA têm consequências justas? Os estudos sobre viés de linguagem mostram que a correção por IA pode desfavorecer falantes não nativos.

• Um alvo em movimento nos testes de idiomas. Testes de alto impacto como o TOEFL iBT, o IELTS, o PTE Academic e o Duolingo English Test ainda exigem leitura e escrita sem auxílio e cronometradas, enquanto os estudantes agora usam a GenAI para essas tarefas na vida acadêmica, de modo que a inferência de extrapolação — das notas sem auxílio para o desempenho acadêmico real — é a etapa mais afetada (Gonulal (2026)).

• O escopo da regra é ele mesmo uma propriedade de validade: Wright (2026) argumenta que as proibições escritas pelo ensino superior desde 2023 barram a "IA generativa" sem a precisão técnica para separar a geração de conteúdo avaliado da conversão de um formato, já que reconhecimento óptico de caracteres, reconhecimento de texto manuscrito e transcrição de fala são tecnologias de reconhecimento que inferem o que já está presente, em vez de produzir conteúdo novo. Onde uma regra se prende à identidade da plataforma em vez da função, ela é sobreinclusiva por acidente definicional: captura o uso apenas de transcrição de uma ferramenta multifuncional e sanciona um estudante que não fez a coisa que a regra foi desenhada para prevenir, recaindo mais fortemente sobre estudantes que dependem dessas ferramentas para acessibilidade — uma inferência que a avaliação não consegue sustentar sobre o construto que afirma medir. Ele propõe redação baseada em função mais quatro critérios operacionais (fidelidade, não aumento, rastreabilidade, atestação) para casos limítrofes, e trata a dependência da saída de detectores e de heurísticas de estilo como evidência de quão fraca é a própria base evidencial da regra.

• A conclusão agêntica remove o pressuposto de produção humana: Hadjisolomou & El-Haddad (2026) estendem a análise de validade da assistência generativa para a conclusão agêntica: agentes de IA autônomos já conseguem entrar num LMS, ler materiais e concluir trabalho assíncrono sem supervisão de ponta a ponta (demonstrado num curso ao vivo — um quiz com nota 10/10 em menos de 5 minutos, e uma reflexão para fórum fabricada, mas verossímil). Colocando um "pressuposto de produção humana" na base da cadeia de inferência baseada em argumento de Kane, eles mostram que a conclusão por agente remove silenciosamente o apoio para a inferência de correção sobre a qual repousam as inferências de generalização, extrapolação e decisão — de modo que toda nota assíncrona sem supervisão, inclusive as honestamente obtidas, perde seu suporte interpretativo porque a autoria é inverificável. Seu movimento decisivo é classificar isso como uma falha de validade, e não de integridade: uma instituição pode punir má conduta e ainda assim carecer de fundamentos para as notas que reporta. A detecção é estruturalmente insuficiente (classificadores não confiáveis e enviesados; o monitoramento do LMS vê os mesmos cliques que um estudante veria), de modo que o remédio é o redesenho da avaliação para presença humana verificada (um componente oral curto, rascunhos com processo visível, referências específicas da sessão de aula), com um menu de opções que preserva a equidade em vez de uma obrigatoriedade de proctoring.

• Variância irrelevante ao construto na correção humana de trabalho assistido por GenAI: Luo & Dawson (2026) fornecem uma demonstração empírica direta de que a correção humana de trabalho assistido por GenAI está atravessada de variância irrelevante ao construto. Em entrevistas baseadas em cenários com 33 professores universitários, as decisões de correção foram movidas por valores orientados à pessoa (honestidade e diligência do estudante), orientados à capacidade (independência em relação à IA, habilidade com GenAI, domínio disciplinar), orientados à relação (confiança construída com os estudantes) e orientados à justiça (equidade, beneficência) — todos capazes de variar as notas por fatores não relacionados aos resultados avaliados. Abaixar a nota de trabalho assistido por GenAI se justifica, argumentam eles, se e somente se o uso de IA impediu os estudantes de demonstrar os resultados avaliados; do contrário, a correção movida por valores ameaça a validade. O estudo fundamenta o enquadramento da validade na prática real do professor e pede uma "transparência de mão dupla" — professores explicitando como o uso de GenAI afetará as notas, e não apenas estudantes declarando uso.

• A variação em escala exige geração de variantes equivalentes ao construto: VARIA (Lee 2026) submete o pressuposto de "variação em escala" da Avaliação Autêntica Integrada à IA (AIAA) — substituir o proctoring de vigilância por variação de tarefa por estudante — a uma verificação empírica e falseável. Como cada examinando recebe uma tarefa de desempenho única, mas equivalente, a garantia de integridade é condicionada a que os LLMs gerem variantes que sejam simultaneamente distintas na superfície, equivalentes ao construto, aplicáveis à rubrica e pareadas em dificuldade. Benchmarkando três famílias de modelos de fronteira ao longo de quatro estratégias de prompting sobre 600 variantes, a VARIA constata que os geradores de fronteira satisfazem os critérios conjuntos de integridade apenas no limite (nota conjunta 0,81–0,88), enquanto as referências fora da fronteira desabam (0,50–0,55), e nenhuma estratégia de prompting isolada domina as quatro propriedades — de modo que "a variação em escala não pode ser resolvida só com prompting" se o limiar de diversidade for fixado agressivamente, e as instituições precisam validar seu par específico modelo-prompt.

• O viés de subcorreção na correção de IA com humano no circuito é uma propriedade da validade, não um defeito: Curi et al. (2026) mostram que, numa avaliação de escrita em larga escala nacional, o viés sistematicamente conservador (subcorreção) de um corretor LLM, embora problemático como decisão final, é precisamente o que permite a delegação segura: respostas "aprovadas" marcadas pela IA podem ser aceitas com confiança, enquanto respostas "reprovadas" marcadas pela IA (15,3–16,5% dos casos) são encaminhadas a revisão por especialistas — mantendo a ameaça à validade do erro da IA fora do resultado final. Sua pipeline de TRI-e-Bookmark torna legível o impacto da correção por IA sobre o nível de proficiência, em vez de tratar a concordância bruta de notas como único sinal de validade.

• A inflação de notas movida por IA como ameaça à validade: Chirikov (2026) identifica um mecanismo novo, movido pela tecnologia, de inflação de notas que opera a montante da correção — sobre a produção do trabalho avaliado. Num estudo de diferença em diferenças de mais de 500.000 notas ao longo de 319 cursos (2018–2025), cursos com mais tarefas expostas à IA (escrita, programação) viram a participação de notas A subir 13 pontos percentuais após o lançamento do ChatGPT, com compressão da distribuição de notas. Uma análise de tripla diferença mostra que o efeito se concentra nos cursos pesados em lição de casa — evidência de que o deslocamento de tarefas para a IA (a IA realizando tarefas avaliadas antes de os instrutores as observarem) infla as notas sem uma elevação correspondente de competência. Isso reduz a comparabilidade das notas entre cursos e corrói o valor informacional dos históricos escolares de formas difíceis de detectar apenas a partir das distribuições de notas.

• A suscetibilidade de aprovação/reprovação no nível do programa, e os critérios de correção que a definem: Ivory et al. (2026) julgaram a saída do ChatGPT para todas as avaliações de curso de uma graduação em psicologia de três anos (40 avaliações, 16 tipos) com aprovação/reprovação binária, a decisão que os corretores realmente tomam numa primeira leitura: 36 de 40 passaram. Duas implicações de validade se seguem. Primeira, a variável operativa é o limite de aprovação, e não a detecção — uma correção que recompensa fluência estrutural e a escolha correta da análise, enquanto condona valores incorretos, deixa estatísticas fabricadas e referências alucinadas passarem, de modo que a avaliação certifica saída de ferramenta como compreensão do estudante por causa de como é corrigida, e não porque alguém foi enganado. Segunda, itens de múltipla escolha vazavam as próprias respostas: o ChatGPT respondeu corretamente a questões de estatística sem a figura ou a tabela de resultados mostrada aos estudantes, porque o enunciado do item e as opções implicavam a resposta, o que torna o desenho das opções de resposta uma propriedade de validade do item, e não uma propriedade da IA.

• Acurácia e concordância como sinais de validade distintos: Falahat, Das, Bhaumik & Thambi (2026) corrigiram uma prova de farmácia de 21 itens com o ChatGPT-5 e constataram que uma precisão percentual moderada frequentemente coexistia com coeficientes de correlação de concordância baixos — uma distinção metodológica entre acurácia de correção e concordância que limita a confiabilidade da IA como substituta de correção mesmo onde a acurácia bruta parece aceitável. A concordância foi forte em itens objetivos (CCC 0,935–1,000), mas quase nula em respostas curtas e modesta em redações (0,341–0,854), e o fornecimento da rubrica não fechou consistentemente a lacuna.

• Validade dos itens gerados por IA: Assessing AI-Generated Exams mostra que questões geradas por IA, validadas por TRI bayesiana, alcançam dificuldade e discriminação à altura de itens de provas padronizadas escritas por especialistas (confiabilidade 0,79 contra 0,72) — sustentando a validade de avaliações geradas por IA sob medida para o curso quando apoiadas por avaliação psicométrica.

• Avaliação autêntica: avaliação autêntica e a Escala de Avaliação de IA propõem redesenhos de avaliação que preservam a validade.

• Confiança e calibração: os sistemas com consciência da confiança melhoram a validade sinalizando avaliações incertas.

• Evidência corporificada e multimodal: uma avaliação apenas por fala pode confundir fluência verbal com conhecimento conceitual; Morphew et al. mostram que a análise de gestos por visão computacional, acoplada à análise de fala por LLM, aumenta a validade de construto e a equidade ao capturar a compreensão expressa pelo gesto, e não apenas pelas palavras — reduzindo o viés contra estudantes que expressam compreensão de forma não verbal.

• A lição de casa deixa de certificar capacidade quando um modelo consegue resolver a tarefa: Mikhasenko et al. (2026) documentam uma invalidação concreta da lição de casa como medida de capacidade num curso de física de partículas em Bochum: uma vez que um modelo generativo consegue produzir uma solução correta, uma dedução entregue já não estabelece que o estudante consegue resolver o problema independentemente. A resposta deles separa as duas funções — lição de casa em formato de pesquisa, com IA permitida, mantida como trabalho exploratório com bônus, e uma prova escrita sem ferramentas tornada a única determinante da nota final — uma divisão de trabalho movida pela validade, e não um regime de detecção.

• Validade orientada à decisão para a correção por IA em escala: Curi et al. (2026) ilustram uma visão de validade orientada à decisão na avaliação nacional de escrita Acredita EB: em vez de perguntar apenas se as notas da IA concordam com as dos humanos, eles perguntam se os erros da IA podem mudar uma decisão de certificação. Notas de corte automatizadas por TRI/Bookmark reproduziram de perto as notas de corte operacionais, e a subcorreção sistemática da IA foi neutralizada pelo encaminhamento dos resultados de reprovação da IA a revisão humana — notavelmente contra um padrão de referência que é ele mesmo contestado, já que dez especialistas corrigindo os mesmos 50 textos nunca chegaram a unanimidade em nenhum item da rubrica.

• Preocupações de validade do lado do estudante sobre a IA como corretora: AlGhamdi (2026) acrescenta a voz de quem aprende à questão da validade: 13 estudantes de computação cuja tarefa de escrita manuscrita foi corrigida pelo ChatGPT questionaram se um corretor de IA pode interpretar validamente intenção, esforço e normas institucionais de correção — um perguntando de forma afiada: "Se é o ChatGPT [que] corrige as provas, por que vamos à universidade?"

• A permissão por si só não degrada a tarefa, e as taxas de uso são o sinal de validade errado: Zou et al. (2026) pesquisaram 85 estudantes de licenciatura cujas avaliações permitiam explicitamente IA generativa e constataram engajamento na avaliação alto e estatisticamente não afetado por os estudantes a terem usado (média 4,21/5, DP 0,46; Mann–Whitney U = 781,5, r = 0,07, p = 0,536). Com 62,4% (53) se recusando a usar IA generativa, e o uso dos adotantes confinado em larga medida a revisão de texto (43,8%) e checagens de clareza (34,4%), a taxa de adoção carrega pouca informação sobre se a avaliação ainda justificava uma inferência sobre aprendizagem — e o não uso movido pelo medo de acusação injusta de plágio (41,5% dos não adotantes) também não é evidência de validade.

• Validade do quadro de amostragem quando uma prova de nível escolar é lida como evidência de sistema: Restrepo Morales et al. (2026) dão um tratamento quantitativo à inferência de notas para afirmações sobre um sistema. Uma avaliação-piloto com 1.198 estudantes voluntários em 171 escolas salvadorenhas no PISA-based Test for Schools produziu resultados anunciados como comparáveis aos da Alemanha e da Suécia, mas o instrumento produz estimativas para uma escola e não é aplicado sob o quadro de amostragem nacional, com seus padrões de taxa de resposta, limites de exclusão e ponderação — de modo que uma comparação entre uma estimativa de nível escolar e uma média de país carrega pelo menos três fontes não reportadas de incerteza (erro amostral de nível escolar, erro amostral da média do país, e erro de ligação da equiparação de escala). Em vez de testar a afirmação de aprendizagem, os autores a limitam: com os 5,5% do topo da distribuição salvadorenha de matemática igualando a média alemã sob aprendizagem zero, e a participação voluntária entendida como enviesando os testes de desempenho para cima, a evidência publicada não consegue separar um efeito real de uma amostra selecionada. Essa é uma falha da inferência de validade da comparação, não dos estudantes nem do instrumento.

Uma proposta conceitual levanta uma fronteira de validade que se aplica a toda avaliação mediada por IA nesta página: El Khoury e Ma (2026) argumentam que velocidade não é validade, e que prompts, exemplos e relatórios gerados por IA a partir de transcrições ainda têm de ser testados por acurácia, responsividade cultural, acessibilidade, interpretabilidade e alinhamento com os resultados do curso. Eles também alargam o que conta como evidência: onde o diálogo se torna o artefato avaliado, a transcrição é um registro de processo em que juízo, empatia, esclarecimento e decisão compartilhada se desenrolam em contexto, e a questão de desenho passa a ser se essa evidência sustenta a inferência que dela se tira — a mesma questão que a correção automatizada enfrenta, respondida pelo alinhamento entre tarefa, feedback e evidência de aprendizagem, e não pela novidade tecnológica.

• Metadados de item atribuídos pela IA não são evidência psicométrica. Ao longo de um estudo de 10 semanas em ciência de dados com 311 itens de múltipla escolha implementados, as classificações de dificuldade dos LLMs acompanharam os próprios rótulos Bloom do modelo (rho = 0,90), mas não a dificuldade empírica dos itens (rho = 0,06), de modo que a dificuldade do item tem de ser estabelecida a partir dos dados de resposta, e não dos rótulos do modelo que o gera (An & Wang, 2026).
• Os juízos dos estudantes sobre o alinhamento curricular acompanham a dificuldade, não o conteúdo. Vogt et al. (2026) pediram aos estudantes que avaliassem se cada item de uma prova de 60 itens se alinhava ao currículo do curso, e constataram que as avaliações se correlacionavam com a dificuldade do item em ρ = 0,762 (itens mais fáceis julgados alinhados, itens mais difíceis julgados não alinhados, ρ = −0,762, p < 0,001), enquanto as avaliações não diferiram por fonte do item. Onde um instrumento pede aos estudantes que julguem o ajuste curricular de uma avaliação, a nota resultante é em parte uma avaliação de dificuldade e não pode ser lida como evidência independente de alinhamento.
• Realinhe o triângulo da avaliação em vez de remendar um vértice. Koretsky et al. (2026) enquadram o problema da GenAI pelo triângulo da avaliação — cognição (o que é avaliado), observação (como a evidência de aprendizagem é eliciada) e interpretação (a inferência que se tira) — e argumentam que os três vértices têm de ser realinhados juntos, já que redesenhar tarefas sem reparar a interpretação deixa a inferência sem apoio. Sua revisão de escopo também torna a fidelidade dos materiais de avaliação gerados por IA uma propriedade de validade em si, catalogando dimensões de conteúdo, linguísticas, cognitivas, comportamentais, estruturais e pedagógicas e exigindo avaliação com humano no circuito antes que tais tarefas fundamentem uma avaliação.

Redesenhar em vez de detectar

A base de conhecimento argumenta que manter a validade da avaliação exige redesenhar as avaliações para estudantes capazes de usar IA, e não detectar o uso de IA. Um problema paralelo de validade atravessa a mensuração em pesquisa: muitas afirmações sobre IA na educação repousam em dados de autorrelato, que não conseguem sustentar uma inferência sobre aprendizagem ou competência, por mais bem validado que seja o próprio instrumento. As abordagens além da detecção e avaliação representam um pensamento voltado à validade.

Produtos para levar para casa e a divisão qualitativa/quantitativa. Brunnström e Palmqvist (2026) dão ao argumento do redesenho uma proposta concreta fundamentada na taxonomia SOLO. Trabalhando uma questão de exame para levar para casa de ciência cognitiva com um chatbot, eles constatam que a GenAI é mais forte exatamente onde a taxonomia é mais baixa — produzindo conteúdo abrangente, fluido e factualista no nível quantitativo (multiestrutural) — enquanto o nível qualitativo (relacionar, avaliar, generalizar) emergiu apenas por meio de calibração repetida conduzida por quem aprende. Sua recomendação é, portanto, diferenciada por construto: as avaliações para levar para casa deveriam enfatizar evidência de compreensão qualitativa, enquanto o conhecimento de recall quantitativo é melhor avaliado em sala de aula, onde a GenAI não está disponível. A demonstração também sublinha que um artefato entregue e polido é evidência fraca em qualquer das direções, e que um redesenho válido precisa levar em conta quão exigente a aprendizagem legítima apoiada por IA se mostra ser (somativa, integridade acadêmica).

Uma contraparte no nível do desenho vem da mesma população que o argumento do redesenho costuma ignorar. Zou et al. (2026) constataram que tarefas reflexivas e personalizadas foram amplamente julgadas pessoais demais para ajuda de IA, enquanto uma avaliação pesada em conhecimento em outro curso provocou forte intenção de usar IA generativa para referências — de modo que o que os estudantes fizeram com a IA acompanhou o construto que a tarefa pedia que evidenciassem. A lição para a validade é precisa, e não celebratória: o desenho pode remover o ganho da substituição genérica, mas o mesmo estudo adverte contra ler uma coorte que optou por não usar como prova de que isso aconteceu, já que uma parte substancial do não uso foi atribuída ao medo de acusação injusta de plágio, e não à tarefa resistir à IA.

Sharma (2026) fornece um argumento de redesenho pelo lado da integridade que transforma evidência de integridade em evidência de validade. Estendendo o enquadramento pós-plágio de Eaton (2023) para o desenho de avaliação, ele argumenta que os modelos de integridade baseados em detecção e verificação estão desalinhados com trabalhos em que juízo humano e geração por máquina estão entrelaçados, e reenquadra a integridade como uma prática pedagógica exercida por meio do julgamento avaliativo — a capacidade de ponderar opções, justificar escolhas acadêmicas e assumir responsabilidade sob incerteza epistêmica. A consequência de desenho é que a integridade deveria ser evidenciada, e não inferida: trilhas de decisão anotadas, verificação de afirmações contribuídas pela GenAI, defesa oral e histórico de versões são oferecidos como artefatos de integridade, e ele é explícito em que a diferença em relação à avaliação autêntica é epistêmica — a autenticidade pergunta se uma tarefa espelha a prática do mundo real, o desenho orientado à integridade pergunta se quem aprende consegue justificar decisões e assumir responsabilidade contra padrões disciplinares, de modo que a integridade se torna um critério avaliável embutido na arquitetura da tarefa. Ele nomeia o risco de validade da própria proposta em vez de deixá-lo implícito: exigir raciocínio documentado privilegia estudantes fluentes no discurso reflexivo e arrisca "a substituição de um regime de conformidade por outro", porque o juízo como evidência "permanece relacional e situado, e não mecanicamente verificável" — o mesmo problema de confiabilidade interpretativa que esta página registra para toda avaliação mediada por IA.

Weidlich (2026) reenquadra o redesenho como a questão de qual inferência uma mudança pretende proteger. Trabalhando a partir da validade baseada em argumento de Kane, ele separa cinco pressões que o debate tende a colapsar em uma: sub-representação do construto, variância irrelevante ao construto, atribuição de desempenho, extrapolação condicional e uso não sustentado da nota. O uso de IA não é automaticamente uma ameaça, porque o uso de ferramentas é pertinente onde o construto pretendido é o juízo profissional apoiado por IA, e contorna o desempenho-alvo onde ele é raciocínio sem auxílio, de modo que construto e condições de IA têm de ser especificados juntos. Sua ressalva sobre o redesenho se segue, já que as intervenções trocam uma pressão por outra: defesas orais podem fortalecer a atribuição enquanto reduzem a confiabilidade ou a acessibilidade.

Conexões

A validade da avaliação se conecta à avaliação autêntica, à Correção automatizada, à Avaliação por IA com consciência da confiança, à avaliação formativa, à integridade acadêmica e ao ensaio controlado randomizado (que depende de medidas de resultado válidas).

A IA desafia a validade no nível epistêmico: Hathcoat, Slotnick & Miller (2026) argumentam que, quando os LLMs servem como quem faz as provas, quem as cria, quem as corrige e quem as analisa, a cadeia interpretativa se torna opaca e o objeto da mensuração perde definição — reenquadrando a validade como exigente um juízo "ciborgue", fluente em IA, e Green et al. (2026) mostram que as notas da IA podem se alinhar com as dos avaliadores humanos (87% na checklist) enquanto a lógica subjacente diverge, especialmente quanto à qualidade da mensuração e a relatos fracos.

Quando a IA gera o artefato avaliável. Kumar, Wongsirichot e Nanthaamornphong (2026) dão ao problema da validade seu caso disciplinar mais agudo: na educação em computação a IA produz o artefato que é avaliado — o código-fonte —, de modo que uso de ferramenta, aprendizagem e avaliação se fundem numa única interação, e uma base de código entregue já não separa aprendizagem de delegação. Ao longo de 72 estudos, eles constatam ganhos de eficiência que não transferem para desempenho sem auxílio (21 estudos), conhecimento prévio moderando se a ajuda da IA se torna habilidade (6 estudos), e pesquisa em detecção praticamente ausente da base de evidências (3 estudos), enquanto o redesenho da avaliação é comparativamente bem evidenciado (25 estudos). Sua conclusão para a prática é específica ao construto e de baixa tecnologia: acrescente um componente oral ou outro elemento com processo visível a pelo menos uma avaliação de alto impacto por curso — a intervenção de maior alavancagem na revisão — e exija engajamento crítico com a saída da IA como componente avaliado e observável, e não como uma disposição opcional (integridade acadêmica, avaliação).

Validade sob informação imperfeita

O reenquadramento recente mais agudo trata o problema da IA generativa como um problema evidencial. O estudante sabe como uma peça de trabalho foi produzida; a instituição observa o artefato e, no melhor dos casos, rastros parciais do processo — uma lacuna produto–processo que Mohamed e Temimi (2026) formalizam como validade da avaliação sob informação imperfeita. Nesse relato, a questão não é se uma regra foi quebrada, mas se a avaliação ainda gera evidência crível do raciocínio, do esforço e do juízo do estudante, e cada mecanismo institucional — proibição, monitoramento, divulgação, redesenho — é avaliado por qual resposta do estudante ele torna mais atraente. A lente da validade também dissolve uma separação falsa: integridade e validade são o mesmo problema visto por extremidades diferentes, porque uma constatação de má conduta é ela mesma uma afirmação de validade sobre o que o trabalho evidencia.

Um framework do lado de quem aprende nomeia os alvos de inferência que um artefato não consegue resolver por conta própria. Sak (2026) propõe validade atribucional para juízos de potencial de superdotação a partir de trabalho assistido por IA: a relação da capacidade ao produto é de muitos para um, porque competência de quem aprende, capacidade do modelo, a direção dada por quem aprende, o ajuste humano–IA e o contexto se combinam de formas diferentes para produzir artefatos equivalentes, de modo que o produto não consegue identificar a capacidade por trás dele. O framework separa quatro alvos de inferência — competência independente, agência intelectual, capacidade híbrida e carryover desenvolvimental — e nomeia três erros que se seguem quando a evidência de um alvo é lida como a de outro: sobre-atribuição, ilusão desenvolvimental e equivalência de capacidade presumida. Sua exigência ao registro espelha a disciplina evidencial que esta seção tira da literatura sobre má conduta: nomeie a capacidade sobre a qual um juízo trata, documente como o trabalho foi produzido (modelo e versão, interface, funções permitidas, mediação adulta, condições de acesso), e exija evidência posterior de transferência antes de ler desempenho assistido como mudança em quem aprende.

Teichmann (2026) tira a consequência procedimental: onde o uso proibido não pode ser detectado, um regime que ainda acusa com base em notas de detector não consegue justificar a inferência que tira, e portanto produz injustiça sem eficácia. Ele defende substituir a pergunta forense — o estudante usou IA? — por uma pergunta de validade — o estudante demonstrou a capacidade que a tarefa foi desenhada para certificar? —, o que reloca o esforço institucional para a avaliação no nível do programa, ao longo de tarefas vinculadas, elementos orais e supervisionados nos pontos de certificação, e o julgamento avaliativo como objeto explícito de avaliação.

A mesma seção da base de evidências fornece a contraparte dos dossiês de caso, e ela é mais desconfortável do que a literatura sobre detecção isoladamente. Munoz et al. (2026) codificaram todos os casos de má conduta com IA generativa em uma universidade regional australiana ao longo de três anos — 1.162 casos com 1.855 itens discretos de evidência — e avaliaram cada item por valor probatório em relevância, credibilidade e força inferencial. As categorias mais fortes foram as que não dependem de classificação probabilística de texto (admissões dos estudantes, comportamento proibido observado em provas e referências fabricadas verificadas independentemente), enquanto a saída de detector recebeu as avaliações mais fracas de todas as categorias: relatos de similaridade ou da Turnitin foram inteiramente fracos em força inferencial, e saídas isoladas de detector inteiramente baixas em credibilidade, caindo de 8,8% dos itens em 2024 para 0,5% em 2025. A falha de validade é procedimental tanto quanto instrumental — nenhum estágio da pipeline fixava um limiar evidencial mínimo ou exigia que os investigadores ponderassem o valor probatório antes de fazer uma alegação progredir, de modo que a qualidade da evidência não mostrou relação confiável com os desfechos dos casos, que é exatamente a questão de padrão evidencial catalogada em questões e riscos legais. A proposta deles de aplicar um framework de credenciais no ponto da alegação, e não apenas na determinação, é uma exigência de validade: uma alegação é uma afirmação sobre o que o trabalho evidencia, e deveria ser justificada por materiais capazes de sustentá-la. Hadra, Cambridge e Mesbah (2026) mostram quão longe o instrumento está desse padrão, com acurácia macro de 0,69 (Originality) contra 0,61 (Turnitin) ao longo de 192 textos, falha quase total em escrita híbrida humano–IA (sensibilidade 0,02 e 0,31), acurácia decrescente com o comprimento do texto e em escrita científica, e uma tendência limítrofe a classificar erroneamente escrita de estudantes de inglês como língua estrangeira como IA — de modo que uma nota de detector não consegue estabelecer o fato que uma constatação de má conduta afirma.

O benchmark da correção humana e seu teto

A comparação da OpRaise entre três modelos de fronteira e 761 redações autênticas em três universidades do Reino Unido torna o benchmark parte do argumento de validade. As notas humanas foram usadas como ground truth com a justificativa explícita de que o juízo acadêmico é o padrão socialmente aceito, embora os autores reconheçam que avaliadores humanos concordam apenas moderadamente entre si — o que limita a concordância IA–humano que se poderia razoavelmente exigir, e significa que uma correlação não pode ser lida como prontidão ou não sem um ponto de referência. Dentro desse quadro, as falhas apareceram como estrutura sistemática, e não como erro aleatório: as notas se comprimiam rumo ao meio da escala, de modo que as melhores e as piores redações eram mais mal julgadas; a concordância era mais fraca nas fronteiras de nota; e as notas da IA acompanhavam amplitude de vocabulário, conectivos e complexidade de frase, enquanto as notas humanas eram amplamente insensíveis a eles. A lição prática é de dois gumes, porque o mesmo estudo constatou que a confiabilidade era excelente — notas idênticas ao longo do tempo e alta concordância entre modelos. Um argumento de validade para a correção automatizada, portanto, não pode repousar na estabilidade nem na concordância média; ele tem de mostrar a ausência de desvio sistemático, que é exatamente o que esta evidência não encontrou.

A estabilidade entre execuções não é garantida, no entanto: repetir a mesma correção em submissões idênticas cinco dias depois deu alfa de Krippendorff de 0,625, com variação concentrada nas notas do meio e com A e F ausentes das contagens da sessão repetida (Brevik et al. (2026)).

• O tamanho do modelo não é um proxy da validade da avaliação. Ao longo de oito configurações de quatro famílias em 114 redações corrigidas, a concordância exata de faixa variou de 18,4% a 54,4% e acompanhou a família, e não a contagem de parâmetros — o maior modelo, GPT-OSS 120B, subcorrigia em 1,316 faixas, e a temperatura não era solução (Kerwat et al. (2026)).
• Concordância e erro de benchmark se disfarçam de aprendizagem. Dois estudos de 2026 mostram rotas distintas pelas quais uma nota pode parecer válida enquanto estabelece outra coisa. Um estudo de escrita de marketing com questões abertas encontrou concordância absoluta LLM–humano de apenas ICC(2,1) 0,435 e um híbrido significativamente pior do que o LLM isolado, com composição de âncoras movendo a concordância de 0,338 para 0,902 (Agreement and error in automated scoring of student marketing posts). Uma auditoria de especialistas a seis benchmarks de física atribuiu 95,20% das rejeições auditadas a itens ou corretores defeituosos, e não a erro do modelo, movendo o mean@5 do CritPt de 32,29% para 87,50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Nos dois casos, a ameaça é variância irrelevante ao construto fora do modelo que está sendo avaliado.
• Concordância entre codificadores LLM é consistência, não validade. Num corpus de diálogo educativo rotulado por especialistas, um filtro de concordância entre modelos reteve apenas 33 de 74 asserções comportamentais derivadas do corpus e 11 de 48 derivadas de construtos, e erros compartilhados entre modelos sobreviveram ao filtro, de modo que a concordância entre modelos não pode substituir a validade de construto (Bernado et al., 2026)).
• A exposição é mensurável, e o remédio é evidência suficiente, e não segurança máxima. Villanueva (2026) pontuou 53.915 itens de avaliação por formato publicado, supervisão e peso na nota, e constatou que a maioria das notas avaliadas repousa sobre trabalho cuja autoria não pode ser verificada após a submissão; ele argumenta que os programas precisam de evidência suficiente de aprendizagem nas etapas-chave, e não de cada unidade tornada segura.
• Uma medida válida ainda pode ser insegura de otimizar. O ajuste fino de um tutor LLM contra uma métrica de adaptatividade no estilo de rubrica elevou a métrica (de +0,05 a +0,42), enquanto as avaliações cegas de especialistas caíram (de 4,46 para 3,03), porque uma métrica que pontua decisões independentemente é maximizada pela repetição da única melhor decisão (Domínguez Figaredo & Fernández De la Cruz, 2026)).

Conceitos conectados

• Padrões pedagógicos — Por que a evidência de processo é proposta quando a saída já não identifica o autor
• Interpretar e aplicar a pesquisa em AIEd
• Avaliação autêntica
• Avaliação automatizada
• Avaliação formativa
• Integridade acadêmica
• ECA (ensaio controlado aleatorizado)
• Mitigação de viés
• Equidade na educação com IA
• Avaliação de IA na educação
• Medição educacional
• Questões e riscos legais
• Grandes modelos de linguagem (LLMs)
• Retroalimentação (Feedback)
• Medidas de autorrelato
• Conhecimento prévio
• Engajamento do estudante
• Avaliação

Artigos conectados

• The Integrity of Psychology Assessments in the AI Age: A Critical Examination — Suscetibilidade de aprovação/reprovação no nível do programa e os critérios de correção que deixam valores fabricados passar (Ivory et al. 2026)

• "Is this a trap?": Student teachers' perceptions and adoption of GenAI in assessments in three teacher education courses — A permissão por si só não degrada a validade: engajamento não afetado pelo uso de GenAI; reflexão resiste à substituição genérica

• AI Agents, Joyful Assessment, and Third Space: Rethinking Assessment in the GenAI Era — Agentes de IA, avaliação gozosa e terceiro espaço

• AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — Relatório OpRaise: correção por IA de 761 redações universitárias em três universidades do Reino Unido

• Generative AI in computing education: A systematic review and a framework for responsible integration — Quando a IA gera o artefato avaliado: o problema de validade da educação em computação e a evidência de redesenho

• AI-interaction literacy: reflections on how generative AI might be used to support self-regulated learning in higher education — Provas para levar para casa: avalie a fase qualitativa, mova o recall para a sala de aula (Brunnström & Palmqvist 2026)

• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — Correção assistida por IA com humano no circuito numa avaliação nacional de escrita em larga escala (Curi et al. 2026)

• VARIA: Benchmarking Frontier LLMs on Construct-Equivalent Assessment Variant Generation — Geração de variantes de avaliação equivalentes ao construto (Lee 2026)

• Artificial Intelligence and Grade Inflation — Deslocamento de tarefas para a IA como mecanismo de inflação de notas (Chirikov 2026)

• AI Agents Can Now Navigate and Complete LMS Tasks: A Call for Pedagogical Innovation — Agentes de IA concluindo tarefas de LMS; pressuposto de produção humana e validade agêntica (Hadjisolomou & El-Haddad 2026)

• Semantic Variability of LLM-Generated Replies Across LLMs: Implications for Designing Conversation-Based Assessment

• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Os instrumentos de avaliação medem a mesma coisa para humanos e LLMs? (Strugatski et al. 2026)

• A Multimodal Framework for Embodied Cognition in Oral Explanations — Um framework multimodal para a cognição corporificada em explicações orais

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Avaliação da qualidade de provas geradas por IA: um estudo de campo em larga escala

• Distinguishing performance gains from learning when using generative AI

• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics

• The End of Assessment? Disruption and Transformation in the Age of AI

• Can AI Evaluate Assessment? A Study of Large Language Model Meta-Assessment Performance

• Exploring value judgements in grading: will teachers mark down student work assisted by GenAI, and should they? — Juízos de valor na correção de trabalho assistido por GenAI: honestidade, confiança, validade e transparência de mão dupla (Luo & Dawson 2026)

• Bridging technology and education: The use of ChatGPT in grading pharmacy student exams

• Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI — O procedimento de má conduta como problema de validade

• Assessment Design Under Imperfect Information: Generative AI, Disclosure, and Student Response in Higher Education — Validade da avaliação sob informação imperfeita: um modelo de região de resposta

• Which inference is at risk? Assessment validity reasoning and generative AI — Qual inferência está em risco? Separando cinco pressões de validade e verificando o que um redesenho enfraquece (Weidlich 2026)

• The shifting landscape of assessment in STEM education in the age of generative AI — A avaliação em STEM como problema de validade, desenho e definição de capacidade, e não de trapaça: evidência de processo, provas orais e fidelidade das tarefas geradas por IA (Koretsky et al. 2026)

• AI in Particle Physics Education: Research Problems and Foundational Skills — IA na educação em física de partículas: problemas de pesquisa e habilidades fundamentais

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — Quem deve corrigir meu trabalho? Perspectivas dos estudantes sobre avaliação transparente de escrita assistida por IA no ensino superior

• How much selection would be enough? Bounding the learning claim of El Salvador's artificial intelligence tutoring pilot — Limitando a afirmação de aprendizagem do piloto de tutoria por IA de El Salvador (Restrepo Morales et al. 2026)

• How strong is the evidence in generative AI-related academic misconduct allegations? A mixed-methods analysis — O que os dossiês de alegação de má conduta de fato contêm como evidência, e por que a qualidade da evidência não prevê desfechos (Munoz et al. 2026)

• Evaluating the accuracy and reliability of AI content detectors in academic contexts — Acurácia de detector de 0,69 e 0,61 em 192 textos; falha em escrita híbrida e risco de classificação errônea de inglês como língua estrangeira (Hadra et al. 2026)

• Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment — Proibições sobreinclusivas: transcrição não é geração, de modo que a regra sanciona o que não foi desenhada para capturar (Wright 2026)

• Educational integrity in GenAI-augmented assessment: making judgment visible — A integridade tornada visível pelo julgamento avaliativo em vez da detecção (Sharma 2026)

• Can large language models reproduce higher education grade bands? Cross-model study of calibration and grading bias in authentic student writing — Os grandes modelos de linguagem conseguem reproduzir as faixas de nota do ensino superior? Estudo entre modelos de calibração e viés de correção em escrita autêntica de estudantes

• AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice — Avaliação assistida por IA de relatórios experimentais de laboratório de física: potencial, limitações e apoio à prática de ensino

• Inferring Gifted Potential from AI-Assisted Work: An Attributional Validity Framework for Gifted Education — Quatro alvos de inferência e três erros de atribuição quando um produto é lido como evidência da capacidade de quem aprende (Sak 2026)

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Uso de LLMs pelos estudantes e os limites da dificuldade de questões geradas por IA em cursos de ciência de dados

• EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues — EduBehaviors: esquemas baseados em asserções para codificação auditável de diálogos educativos

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — As avaliações dos estudantes sobre alinhamento curricular acompanham a dificuldade do item (rho = 0,762) em vez do conteúdo (Vogt et al. 2026)

• Large language models as grading assistants in public health education: a method-comparison study of essay-style exam assessment — A repetição cinco dias depois da correção de submissões idênticas deu alfa de Krippendorff de 0,625

• How AI-vulnerable is Australian higher education assessment? A computational audit of Group of Eight Arts and Humanities units, 2022–2026 — Índice de Vulnerabilidade à IA: a maioria das notas avaliadas repousa sobre autoria inverificável, de modo que a validade repousa sobre evidência suficiente nas etapas-chave, e não sobre segurança máxima- The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — Uma métrica de adaptatividade pedagógica subiu enquanto as avaliações cegas de especialistas caíram: validade de mensuração não implica validade de otimização (Domínguez Figaredo & Fernández De la Cruz 2026)

• Has the Target Moved Again? GenAI and the Validity of English Proficiency Scores — O alvo se moveu de novo? A GenAI e a validade das notas de proficiência em inglês