Base de Conhecimento AIEdAIEd KB
Nesta página

Esta página foi traduzida para o português. As páginas de artigo continuam escritas em inglês. Ler esta página em inglês

Conceitos

Avaliação automatizada

Criado 2026-08-09 · Atualizado 2026-10-08

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Avaliação automatizada — o uso de IA para avaliar o trabalho dos estudantes, de quizzes formativos a exames de alto impacto. A avaliação automatizada abrange múltiplas modalidades — múltipla escolha, resposta curta, redação, código e avaliação baseada em desempenho — e vai da correção automatizada direta a sistemas sensíveis à confiança que reportam incerteza calibrada junto de suas notas.

Perguntas para refletir

  • A avaliação automatizada vai da correção de múltipla escolha a redações, código e avaliação baseada em desempenho. Qual é a maior diferença que você esperaria entre o quão confiavelmente a IA consegue corrigir um quiz de múltipla escolha versus uma redação de forma livre — e por quê?
  • Uma ideia central de desenho aqui é a "consciência da confiança": corretores de IA que reportam o quanto estão certos, sinalizando casos de baixa confiança para revisão humana em vez de emitir uma única nota sem qualificação. Como uma nota que dissesse "tenho 70% de certeza sobre isso" mudaria a forma como você usaria ou confiaria numa nota automatizada?
  • A pesquisa mostra que a correção automatizada pode desfavorecer sistematicamente falantes não nativos — a IA pontua a língua, não a compreensão. Por que um corretor automatizado estaria especialmente propenso a esse tipo de injustiça, mesmo quando alcança alta concordância com avaliadores humanos no geral?
  • Um estudo descobriu que a forma como a validação é feita pode inflar o desempenho reportado: um método ingênuo de validação cruzada reportou resultados quase perfeitos que caíram drasticamente sob uma validação independente de tentativa, mais rigorosa. O que essa lição cautelosa sugere sobre como você deveria ler qualquer alegação de que um sistema de avaliação por IA "funciona"?
  • A página argumenta que confiança calibrada habilita fluxos de trabalho humano-no-controle, sustenta a calibração da confiança e fortalece a validade de mensuração. Se um sistema automatizado encaminhasse seus casos mais incertos para um revisor humano, o que você iria querer saber sobre como esses casos são escolhidos antes de confiar na divisão?
  • A correção automatizada é descrita como uma das aplicações mais maduras de AIED, mas corrigir sem feedback útil tem valor educacional limitado. Como um foco puramente em produzir notas — em vez de feedback utilizável — poderia mudar o que os estudantes realmente extraem de uma avaliação corrigida por IA?

Introdução

Modalidades de avaliação

Correção automatizada

A correção automatizada é uma das aplicações mais maduras e amplamente implantadas de IA na educação — sistemas de IA que avaliam o trabalho dos estudantes, da correção de múltipla escolha à avaliação de redações e à revisão de código. Suas modalidades de correção incluem:

  • Os estudantes separam a utilidade do feedback da autoridade avaliativa: AlGhamdi (2026) documenta um caso em que uma nota de IA contava para as notas finais e os estudantes sabiam disso — 13 estudantes de computação cujo trabalho manuscrito escaneado foi avaliado pelo ChatGPT contra uma rubrica cobrindo clareza, organização, correção de frases e concisão. Todos os participantes acharam o feedback útil, mas todos separaram essa utilidade da autoridade, e vários rejeitaram o caráter unilateral e não dialógico da correção automatizada — "O ChatGPT não é como as pessoas. Você conversa com elas e explica desculpas... eu gosto que o professor normal corrija meu trabalho." O estudo posiciona a avaliação automatizada como aceitável para revisão de superfície, mas não como avaliadora final, com confiança condicional mediada pela supervisão do instrutor.
  • Correção de resposta curta: ASAG sensível à confiança avaliam respostas de texto livre, sendo a calibração da confiança crítica — os sistemas precisam saber quando a correção é confiável. Uma revisão de escopo sobre correção automática de respostas curtas em ciências (2017–início de 2024) documenta a história do campo: Morley et al. descobriram que modelos da família BERT (base, RoBERTa, DistilBERT, SciBERT) dominavam — usados em 20 de 21 estudos, com pico em 2021 — antes que abordagens baseadas em GPT fossem adotadas via Engenharia de prompts em vez de fine-tuning a partir de aproximadamente 2022. Modelos aumentados com dados de domínio (livros didáticos, rubricas, pré-treinamento adicional) consistentemente superaram os que não eram, mas poucos conseguiam justificar notas em termos compreensíveis por humanos e viés entre grupos demográficos e linguísticos raramente era examinado — levando os autores a argumentar que corretores automáticos deveriam apoiar e não substituir avaliadores humanos. Uma revisão sistemática guiada por PRISMA de 42 estudos empíricos de correção e feedback (2023–2025) generaliza essa cautela por todo o campo: LLMs igualam avaliadores humanos em tarefas fechadas e questões de resposta curta, mas não conseguem substituir plenamente o julgamento humano em trabalho complexo, aberto ou subjetivo que exige análise aprofundada ou criatividade, e a maior eficácia de correção é alcançada em sistemas híbridos que combinam correção conduzida por IA com supervisão e verificação do professor (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Correção de redações: sistemas de Correção automatizada de redações como AES baseado em âncoras usam estratégias de prompting para se aproximar da confiabilidade de nível humano. AIAWE estende a avaliação automatizada à avaliação de escrita de forma mais ampla.
  • Revisão de código: correção de Linux Bash e revisão de código em CS1 demonstram a avaliação automatizada na educação em computação.
  • Uma persona de prompt pode quebrar um corretor, e o fine-tuning pode repará-la: Habibullah et al. (2026) corrigiram um exame prático de visão computacional (570 estudantes com dupla correção) sob 171 configurações e um segundo exame de aprendizado de máquina (1.038 estudantes) sob mais 162. Um breve preâmbulo de "corretor estrito" tirou 14 de 17 modelos de pesos abertos da faixa de notas (MAE ≥ 8), com três deles abandonando a correção por completo; o dano foi rastreado até duas frases de retenção de crédito, e não ao tom ou à escala do modelo, e sua direção era específica do exame, melhorando sete modelos no segundo exame. Um fine-tuning leve com LoRA em aproximadamente 3.900 exemplos corrigidos reunidos trouxe cinco modelos abertos pequenos à paridade ou além de um corretor humano, de modo que a vulnerabilidade é um artefato de prompting, não um teto de capacidade.
  • Integração formativa: automação em ciências de A-level e CoTAL mostram como a correção automatizada alimenta ciclos de Avaliação formativa.
  • A cobertura de tipos de feedback não é alinhamento com os professores. Almousa et al. (2026) anotaram feedback ao nível de parágrafo de três cursos universitários de escrita em sete tipos de foco; a maioria dos modelos emite quase todos os tipos, mas suas distribuições divergem da referência do professor, com o LearnLM — ajustado para educação — mais próximo (divergência de Jensen–Shannon 0,1344) e o Mistral-7B mais distante (0,2695). Fazer prompting com definições de categoria ou exemplos resolvidos aumentou a divergência para a maioria dos modelos.
  • Viés e justiça: viés de língua na correção de física documenta como a correção automatizada pode desfavorecer falantes não nativos — conectando-se a Mitigação de viés e a Equidade na educação com IA.
  • Benchmarking de modelos GenAI para correção aberta: Pecuchova, Benko & Drlik (2025) compararam onze modelos GenAI e de embeddings de frases com dois avaliadores humanos especialistas em 1.885 respostas abertas a 24 questões de engenharia de software. Apenas o GPTo1 alcançou concordância quase perfeita (Kappa de Fleiss 0,82, poucos falsos positivos e falsos negativos entre as categorias de nota), com Claude3 e PaLM2 logo atrás; modelos GenAI sensíveis ao contexto lidaram de forma robusta com respostas curtas e formuladas de formas diversas, enquanto modelos baseados em referência e embeddings (ex., 345 falsos positivos do BERT) penalizaram sistematicamente respostas corretas mas formuladas de modo divergente — evidência de que a escolha do modelo, e não apenas o formato da correção, molda a confiabilidade para avaliação aberta.
  • Exemplares de prompt decidem a concordância da correção: Takahashi et al. (2026) automatizaram o raciocínio diagnóstico hierárquico (HDR), uma tarefa de competência aplicada em que os estudantes encontram e explicam erros deliberadamente inseridos num caso curto. Usando GPT-4o sem fine-tuning, a equipe gerou novos problemas e pontuou as descrições dos estudantes: problemas gerados e escritos por humanos tinham a mesma consistência interna (α de Cronbach = 0,78) e não mostravam diferença significativa de distribuição de notas entre 100 participantes, e a correlação do formato com um controle de compreensão de leitura ficou baixa (α = 0,36 e 0,41). A precisão da correção dependia do prompt, e não do modelo — sem exemplos resolvidos, a precisão da Q2 caía a 0,42, enquanto acrescentar exemplares corrigidos e incorretos pontuados por humanos elevava a concordância a 98% ou mais em todas as questões (Q1 e Q2 em 100%) — contra um custo humano medido de 138 minutos de correção especializada para 117 respostas mais 30 minutos de consenso.

O próprio modo de raciocínio de um modelo é uma segunda alavanca de configuração: em 32 submissões anonimizadas de exame de mestrado em saúde pública, o mesmo ChatGPT passou de kappa ponderado 0,269 no modo rápido para 0,718 no modo de raciocínio, enquanto o Kimi alcançou 0,571 (Brevik et al. (2026)).

  • Multi-agente na codificação de respostas abertas de professores, onde o framework, e não o modelo, carrega a confiabilidade: Copur-Gencturk et al. (2026) estendem a avaliação automatizada além do trabalho estudantil para a codificação do próprio conhecimento de conteúdo (CK) e do pedagógico conhecimento de conteúdo (PCK) dos professores, perguntando se a IA consegue reproduzir a codificação humana treinada das respostas escritas de 268 professores de matemática do ensino fundamental dos EUA sobre razões e relações proporcionais. Um LLM multiagente construído para o propósito, o GradeOpt, atribui três papéis apoiados por GPT-4o — um Corretor que aplica o manual de codificação humana, um Refletor que diagnostica cada discordância com o código humano, e um Refinador que incorpora pontos de clarificação de volta ao manual por até seis rodadas — e se aproximou bastante dos codificadores humanos treinados em CK (κ = ,88 e ,85), alcançando concordância substancial nos itens de PCK, muito mais interpretativos (κ = ,68; κ ponderado = ,79). Duas baselines de NLP e um modelo GPT-4o de prompt único nunca superaram κ = ,39 ou κ ponderado = ,55 em PCK, de modo que os autores atribuem a confiabilidade ao refinamento das instruções contra o manual de codificação, e não à escala do modelo, e recomendam revisão especializada sempre que níveis de codificação adjacentes se confundam, já que os erros residuais do GradeOpt eram tipicamente códigos adjacentes, e não erros grosseiros.

  • Correção de exames de formato misto (2026): Falahat, Das, Bhaumik & Thambi (2026) avaliaram o ChatGPT-5 contra a correção de docentes humanos num exame de farmácia de 21 itens (16 estudantes) abrangendo múltipla escolha, selecione-tudo-que-se-aplica, preencha-a-lacuna, listagem, resposta curta e redação. A concordância foi substancial a quase perfeita para tipos de item objetivos (CCC 0,935–1,000 — auxiliada pelo fornecimento das respostas corretas durante a correção), mas colapsou para itens de listagem (0,621–0,708), resposta curta (≈0 a negativo) e redação (0,341–0,854); fornecer uma rubrica estruturada não melhorou consistentemente a concordância do exame completo (71,1% sem vs. 68,2% com). O estudo aguça um ponto metodológico que reaparece por toda a avaliação automatizada — acurácia percentual moderada frequentemente coexiste com baixa concordância — de modo que a acurácia isolada superestima a confiabilidade, e recomenda correção híbrida para itens complexos, subjetivos ou de alto impacto.

  • Calibração entre famílias de faixas de nota em redações reais marcadas (2026): Kerwat, Donaldson & Mahomed (2026) executaram oito configurações pré-especificadas de quatro famílias de modelos (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B e Llama 3.1 8B, cada uma em duas temperaturas) sobre a mesma coorte fechada de 114 redações BAWE/Coventry com rótulos institucionais de Merit e Distinction, com um prompt compartilhado que permitia quatro faixas. A concordância exata de faixa variou de 18,4% a 54,4%: o Llama 3.1 8B a temperatura 0,5 liderou (54,4% exata, 98,2% dentro de uma faixa, MAE 0,474, viés quase zero), enquanto o GPT-OSS 120B foi o mais fraco (18,4%) e sistematicamente sub-pontuou, por uma média de 1,316 faixas a temperatura 0,5, com a acurácia em Distinction ficando atrás da de Merit ao longo de todo o estudo. A coorte fechada não continha referências de Pass ou Fail, de modo que se trata de discriminação Merit–Distinction, e não de confiabilidade por toda a faixa de notas, e a temperatura não foi cura — ajudou uma família descritivamente, deixou outra inalterada e piorou significativamente o GPT-OSS 20B (de 39,5% a 29,8% exata). Duas lições se transferem além do estudo: a distância de notas e o viés direcional revelam o que as estatísticas de concordância escondem, e o tamanho do modelo não é proxy para validade de avaliação.

  • Engenharia de rubricas para correção aberta em educação médica: Olvet et al. (2026) perguntaram se o GPT-4 conseguia pontuar de forma confiável questões abertas em exames médicos pré-clerkship. Após três iterações de refinamento de rubrica conduzido por humanos em duas escolas dos EUA, a confiabilidade entre avaliadores com o corpo docente alcançou concordância substancial a quase perfeita em três de quatro questões usando rubricas analíticas e holísticas (kappa ponderado até 0,94), enquanto o item de rubrica holística empacou em moderada (κw = 0,54). A análise de padrões de erro mostrou que as discrepâncias eram rastreáveis a ambos os lados — o GPT-4 super-pontuava quando os estudantes ofereciam múltiplas respostas ou usavam vocabulário ausente da rubrica, enquanto os docentes eram frequentemente corretores "excessivamente generosos" — levando os autores a recomendar manter humanos no controle (ex., docentes pontuando uma subamostra para confirmar a acurácia). Como aproximadamente 82% das escolas médicas dos EUA avaliam o trabalho pré-clerkship como aprovado/reprovado, a concordância exata da nota da IA é frequentemente desnecessária para uso operacional.

  • Correção HITL para uma avaliação nacional de escrita em grande escala (2026): Curi et al. (2026) escalam a correção baseada em prompt de Grandes modelos de linguagem (LLMs) para um exame real de escrita em espanhol de alto impacto (~5.000–6.000 respostas/ano), alcançando 60–80% de acurácia por item e mais de 90% de consistência de saída numa rubrica analítica de 15 itens, com um verificador determinístico de PNL substituindo o LLM no item de ortografia (100% de consistência). Sua contribuição distintiva é a validação orientada à decisão em vez de métricas centradas no modelo: o viés sistemático de sub-pontuação da IA, convertido via TRI-e-Bookmark em níveis de proficiência, produz discrepâncias de aprovação/reprovação em 15,3–16,5% dos casos — todas as quais o fluxo de trabalho humano-no-controle encaminha para revisão especializada, cortando as respostas que precisam de correção humana completa em pelo menos 50% enquanto preserva a qualidade da decisão. Isso fundamenta a correção híbrida na avaliação operacional, e não em conjuntos de dados de prova de conceito.

  • A concordância por dimensão mostra onde um avaliador não consegue detectar mudança: SOPHIE 2.0 (Hasan et al., 2026) validaram um juiz LLM contra o consenso de todas as fontes humanas de avaliação — pacientes padronizados e avaliadores terceiros — numa rubrica de comunicação clínica de três dimensões, alcançando Pearson 0,759 e ICC(A,1) 0,746 a partir apenas de transcrições, dentro da dispersão dos avaliadores humanos individuais em vez de fora dela. Sua dimensão mais fraca foi Be Explicit (correlações de 0,414–0,598 entre juízes candidatos), e essa também foi a única dimensão cujas notas não se moveram mensuravelmente entre os dois encontros (Δ = 0,014, p = 0,1204) — de modo que a concordância por dimensão pode indicar antecipadamente em quais dimensões um avaliador automatizado será incapaz de mostrar melhora.

Avaliação sensível à confiança

Uma meta central de desenho dentro da avaliação automatizada é a consciência da confiança: sistemas de avaliação por IA que reportam incerteza calibrada junto de suas notas, em vez de emitir uma única predição sem qualificação. Um corretor sensível à confiança não produz apenas uma nota ou classificação, mas também sinaliza o quanto está certo, de modo que casos de baixa confiança possam ser sinalizados para revisão humana e os usuários possam calibrar sua confiança no sistema. Isso é central para a avaliação automatizada responsável e conecta-se intimamente a IA psicometricamente consciente e a Calibração da confiança.

Como a confiança é modelada na pesquisa da base de conhecimento:

  • Sinais de confiança fundidos para correção de resposta curta: Confidence-Aware ASAG funde sinais de confiança baseados no modelo (verbalizados, latentes e baseados em consistência) com incerteza aleatória derivada do conjunto de dados via regressão por Random Forest.
  • Confiança em trabalho estudantil multimodal: Avaliação sensível à confiança de figuras científicas desenhadas por estudantes estende a modelagem de confiança a respostas estudantis multimodais.
  • Calibração psicométrica de LLMs: IA psicometricamente consciente eleva o padrão de alinhamento da pontuação de Grandes modelos de linguagem (LLMs) com a teoria da mensuração, com a calibração como requisito central junto do alinhamento a Teoria de resposta ao item.
  • Calibração de dificuldade e tempo de resposta: Calibração de dificuldade em exames de programação reposiciona os LLMs como fontes auxiliares de evidência cujas estimativas de dificuldade se correlacionam com as taxas de aprovação dos estudantes.
  • Pontuação de redações adaptativa a traços: PsyScore mostra que um framework psicometricamente consciente consegue adaptar o feedback de redação aos traços do aprendiz.
  • Avaliação de trabalho visual dos estudantes: DiagramIR retrotraduz diagramas matemáticos gerados por LLM (TikZ) para uma representação intermediária com verificações determinísticas, superando o LLM-as-a-Judge em concordância com avaliadores humanos e permitindo que modelos pequenos alcancem os grandes a ~10× menos custo — uma rota escalável para avaliar saída estudantil não textual e diagramática.
  • Inferência gated por confiança na avaliação automatizada de professores: Li, Yang & Fang (2025) colocam a calibração por Monte Carlo dropout diretamente no caminho da pontuação, de modo que uma variância de dropout acima de um limiar aprendido dispara uma saída de rejeitar-e-encaminhar em vez de uma nota, junto de debiasing adversarial que mantém a lacuna de justiça em 1,8% onde as baselines ficam na faixa de 6,4–8,2% e um erro de calibração esperado de 0,032 no TeacherEval-2023. Sua ablação é o argumento da calibração em miniatura: remover o módulo gated por confiança derruba a consistência entre avaliadores para 78,6%, e os autores atribuem uma redução de 41% na carga de trabalho de revisão humana ao gating — tratamento de incerteza como arquitetura, e não como reporte póstumo.
  • Explicabilidade da pontuação baseada em rubricas: Bueno et al. mostram que atribuições SHAP agnósticas de modelo são mais fiéis e transferíveis do que racionais geradas por LLM para explicar notas baseadas em rubricas (ex., qualidade do feedback em sala de aula), e propõem testes baseados em deleção e cross-modelo como uma forma principiada de avaliar as explicações de qualquer modelo de pontuação.

Por que a confiança calibrada importa:

  • Habilita a delegação humano-no-controle: casos de baixa confiança são encaminhados a um revisor humano — sustentando fluxos de trabalho humano-no-controle em vez de automação cega.

  • Sustenta a calibração da confiança: confiança calibrada permite que os usuários igualem sua confiança à confiabilidade real do sistema, evitando tanto a super-confiança quanto a sub-confiança.

  • Melhora a validade de mensuração: a pontuação sensível à confiança fortalece Medição educacional e Validade da avaliação ao tornar a incerteza explícita.

  • Justiça e defensabilidade: sinalizar casos de baixa confiança para revisão reduz o risco de notas confiantemente erradas, especialmente para respostas atípicas ou sub-representadas.

  • Geração de rubricas e pipelines de correção supervisionados pelo instrutor: Mendonça et al. (2026) mostram que rubricas de avaliação geradas por LLM (HARMOGEN-R) podem igualar rubricas criadas por humanos em conteúdo técnico dentro de uma margem de equivalência de ±5 pontos, com a geração estruturada dando maior consistência entre modelos. Cruz et al. (2026) avaliam um pipeline completo de correção com GPT-4o em que as notas da IA ficaram dentro de 0,5 pontos das do instrutor em 83% das 362 submissões (MAE 0,31) — melhor enquadrado como um suplemento escalável ao, e não uma substituição do, julgamento do instrutor.

Qualidade e justiça

A qualidade da avaliação automatizada depende de Validade da avaliação e de Mitigação de viés. A pesquisa sobre viés de língua mostra que a correção automatizada pode desfavorecer sistematicamente certas populações de estudantes. O critério é ele próprio falível. Bozdag e Qiu (2026) corrigem provas de física de GCSE com um sistema de IA e as comparam tanto com as notas oficiais das bancas de exame quanto com o julgamento de professores experientes, tratando a concordância com a banca como proxy de acurácia, e não como a acurácia em si.

Cenários de implantação e o que cada um exige

Quanto alinhamento uma instituição deve exigir depende do que o sistema tem permissão para decidir. Num estudo de métodos mistos de 761 redações reais de graduação em três universidades do Reino Unido, três modelos de fronteira com 27 configurações de prompt cada alcançaram apenas 35–65% de concordância com avaliadores humanos na faixa de grau, e a acurácia não se transferiu entre instituições — de modo que o relatório trata os usos candidatos como cenários distintos, e não como uma única decisão. Garantia de qualidade da correção humana, em que a IA corrige em paralelo e diferenças significativas disparam revisão humana, é a mais conservadora. Um assistente de correção, que ordena ou categoriza submissões por qualidade ou incerteza prevista, triando casos complexos ou expandindo comentários humanos breves em feedback mais completo, é um meio-termo genuíno. IA como corretor primário, com revisão humana de uma amostra ou das distribuições de notas, foi julgada aceitável apenas se o desempenho do sistema melhorar, e nenhum grupo de partes interessadas endossou a IA como corretor único.

Três requisitos decorrem para qualquer um deles. Como o alinhamento é específico de modelo e de instituição, a validação precisa ser local e contínua — acurácia headline de outro lugar não é evidência de prontidão. Como as notas foram comprimidas em direção ao meio, a IA era menos acurada nas fronteiras de nota e nas submissões mais fortes e mais fracas, que é onde as decisões de avaliação carregam mais consequência. E como a discordância entre uma nota de IA e uma nota humana reflete julgamentos diferentes, e não mero erro, as discrepâncias deveriam disparar interpretação humana em vez de sobreposição algorítmica, com a autoridade final sobre a nota retida por pessoas. A adoção também carrega obrigações de Governança de IA que as métricas técnicas não capturam: um direito a explicação sob o Artigo 22 do GDPR onde decisões automatizadas afetam estudantes, deveres da Equality Act uma vez que nível de desempenho e uso de língua se mostrem influentes nas notas, processos de recurso revisados para erros que não são facilmente detectados, e um risco de irreversibilidade — uma vez que a alocação de pessoal e o investimento se desloquem, uma instituição pode ter dificuldade em continuar coletando a correção humana de que precisaria para voltar atrás. Combinar os três modelos não removeu esse erro: como seus erros eram correlacionados — na mesma direção em 63,4% dos trabalhos —, o conjunto de Corsi et al. (2026) foi estatisticamente indistinguível do melhor modelo isolado, deixando a compressão de tendência central compartilhada em vigor.

Venetsanos (2026) fornece os critérios que esses requisitos pressupõem, argumentando que o que torna a automação defensável é o estado epistêmico da tarefa, e não o que a tecnologia consegue realizar tecnicamente. Seu framework limita a IA à verificação delimitada de afirmações factuais e procedimentais — todos os quatro critérios de critérios documentados inequívocos, comparação direta com conhecimento estabelecido, nenhuma avaliação de abordagens alternativas válidas e uma única resposta correta ou conjunto pré-especificado de respostas aceitáveis devem valer simultaneamente, com a ambiguidade escalando para um humano por padrão — e torna o envolvimento da IA nesse nível condicional a cinco princípios não negociáveis que devem valer todos de uma vez: a base de conhecimento deve ser curada pelo avaliador e fundamentada por recuperação nos materiais do módulo, e não no conhecimento paramétrico do modelo; avaliadores humanos revisam toda saída da IA antes que chegue aos estudantes e detêm sobreposição absoluta com responsabilidade não compartilhada; o feedback deve carregar proveniência e atribuição claras; e a segurança deve ser desenhada contra uso adversarial desde o início, com sanitização de entrada para instruções escondidas em texto branco ou pequeno, codificações, imagens ou metadados de documentos, já que a circunvenção bem-sucedida de um sistema automatizado se espalha pelas turmas de estudantes. O mesmo artigo é explícito que seus princípios não foram testados para viabilidade simultânea e que o tempo do avaliador para curadoria, infraestrutura de segurança e supervisão de alta frequência pode deslocar o esforço da equipe em vez de reduzi-lo — uma cautela que fica ao lado do requisito de validação local acima.

Segurança da correção mediada por IA

Uma avaliação de red team de um fluxo de trabalho de correção cotidiano mostra a superfície de ataque que o planejamento para uso adversarial precisa cobrir. Humble (2026) embutiu cinco injeções indiretas de prompt dentro de uma redação sintética que o Microsoft Copilot (GPT-5.2) reprovara em seis de seis execuções de base, iterando cada uma por arquivos docx, pdf e htm. Duas estratégias mudaram a nota sem aviso visível — um parágrafo de manipulação de instrução e role-playing em 9 de 9 iterações (100%) e o mesmo parágrafo escondido atrás de uma camada de imagem em 17 de 18 (94%) — enquanto um parágrafo em texto branco pequeno ao final do documento falhou nas nove iterações, e injeções em metadados de arquivo nunca funcionaram, o que o autor atribui ao acesso a metadados estar desabilitado na versão testada. O problema da confiança sobreviveu aos exploits: depois que uma execução em pdf detectou uma instrução embutida e declarou que corrigiria apenas contra o enunciado oficial, reexecutar o mesmo arquivo elevou a nota mais seis vezes sem aviso, e um chat bloqueado por um ataque detectado foi silenciosamente desabilitado em vez de reportado ao usuário. O autor argumenta que as notas resultantes não carregam nenhuma alegação de validade em nenhuma direção, que um adversário precisa de apenas uma combinação funcional contra Salvaguardas em camadas, e que o professor permanece a única verificação real da saída enquanto a manipulação é desenhada para não ser visível — conectando-se diretamente à obrigação de sanitização de entrada e segurança adversarial que Venetsanos estabelece acima.

Conexões

A avaliação automatizada conecta-se a Validade da avaliação (garantia de qualidade), Avaliação formativa (contexto de uso), Mitigação de viés e Equidade na educação com IA (justiça), A docência (como a automação muda o trabalho do instrutor) e Qualidade do feedback de IA (corrigir sem feedback útil tem valor educacional limitado). A avaliação sensível à confiança é um mecanismo específico dentro da agenda mais ampla de IA psicometricamente consciente e uma contribuinte para confiança calibrada.

  • Correção por IA em grande escala de física manuscrita (2026): um modelo multimodal (GPT-5.5) corrigiu 10.364 páginas escaneadas ao longo de um exame teórico nacional da Olimpíada de Física, de um campo de treinamento de seleção e de um exame universitário de mecânica quântica, alcançando correlações de nota total de 0,91–0,97 com as notas oficiais e recuperando o mesmo time dos cinco primeiros da Olimpíada. Instruções revisadas página por página, de localização de evidência, melhoraram a concordância — evidência de que IA multimodal pode sustentar correção somativa de alto impacto com engenharia cuidadosa de rubricas e prompts (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Automação seletiva em química manuscrita (2026): Cvengros & Kortemeyer corrigiram página por página uma prova final manuscrita de química geral de 296 estudantes contra imagens de rubricas com um LLM multimodal de raciocínio, alcançando alta confiabilidade execução-a-execução nas notas totais (ICC(A,1) = 0,967) e forte concordância de nota total com a correção por monitores (R² = 0,91). Como a confiabilidade ao nível de item variava fortemente por formato — respostas textuais e de reações químicas eram corrigidas de forma confiável, enquanto desenho e gráficos pontuavam pior que o aleatório —, a concordância bruta foi julgada inadequada para uso de alto impacto. Eles operacionalizam o encaminhamento humano por filtros de confiança (limiares de crédito parcial, um limiar de risco baseado em TRI e exclusão por tipo de problema) que convertem as notas brutas da IA numa política de aceitar/encaminhar, e mostram que falsos positivos (a IA creditando respostas genuinamente erradas) tendem a passar não detectados, já que os estudantes raramente os contestam — uma rota concreta, fundamentada psicometricamente, para automação seletiva (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Matemática manuscrita semiaberta num exame universitário (2026): Liu et al. corrigiram um exame universitário alemão de matemática com GPT-4 ao longo de duas rotas de extração (caixas de resposta pré-recortadas versus páginas inteiras), duas rotas de reconhecimento óptico de caracteres e dois formatos de rubrica, reportando alfa de Krippendorff contra as notas humanas de 0,22–0,44 com acurácia de 0,59–0,62 nos melhores fluxos e acurácia por problema abrangendo 0,27–0,91 — inaceitável para uso somativo de alto impacto. Itemizar regras de correção multicritério geralmente não melhorou a concordância (ajudou no problema de crédito parcial), e a correção livre sem rubrica foi muito pior (acurácia 0,50–0,51), e um filtro probabilístico de confiança destinado a sinalizar notas para reverificação humana não melhorou significativamente a acurácia enquanto sinalizava erroneamente 7–41% das respostas como confiáveis. A lição transferível do estudo é processual: escaneie e transcreva a folha de exame inteira com marcadores em vez de recortar as caixas de resposta, porque os estudantes escrevem atravessando as bordas das caixas; reescreva as regras de correção escritas para monitores, já que o modelo tentou derivações não solicitadas a partir de uma regra destinada a um humano; e note que as próprias regras de correção humana parafraseavam-se entre si a um alfa de 0,88 em cinco variantes, de modo que a robustez do prompt não é o gargalo.

  • Julgamento comparativo de LLM para triagem de escrita (2026): Mercer & Reed usaram sete LLMs como juízes comparativos pareados para pontuar escrita informativa de 1.208 estudantes do 3º ao 6º ano em três ocasiões de triagem. As notas de LLM-CJ se correlacionaram fortemente com notas de rubrica analítica (r = ,67–,73, mais forte para o Gemini-3.1 Pro) com AUC de ,82–,86 para proficiência; os achados foram estáveis entre modelos, com pouco ganho de validade vindo dos mais capazes e custosos, enquanto a média de três amostras de escrita melhorou a acurácia — a amplitude da amostragem importou mais que a escolha do modelo. Padrões de viés preditivo para aprendizes multilíngues se igualaram à pontuação humana por rubrica, sustentando o LLM-CJ como uma abordagem de triagem eficiente e de baixo custo (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Alinhamento dependente da qualidade com a correção do instrutor (2026): comparando ChatGPT, colegas e um instrutor corrigindo os mesmos projetos em grupo de graduação, Usher & Faraon descobriram que o alinhamento do ChatGPT com o instrutor melhorava à medida que a qualidade do projeto aumentava — sua maior superestimação foi para trabalho de baixa qualidade (≈ +14 pontos), encolhendo para ≈ +2,5 pontos em projetos de alta qualidade. O ChatGPT também pontuava mais alto na média que os colegas e o instrutor, uma tendência de inflação de notas que mina sua confiabilidade como corretor somativo autônomo, especialmente para submissões mais fracas.

  • Estatísticas de concordância em corpus pequeno podem induzir decisões de implantação ao erro. Pontuar 60 posts de marketing (15 estudantes mais 15 âncoras de baixa qualidade escritas por pesquisadores) contra dois avaliadores humanos independentes deu concordância absoluta ICC(2,1) de ,435 para o LLM, ,266 para um híbrido de peso igual entre regra e LLM e ,091 para regras determinísticas, com MAE de 6,28, 10,53 e 17,22 pontos respectivamente numa escala de 0–100; o híbrido foi significativamente pior que o LLM isolado (diferença pareada de ICC −,169, IC 95% [−,260, −,106]). Acrescentar âncoras elevou o ICC entre avaliadores de ,338 para ,902 e a concordância do LLM de ,435 para ,846, e um post quase vazio recebeu 75 contra uma média humana de 30,5, mostrando que uma única resposta degenerada pode dominar uma avaliação pequena. (Agreement and error in automated scoring of student marketing posts)

  • Correção estruturada por LLM pode parecer analítica sem ser diagnóstica (2026): pontuando 3.041 respostas a 50 questões de ciência da computação, três LLMs comerciais produziram subdimensões de rubrica quase redundantes (r = 0,82–0,99, VIF até 45) e nomearam concepções errôneas em apenas 4,8–7,4% dos comentários, contra 15,0% para os instrutores (Zhao et al., 2026).

Conceitos conectados

Artigos conectados

Perguntas frequentes relacionadas

Metadados

Público-alvoInstructors
Tecnologias e técnicasGrandes modelos de linguagem (LLMs)
Avaliação e mediçãoAvaliação, Validade da avaliação, Avaliação automatizada, Correção automatizada de redações, Avaliação formativa
Equidade, ética e uso responsávelMitigação de viés
Fundamentos da IA na educaçãoA docência
SourceHistoryEditChat

Incorporar esta página

Copie o código abaixo para incorporar esta página num sistema de gestão da aprendizagem ou noutro site. A versão incorporada mostra apenas o conteúdo da página — o cabeçalho, a navegação e o rodapé do site ficam escondidos.