Como ensino os estudantes a verificar a saída da IA?

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

Você já os avisou. O chatbot não é um mecanismo de busca, confira as fontes, use-o com responsabilidade — e as mesmas citações fabricadas e respostas erradas dadas com confiança continuam chegando nas entregas. Os avisos falham porque pedem uma disposição. Estudantes cuidadosos a têm, apressados não, e não há nada na frase com que um estudante possa agir às 23h, com uma saída na tela que parece perfeitamente razoável.

A pesquisa reunida aqui diz que esse enquadramento é grosseiro demais para ser ensinado ou avaliado. Verificar é um conjunto de ações analiticamente separadas, e o rótulo amplo de "uso responsável" esconde a diferença entre um estudante que tentou uma verificação e um que definiu se a saída estava correta. A conclusão principal: a verificação se torna ensinável no momento em que você para de tratá-la como um traço e passa a tratá-la como uma sequência — um padrão fixado antes da verificação, uma verificação que produz um registro, e uma decisão que o estudante precisa defender com base na disciplina. Esse é um problema de desenho que você pode resolver nesta semana — e um problema de avaliação que você pode resolver com artefatos que a tarefa já gera.

Esta página trata da mecânica da verificação em si. Para o que os estudantes deveriam entender sobre como esses sistemas funcionam, e como essa compreensão é definida, sequenciada e avaliada, ver Como devo incorporar a alfabetização em IA no meu curso? e Quais são as evidências sobre intervenções de alfabetização em IA no ensino superior?. Um estudante pode saber muito sobre grandes modelos de linguagem e não verificar nada.

O que a verificação de fato exige de um estudante

Wei e Shang (2026) separam sete alvos que o "uso crítico de IA" normalmente colapsa em um só: avaliação epistêmica, iniciação da verificação, qualidade do processo, sucesso da verificação, decisões de dependência, desempenho imediato na tarefa e aprendizagem independente. Sua rubrica de plano de curso diz "conferiu as fontes", o que fica na etapa dois e não diz nada sobre se a conferência foi competente (qualidade do processo) ou se ela mudou alguma coisa (sucesso, e depois a decisão de dependência). Iniciação não é sucesso: um processo forte pode terminar inconclusivo, um fraco pode acertar a resposta certa, e um estudante que fez uma busca e continuou confuso pontua igual a um que resolveu a questão.

A segunda distinção é entre confiança e dependência. A mesma revisão define calibração da dependência como um julgamento sobre se uma decisão de dependência foi apropriada, dada a qualidade real da saída da IA — uma classificação contingente à saída, e não um estágio em uma linha do tempo nem uma nota em uma escala de confiança. Um estudo auditado descobriu que informação falsa do ChatGPT deslocou a confiança relatada dos participantes, mas nunca registrou se eles depois aceitaram ou rejeitaram uma recomendação específica. Outro registrou decisões de aceitar e rejeitar sobre Retroalimentação (Feedback) do ChatGPT para 78 estudantes de tradução, mas, sem avaliação independente de especialistas, uma aceitação não pode ser chamada de apropriada, nem uma rejeição de justificada. Sem verdade básica sobre a qualidade da saída, a dependência não pode ser classificada de forma alguma — o que lhe diz de que toda tarefa de verificação precisa: um gabarito defensável.

É por isso que Jaidka e Cai (2026) tratam a descalibração como um problema de desenho, e não como um déficit do estudante. A tipologia deles cruza a capacidade de verificar com a motivação para verificar, e os perfis precisam de remédios diferentes: o usuário de alta capacidade e baixa motivação é propenso à confiança excessiva complacente, enquanto o usuário de baixa capacidade e baixa motivação é o mais exposto — então dois estudantes que falham na mesma verificação podem precisar de remédios opostos.

Como ensinar isso

A síntese de Wei e Shang se apoiou em 493 registros deduplicados de buscas na Web of Science Core e mapeou 14 estudos empíricos prioritários em colunas de verificação, dependência e desfecho. Sua saída construtiva é a sequência em torno da qual construir as tarefas. Adjudique primeiro a qualidade da saída, capture se a verificação foi iniciada, codifique a qualidade do processo, pontue se ela teve sucesso, registre a decisão de aceitar–revisar–rejeitar, e avalie essa decisão contra a qualidade adjudicada. Uma advertência pertence aqui também: intervenções que reduzem a aceitação inapropriada também devem ser verificadas quanto à rejeição não intencional de assistência correta, então deixe espaço para que um estudante aceite uma boa saída por uma razão declarada.

Preveja antes da saída, e depois compare. Gousopoulos (2026) constrói um programa de medição para tarefas de construção em torno de prever antes de executar: o aprendiz declara o que deveria acontecer, e então o comportamento do artefato é julgado contra essa previsão com base na disciplina, e não por ele executar ou não. A auditoria dele de 24 estudos encontrou a mesma ferramenta produzindo desfechos opostos sob estruturas de tarefa diferentes: uma configuração convencional de ChatGPT terminou significativamente mais baixa em realização, autoeficácia e fluxo, enquanto uma condição que acrescentava requisitos de verificação e módulos de reflexão sobre erros mostrou pensamento de ordem superior mais forte. Como a previsão precede a saída, o raciocínio fica registrado — e o registro é o que você avalia.

Exija verificações de fonte contra o registro, com um alvo nomeado. Denny e colegas (2026) rastrearam 113.588 referências de 5.225 artigos de educação em computação publicados desde 2021 e verificaram manualmente 828 registros suspeitos, encontrando 30 com informação bibliográfica verificavelmente fabricada em 14 artigos, todos de 2025 e 2026. Treze eram inteiramente fabricadas; as outras 17 combinavam um título real com autoria, veículo de publicação ou ano fabricados ou incorretos. No Simpósio Técnico da SIGCSE, a contagem subiu de 3 nos anais de 2025 para 17 em 2026, ou 2,3% dos artigos dos anais de 2026. Os campos de autoria falham com mais frequência do que qualquer outra parte de uma referência gerada, então "abra a fonte e leia a lista de autores" mira o campo com maior probabilidade de estar errado. Não peça aos estudantes para "garantir que as fontes são reais"; peça que confirmem autores, veículo de publicação e ano contra o próprio registro. O artigo pede que toda obra citada seja verificada e que qualquer verificador permaneça com humanos no circuito — a prática que um requisito de verificação de citações ensaia.

Ensine a discriminação, não apenas a cautela. Gousopoulos formaliza a verificação como um problema de detecção de sinal com dois parâmetros independentes: sensibilidade, a capacidade de discriminar saída correta de saída falha, e critério, onde o aprendiz fixa o limiar para a rejeição. A dependência excessiva se divide de acordo — avisos, checklists e provocações sobre alucinação deslocam o critério, mudando quando um estudante rejeita, enquanto instrução na disciplina, comparações trabalhadas e prática com erros semeados elevam a sensibilidade, porque então o aprendiz consegue distinguir. O pré-requisito se segue: a instrução em verificação só é educativa onde a sensibilidade pode exceder zero, o que exige conhecimento de disciplina suficiente para distinguir saída correta de incorreta. Na mesma auditoria, novatos solicitados a explicar código gerado por LLM tiveram sucesso em cerca de um terço das tarefas, e é por isso que julgar feedback ou código de IA contra o próprio raciocínio só é uma verificação real onde esse raciocínio tem substância. Se seus estudantes ainda não conseguem fazer o pensamento da disciplina sem auxílio, mais avisos não compram nada; ensine o conteúdo primeiro e ancore a verificação nele.

Avise imediatamente antes da tarefa. Vu, Cummings e Park (2026) mostraram uma mensagem genérica de inoculação (aviso prévio) imediatamente antes de duas tarefas a 100 estudantes baseados nos EUA, 40 domésticos e 60 internacionais de inglês como língua estrangeira. Os estudantes inoculados tiveram significativamente mais probabilidade de verificar a tarefa de resumo de fonte acadêmica (M = 0,34 contra 0,18), enquanto as intenções de verificação autorrelatadas não se moveram. Duas lições: um aviso curto no ponto de uso muda o comportamento enactado, e o efeito foi dependente da tarefa — aparecendo para a tarefa de resumo de fonte, mas não uniformemente para um quiz de matemática sobre exponenciação e multiplicação de números grandes.

Faça a correção custar algo. No paradigma de correção de erros que a revisão auditou, o esforço durante a correção importou para a aprendizagem; a simples substituição da resposta provavelmente não traz o mesmo benefício. Exigir que um estudante reproduza um passo, reescreva uma passagem ou declare a razão disciplinar pela qual uma saída está errada converte uma verificação em trabalho. Venetsanos (2026) fixa o patamar para o que pode ser verificado mecanicamente: critérios documentados, comparação contra conhecimento estabelecido sem julgamento interpretativo, e uma única resposta correta ou alternativas aceitáveis pré-especificadas. Qualquer coisa interpretativa falha nesse patamar, então separe a camada mecânica — datas, fórmulas, citações, cálculos — da camada de julgamento, onde a própria leitura do estudante é o instrumento da verificação.

Como avaliar isso sem policiar os estudantes

Gousopoulos tira a consequência diretamente: se a IA pode produzir o artefato, o artefato não pode ser a avaliação, então a avaliação se desloca para a especificação, o raciocínio de validação e a interpretação. Seu construto de autoria de modelo tem quatro facetas — especificação, modelo conceitual, verificação, interpretação — em quatro níveis ordenados, de delegada a autoral, onde o nível autoral exige uma especificação verificável que preceda a primeira provocação, rejeição da saída com base na disciplina e com uma razão declarada, e interpretação além do relato que o próprio artefato faz de si. Como a rubrica é pontuada a partir de materiais que uma tarefa de construção já gera, o mesmo instrumento serve como avaliação formativa e como medida de pesquisa. Essa é a resposta à preocupação com o trabalho ocupacional: você não está acrescentando uma tarefa, está pontuando um subproduto.

Três decisões evitam que isso se torne vigilância. Primeiro, avalie a verificação contra a qualidade adjudicada, e não o esforço — do contrário, você constrói um incentivo para encenar verificação. Segundo, declare a proveniência, como Venetsanos exige: os estudantes precisam entender a proveniência, a natureza e as limitações do feedback que recebem — quais partes foram verificadas por máquina, quais foram julgadas avaliativamente, e que o julgamento humano tem primazia — porque estudantes não conseguem ponderar um feedback que não conseguem situar. Terceiro, mantenha a aplicação longe das ferramentas de detecção. Bassett e colegas (2026) argumentam que a detecção de IA não deveria ser usada na educação de forma alguma: suas estimativas são probabilísticas e não podem ser verificadas de forma independente porque a origem real do texto no mundo é desconhecida; suas pontuações não atendem ao padrão de balanço de probabilidades que as investigações de integridade exigem; e a dicotomia humano versus IA não tem sentido para trabalho criado com, e não por, IA. A conclusão deles é que a detecção "não protege a integridade acadêmica; ela a solapa" — regimes de vigilância promovem a suspeita e corroem a confiança do estudante. Mantenha separados os dois sentidos de detecção: detectar texto gerado por IA não tem papel evidente defensável aqui, enquanto ensinar os estudantes a detectar erros na saída da IA é o ponto do exercício.

A separação é arquitetural, e vale a pena contar aos estudantes: Li, Zhang e Botelho (2026) verificam a saída com um segundo modelo, em vez de incorporar a verificação ao gerador — e um estudante que vê por quê pode ver por que "a ferramenta disse que estava certo" não é um argumento de verificação.

Por que os estudantes pulam a verificação

Calibração. A tipologia de Jaidka e Cai coloca o estudante de alta capacidade e baixa motivação em risco de confiança excessiva complacente, enquanto o estudante de baixa capacidade e baixa motivação é o mais exposto. A literatura auditada mostra a mesma divisão em miniatura: um desenho que fornecia conselhos corretos cerca de metade das vezes, em que o peso que os estudantes davam a eles variava com o conhecimento prévio. Falhas de calibração não se corrigem por exortação: o próprio sinal de confiança do estudante é o que está descalibrado.

Fluência. Saída que parece bem escrita é tratada como certa. Novatos solicitados a explicar código gerado por LLM tiveram sucesso em cerca de um terço das tarefas, e um estudo de campo sobre conversas de quiz entre estudantes e ChatGPT descobriu que seguir a orientação correta ainda produzia uma resposta errada. Quando a sensibilidade é próxima de zero, pular a verificação não custa ao estudante nada que ele possa perceber — a falha é invisível até ser avaliada.

Prova social e intenção. Os estudantes relatam que pretendem verificar, e o relato não vale nada: no estudo de Vu, Cummings e Park, as intenções de verificação autorrelatadas não se moveram, enquanto o comportamento enactado sim (M = 0,34 contra 0,18). Não avalie a intenção. Apelos baseados em normas também não são uma rede de segurança confiável — empurrões de norma baseados em mensagens não mostraram efeito significativo em um torneio direto que Jaidka e Cai relatam. A pressão de tempo é uma razão documentada pela qual os estudantes pulam verificações, e um plano de curso que deixa a verificação fora do cronograma diz que ela é opcional.

Três objeções

"Eles podem simplesmente fazer isso pela nota." Em parte verdade — então avalie materiais que a IA não pode produzir em nome do estudante. Uma especificação escrita antes da primeira provocação, uma previsão registrada antes de executar o artefato, uma lista de fontes conferida contra o registro, uma razão disciplinar declarada para a rejeição: cada um desses exige que o estudante sustente uma posição que o gerador não pode fornecer. No nível autoral, Gousopoulos exige a rejeição da saída com base na disciplina com uma razão declarada — uma razão fabricada é tão visível quanto uma citação fabricada. O risco residual é limitado pelo limiar de sensibilidade: onde um estudante não tem conhecimento de disciplina contra o qual verificar, a verificação é encenação, e nenhuma rubrica a resgata. Esse é um argumento para ensinar a disciplina primeiro, não para abandonar a verificação.

"Não há tempo no plano de curso." O aviso prévio é uma mensagem imediatamente antes da tarefa; a tarefa de erros semeados são vinte itens, oito com um erro de nível disciplinar, e ela lhe diz se os estudantes conseguem discriminar de alguma forma; e a rubrica cavalga sobre materiais que a tarefa já gera, então ela custa tempo de correção sobre evidência que você de outro modo não teria, e não uma nova tarefa. O que custa tempo é a alternativa: entregas não verificadas, referências fabricadas e as conversas de integridade que se seguem. A restrição ainda é genuína — a pressão de tempo é uma razão documentada pela qual os estudantes pulam verificações, então uma verificação que não está programada dentro da tarefa não vai acontecer.

"A ferramenta em geral está certa." Então a verificação é barata, e as exceções são o ponto. O registro sobre referências não é tranquilizador: 30 itens verificavelmente fabricados em 14 artigos, todos de 2025 e 2026, 17 deles combinando um título real com autoria, veículo de publicação ou ano fabricados ou incorretos, 13 inteiramente fabricados, e um salto de 3 nos anais da SIGCSE de 2025 para 17 em 2026, ou 2,3% dos artigos dos anais de 2026. Precisão nas partes que você por acaso nota não diz nada sobre as partes que você não nota — os campos de autoria falham com mais frequência do que qualquer outra parte de uma referência gerada. E uma resposta aceita pode estar errada mesmo quando a orientação estava certa: o estudo de campo sobre conversas de quiz entre estudantes e ChatGPT registrou exatamente isso. A razão para ensinar verificação não é que a ferramenta em geral esteja errada, mas que o estudante não consegue dizer em qual caso ele está — precisamente a habilidade que seu curso existe para construir.

O que permanece desconhecido

• Se alguma intervenção melhora o sucesso da verificação e a decisão de dependência que se segue, julgada contra a qualidade de saída adjudicada: nenhum estudo entre os 14 casos prioritários de Wei e Shang mediu ambos, e poucos acompanharam o desempenho imediato com retenção atrasada ou transferência.
• Se os componentes se relacionam na ordem que o mapa implica. Os sete alvos são uma ordenação analítica, e não um modelo causal validado.
• Se as proposições de desenho funcionam. As oito proposições de Jaidka e Cai são predições não testadas, e empurrões de norma baseados em mensagens não mostraram efeito significativo em um torneio direto que eles relatam.
• Se a verificação incorporada ao feedback desenvolve hábitos de autoverificação ou dependência de validação externa, o que Venetsanos levanta e deixa em aberto.
• Se a instrução em verificação funciona abaixo de um limiar de conhecimento de disciplina. Gousopoulos prevê que não, e nota que alguns domínios fornecem um critério externo — física, química, ecologia, epidemiologia — enquanto história, literatura e ética em grande parte não fornecem.

O que fazer nesta semana

• Fixe o padrão antes da verificação. Decida o que correção adjudicada significa para a tarefa, para que uma verificação tenha algo contra o qual se resolver.
• Peça a previsão primeiro. Peça aos estudantes que se comprometam por escrito com o que deveria acontecer, e depois compare a saída com base na disciplina, e não na fluência.
• Exija verificação de citações com um alvo nomeado. Listas de autores são a parte menos confiável de uma referência gerada; peça aos estudantes que abram o registro e confirmem autores, veículo de publicação e ano.
• Diagnostique sensibilidade e critério separadamente. Um estudante que aceita saída falha porque não consegue distinguir precisa de prática na disciplina; um que consegue distinguir e aceita de qualquer forma precisa que o limiar seja deslocado.
• Avalie a verificação, não apenas o artefato. Pontue especificações, registros de previsão, registros de validação, verificações de fonte e razões declaradas para a rejeição.
• Declare a proveniência. Diga aos estudantes qual feedback foi verificado por máquina e qual foi julgado por uma pessoa.
• Mantenha a aplicação longe dos detectores, e programe a verificação. A pressão de tempo é uma razão documentada pela qual os estudantes pulam verificações.
• Execute a tarefa de erros semeados. Vinte itens, oito com um erro de nível disciplinar, lhe diz se os estudantes conseguem discriminar de alguma forma.
• Diga o aviso no ponto de uso. Avise préviamente por tipo de tarefa, e não uma vez por plano de curso.

Para o trabalho ao redor, ver como incorporar o letramento em IA a um curso e o que a evidência de letramento em IA mostra — as duas páginas que constroem a compreensão que esta coloca em ação.