IA explicável

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

IA explicável (XAI) na educação é o desenho e o estudo de tornar legíveis, para as partes interessadas educacionais, as decisões de um sistema de IA — quem aprende, professores, administradores, pais, pesquisadores e formuladores de políticas. A distinção central que o campo sustenta: explicar a matéria (por que um fato é verdadeiro) não é o mesmo que explicar uma decisão do sistema de IA (por que este estudante recebeu esta atividade, por que esta resposta foi marcada como incorreta, qual evidência sustenta uma previsão de risco). A educação traz necessidades distintivas de explicabilidade — dados de aprendizagem ruidosos, explicações que podem apoiar diretamente a Metacognição e a Aprendizagem autorregulada, e partes interessadas que exigem tipos fundamentalmente diferentes de explicação. A pergunta operativa de desenho é a qualidade da explicação, e não a mera disponibilidade de explicação: uma explicação tecnicamente presente, mas ilegível, enganosa ou desalinhada a seu público pode causar mais dano do que nenhuma explicação.

Perguntas para refletir

• Quando um tutor de IA diz por que uma dica foi dada, isso está explicando a matéria ou explicando a decisão do sistema? Você consegue nomear três exemplos de cada um no seu próprio uso de IA educacional?
• Quem precisa de explicações na educação — e quem aprende, professores e formuladores de políticas precisam do mesmo tipo? Para que cada um usaria uma explicação?
• Uma IA sinaliza um estudante como em risco de evasão. O que um professor precisa saber para agir com base nisso, versus o que o estudante precisa saber? A mesma explicação é adequada para ambos?
• A página argumenta que a qualidade da explicação importa mais que a disponibilidade de explicação. O que faz uma explicação tecnicamente presente falhar — você se lembra de uma ocasião em que uma explicação existia, mas era inútil, ou pior, enganosa?
• Confiança e explicação estão ligadas, mas não são idênticas. Por que uma explicação fluente e confiante poderia criar confiança falsa em um sistema defeituoso — e como você detectaria que isso está acontecendo?

Introdução

A IA explicável na IA na educação nomeia a expectativa crescente de que os sistemas de IA nas salas de aula não deveriam ser caixas-pretas. Como a IA na educação afeta decisões consequentes — notas, sinalizações de risco, trajetórias de aprendizagem, recomendações de recursos —, as partes interessadas demandam crescentemente saber não apenas o que o sistema concluiu, mas por quê. A educação aguça isso em duas questões distintas: explicar a matéria que está sendo aprendida, e explicar o processo decisório do próprio sistema de IA. Confundi-las é um erro de categoria com consequências práticas: uma IA que explica perfeitamente uma resposta de física ainda não dá ao estudante nem ao professor nenhuma percepção sobre por que o sistema o classificou como em risco, recomendou determinada atividade ou marcou uma resposta como incorreta.

Explicar a matéria versus explicar a decisão do sistema

A contribuição fundadora do campo — o framework XAI-ED (Khosravi et al., 2022) — insiste que a educação tem necessidades de explicabilidade distintivas, além da XAI de propósito geral. A principal delas é a divisão entre dois alvos de explicação:

• Explicações de matéria esclarecem o conteúdo: por que uma dica aborda uma ideia equivocada, por que uma resposta está incorreta, como um resultado de física decorre de princípios. São explicações pedagógicas que apoiam o andaimento, o Retroalimentação (Feedback) e a Metacognição.
• Explicações de decisão do sistema esclarecem o modelo: por que este estudante recebeu esta atividade, por que o sistema prevê que este estudante está em risco, qual evidência sustenta uma previsão de rastreamento de conhecimento ou de analítica de aprendizagem. São explicações de transparência que apoiam a calibração da confiança, a mitigação de viés e a responsabilização.

A distinção importa porque elas servem a diferentes partes interessadas e a diferentes propósitos. Quem aprende respondendo "por que isso foi marcado como errado?" precisa sobretudo da explicação de matéria; um professor decidindo se agirá sobre uma sinalização de risco, ou um formulador de políticas auditando viés, precisa da explicação de decisão do sistema. Desenhar uma explicação única que sirva a ambos raramente é possível — e é por isso que o desenho multipartes interessadas é um tema central do XAI-ED.

Quem precisa de explicações: o desenho multipartes interessadas

• Quem aprende precisa de explicações que apoiem sua própria aprendizagem e autorregulação — por que uma dica foi dada, por que sua resposta foi marcada como incorreta, por que este recurso é recomendado (apoiando a Aprendizagem autorregulada). A evidência da perspectiva dos estudantes mostra que quem aprende traça uma linha nítida entre aceitar feedback de IA (útil para revisão) e ceder a autoridade de correção (reservada ao instrutor humano) — uma postura calibrada e ajustada à função, ativada pela transparência sobre o envolvimento da IA. O trabalho de desenho sensível a valores com estudantes de community college afia o ponto: os estudantes preferiam explicações colaborativas e humanizadas (por exemplo, "a IA pode estar incerta aqui, então vamos verificar isso juntos") à confiança bruta do modelo ou à transparência técnica, porque a transparência por si só tem pouco valor a menos que apoie diretamente sua aprendizagem. O estudo trouxe à superfície uma tensão entre transparência e interpretabilidade que empurra o desenho de explicação para semânticas voltadas a quem aprende, em vez de saídas de importância de atributos.
• Professores precisam de explicações que informem a intervenção — quais estudantes estão em risco e por quê, com base em qual evidência. Os estudos de explicabilidade com professores mostram que explicações específicas do domínio, na linguagem curricular, constroem aceitação e confiança calibrada de forma mais eficaz que as genéricas de importância de atributos, mas os professores ainda querem experiência real em sala de aula antes de confiar plenamente — a explicação por si só não confere calibração.
• Desenvolvedores e pesquisadores precisam de explicações para depurar o comportamento do modelo e detectar viés — revelando quais atributos impulsionam as previsões.
• Administradores e formuladores de políticas precisam de explicações para responsabilização, conformidade com privacidade e regulamentação (por exemplo, o direito à explicação), e para auditar se as decisões impulsionadas por IA são justas e equitativas.

Abordagens e formatos

O framework XAI-ED cataloga as principais modalidades de explicação: visual (mapas de calor, árvores de decisão), textual (justificativas em linguagem natural), baseada em exemplos (contrafactuais, vizinhos mais próximos), ranqueamentos de importância de atributos, extração de regras e simplificação de modelo. Ele também mapeia abordagens às classes de modelo:

• Modelos white-box (árvores de decisão, modelos lineares, baseados em regras) são inerentemente interpretáveis.
• Modelos black-box (redes neurais, ensembles) exigem métodos de explicação pós-hoc.
• Abordagens glass-box tentam equilibrar precisão com transparência.

A base de evidências concreta da AIED abrange todas elas. O rastreamento de conhecimento interpretável torna os modelos de conhecimento de quem aprende diretamente inspecionáveis (Interpretable Knowledge Tracing, Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning, Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling). Substitutos autoexplicativos destilam um modelo black-box em um pequeno modelo de linguagem interpretável para a analítica de aprendizagem (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Explicações contrafactuais — "o que precisaria mudar para um resultado diferente" — apoiam o suporte à decisão educacional e o recurso (From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support). Analítica de aprendizagem federada + explicável mostra que a qualidade da explicação pode degradar (a calibração piora) mesmo quando a estabilidade do ranqueamento se mantém, sublinhando que as explicações não são uma propriedade fixa, mas uma saída do sistema a ser mensurada (Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions). E ITS afetivo interpretável demonstra explicações na tutoria consciente das emoções (An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training).

Qualidade da explicação, não disponibilidade

Uma lição recorrente ao longo da evidência: ter uma explicação não basta; a explicação precisa ser adequada a seu público, precisa e calibrada às apostas. O framework XAI-ED nomeia explicitamente as armadilhas:

• Sobrecarga de explicação — informação em excesso sobrecarrega o usuário e anula o benefício.
• Explicações enganosas — as explicações pós-hoc podem não refletir o raciocínio real do modelo, dando confiança falsa.
• Viés de confirmação — os usuários atentam seletivamente para explicações que confirmam crenças existentes.
• Excesso de confiança — explicações fluidas podem criar confiança falsa em sistemas defeituosos, alimentando o excesso de dependência (o inverso da Calibração da confiança).
• Vencer o sistema pelo jogo — os estudantes podem explorar as explicações para contornar a aprendizagem real.

A qualidade da explicação também tem uma dimensão de equidade: uma explicação tecnicamente presente, mas ilegível para determinada parte interessada — ou que obscurece o viés em uma previsão — falha a seu propósito. É por isso que a pergunta de desenho é qualidade e adequação, e por que o desenho de explicação humanocentrado e específico por parte interessada é inseparável da geração técnica de explicações. A XAI eficaz é um ato de comunicação desenhado para as necessidades cognitivas de quem recebe, não meramente um artefato técnico.

A explicação nem sempre equaliza. Em um experimento de vinheta 2 × 2 com 250 estudantes do sétimo ano, uma justificativa escrita para uma nota de matemática elevou a aceitação e a equidade percebida em ambas as condições, mas ampliou, em vez de fechar, a lacuna entre decisões feitas pelo professor e pela IA (Zhang et al. (2026)).

Duas ressalvas afiam isso ainda mais, ambas tornadas centrais pela contribuição mais recente da wiki sobre o tema. Primeiro, a própria maquinaria de explicação não é neutra: métodos pós-hoc como LIME e SHAP podem ser infiéis ao comportamento real do modelo, de modo que uma explicação tecnicamente presente pode enganar em vez de informar (Lund et al. 2026, com base em Chuan et al. 2024). Segundo, explicação não é responsabilização. Um relato de quais atributos impulsionaram uma previsão não revela se esses atributos eram apropriados para usar, se os dados de treinamento eram representativos, ou se o desenho do sistema refletia juízo sólido; as explicações podem criar a aparência de transparência deixando intactas as condições estruturais que produziram uma decisão (Mittelstadt et al. 2019). Para a educação, isso significa que a pergunta a manter em mente não é se uma explicação foi produzida, mas se a pessoa que a recebeu — um estudante, um professor, um orientador — poderia entendê-la, agir com base nela ou contestar a decisão por trás dela. A mesma falha de legibilidade aparece no lado de segurança da avaliação automatizada: o red-team de Humble (2026) de uma ferramenta de correção por IA constatou que ela desativava silenciosamente o chat após bloquear uma injeção de prompt e — tendo anunciado que nunca seguiria instruções embutidas — as seguia em mais seis execuções no mesmo arquivo, deixando o usuário sem nenhum sinal confiável sobre o qual fundamentar a dependência.

Explicável por desenho é uma resposta ao problema de fidelidade do pós-hoc. Li, Yang e Fang (2025) parametrizam um decodificador de explicação pela mesma representação fundida e pela mesma nota prevista que decidem a avaliação, de modo que uma nota baixa em questionamento formativo produza uma justificativa que nomeia perguntas de sondagem insuficientes, e o combinam com atenção de dupla lente sobre padrões curriculares e movimentos de rubrica específicos da disciplina. O alinhamento atenção-rubrica alcança 78,0%, contra 41,7% do GPT-4 zero-shot e 32,1% do BERT, e a fidelidade é testada pela exclusão contrafactual de trechos críticos para a rubrica, juntamente com avaliações humanas em uma checklist ancorada na rubrica, dando uma pontuação de credibilidade da explicação de 0,78 — um aumento de 0,31 sobre o BERT-base. A auditoria também mostra onde a afirmação arquitetural enfraquece: em pistas emocionais, o modelo aloca 28,4% do peso de atenção contra 15,2% de um especialista (alinhamento 0,53), com um caso de falha atribuindo 28% ao token "frustrated", que os autores leem como overfitting ao afeto em vez de à pedagogia e nomeiam como uma área de refinamento. Embutir explicações no caminho da decisão as torna mais fiéis que justificativas pós-hoc; isso não as torna corretas.

Ensinar explicabilidade como prática de responsabilização

Se a qualidade da explicação decide se a XAI é útil, então produzir explicações tem de ser ensinado como um hábito profissional, e não apenas demonstrado como uma capacidade. Lund e colegas (2026) propõem fazer isso ao longo de quatro pilares — responsividade (a obrigação de dar razões aos afetados), responsabilidade (o dano antecipado ao longo do ciclo de vida, e não defendido depois do fato), aplicação (consequências dentro do curso) e reflexividade (exame documentado dos próprios pressupostos) — cada um com suas atribuições e seu custo em sala de aula.

Para a explicabilidade especificamente, as atribuições que importam são as que forçam a explicação a sair do notebook: model cards avaliados com peso ao lado das métricas de precisão, e auditorias estruturadas de explicação nas quais os estudantes aplicam ferramentas de interpretabilidade a seus próprios modelos e depois apresentam os resultados a um público sem formação técnica compartilhada. A aplicação é o pilar que mais frequentemente falta nos cursos adjacentes à ética e o que torna o resto mais do que simbólico — rubricas que recompensem documentação responsável, projetos que possam ser devolvidos para revisão por fundamentos éticos, e avaliação entre pares conduzida contra critérios de responsabilização, e não apenas técnicos. O artigo é franco quanto ao fato de que as ferramentas diferem acentuadamente em custo: model cards e declarações de posicionalidade não exigem nenhum software novo e arriscam apenas uma conformidade superficial, enquanto painéis de pares e engajamento de partes interessadas exigem coordenação e adesão institucional, e é por isso que ele recomenda uma adoção escalonada em vez de um compromisso tudo ou nada. Veja Desenho curricular para saber onde isso se encaixa em um programa.

Conceitos conectados

• Calibração da confiança
• Confiança
• Letramento em IA
• Analítica de aprendizagem
• Avaliação automatizada
• Modelagem de quem aprende e instrução adaptativa
• Tutoria inteligente
• Rastreamento de conhecimento
• Mitigação de viés
• IA com humano na alça (HITL)
• Segurança pedagógica
• Metacognição
• Aprendizagem autorregulada
• Descarregamento cognitivo
• Privacidade
• Regulação da IA na educação
• Sistemas de recomendação e trajetórias de aprendizagem

Artigos conectados

• Toward Socially Accountable Data Science Education: A Conceptual Framework for Integrating Explainable AI and Accountability Principles — Um framework de quatro pilares (responsividade, responsabilidade, aplicação, reflexividade) para ensinar XAI como prática de responsabilização (Lund et al. 2026)

• Value-Sensitive Design in Action: Designing Student-Centered Intelligent Tutoring Systems with Community College Students and Instructors — Desenho sensível a valores de um ITS centrado no estudante (explicações colaborativas versus brutas)

• Explainable Artificial Intelligence in Education (XAI-ED) — XAI-ED: o framework fundador da IA explicável na educação (Khosravi et al. 2022)

• The Impact of Explainable AI on Teachers' Trust and Acceptance of AI EdTech Recommendations: The Power of Domain-specific Explanations — Explicações específicas do domínio constroem confiança e aceitação dos professores (Feldman-Maggor et al. 2025)

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — Perspectivas dos estudantes sobre avaliação transparente assistida por IA (AlGhamdi 2026)

• Interpretable Knowledge Tracing — Rastreamento de conhecimento interpretável

• Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning — Rastreamento de conhecimento explicável por embeddings probabilísticos

• Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling — Rastreamento de conhecimento neuro-simbólico

• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Destilando modelos black-box em LMs autoexplicativos para analítica de aprendizagem

• Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions — Analítica de aprendizagem federada e explicável para modelagem de risco preservadora de privacidade

• From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support — Recurso contrafactual restrito por semântica para suporte à decisão educacional

• Fair and explainable educational recommendations with a hybrid Graph-GRU framework — Recomendações educacionais justas e explicáveis

• An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training — ITS de laço fechado interpretável para feedback afetivo multimodal

• Explaining ChatGPT Adoption in Higher Education: Insights for AI Literacy, Educational Practice, and Responsible AI — Explicando a adoção de ChatGPT no ensino superior

• Towards trustworthy and explainable-by-design large language models for automated teacher assessment — Framework de LLM explicável por desenho: atenção de dupla lente e explicações parametrizadas pela nota para avaliação automatizada de professores (Li et al. 2025)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Injeção de prompt na correção mediada por IA, onde a detecção nunca foi relatada ao usuário (Humble 2026)

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Avaliação de modelos pré-treinados para avaliação pedagógica de novas questões educacionais assistidas por IA

• Teacher or Artificial Intelligence? The Effect of Decision-Making Agent on Junior High School Students’ Decision Acceptance: A Moderated Mediation Model — Decisões de correção feitas pelo professor versus pela IA: uma justificativa escrita ampliou a lacuna de equidade

Citação

Khosravi, H., Buckingham Shum, S., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 100074.