IA Multimodal

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

A IA multimodal — sistemas de IA que processam, entendem ou geram conteúdo por meio de múltiplas modalidades — texto, imagens, áudio, vídeo e dados estruturados — e as questões educacionais que esses sistemas levantam. Na IA na educação, a IA multimodal aparece em três papéis distintos: como o conteúdo de aprendizagem que os aprendizes criam e com o qual se engajam (aprendizagem multimodal), como a fronteira de capacidade dos sistemas de tutoria que precisam interpretar diagramas e gráficos (tutoria multimodal), e como o sinal de avaliação usado para avaliar a compreensão (medição multimodal).

Questões a considerar

• Pense em um gráfico, diagrama de forças ou esquema que você já teve dificuldade de explicar em palavras. O que essa experiência sugere sobre os limites de um tutor de IA apenas de texto tentando ajudar com problemas ricos em imagens?
• Um tutor de física responde problemas baseados em texto ~96% das vezes, mas cai para ~74% em problemas que embutem significado em diagramas. Antes de ler, o que você acha que causa essa "interferência multimodal" — e consegue pensar em uma correção que não envolva retreinar o modelo?
• Você provavelmente já gerou tanto texto quanto imagens com ferramentas de IA. Você descobriu que "promptar para figuras" difere de promptar para texto? Que habilidades os estudantes podem precisar para traduzir uma ideia abstrata em um prompt visual preciso?
• A IA multimodal pode corrigir ensaios, gerar feedback com narração em áudio e até reconstruir estatísticas de itens de exame a partir de itens de imagem e texto. O que a mudança de sinal de avaliação apenas de texto para multimodal sinaliza (ou arrisca) para a equidade e a validade?
• Como o fato de que o apoio da IA é menos confiável precisamente nos problemas ricos em diagramas que constroem a compreensão profunda de STEM poderia criar uma lacuna de equidade entre os aprendizes? Quem é mais afetado?
• Os sistemas multimodais podem traduzir texto para áudio ou visuais para apoiar a aprendizagem inclusiva, mas também habilitam sensoriamento fino da sala de aula. Onde fica a linha entre acesso multimodal útil e vigilância?

Introdução

A multimodalidade na IA refere-se à capacidade de trabalhar por meio de diferentes formas de representação, e não apenas de texto. Os sistemas modernos de IA generativa e LLM aceitam e produzem cada vez mais imagens, áudio e vídeo, além de texto, abrindo novas possibilidades e novos riscos para a educação. Fundamentada na teoria da semiótica social, que sustenta que o significado se faz por meio de modos — não apenas de palavras —, a IA multimodal muda como o ensino, a aprendizagem e a avaliação são projetados e avaliados. (Multimodal Learning with Generative AI)

Três faces da IA multimodal na educação

1. Aprendizagem multimodal e criação de conteúdo

A IA multimodal permite aos aprendizes produzir e se engajar com conteúdo por meio de texto, imagem, áudio e vídeo. O guia de um educador para a aprendizagem multimodal com IA generativa posiciona essas ferramentas como uma parceira "ciber-social": elas complementam — mas não podem substituir — a construção humana de significado. (Multimodal Learning with Generative AI)

• O letramento em IA em contextos multimodais é estratificado: consciência básica de plataformas multimodais, cocriação intermediária e avaliação crítica das saídas, e design avançado de atividades e avaliações multimodais. (Multimodal Learning with Generative AI)
• O prompting multimodal é ele mesmo uma prática epistêmica exigente. Estudantes que promptam para imagens, bem como para texto, descobrem que "a literacia de prompt é diferente entre promptar para texto e promptar para figuras" — traduzir significado abstrato em prompts multimodais legíveis por máquina exige um vocabulário visual preciso e expõe limitações e viés do sistema. (Students' multimodal prompting practices as epistemic work in AI literacy development)
• A avaliação multimodal desloca-se dos ensaios para artefatos que combinam texto, imagem, áudio e vídeo, com educadores usando a IA para dar suporte à criação e ao feedback, em vez de substituir a própria produção do aprendiz. (Multimodal Learning with Generative AI)
• A composição multimodal do aprendiz como suporte ao pensamento crítico carrega um trade-off. Lu et al. (2027) mostram que fazer estudantes do fundamental 2 transformarem narrativas escritas em imagens e vídeos curtos gerados por IA apoiou ganhos sustentados em interpretação, análise, avaliação e explicação — mas não em inferência. Como os visuais tornaram explícito o significado da história, os estudantes relataram menor necessidade de inferir significado implícito do texto sozinho; a colaboração entre pares, e não a ferramenta multimodal, restaurou as ocasiões de inferência. O valor da IA multimodal como parceira na construção de significado é, portanto, específico por dimensão e depende de design instrucional que reintroduza deliberadamente o trabalho inferencial e autorregulador que a externalização pode cortar.
• A composição multimodal do aprendiz como letramento crítico em IA. Burriss et al. (2026) analisam anúncios de serviço público em vídeo de 90 segundos a 3 minutos de 22 estudantes do décimo primeiro ano sobre questões de ética em IA escolhidas por eles mesmos — vigilância por meio de laptops regulados pela escola e "passes de corredor" eletrônicos, consentimento informado e acusação algorítmica punitiva — como letramento crítico em IA encenado por meio da composição em imagem em movimento, som, texto e os próprios corpos dos estudantes. Ao longo dos sete filmes, o dano foi retratado como emergente do entrelaçamento humano–máquina em vez de da ferramenta sozinha (um "perseguidor de IA" antropomorfizado foi interpretado por um ator humano em três de sete), e 15 de 18 respostas de fim de unidade disseram que compor mudou sua compreensão da ética em IA. Os autores argumentam que os produtos multimodais tanto demonstram quanto comunicam competência crítica — artefatos produtivos, reflexões e discurso cívico podem servir como evidência de avaliação que a literacia apenas de texto perde estruturalmente em escala.

2. A tutoria multimodal e a fronteira de capacidade

Quando tutores baseados em LLM precisam resolver problemas que embutem significado em gráficos, diagramas de forças, esquemas ou tabelas, sua acurácia degrada acentuadamente — o Efeito de Interferência Multimodal. (Multimodal Dialogue in STEM Education)

• Em problemas de física da OpenStax, a acurácia apenas de texto de ~96% cai para ~74% em problemas ricos em imagens, de forma consistente entre famílias de modelos. (Multimodal Dialogue in STEM Education)
• Erros de Processamento Visual — falhas em extrair informação de gráficos ou diagramas — dominam a taxonomia de erros e são o modo de falha mais corrigível.
• Uma intervenção simples de diálogo estruturado (fazer o modelo descrever o que vê, corrigir apenas desleituras observáveis sem entregar a física, e então repromptar) restaura a acurácia para ~95% com zero retreinamento. (Multimodal Dialogue in STEM Education)
• Essa é uma preocupação de equidade: estudantes trabalhando em problemas ricos em imagens — precisamente os problemas que constroem a compreensão conceitual profunda em STEM — atualmente recebem apoio de IA menos confiável do que os que trabalham em exercícios apenas de texto.
• Construir um auxílio visual é mais difícil do que ler um. No GeoVAD-Bench, fornecer um diagrama auxiliar de especialista elevou a acurácia (+3,3 a +7,0 pontos), mas deixar os modelos construírem sua própria linha auxiliar ampliou a lacuna em 10,0 a 13,5 pontos — dois modelos pontuaram pior do que sem nenhum raciocínio visual (Dong et al., 2026).
• A fronteira é um perfil, não um nível — e a imagem artística fica fora da região que os modelos tratam bem. O MUSE (Zhu et al., 2026) avalia 30 VLMs abertos e proprietários em 12 tarefas sobre 1.174 obras de arte encomendadas, e a dispersão de capacidade entre dimensões é mais ampla do que qualquer escore agregado sugere: a classificação de cena é quase madura (23 de 30 modelos acima de 75,0, mediana 81,0), enquanto a detecção de emoção não passa de 39,5 e as tarefas abertas que exigem que os modelos articulem sua evidência pontuam 50,90 (identificação de pista visual) e 49,18 (inferência de causa de emoção) em similaridade semântica. O raciocínio composicional e dependente de ponto de vista falha mais duramente — onde a verdade de base não especifica nenhuma relação lateral ou vertical definida, 90,0% e 73,3% dos modelos afirmam uma de qualquer forma, apenas 43,3% posicionam a menina corretamente em profundidade, e nenhum modelo resolve as três dimensões de um único item. As falhas também se encadeiam: um personagem mal fundamentado é então justificado com uma justificativa fluida construída a partir de semântica visual próxima (borboletas, pássaros), que é o resultado mais perigoso na tutoria porque a explicação parece competente. Para a aprendizagem de línguas baseada em imagem, isso argumenta pela validação em nível de dimensão sobre a imagem que um curso realmente usa, em vez de importar um escore multimodal geral, e por estender o ponto de verificação de fundamentação descrito abaixo — descrever o que é visto, e onde, antes de raciocinar a partir disso — a conteúdo artístico situado (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

A implicação prática de design é um ponto de verificação de fundamentação visual na tutoria multimodal: um passo deliberado em que o sistema descreve o que vê antes de tentar uma solução, dando ao estudante ou a um supervisor humano a chance de corrigir erros perceptuais. (Multimodal Dialogue in STEM Education)

Abreu et al. (2026) acrescentam uma restrição prévia: uma equação, gráfico ou unidade pode aparecer em um relatório e nunca ser recuperada do documento processado, de modo que uma discordância com o instrutor pode ser uma falha de extração em vez de uma falha de raciocínio — o que torna o formato de submissão parte do design da avaliação.

3. Avaliação e medição multimodal

A IA multimodal amplia tanto o conteúdo da avaliação quanto o sinal usado para pontuá-la.

• Sistemas de feedback multimodal integram texto estruturado, referências a slides e narração em áudio contínua. Em um estudo, o feedback multimodal da IA igualou o feedback do educador na aprendizagem e o superou significativamente nas percepções dos estudantes. (LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback)
• Estimação de resposta a item multimodal usa LLMs multimodais ajustados para reconstruir curvas características de item (IRT / 3PL) diretamente a partir de probabilidades previstas de opções em itens de imagem e texto, conectando a IA multimodal à medição educacional e à teoria de resposta ao item. (Multimodal Item Parameter Estimation using Simulated Response Probabilities)
• A avaliação de modelos de linguagem-vision educacionais e a literacia de LLM multimodal estendem o kit de avaliação do campo ao raciocínio multimodal e à visualização. (The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors) (Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy)
• A correção multimodal de química manuscrita expõe uma fronteira de capacidade dependente de formato: Cvengros & Kortemeyer corrigiram página por página uma final manuscrita de química geral de 296 estudantes contra imagens de rubrica com um LLM multimodal de raciocínio, pontuando respostas textuais e equações de reação química de forma confiável (maior F1 normado), mas desenhos e gráficos pior do que o acaso — grades de fundo distraem visualmente a visão da IA, e diagramas científicos/estruturas químicas seguem difíceis de interpretar — reforçando que a visão da IA multimodal não é robusta a trabalho pesado em representação e é melhor implantada com deferimento humano dos itens gráficos (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
• O reconhecimento de construto e o juízo comparativo são habilidades separáveis. Ma et al. (2026) expressam seis princípios de aprendizagem multimídia como edições reversíveis de slides mais controles falsos de equivalência visual, e descobrem que ambos os modelos recuperaram toda operação, princípio e reparo (8/8), enquanto a calibragem de severidade falhou inteiramente (0/8) — um escore composto esconderia qual camada falha.
• Ganhos de equidade podem ser validados à existência. Um estimador de atenção multimodal superou uma baseline apenas visual de forma modesta, e seu regularizador de lacuna de MAE voltado a gênero cortou a lacuna de validação de 0,02 a 0,005, mas aumentou a lacuna e o erro do pior grupo em sujeitos retidos — de modo que a validação repetida, ciente de subgrupo e em nível de sujeito é exigida antes da implantação (Fragkiadakis et al. (2026)).
• A correção multimodal pode reproduzir um resultado de seleção mesmo onde a pontuação em nível de item fica atrás. Ao corrigir 10.364 páginas manuscritas de Olimpíada e universidade, um LLM igualou os totais dos examinadores a r = 0,93–0,96 e colocou os mesmos cinco estudantes na equipe da Olimpíada, mas a concordância por partes alcançou apenas 70%: evidência de segundo leitor, não um corretor de registro (Pathak et al. (2026)).
• A geração de diagramas é uma fronteira de capacidade, não uma resolvida. Em um benchmark de física de 15.246 questões que pontua a saída multimodal, sintetizar ou editar diagramas de física estruturados provou ser mais difícil do que responder, e os modelos líderes ficaram abaixo de 70% de domínio estrito — evidência de que a produção visual fica atrás da compreensão visual (Chen et al., 2026).

IA multimodal para aprendizagem de línguas e acessível

Os sistemas multimodais também ampliam o acesso e a personalização. Ferramentas de aprendizagem de vídeo-vídeo guiadas por IA adaptam a velocidade de reprodução, produzem resumos de vídeo multimodais e apoiam a prática de pronúncia. (AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques) Grafos de conhecimento multimodais raciocinam sobre imagens e texto para tarefas educacionais, (Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning) e representações multimodais melhoram o aprendizado inclusivo traduzindo informação entre modos (p. ex., texto para áudio ou visual). As aplicações de domínio incluem correção e diagnóstico de matemática manuscrita, (Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work) tutoria afetiva com sinais multimodais, (An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training) (MathBuddy: Affective Math Tutoring) aprendizagem de texto para imagem em campos especializados, (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts) e sensoriamento de sala de aula multimodal ciente de privacidade. (Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition) Bird (2026) demonstra uma forma interna ao texto de multimodalidade: fundindo um transformer ELECTRA ajustado com análise de features de linguística computacional para classificar literatura inglesa por Key Stage do Reino Unido, onde o modelo fundido (F1 0,996) superou de longe toda baseline unimodal — evidência de que combinar formas de representação, mesmo dentro do texto, pode superar abordagens de modelo único.

Desafios e implicações de design

1. Feche a lacuna multimodal. Os sistemas de tutoria multimodal deveriam incluir fundamentação visual e suportes de diálogo estruturado, em vez de assumir que as capacidades de visão são robustas. (Multimodal Dialogue in STEM Education)
2. Trate o prompting multimodal como uma habilidade ensinável. Os currículos de letramento em IA devem abordar prompting específico por modalidade, coerência entre modos e avaliação crítica das saídas multimodais. (Students' multimodal prompting practices as epistemic work in AI literacy development)
3. Preserve a construção humana de significado. A IA multimodal deveria ampliar, e não substituir, a própria construção e avaliação de significado dos aprendizes por meio dos modos. (Multimodal Learning with Generative AI)
4. Estenda a avaliação à validade multimodal. A validade da avaliação, o viés e a confiabilidade devem ser examinados quando a IA pontua ou gera artefatos multimodais. (Multimodal Item Parameter Estimation using Simulated Response Probabilities) (Avaliação de IA na educação)
5. Fique atento à equidade e à privacidade. Tanto o apoio não confiável em problemas ricos em imagens quanto as demandas de dados do sensoriamento multimodal carregam implicações de equidade e privacidade. (Multimodal Dialogue in STEM Education) (Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition)
6. Ajuste o pipeline ao conteúdo. O LLM multimodal de um assistente de laboratório de cibersegurança lidou melhor com slides visuais densos, enquanto um pipeline OCR-mais-LLM entregou valor instrucional comparável em slides centrados em texto a custo computacional significativamente menor. (Patel et al. (2025))

Conceitos conectados

• IA generativa
• Grandes modelos de linguagem (LLMs)
• Grafo de conhecimento
• Tutoria inteligente
• Letramento em IA
• Engenharia de prompts
• Retroalimentação (Feedback)
• Avaliação
• Medição educacional
• Teoria de resposta ao item
• Modelagem de quem aprende e instrução adaptativa
• Método Socrático
• Andaime (Scaffolding)
• Avaliação de IA na educação
• Ponto de referência (Benchmark)
• Ensino superior
• Equidade na educação com IA
• Privacidade
• Educação em STEM
• Aprendizagem inclusiva
• Tecnologias — Guarda-chuva: tecnologias e técnicas de IA (modelos, treinamento de LLM, robótica, RAG, agentiva)
• Realidade virtual e aumentada — gesto, voz e entrada espacial como canais de aprendizagem
• Tecnologias de fala e voz
• Ensino de artes, design e mídia

Artigos conectados

• "Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy — Video PSA composition on AI ethics as critical AI literacy pedagogy (Burriss et al. 2026)
• Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation — Fairness-Aware Multimodal Transformer Modeling for Real-Time Student Attention Estimation
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — VLM performance on handwritten student math work (DrawEduMath, Lucy et al. 2026)
• Multimodal Learning with Generative AI — Educator's guide to multimodal learning with generative AI (MMLD-AI model)
• Multimodal Dialogue in STEM Education — The Multimodal Interference Effect and structured-dialogue recovery in STEM
• LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback — Multimodal AI feedback matches educators on learning, exceeds on perceptions
• Students' multimodal prompting practices as epistemic work in AI literacy development — Students' multimodal prompting as epistemic work in AI literacy
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — Estimating IRT item parameters with multimodal LLMs
• AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques — AI-guided audio-video learning support
• Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning — Multimodal knowledge graphs for educational reasoning
• Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy — Multimodal LLM literacy for scientific visualization
• An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training — Multimodal signals in affective intelligent tutoring
• MathBuddy: Affective Math Tutoring — Affective multimodal math tutoring
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — LLM cognitive diagnosis of handwritten math
• NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts — Text-to-image learning in nuclear engineering education
• Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition — Privacy-aware multimodal classroom sensing
• Integrating Generative AI into Cybersecurity Education: A Study of OCR and Multimodal LLM-Assisted Instruction — Multimodal OCR instruction in cybersecurity education
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: Benchmarking Multimodal LLMs for Slide Auditing
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
• More externalization, but less inference? Exploring changes in young learners' critical thinking during conversational — Multimodal AI composing and critical thinking in primary writing (Lu et al. 2027)
• Assisting the grading of a handwritten general chemistry exam with artificial intelligence
• Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving — Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: 12 tasks over 1,174 artworks show VLM capability as a dimension-specific profile, weakest in affective interpretation and viewpoint-dependent spatial reasoning (Zhu et al. 2026)
• AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice — AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice