Meta-Análise e Revisão Sistemática

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

A meta-análise e a revisão sistemática — a família de métodos de síntese de evidência que os pesquisadores usam para agregar e avaliar um corpo de estudos, em vez de rodar um único experimento novo. Uma revisão sistemática aplica um protocolo transparente e reprodutível para buscar, triar, avaliar e sintetizar a literatura sobre uma questão focada; uma meta-análise vai além, agrupando estatisticamente tamanhos de efeito entre estudos elegíveis para produzir uma estimativa resumida ponderada e testar moderadores. Na IA na educação, esses métodos são centrais para estabelecer a base de evidências sobre se as ferramentas de IA funcionam, sob que condições e para quem — e para expor lacunas, viés e a qualidade metodológica do campo. (A meta-analysis of the effect of generative AI on productivity and learning in programming) (Comprehensive Review of Intelligent Tutoring Systems)

Questões a considerar

• Imagine que você leia dez estudos sobre se a tutoria com IA funciona — dois mostram ganhos grandes, três não mostram nenhum, cinco mostram pequenos efeitos positivos. Como você decidiria o que concluir? Essa tensão é exatamente o que as revisões sistemáticas e as meta-análises são construídas para resolver.
• Uma revisão sistemática e uma meta-análise são frequentemente tratadas como a mesma coisa, mas a página as distingue: uma revisão sintetiza segundo um protocolo documentado, enquanto uma meta-análise agrupa estatisticamente tamanhos de efeito. Quando o agrupamento seria inapropriado ou impossível, mesmo que exista uma revisão cuidadosa?
• As revisões sistemáticas ficam no topo da hierarquia de evidências em parte porque compensam amostras pequenas, designs heterogêneos e resultados conflitantes entre estudos. Onde você já viu um único estudo dramático moldar a opinião, embora a evidência agrupada fosse muito mais mista?
• As meta-análises produzem uma estimativa resumida ponderada — um número único como "um efeito médio de 0,125 desvios padrão". O que uma média agrupada esconde sobre as condições, aprendizes ou contextos em que o efeito difere — e por que isso importa para se você agiria com base nela?
• Ambos os métodos se comprometem com um protocolo transparente e reprodutível (frequentemente PRISMA) precisamente porque as escolhas do que buscar e incluir podem enviesar o resultado. Quanto você confiaria em uma revisão que não divulgasse suas decisões de busca e triagem?

Introdução

As revisões sistemáticas e as meta-análises ficam no topo da hierarquia de evidências tradicional precisamente porque sintetizam muitos estudos individuais, compensando as amostras pequenas, designs heterogêneos e resultados conflitantes que caracterizam qualquer campo aplicado em rápido movimento. Na IA na educação, onde novas ferramentas e estudos aparecem constantemente, as revisões desempenham o papel crucial de fazer o balanço: mapear o que foi estudado, agregar o que se sabe e sinalizar onde a evidência é fina ou metodologicamente fraca. Elas diferem de uma revisão de literatura narrativa ou integrativa, que fornece síntese qualitativa, por seu compromisso com um protocolo documentado e (para a meta-análise) o agrupamento estatístico. (The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Revisão sistemática vs. meta-análise

Ambas seguem a PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) como padrão de reporte, que documenta o processo de busca, triagem e inclusão para transparência e reprodutibilidade. Uma revisão integrativa pode seguir os princípios da PRISMA para transparência parando antes do agrupamento estatístico. (A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade) (The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Síntese de evidências na IA na educação

O que as revisões realizam

As revisões sistemáticas e as meta-análises na IA na educação servem a vários propósitos distintos:

• Estabelecer a base de evidências — determinar se as ferramentas de IA (tutoria, feedback, avaliação, chatbots) produzem ganhos de aprendizagem, e quão grandes são esses ganhos.
• Mapear o campo e suas lacunas — uma revisão de escopo documenta o que foi estudado, onde a evidência está concentrada e onde ela falta (p. ex., cenários de trabalho, trabalhos não ingleses, casos de falha). (Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
• Identificar moderadores e condições — a meta-análise testa se os efeitos diferem por população de aprendizes, domínio, tipo de sistema de IA ou design de estudo, revelando para quem e sob que condições uma ferramenta funciona. Mas um moderador é tão confiável quanto os estudos por trás dele: em uma meta-análise de 2026 da escrita em L2 apoiada por GenAI, o único moderador que sobreviveu ao controle metodológico foi a classificação de risco de viés dos estudos, enquanto uma diferença de modelo instrucional que havia parecido significativa na análise de subgrupos colapsou quando qualidade do estudo e tamanho de amostra foram inseridos. A qualidade metodológica, não a pedagogia, carregou o efeito — de modo que moderadores pedagógicos aparentes merecem o mesmo escrutínio que as estimativas agrupadas. Moderadores nulos carregam a mesma lição em sentido inverso. Na meta-análise de Chen e Wei sobre tecnologias digitais e de IA para habilidades em língua estrangeira (40 estudos, 3.367 participantes, g agrupado = 0,962), os moderadores que sobreviveram foram o design do estudo (quase-experimentos g = 1,019 contra experimentos verdadeiros g = 0,474), a duração da intervenção e a contagem de ferramentas, enquanto tipo de habilidade linguística, tipo de tecnologia, nível educacional, cenário e tamanho de amostra não mostraram diferença significativa entre grupos, levando os autores a concluir que a eficácia não pode ser atribuída a um rótulo de tecnologia ou a uma categoria de habilidade. A meta-análise de Yu e colegas sobre educação em IA no K-12 (16 estudos, 57 tamanhos de efeito, g = 0,892) encontrou todos os seus três moderadores testados (fonte de publicação, ano de publicação, nível escolar) nulos e leu a heterogeneidade residual (I2 = 94,68%) como evidência de que o campo não concordou de forma alguma sobre como medir o letramento em IA. Quando um moderador volta nulo e a heterogeneidade permanece alta, a conclusão da síntese costuma ser sobre o construto de resultado ou os designs dos estudos primários tanto quanto sobre a intervenção.
• Expor a qualidade metodológica — as revisões rotineiramente descobrem que o campo depende de designs subpotentes, pré-experimentais ou quase-experimentais e de pós-testes imediatos, temperando as conclusões. (Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness) (Comprehensive Review of Intelligent Tutoring Systems) O reporte fino do que de fato foi feito é parte desse quadro, e ele limita o que qualquer síntese posterior pode dizer: a revisão sistemática de Yalcin e colegas sobre GenAI na educação em programação não conseguiu identificar uma abordagem instrucional em 26 de seus 46 estudos, e 32 dos 46 apareceram em anais de conferências, de modo que a revisão pôde codificar pedagogia para menos da metade de seu corpus e termina com evidência de impacto mista (alguns estudos mostraram desempenho melhorado em exames e programação, enquanto outros não encontraram diferença significativa contra o feedback do instrutor). Uma síntese herda os hábitos de reporte de seu campo.
• A confiabilidade da triagem pode depender do construto: em uma revisão de escopo PRISMA-ScR de 123 estudos de GenAI, descarga cognitiva e agência do aprendiz, a concordância em título/resumo (κ de Fleiss = 0,7103) caiu para κ = 0,4884 no texto completo, o que os autores atribuem à fronteira interpretativa entre relevância ampla de GenAI e relevância substantiva ao mecanismo (Wang et al. (2026)).

Exemplos da base de conhecimento

• Meta-análise de GenAI e programação — agrupa evidências sobre o trade-off produtividade-aprendizagem, encontrando ganhos significativos de produtividade, mas nenhum ganho significativo de aprendizagem (g ≈ 0), ilustrando a capacidade da meta-análise de separar a eficiência de curto prazo da aprendizagem durável. (A meta-analysis of the effect of generative AI on productivity and learning in programming)
• Meta-análise da GenAI na aprendizagem dos estudantes por uma lente TPACK — agrupa 71 estudos (74 tamanhos de efeito) em um efeito médio a grande (g = 0,752) que se decompõe de forma desigual: fortes ganhos cognitivos (g = 0,831) e afetivos (g = 0,729), mas um efeito pequeno e não significativo de engajamento comportamental (SMD = 0,057, p = 0,828) (Liu & Zhong, 2025).
• Revisão sistemática de IA em VET — primeira revisão sistemática de 26 estudos, documentando a lacuna construtivista no nome, behaviorista na prática, e a ausência de estudos de trabalho. (Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
• Revisão sistemática de GenAI no ensino superior — mapeia oportunidades, desafios e inovações pedagógicas ao longo de uma janela de cinco anos.
• Revisão abrangente de ITS — uma revisão sistemática de sistemas de tutoria inteligente com foco no rigor metodológico.
• Revisão sistemática de ChatGPT e pensamento crítico/criativo — sintetiza evidências sobre se o uso de LLM apoia ou mina o pensamento de ordem superior.
• Base de evidências para IA no K-12 — revisa a força da evidência para tutoria com IA nas escolas.
• Meta-análise de intervenções de letramento em IA — meta-análise de três níveis de 59 estudos (172 efeitos, 7.211 participantes) estimando um efeito geral grande (g = 0,837), ao mesmo tempo que mostra que a eficácia varia por região e foco de resultado de aprendizagem (intervenções focadas em conhecimento superaram as que visavam habilidades, atitudes ou ética).
• Heptágono do Letramento em IA — uma revisão de literatura integrativa seguindo princípios da PRISMA, ilustrando a síntese qualitativa que para antes da meta-análise. (The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)
• Meta-análise de tecnologias digitais e de IA para habilidades em língua estrangeira — Chen e Wei (2026) agrupam 40 estudos experimentais e quase-experimentais (3.367 participantes) em um efeito grande (g = 0,962, IC de 95% 0,765 a 1,159) com alta heterogeneidade (I2 = 85,178) e verificações de viés de publicação que apoiam a estimativa (fail-safe N de Orwin = 5853; teste de Egger p = 0,84465). A parte instrutiva é o moderador de design: quase-experimentos relataram g = 1,019 contra g = 0,474 para experimentos verdadeiros, e os padrões não lineares de duração e contagem de ferramentas repousam sobre subgrupos de um ou dois estudos.
• Meta-análise de GenAI e resultados de aprendizagem no ensino superior — Jing e colegas (2026) agrupam 35 estudos e 175 tamanhos de efeito em g = 0,53 (IC de 95% [0,48, 0,64]), maiores para habilidades profissionais (g = 0,72), depois desempenho acadêmico (g = 0,46) e atitude emocional (g = 0,44). A duração modera cada dimensão, e o declínio é o ponto: os efeitos de desempenho acadêmico caem de g = 5,07 para intervenções de 0 a 4 semanas para g = 0,64 em 4 a 12 semanas e g = 0,01 além de 12 semanas (Q = 35,19, p < 0,001). Tipo de disciplina e método de aprendizagem não foram moderadores significativos.
• Meta-análise de educação em IA e letramento em IA no K-12 — Yu e colegas (2026) agrupam 16 estudos (57 tamanhos de efeito, 3.837 estudantes, todos os efeitos positivos) em g = 0,892 (IC de 95% [0,548, 1,236]), com o ajuste trim-and-fill deixando-o em g = 0,952. Todos os três moderadores testados (fonte de publicação, ano, nível escolar) voltaram nulos, e os autores atribuem a heterogeneidade de 94,68% à medição: os estudos operacionalizaram o letramento em IA como tudo, desde conhecimento e ética em IA até atitudes, autoeficácia e interesse de carreira.
• Revisão sistemática de GenAI na educação em programação — Yalcin e colegas (2026) triam 151 registros pela PRISMA até 46 estudos, dos quais 26 não dão nenhuma descrição utilizável de abordagem instrucional e 38 examinam uma única ferramenta (o ChatGPT aparece sozinho em 35 de 46). A revisão mapeia ferramentas, linguagens e veículos de forma confiável, mas pode codificar pedagogia para menos da metade de seu corpus, uma demonstração limpa de que o reporte fino dos estudos primários limita o que uma síntese pode concluir.
• Revisão de escopo e mapa de evidências de NLP na avaliação de ensino pelos estudantes — Eicher e da Silva (2026) pontuam 421 estudos em um eixo técnico e quatro dimensões de valor, codificando a acionabilidade em uma escala de seis níveis, de utilidade afirmada a impacto medido nas decisões, e alcançam uma saída utilizável em 258 de 421 estudos (61,3%) contra avaliação pelo usuário pretendido em apenas 49 (11,6%). Transformar uma lacuna em uma dimensão codificada permite à revisão nomear a fronteira de 49,7 pontos entre "o modelo funciona" e "o feedback muda o ensino" como seu achado central, em vez de como uma ressalva.
• Revisão PRISMA 2020 de GenAI na aprendizagem por cenários em saúde — Neto e colegas (2026) buscaram sistematicamente cinco bases de dados (9 de novembro de 2025) por estudos de GenAI revisados por pares em educação em saúde baseada em cenários, casos, problemas e simulações, triando 1.151 registros até 23 estudos incluídos avaliados com a Ferramenta de Avaliação de Métodos Mistos (MMAT). Sua síntese temática trouxe à tona seis temas transversais ancorados no design de prompt como especificação instrucional, e documentou lacunas na padronização da validação, nos designs longitudinais/comparativos e na quantificação da eficiência — um modelo para revisão sistemática rigorosa de GenAI específica de domínio.
• Revisão sistemática de educadores de línguas e GenAI — uma revisão alinhada à PRISMA de 23 estudos empíricos indexados na SSCI (dezembro de 2022–setembro de 2024) sobre como os educadores de línguas percebem, adotam e aprendem a integrar a GenAI, sintetizada por meio da tipologia aristotélica de conhecimento episteme (compreensão teórica), techne (habilidade prática) e phronesis (sabedoria prática). Ela documenta adoção cautelosa e seletiva, ponderada para a preparação nos bastidores, lacunas de competência persistentes em todos os três tipos de conhecimento, e apenas três intervenções estrutuadas de desenvolvimento profissional — ilustrando como uma revisão pode expor tanto a base de evidências quanto as lacunas metodológicas do campo (aqui, a escassez de estudos estruturados de desenvolvimento profissional).
• Revisão sistemática de IA e prestação de serviço no ensino superior global — Nyamboga (2026) sintetiza 155 estudos em cinco domínios e gradua a certeza de cada um com critérios adaptados de CASP e JBI, classificando a integração e a prontidão de infraestrutura de IA como altas, a liderança como moderada, e a governança ética e a sustentabilidade como baixas. A revisão também volta uma lente de qualidade para seu próprio corpus: 117 estudos (75,5%) relataram implementação bem-sucedida, 124 (80,0%) cobriram apenas impacto de curto prazo, e apenas 23 (14,8%) relataram falhas de ética, equidade ou governança. Uma síntese pode relatar quão certa é a evidência, domínio por domínio, em vez de apenas a direção para que ela aponta.
• Revisão sistemática de RL na educação — Riedmann, Schaper & Lugrin (2025) aplicaram um protocolo padrão PRISMA para sintetizar 89 estudos de aprendizagem por reforço (2000–2024). A revisão é um estudo de caso instrutivo em métodos de síntese e seus limites: ela mapeia um campo em rápido crescimento, mas metodologicamente desigual — mais da metade dos estudos (n = 54) não relatou nenhum teste estatístico — e roda a análise de tamanhos de efeito em apenas 15 artigos adequados ao agrupamento, relatando efeitos intermediários a grandes (d de Cohen) de avaliações ao vivo. Ela também realizou verificações de viés de publicação (gráfico de funil, teste de Egger, PET-PEESE) que não encontraram viés significativo, mas tiveram poder limitado (n = 6), e ela para na síntese temática mais limitada quantitativamente em vez de uma meta-análise completa precisamente porque protocolos de avaliação heterogêneos impediram um agrupamento mais amplo — uma ilustração concreta das limitações de heterogeneidade e de lixo-entra-lixo-sai descritas abaixo.
• Revisão de escopo do pensamento crítico na pesquisa de HCI sobre IA — Inie e colegas (2026) mapeiam 80 artigos empíricos e deliberadamente não realizam nenhuma avaliação de qualidade, de modo que influência "alegada" significa a conclusão que cada artigo afirma. Apenas 23 artigos (29%) definem pensamento crítico, 46 (57%) não podem receber uma posição teórica, e 49 (61%) medem o construto por meio de autorrelato, que é o que permite a 50 artigos (62%) relatar uma influência positiva. Quando um construto é tão indefinido e suas medidas são incomensuráveis, mapear o campo é mais informativo do que agrupá-lo, e reter a avaliação desloca a afirmação de um efeito para uma descrição do que os estudos afirmaram.
• Revisão de mapeamento da integração de IA no ensino superior (FACETS + SAMR) — uma revisão PRISMA 2020 que tria 959 registros até 22 estudos de intervenção, ilustrando como um framework de codificação (FACETS: Form, AI use case, Context, Education focus, Technology, SAMR) mais uma lente avaliativa (SAMR) mapeia uma literatura fragmentada e gradua a profundidade da transformação. A maioria dos estudos incluídos ficou na Substituição/Aumentação do SAMR, mostrando que revisões de mapeamento podem revelar um campo de integração amplo, mas raso — uma alternativa ao agrupamento de efeitos quando o objetivo é descrever uma paisagem em vez de estimar um efeito.
• Revisão sistemática da intervenção do professor na instrução com IA no K-12 — Lee (2026) triou 1.565 registros até 29 estudos com dois avaliadores independentes em cada estágio (κ = 0,655 na triagem, κ = 0,647 na elegibilidade) e uma avaliação de qualidade MMAT que removeu um estudo. É um exemplo instrutivo de síntese que deliberadamente para antes do agrupamento: como o efeito independente da intervenção do professor não pôde ser separado do design do sistema de IA, da estrutura instrucional e do contexto de sala de aula na maioria dos estudos incluídos, a revisão relata resultados condicionais e um framework explicativo de processo, estratégia e efeito, em vez de um tamanho de efeito — a mesma limitação que separa uma revisão de uma meta-análise.
• Revisão sistemática de valores e normas éticas na AIED — Agarwal e colegas (2026) triaram 736 registros na Web of Science, ERIC, IEEE CSDL e ACM DL (mais snowballing reverso) até 25 artigos incluídos, consolidando a literatura fragmentada de ética em AIED em seis valores éticos principais (não discriminação, gestão de dados, supervisão humana, boa vontade, explicabilidade, adequação educacional) e mapeando normas éticas em uma matriz parte interessada por valor. A revisão ilustra como um protocolo sistemático pode sintetizar uma literatura conceitualmente fragmentada e em grande parte não empírica (apenas três dos 25 artigos eram artigos de metodologia ou pesquisa original) e transformá-la em um framework acionável — aqui, uma fundação para a governança e a política.
• Meta-análise de três níveis de GenAI em PBL/PjBL — Chen e colegas (2026) agrupam 22 estudos controlados e 66 tamanhos de efeito em um efeito grande sobre resultados internos ao aprendiz (g = 0,819, IC de 95% [0,655, 0,983]), e então relatam que uma correção PET-PEESE para estudos pequenos baixa a estimativa para g = 0,378, enquanto o modelo de desempenho de produto (g = 1,958, seis estudos) carrega um intervalo de predição que cruza o zero. Outros dois estudos foram descartados por não atenderem ao limiar de equivalência de linha de base do What Works Clearinghouse de 0,25 DP. O efeito relatado é contingente às correções de viés e aos filtros de design que uma síntese aplica, e ambos pertencem à interpretação, e não a uma nota de rodapé.

Revisão interdisciplinar de IA para dislexia

Dabaghi, D'Urso e Sciarrone (2026) apresentam uma revisão sistemática interdisciplinar guiada pela PRISMA (2018–2024, n=72) de IA e IA generativa para apoiar estudantes com dislexia na educação. A revisão mapeia a IA em detecção, apoio assistivo e aprendizagem personalizada, descobrindo que essas vertentes evoluem em paralelo em vez de em integração, impulsionadas mais pela oportunidade tecnológica do que por teoria educacional consolidada. Ela documenta que a IA generativa é subutilizada neste domínio (a pesquisa em GAI, toda de 2024, se agrupa em chatbots, apoio à formação de professores e estudos exploratórios) e que as ferramentas de ajuda à educação baseadas em ML caem em cinco áreas (aplicações específicas, engajamento, personalização, recomendação, apoio genérico), enquanto enfatizam o desempenho técnico sobre a validade ecológica. Os desafios abertos incluem validação experimental limitada, escalabilidade e acessibilidade das ferramentas de diagnóstico, preocupações de ética/privacidade com dados sensíveis de estudantes, apoio limitado ao professor, e barreiras linguísticas e culturais. As próprias limitações metodológicas da revisão — viés de classificação interpretativa, exclusão de estudos não ingleses, protocolos de avaliação heterogêneos que impedem a síntese quantitativa, e uma base de evidências de GAI em rápida evolução — ilustram a tensão central da família da revisão sistemática: um protocolo transparente pode mapear um campo fragmentado, mas a avaliação heterogênea impede o agrupamento estatístico, de modo que a revisão para na síntese temática em vez da meta-análise.

O desafio de síntese da era da IA: produtividade vs. aprendizagem

As revisões de intervenções de IA generativa enfrentam um desafio distintivo que a pesquisa de síntese da base de conhecimento destaca: separar os ganhos de produtividade dos ganhos de aprendizagem duráveis. Como a IA generativa pode inflar o desempenho imediato em tarefas (dever de casa, prática assistida) sem produzir aprendizagem, as meta-análises devem ser cuidadosas sobre qual resultado agrupam. A meta-análise de GenAI e programação encontrou grandes ganhos de produtividade, mas nenhum ganho significativo de aprendizagem (g ≈ 0) — uma ilustração limpa. Os estudos de campo em larga escala e a pesquisa de medida sem assistência mostram que o efeito medido depende de os resultados serem assistidos por IA ou supervisionados/sem assistência. As revisões deveriam, portanto, relatar separadamente os resultados assistidos e os não assistidos, distinguir desempenho de aprendizagem, e sinalizar estudos que medem apenas o desempenho imediato apoiado por IA. Uma precaução complementar emerge da meta-análise de letramento em IA: qual resultado é agrupado também molda a resposta — intervenções de letramento em IA focadas em conhecimento mostraram efeitos maiores do que as que visavam habilidades, atitudes ou ética, de modo que uma revisão que agrupa apenas resultados de conhecimento pode superestimar o que a instrução de letramento em IA alcança no geral. Isso se conecta à Avaliação de IA na educação e à avaliação somativa.

O mesmo artefato aparece na dimensão temporal. A meta-análise de 2026 de Jing e colegas sobre GenAI no ensino superior (35 estudos, 175 tamanhos de efeito, g agrupado = 0,53) relata efeitos de desempenho acadêmico que caem de g = 5,07 para intervenções de 0 a 4 semanas para g = 0,64 em 4 a 12 semanas e g = 0,01 além de 12 semanas (Q = 35,19, p < 0,001), com efeitos de atitude emocional caindo de um pico de g = 2,05 para g = 0,18 no mesmo intervalo. Efeitos tão grandes, tão cedo, estão registrando em sua maioria a assistência em nível de tarefa em vez de aprendizagem durável, de modo que uma estimativa agrupada dominada por estudos curtos deveria ser lida como um limite superior do que uma implementação real sustentará. As revisões que agrupam resultados deveriam, portanto, registrar a duração da intervenção junto com o tamanho de efeito, porque a duração é um dos poucos moderadores que resistiram ao longo dessas sínteses.

Forças e limitações

Forças:

• Síntese eficiente de uma literatura grande e fragmentada
• A meta-análise produz estimativas de efeito agrupadas, aumenta o poder estatístico e detecta moderadores e heterogeneidade
• Protocolos sistemáticos melhoram a transparência e a reprodutibilidade em relação às revisões narrativas
• Essencial para a prática baseada em evidência e para identificar lacunas de pesquisa

Limitações:

• Lixo entra, lixo sai — a síntese é tão boa quanto a qualidade dos estudos incluídos; designs primários fracos produzem conclusões agrupadas fracas
• Viés de publicação — resultados nulos ou negativos são subpublicados, inflando os efeitos agrupados
• Heterogeneidade — designs variados, medidas de resultado e sistemas de IA tornam o agrupamento direto difícil e podem minar o significado de um único tamanho de efeito. A meta-análise de GenAI e escrita torna isso concreto: uma grande vantagem agrupada estatisticamente significativa veio com heterogeneidade entre estudos tão extrema que o intervalo de predição para uma nova implementação ainda cruzava o zero, o que significa que uma implantação nova poderia plausivelmente não produzir benefício. A direção da média era robusta; sua magnitude não — e é por isso que o intervalo de predição, e não a estimativa agrupada isoladamente, deveria informar uma decisão de adoção. A heterogeneidade não resolvida também pode vir do lado do resultado em vez do lado do design: a meta-análise de letramento em IA no K-12 encontrou I2 = 94,68% que nenhum moderador explicou, e a rastreou até a ausência de uma medida acordada de letramento em IA, com os 16 estudos misturando resultados cognitivos e afetivos sob um único rótulo. A heterogeneidade dirigida pelo que foi medido tanto quanto pelo que foi feito não pode ser resolvida pelo agrupamento.
• Obsolescência rápida — a paisagem das ferramentas de IA muda rapidamente, de modo que as revisões podem envelhecer rápido
• Restrições de escopo — buscas em base única ou apenas em inglês podem perder trabalho relevante. (A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade) (Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)

A metapesquisa adverte que a base de síntese da AIEd está atualmente fraca. Um conjunto crescente de críticas documenta que os tamanhos de efeito principais de IA do campo — especialmente de meta-análises iniciais — estão inflados por viés de publicação, incoerência de construto e atalhos metodológicos. Bartoš et al. (2026), ao meta-analisar 1.840 tamanhos de efeito de 67 meta-análises, estimam o efeito de IA ajustado pelo viés de publicação em cerca de um terço da magnitude relatada (SMD ≈ 0,196), com heterogeneidade extrema. O'Neill (2026) audita 14 meta-análises de AIEd de alto impacto e descobre que nenhuma tinha construto coerente, avaliação válida do viés de publicação ou heterogeneidade resolvida; doze trataram tamanhos de efeito dependentes como independentes. Weidlich et al. (2025) mostram que a maioria das comparações primárias carece de tratamento, controle e medida de aprendizagem bem definidos. Isso significa que os leitores deveriam tratar os tamanhos de efeito agrupados de AIEd como limites superiores até que a qualidade da síntese melhore — veja Limitações na Pesquisa em AIEd para a análise completa.

• Os padrões de reporte não acompanharam a automação. A PRISMA-LLM analisa o SciLitBench, um corpus de 888 artigos de automação de revisão com 14.726 anotações, e documenta uma taxa de crescimento próxima a 4,7% por mês ao lado de uma lacuna de responsabilização: desde 2023, 38,0% dos artigos de software e produto não relataram nenhuma avaliação, contra 9,3% dos artigos de LLM, e 52% das avaliações de LLM apenas positivas relataram uma preocupação de barra alta não atendida. Como os pipelines de LLM e software agora participam de estágios que podem alterar a base de evidências, o framework exige a divulgação de onde no fluxo de trabalho de revisão a automação operou, o que foi avaliado e quais limitações foram verificadas — uma extensão direta do problema de transparência que as críticas de revisão da AIED documentaram para as meta-análises de efeitos de aprendizagem. (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews)

Relação com outros métodos

Dentro da paisagem metodológica da base de conhecimento, a meta-análise e a revisão sistemática são a família de síntese, complementando os designs primários:

• Estudos primários (experimentos, surveys, trabalho qualitativo, pesquisa baseada em design) geram achados individuais; as revisões os agregam. Veja Métodos de pesquisa em AIED.
• O reporte de tamanho de efeito nos estudos primários (p. ex., RCTs) é o que torna a meta-análise posterior possível — as revisões dependem de estudos que relatam tamanhos de efeito comparáveis e extraíveis.
• A avaliação (Avaliação de IA na educação, Ponto de referência (Benchmark)) avalia sistemas individuais; as revisões avaliam a literatura sobre sistemas e intervenções.
• A medição educacional (Medição educacional, Validade da avaliação) diz respeito à qualidade das medidas de resultado que as revisões agrupam.

Implicações para pesquisadores

1. Relate tamanhos de efeito extraíveis. Para que uma literatura seja meta-analisável, os estudos primários devem relatar tamanhos de efeito comparáveis e detalhe de métodos adequado — uma responsabilidade de todo estudo de AIEd. (Métodos de pesquisa em AIED) O detalhe adequado inclui a abordagem instrucional: uma revisão sistemática de GenAI na educação em programação pôde codificar pedagogia para menos da metade de seus 46 estudos porque 26 nunca descreveram o que fizeram, e o detalhe que os autores primários omitem é o detalhe que as sínteses posteriores não podem recuperar.
2. Siga um protocolo transparente. A busca, a triagem e a avaliação guiadas pela PRISMA tornam as revisões reprodutíveis e defensáveis.
3. Interprete os efeitos agrupados com cautela. Atente à heterogeneidade, ao viés de publicação e à qualidade dos estudos incluídos antes de tirar conclusões fortes.
4. Use as revisões para definir a agenda. As lacunas documentadas pelas revisões (casos de falha, cenários de trabalho, trabalho não inglês e não indexado, resultados de longo prazo) deveriam orientar onde nova pesquisa primária é necessária. (Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
5. Trate moderadores nulos como achados. Quando moderadores voltam nulos e a heterogeneidade permanece alta, isso é evidência sobre o estado do campo (incoerência de construto, reporte fino de design) tanto quanto sobre a intervenção, e isso pertence à narrativa da síntese em vez de ser descartado. (The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis) (The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis)

GenAI na Aprendizagem por Cenários em Saúde

• Revisão PRISMA 2020 de GenAI na aprendizagem por cenários em saúde. Neto e colegas (2026) buscaram sistematicamente cinco bases de dados (9 de novembro de 2025) por estudos de GenAI revisados por pares em educação em saúde baseada em cenários, casos, problemas e simulações, triando 1.151 registros até 23 estudos incluídos avaliados com a Ferramenta de Avaliação de Métodos Mistos (MMAT). Sua síntese temática trouxe à tona seis temas transversais ancorados no design de prompt como especificação instrucional, e documentou lacunas na padronização da validação, nos designs longitudinais/comparativos e na quantificação da eficiência — um modelo para revisão sistemática rigorosa de GenAI específica de domínio.

Conceitos conectados

• Interpretar e aplicar a pesquisa em AIEd
• Métodos de pesquisa em AIED
• ECA (ensaio controlado aleatorizado)
• Avaliação de IA na educação
• Investigação educacional assistida por IA — AI-Assisted Educational Research
• Ponto de referência (Benchmark)
• Medição educacional
• Validade da avaliação
• Ganhos de aprendizagem
• Avaliação somativa
• IA na educação
• Ensino superior
• Simulação

Artigos conectados

• Integrating Generative Artificial Intelligence into Student Learning: A Systematic Review from a TPACK Perspective — Systematic review of GenAI in student learning from a TPACK perspective
• A meta-analysis of the effect of generative AI on productivity and learning in programming — Meta-analysis of GenAI's effect on productivity and learning in programming
• Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness — First systematic review of AI in vocational education and training
• A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade — PRISMA systematic review of AI-powered collaborative learning
• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025) — Systematic review of GenAI in higher education
• Comprehensive Review of Intelligent Tutoring Systems — Comprehensive systematic review of intelligent tutoring systems
• The cognitive impact of ChatGPT in higher education: A systematic review of critical and creative thinking outcomes — Systematic review of ChatGPT and critical/creative thinking
• The Evidence Base on AI in K-12: A 2026 Review — Evidence base for AI in K-12
• AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators — Meta-analysis of AI literacy intervention effects
• Effectiveness of GenAI in Enhancing Writing Performance: A Meta-Analysis — Meta-analysis of GenAI-supported L2 writing: a large pooled effect undermined by extreme heterogeneity and a quality-driven moderator
• The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education — Integrative literature review of AI literacy dimensions (PRISMA-guided)
• Generative AI in Scenario-Based Healthcare Education: A Systematic Review of Applications, Validation Practices, and Pedagogical Integration — Systematic review of GenAI in scenario-based healthcare education (Neto et al. 2026)
• Mapping artificial intelligence integration in higher education: A systematic review using the FACETS and SAMR frameworks — Mapping review classifying 22 AI-integration studies with FACETS + SAMR; most sit at Substitution/Augmentation
• Identifying the ethical values and norms for artificial intelligence in education: A systematic literature review — Ethical values and norms for AI in education
• A Systematic Review of Language Educators' Practices and Development with GenAI — Language educators' practices and development with GenAI
• Artificial intelligence to help people with dyslexia in education: An interdisciplinary literature review — AI to help people with dyslexia in education
• Reinforcement Learning in Education: A Systematic Literature Review
• ChatGPT in Education: An Effect in Search of a Cause — ChatGPT in Education: An Effect in Search of a Cause (media-comparison critique)
• Effect of Artificial Intelligence on Learning: A Meta-Meta-Analysis — Meta-meta-analysis: bias-adjusted AI effects ~1/3 of reported size
• Presumed Effective: The Manufacturing of an Evidence Base for AI-in-Education Through Flawed Meta-Analysis — Presumed Effective: forensic audit of 14 AIED meta-analyses
• Teacher intervention in K-12 AI-based instruction: a systematic review of processes, strategies, and effects — Teacher intervention in K-12 AI-based instruction: a systematic review
• The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis — Meta-analysis of digital and AI tools for foreign-language skills: the design moderator more than doubles quasi-experimental effect estimates
• The Impact of Generative Artificial Intelligence on Learning Outcomes in Higher Education: A Meta-Analysis — Meta-analysis of GenAI in higher education: short-intervention effects collapse as duration grows
• The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis — Meta-analysis of K-12 AI education: large effect with null moderators and heterogeneity attributed to measurement
• Mapping Research on Generative Artificial Intelligence for Programming Education: A Systematic Review — Systematic review of GenAI in programming education: thin instructional reporting in 26 of 46 studies
• Generative AI, Cognitive Offloading, and Learner Agency in Higher Education: A Scoping Review — 123-study scoping review mapping GenAI, cognitive offloading and learner agency in higher education