Pesquisa em Usabilidade

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

A pesquisa em usabilidade — o estudo empírico de como os usuários interagem com um sistema de software, e de sua usabilidade, utilidade e experiência de usuário (UX). Extraída da interação humano–computador (HCI), a pesquisa em usabilidade avalia se uma ferramenta educacional de IA é utilizável, aprendível, eficiente e satisfatória — as qualidades que determinam se os aprendizes de fato a adotam e se beneficiam dela. Ela é distinta de, mas complementar à, investigação qualitativa sobre fenômenos de aprendizagem e à eficácia quantitativa: a pesquisa em usabilidade foca na interação entre pessoa e sistema, e não nos resultados de aprendizagem per se.

Questões a considerar

• Você consegue lembrar de uma ferramenta de software — educacional ou não — que era pedagogicamente sólida ou genuinamente poderosa, mas da qual você parou de usar porque era confusa ou frustrante? Essa falha é exatamente o que a pesquisa em usabilidade tenta explicar antes que ela custe aprendizagem.
• Uma suposição comum é que a eficácia educacional de uma ferramenta pode ser julgada por se os ganhos de aprendizagem melhoram. Mas a página argumenta que uma ferramenta pode ser inutilizável e ainda assim parecer "funcionar" em um ensaio, ou utilizável e ainda assim falhar em ensinar. Por que um estudo que mostra ganhos de aprendizagem ainda poderia deixar de perceber que a ferramenta é um pé-no-saco de usar na prática?
• Antes de ler os métodos, como você descobriria se um tutor de IA é confuso, frustrante ou propenso a erros para os aprendizes? O que você de fato faria ou observaria — e o que o próprio relato de satisfação de um usuário deixaria de captar que uma observação cuidadosa pegaria?
• O think-aloud é um método central: os usuários falam seus pensamentos enquanto trabalham, expondo confusão e modelos mentais em tempo real. Se você fosse um aprendiz usando uma ferramenta de IA, o que você conseguiria articular sobre sua confusão que uma simples survey "você gostou?" nunca captaria?
• A página nota que a satisfação autorrelatada pode divergir do desempenho objetivo — as pessoas podem dizer que amam uma ferramenta que secretamente as atrasa, ou subavaliar uma que de fato ajuda. Onde você já viu essa lacuna entre o que as pessoas dizem e o que seu comportamento mostra?
• A pesquisa em usabilidade lhe diz se uma ferramenta é utilizável, não se ela ensina. Se você estiver avaliando uma ferramenta de aprendizagem com IA, como combinaria a evidência de usabilidade com a evidência de aprendizagem — e o que uma ferramenta que passa em ambas ainda poderia falhar em alcançar?

Introdução

A pesquisa em usabilidade e UX responde a perguntas como: Os estudantes conseguem descobrir como usar este tutor de IA? A ferramenta de IA é confusa, frustrante ou propensa a erros? Ela se encaixa no fluxo de trabalho de professores ou aprendizes? Essas perguntas são um pré-requisito para — e às vezes a causa oculta de — os ganhos de aprendizagem (ou sua ausência) medidos nos estudos de eficácia. Uma ferramenta de IA pedagogicamente sólida, mas inutilizável, falhará na prática; a evidência de usabilidade explica por quê.

Métodos centrais

• Protocolos de think-aloud. Os usuários verbalizam seus pensamentos enquanto realizam tarefas, revelando compreensão, confusão e modelos mentais em tempo real. Um estudo de visualizações de código multivisualização e o framework LEARN usam think-aloud para entender como os aprendizes dão sentido a ferramentas assistidas por IA; os futuros do feedback examinam como os aprendizes processam o feedback gerado por IA.
• Estudos de usuário. Avaliações estruturadas baseadas em tarefas medem eficiência, taxas de erro, satisfação e conclusão. O ProductiveMath avalia a usabilidade de um app de IA generativa no apoio ao ensino de falha produtiva; o SupplyNet roda um estudo de usuário de uma ferramenta de aprendizagem exploratória visual; os chatbots de LLM para múltipla escolha em CC avaliam a qualidade da interação.
• Entrevistas e observação. Entrevistas qualitativas de usabilidade e observação capturam a experiência do usuário, as preferências e os pontos de dor. Um estudo de usabilidade de um robô humanoide contador de histórias usa avaliação estruturada para perguntar se os pais deixariam o robô interagir com uma criança; a IA em estúdios de design observa e entrevista estudantes usando IA em trabalho de design autêntico.
• Avaliação sistemática de usabilidade. Avaliação heurística, walkthrough cognitivo e medidas de UX baseadas em questionário (p. ex., SUS) avaliam sistematicamente a usabilidade contra critérios estabelecidos.

Como a pesquisa em usabilidade aparece na base de conhecimento

• Avaliação de ferramentas de aprendizagem com IA. O ProductiveMath, o SupplyNet e as animações educacionais são avaliados quanto à usabilidade e à UX.
• Interação humano–robô e com IA conversacional. O estudo do humanoide contador de histórias é um estudo explícito de usabilidade da interação movida por LLM; uma revisão guarda-chuva de agentes de IA conversacional identifica a usabilidade e a qualidade da interação como um tema recorrente.
• Design e refinamento. Os achados de usabilidade alimentam o design iterativo (veja design thinking e design de aprendizagem), melhorando as ferramentas antes ou junto com os testes de eficácia.
• Um instrumento entre contextos, e o teto que o limita. Mendonça et al. (2026) mantiveram domínio, tarefa e instrumento constantes enquanto o nível educacional variava, de modo que as avaliações de 144 estudantes sobre 893 respostas de feedback e 237 relatórios comparam contextos, e não disciplinas — e apenas a acurácia percebida diferiu entre níveis. O estudo também nomeia o limite desse tipo de avaliação de usuário: 72,2 a 86,4 por cento dos estudantes tiveram média de pelo menos 4 de 5, e os autores declaram que suas diferenças não significativas não estabelecem equivalência porque nenhuma margem foi definida de antemão.
• O design de avaliadores relatado como parte do achado. Puech et al. (2026) fizeram 25 especialistas pareados ao domínio julgarem 92 aulas regeneradas contra uma rubrica ancorada em "a qualidade de uma aula MOOC padrão", atribuindo cada vídeo a um único revisor (k = 1) para espalhar o painel por mais do corpus em vez de coletar avaliações repetidas. O trade-off é modelado, e não escondido: um modelo de intercepto aleatório atribui cerca de 35 por cento da variância residual ao revisor (ICC = 0,35), e os intervalos são agrupados por revisor, que é como um painel de especialistas pode relatar "87 por cento em ou acima da barra" com uma faixa honesta.

Relação com outras famílias de pesquisa

A pesquisa em usabilidade compartilha métodos de coleta de dados com a pesquisa qualitativa (entrevistas, observação, think-aloud), mas difere em objetivo: a pesquisa qualitativa interpreta significado e experiência para construir compreensão e teoria, enquanto a pesquisa em usabilidade avalia um artefato contra critérios de usabilidade/UX. Ela também se sobrepõe à avaliação da IA na educação (avaliar se um sistema funciona) e à medição (quantificar construtos de usabilidade). A base de conhecimento trata a usabilidade como uma vertente metodológica distinta, mas conectada — relevante para a colaboração humano-IA, a experiência do estudante e o design de ferramentas eficazes de aprendizagem com IA. Veja Métodos de pesquisa em AIED para saber como ela se encaixa na paisagem mais ampla de métodos.

Forças e limitações

• Forças: identifica diretamente as barreiras de usabilidade que bloqueiam a adoção e a aprendizagem; produz orientação de design acionável; complementa a pesquisa de eficácia e a qualitativa ao explicar por que uma ferramenta funciona ou falha em uso; relativamente rápida e barata em comparação a grandes experimentos.
• Limitações: os achados de usabilidade não estabelecem efeitos de aprendizagem (uma ferramenta utilizável ainda pode falhar em ensinar); amostras pequenas e cenários específicos de tarefa limitam a generalizabilidade; a satisfação autorrelatada pode divergir do desempenho objetivo; dependência do pesquisador e do design da tarefa.

Conceitos conectados

• Métodos de pesquisa em AIED
• Pesquisa qualitativa
• Colaboração humano-IA
• Experiência dos estudantes
• Avaliação de IA na educação
• Desenho de aprendizagem
• Pensamento de design (Design thinking)
• Tutoria inteligente

Artigos conectados

• Would You Let a Humanoid Play Storytelling With Your Child? A Usability Study on LLM-Powered Narrative Human-Robot Interaction — A usability study of an LLM-powered storytelling humanoid
• ProductiveMath: A Generative-AI-Powered App to Support Productive Failure Teaching — ProductiveMath: usability of a generative-AI app
• SupplyNet: Supporting Visual Exploratory Learning in Supply Chain via Contextual Multi-Agent Simulation — SupplyNet user study
• ANVIL: Analogies and Videos for Lecturers — Usability of AI-generated educational animations
• Code as Anchor, Memory and Metaphor as Support: Learner Experiences with Multi-View Visualizations — Think-aloud study of multi-view code visualizations
• The LEARN Framework for Responsible Use of Generative AI in Education: A Neuroscience-Informed Model for Problem-Based Learning — LEARN framework and think-aloud evaluation
• Feedback futures: beyond the limits of human and GenAI capacities — How learners process AI-generated feedback
• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — LLM chatbots for CS multiple-choice questions
• Conversational AI agents in education: an umbrella review of current utilization, challenges, and future directions — Umbrella review of conversational AI agents