Investigación sobre usabilidad

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

La investigación sobre usabilidad — el estudio empírico de cómo las personas usuarias interactúan con un sistema de software, y de su usabilidad, utilidad y experiencia de usuario (UX). Tomada de la interacción persona-ordenador (HCI), la investigación sobre usabilidad evalúa si una herramienta educativa de IA es usable, aprendible, eficiente y satisfactoria, las cualidades que determinan si el estudiantado la adopta y se beneficia de ella de verdad. Es distinta de, pero complementaria a, la indagación cualitativa sobre los fenómenos de aprendizaje y la eficacia cuantitativa: la investigación sobre usabilidad se centra en la interacción entre la persona y el sistema, y no en los resultados de aprendizaje en sí.

Preguntas para reflexionar

• ¿Recuerda alguna herramienta de software —educativa o no— que fuera pedagógicamente sólida o realmente potente, pero que dejó de usar porque era confusa o frustrante? Ese fallo es exactamente lo que la investigación sobre usabilidad intenta explicar antes de que cueste aprendizaje.
• Un supuesto habitual es que la eficacia educativa de una herramienta puede juzgarse por si mejoran las ganancias de aprendizaje. Pero la página sostiene que una herramienta puede ser inusable y aun así parecer que «funciona» en un ensayo, o ser usable y no conseguir enseñar. ¿Por qué podría un estudio que muestra ganancias de aprendizaje pasar por alto que la herramienta es un fastidio de usar en la práctica?
• Antes de leer los métodos, ¿cómo averiguaría si un tutor de IA resulta confuso, frustrante o propenso a errores para el estudiantado? ¿Qué haría u observaría realmente, y qué se perdería el propio informe de satisfacción de una persona usuaria que una observación cuidadosa sí captaría?
• El pensamiento en voz alta es un método central: las personas usuarias verbalizan sus pensamientos mientras trabajan, exponiendo confusiones y modelos mentales en tiempo real. Si usted fuera una persona que aprende usando una herramienta de IA, ¿qué podría articular sobre su confusión que una simple encuesta de «¿te gustó?» nunca capturaría?
• La página señala que la satisfacción autoinformada puede divergir del rendimiento objetivo: la gente puede decir que adora una herramienta que en secreto la frena, o infravalorar una que de verdad ayuda. ¿Dónde ha visto esa brecha entre lo que la gente dice y lo que muestra su conducta?
• La investigación sobre usabilidad le dice si una herramienta es usable, no si enseña. Si está evaluando una herramienta de aprendizaje con IA, ¿cómo combinaría la evidencia de usabilidad con la evidencia de aprendizaje, y qué podría seguir sin lograr una herramienta que supere ambas?

Introducción

La investigación sobre usabilidad y UX responde a preguntas como: ¿puede el estudiantado averiguar cómo usar este tutor de IA? ¿La herramienta de IA es confusa, frustrante o propensa a errores? ¿Encaja en el flujo de trabajo del profesorado o del estudiantado? Estas preguntas son un requisito previo para —y a veces la causa oculta de— las ganancias de aprendizaje (o su ausencia) medidas en los estudios de eficacia. Una herramienta de IA pedagógicamente sólida pero inusable fracasará en la práctica; la evidencia de usabilidad explica por qué.

Métodos centrales

• Protocolos de pensamiento en voz alta. Las personas usuarias verbalizan sus pensamientos mientras realizan tareas, revelando comprensión, confusión y modelos mentales en tiempo real. Un estudio de visualizaciones de código con múltiples vistas y el marco LEARN usan el pensamiento en voz alta para entender cómo el estudiantado da sentido a las herramientas asistidas por IA; el futuro de la retroalimentación examina cómo procesa el estudiantado la retroalimentación generada por IA.
• Estudios con usuarios. Las evaluaciones estructuradas basadas en tareas miden la eficiencia, las tasas de error, la satisfacción y la finalización. ProductiveMath evalúa la usabilidad de una aplicación de IA generativa para apoyar la enseñanza por fallo productivo; SupplyNet realiza un estudio con usuarios de una herramienta de aprendizaje exploratorio visual; los chatbots LLM para preguntas de elección múltiple de informática evalúan la calidad de la interacción.
• Entrevistas y observación. Las entrevistas cualitativas de usabilidad y la observación capturan la experiencia, las preferencias y los puntos de dolor de las personas usuarias. Un estudio de usabilidad de un robot humanoide narrador usa una evaluación estructurada para preguntar si las familias dejarían que el robot interactuara con un niño; la IA en los talleres de diseño observa y entrevista al estudiantado que usa IA en trabajo de diseño auténtico.
• Evaluación sistemática de la usabilidad. La evaluación heurística, el recorrido cognitivo y las medidas de UX basadas en cuestionarios (por ejemplo, SUS) evalúan la usabilidad de forma sistemática frente a criterios establecidos.

Cómo aparece la investigación sobre usabilidad en la base de conocimiento

• Evaluación de herramientas de aprendizaje con IA. ProductiveMath, SupplyNet y las animaciones educativas se evalúan en cuanto a usabilidad y UX.
• Interacción persona-robot y IA conversacional. El estudio del humanoide narrador es un estudio de usabilidad explícito de la interacción impulsada por LLM; una revisión paraguas de agentes de IA conversacional identifica la usabilidad y la calidad de la interacción como un tema recurrente.
• Diseño y refinamiento. Los hallazgos de usabilidad alimentan el diseño iterativo (véase el pensamiento de diseño y el diseño del aprendizaje), mejorando las herramientas antes o junto a las pruebas de eficacia.

Relación con otras familias de investigación

La investigación sobre usabilidad comparte métodos de recogida de datos con la investigación cualitativa (entrevistas, observación, pensamiento en voz alta), pero difiere en su objetivo: la investigación cualitativa interpreta el significado y la experiencia para construir comprensión y teoría, mientras que la investigación sobre usabilidad evalúa un artefacto frente a criterios de usabilidad y UX. También se solapa con la evaluación de la IA en la educación (valorar si un sistema funciona) y con la medición (cuantificar constructos de usabilidad). La base de conocimiento trata la usabilidad como una línea metodológica distinta pero conectada, relevante para la colaboración persona-IA, la experiencia del estudiantado y el diseño de herramientas de aprendizaje con IA eficaces. Véase los métodos de investigación en educación con IA para saber cómo encaja en el panorama metodológico más amplio.

Fortalezas y limitaciones

• Fortalezas: identifica directamente las barreras de usabilidad que bloquean la adopción y el aprendizaje; produce orientaciones de diseño accionables; complementa la investigación de eficacia y la cualitativa al explicar por qué una herramienta funciona o falla en su uso; es relativamente rápida y barata en comparación con los experimentos grandes.
• Limitaciones: los hallazgos de usabilidad no establecen efectos de aprendizaje (una herramienta usable puede aun así no enseñar); las muestras pequeñas y los contextos específicos de tarea limitan la generalizabilidad; la satisfacción autoinformada puede divergir del rendimiento objetivo; y existe dependencia del personal investigador y del diseño de la tarea.

Conceptos conectados

• Métodos de investigación en AIED
• Investigación cualitativa
• Colaboración humano-IA
• Experiencia del estudiantado
• Evaluación de la IA en educación
• Diseño de aprendizaje
• Pensamiento de diseño
• Tutoría inteligente

Artículos conectados

• Would You Let a Humanoid Play Storytelling With Your Child? A Usability Study on LLM-Powered Narrative Human-Robot Interaction — Un estudio de usabilidad de un humanoide narrador impulsado por LLM
• ProductiveMath: A Generative-AI-Powered App to Support Productive Failure Teaching — ProductiveMath: usabilidad de una aplicación de IA generativa
• SupplyNet: Supporting Visual Exploratory Learning in Supply Chain via Contextual Multi-Agent Simulation — Estudio con usuarios de SupplyNet
• ANVIL: Analogies and Videos for Lecturers — Usabilidad de animaciones educativas generadas por IA
• Code as Anchor, Memory and Metaphor as Support: Learner Experiences with Multi-View Visualizations — Estudio de pensamiento en voz alta sobre visualizaciones de código con múltiples vistas
• The LEARN Framework for Responsible Use of Generative AI in Education: A Neuroscience-Informed Model for Problem-Based Learning — El marco LEARN y la evaluación por pensamiento en voz alta
• Feedback futures: beyond the limits of human and GenAI capacities — Cómo procesa el estudiantado la retroalimentación generada por IA
• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — Chatbots LLM para preguntas de elección múltiple de informática
• Conversational AI agents in education: an umbrella review of current utilization, challenges, and future directions — Revisión paraguas de agentes de IA conversacional