Evaluación de la IA en educación

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

La evaluación de la IA en educación — el conjunto de métodos, puntos de referencia y criterios que se usan para valorar si las herramientas de IA en la educación (tutores basados en LLM, calificadores automáticos, sistemas de retroalimentación, agentes) funcionan de verdad: no solo en la precisión titular, sino en la fiabilidad, la calidad pedagógica, la validez y el impacto real en el aprendizaje. Un tema recurrente en la investigación de esta base de conocimiento es que la evaluación debe ser específica de dominio, consciente de la fiabilidad y anclada en el juicio humano y en los resultados educativos, y no en cifras únicas de precisión agregada.

Preguntas para reflexionar

• ¿Cómo decidiría si una herramienta de tutoría con IA «funciona»? ¿Qué evidencia —más allá de una cifra de precisión titular— le convencería de que mejora realmente el aprendizaje?
• Un hallazgo clave es que la fiabilidad no garantiza la validez: un sistema puede ser muy coherente y aun así juzgar mal qué es una buena enseñanza. ¿Por qué podría equivocarse una IA estable y repetible?
• La evaluación debe ser específica de dominio: un punto de referencia que funciona para una asignatura puede inducir a error en otra. Cuando ve un resultado brillante de un punto de referencia para una herramienta de IA, ¿qué querría comprobar sobre el contexto?
• Los sistemas de «verdad de referencia» con los que se juzga suelen ser discutidos: qué cuenta como respuesta o calificación correcta varía entre especialistas y disciplinas. ¿Cómo complica esa incertidumbre la confianza en cualquier evaluación?
• La investigación muestra que los evaluadores de texto basados en LLM privilegian las conductas verbalizadas explícitamente y ponderan poco el contexto implícito: un «sesgo hacia las señales explícitas». ¿Qué tipos de buena enseñanza podría pasar por alto de forma sistemática una máquina que solo busca lo obvio?
• La evaluación moderna también sopesa el coste ambiental y de infraestructura —energía, hardware— y no solo la calidad de la salida. ¿Debería la sostenibilidad influir en cómo juzga el valor de una herramienta de IA?

Introducción

La evaluación de la IA en educación abarca varios objetos de valoración distintos. Puede evaluar la salida (¿son correctas y fiables la respuesta, la calificación o la retroalimentación de la IA?), el proceso (¿apoya la herramienta una evaluación y un aprendizaje válidos y defendibles?) y el agente (¿enseña eficazmente y se comporta de forma apropiada un tutor o agente de IA?). Cada uno exige métodos distintos y plantea preguntas de validez distintas.

Cómo aparece la evaluación de la IA en educación en la investigación

• Fiabilidad de la salida y verdad de referencia: Modernizar la verdad de referencia sostiene que los problemas de fiabilidad en la evaluación de la IA educativa a menudo se remontan a los propios datos de referencia —las etiquetas de «verdad de referencia» con las que se juzga a los sistemas— y propone cuatro cambios para mejorar la fiabilidad y la validez. Calibrar la confiabilidad codiseña métricas y visualizaciones de evaluación con las partes interesadas para que la confianza en una herramienta de IA se apoye en evidencia demostrada e interpretable.

• Calificación y puntuación automatizadas: la calificación de respuestas cortas con LLM, la calificación automática de respuestas cortas consciente de la confianza, la ingeniería de prompts con la persona en el bucle de CoTAL y el diagnóstico cognitivo de matemáticas manuscritas muestran que los LLM pueden calificar y diagnosticar, pero que la fiabilidad depende de la supervisión humana, del anclaje específico de dominio y de la calibración de la confianza, y no del tamaño bruto del modelo.

• Calidad pedagógica y alineación: Por qué las máquinas malinterpretan la calidad pedagógica documenta el desalineamiento entre personas y máquinas al juzgar qué hace buena a la instrucción, y el Índice de Eficacia de la Tutoría predice la calidad del tutor a partir de su conducta docente. La evaluación responsable en la era de la IA y los procesos autenticados sostienen que la evaluación debe ir más allá de las respuestas correctas y preguntarse si la evaluación sigue siendo auténtica, válida y defendible cuando la IA puede producir los «productos» del aprendizaje.

• Monitorización en producción y calibración de jueces: Rohlfs et al. (2026) informan de lo que ocurre cuando la evaluación con LLM como juez se ejecuta a escala de producto, a partir de una suite de K-12 que sirve millones de mensajes de docentes y estudiantado cada mes. A medida que el programa maduraba, los falsos positivos pasaron a dominar las alertas de los evaluadores y desviaron la atención del personal analítico hacia fallos que no justificaban un cambio de producto. Tres cambios —paneles de fallo unánime con ejecuciones repetidas del juez, elección del modelo juez por evaluador y rúbricas suavizadas— redujeron los falsos positivos confirmados en un 99% y elevaron la precisión por alerta del 0,6% al 49% en 21 evaluadores desplegados, mientras que un conjunto de fallos flagrantes mantuvo la captura en el 100%. La lección para la práctica evaluativa es que es el punto de operación de un evaluador, y no su precisión titular, lo que decide si una alerta es accionable.

Por qué es difícil la evaluación de la IA educativa

La evaluación de la IA educativa es difícil por varias razones. Primero, la fiabilidad no basta: un sistema puede coincidir con una rúbrica y aun así juzgar mal la pedagogía, como muestra la investigación sobre alineación entre personas y máquinas. Segundo, la verdad de referencia es discutida: qué cuenta como respuesta «correcta», calificación o movimiento docente es en sí mismo un juicio que varía entre disciplinas y especialistas, según la modernización de la verdad de referencia. Tercero, la validez educativa es multidimensional: la validez de la evaluación, la evaluación formativa y la evaluación auténtica imponen criterios distintos que una única métrica de precisión no puede capturar. Por último, el objetivo no deja de moverse: la IA agéntica y los modelos multimodales exigen marcos de evaluación (IA agéntica, evaluación invariante respecto a la herramienta) en lugar de reutilizar puntos de referencia de modelos de texto. Los hallazgos de evaluación también están sujetos a las mismas limitaciones transversales que afectan a toda la investigación sobre IA educativa: envejecen a medida que la IA mejora, dependen de la reproducibilidad y de prácticas FAIR y pueden apoyarse en sistemas propietarios, así que los resultados de evaluación deben leerse con las salvedades de limitaciones en la investigación sobre IA educativa. Una dimensión adicional y emergente es la sostenibilidad de recursos: los despliegues locales informan cada vez más del consumo energético y de los requisitos de hardware (por ejemplo, VRAM, mWh por consulta) junto con la precisión —véanse los asistentes sostenibles de base de conocimiento locales—, de modo que una evaluación completa sopesa el coste ambiental y de infraestructura, y no solo la calidad de la salida.

La fiabilidad no garantiza la validez. La validación de la observación de aula basada en LLM muestra que un modelo puede ser muy estable en evaluaciones repetidas y seguir desalineado con el juicio experto, y a la inversa, que los modelos que se alinean bien con los especialistas suelen ser más variables: la fiabilidad y la precisión se desacoplan, así que una cifra de precisión de una sola pasada puede exagerar la confiabilidad. El mismo estudio documenta un sesgo hacia las señales explícitas: los evaluadores de texto basados en LLM privilegian las conductas verbalizadas explícitamente y ponderan poco la evidencia implícita o contextual (por ejemplo, la autorregulación sostenida del estudiantado allí donde una rúbrica permite puntuaciones altas en criterios tolerantes a la ausencia), lo que produce un desacuerdo sistemático y no aleatorio. Esto subraya que la fiabilidad de la medición es un requisito previo para una interpretación válida, y no un sustituto de ella, y que la evaluación debe incluir comprobaciones de estabilidad con medidas repetidas junto con la precisión anclada en especialistas.

La precisión agregada oculta a quién se atiende mal. Las evaluaciones de modelos de visión y lenguaje en DrawEduMath muestran que la precisión global oculta una debilidad sistemática: los modelos rinden peor precisamente con el trabajo del estudiantado que más ayuda pedagógica necesita (trabajo erróneo, de estudiantes con dificultades), así que desagregar la evaluación por competencia del estudiante y estado de error es necesario para no exagerar la capacidad y no ampliar las brechas de rendimiento.

• Los errores de los puntos de referencia y de los calificadores se confunden con fallos del modelo. Una recalificación experta de seis puntos de referencia de física muy usados auditó 250 ítems rechazados y atribuyó 143 (57,20%) a defectos del punto de referencia y 95 (38,00%) a errores de los calificadores, dejando solo 12 (4,80%) como errores genuinos del modelo, de modo que el 95,20% de la brecha medida no era atribuible al modelo. Reparar los ítems movió la media@4 de HLE-Physics del 47,28% al 78,66% y la media@5 de CritPt del 32,29% a un 87,50% corregido, convirtiendo una aparente debilidad de los modelos de frontera en una cuasi saturación. La auditoría sostiene que una puntuación reportada es una propiedad conjunta del modelo, el banco de ítems y el calificador, y que la adjudicación experta debe preceder a cualquier afirmación de capacidad extraída de un punto de referencia. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

La velocidad de los sistemas que se evalúan es otra restricción. Harrison et al. (2026) describen el problema temporal directamente: cuando un ensayo a gran escala ya se ha diseñado, impartido, analizado y publicado, la tecnología estudiada puede haber cambiado materialmente, lo que empuja la práctica hacia datos observacionales o de uso débiles justo en el momento en que se necesita evidencia más sólida. Su respuesta no es aceptar diseños más débiles, sino acortar el bucle: microensayos aleatorizados liderados por docentes en ejercicio que conservan el contraste causal y lo repiten a medida que la plataforma evoluciona.

• La fidelidad de los datos es un problema de evaluación distinto del de la calidad de la salida. Las cohortes educativas sintéticas que reproducen los estadísticos resumen de cada variable pueden seguir describiendo mal la estructura de los datos: un grafo semanal de proximidad entre estudiantes varió entre 2,6 y 4,9 veces menos a lo largo de un trimestre en las versiones sintéticas que en las cohortes reales, de modo que una puntuación de fidelidad no predice qué análisis sobreviven con datos reales (Inoue y Yasutake, 2026).

Conexiones con conceptos relacionados

La evaluación de la IA en educación se sitúa en el centro de los métodos y los riesgos de la base de conocimiento. Operacionaliza la validez de la evaluación, la medición educativa y el punto de referencia dentro de la evaluación y la evaluación automatizada. Su llamada a la supervisión humana conecta con la IA con la persona en el bucle y el rol docente, mientras que su atención a la fiabilidad conecta con el riesgo de alucinación, la evaluación con IA consciente de la confianza y la calibración de la confianza. La distinción entre evaluar el rendimiento y evaluar el aprendizaje enlaza con rendimiento frente a aprendizaje y con el modelado del estudiante; y la evaluación de agentes pedagógicos conecta con la tutoría inteligente, el entrenamiento pedagógico de LLM y la seguridad pedagógica.

Evaluación de las mejoras de aprendizaje

Un objeto central de la evaluación de la IA en educación es la mejora de aprendizaje: la mejora medible en conocimiento o habilidad que produce una herramienta de IA (véase mejoras de aprendizaje). Evaluar las mejoras con rigor exige elegir la medida de resultado adecuada, porque el rendimiento y el aprendizaje divergen: la IA puede inflar el rendimiento inmediato en tareas asistidas por IA y dejar intacto o reducido el aprendizaje duradero y sin asistencia (véanse Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build y The Generative AI Learning Penalty: Evidence from Chinese Secondary Education). Por eso una evaluación eficaz de las mejoras:

• Usa medidas de resultado sin asistencia y resistentes a la IA. La evidencia sobre salvaguardas y la investigación sobre evaluación sumativa muestran que las medidas supervisadas, a libro cerrado y sin asistencia —y no los deberes asistidos por IA o el trabajo para llevar a casa— revelan mejoras de aprendizaje genuinas.
• Distingue el rendimiento asistido del aprendizaje duradero. El metaanálisis muestra que la IA puede producir grandes ganancias de productividad sin una mejora de aprendizaje significativa (g ≈ 0), así que las evaluaciones deben informar de ambas.
• Combina medidas pre/post con comprobaciones de validez. La validez de la evaluación y la medición educativa fundamentan la medición de las mejoras; la revisión metaanalítica agrupa tamaños del efecto entre estudios para establecer la evidencia de mejoras del campo.
• Desagrega por estudiante y por contexto. Como las mejoras de aprendizaje varían según la población, el dominio y la configuración de la IA, la evaluación debe informar de mejoras para distintos subgrupos de estudiantes (por ejemplo, por competencia previa, como revelan las evaluaciones de VLM según el estado de error) en lugar de un único agregado, y debe conectar los hallazgos de mejoras con la revisión sistemática y metaanálisis para situarlos en la base de evidencia más amplia.

Se necesitan puntos de referencia condicionados por el contexto: Zhang et al. (2026) sostienen que los puntos de referencia previos de tutoría (MathTutorBench, MRBench, LearnLM) premian un lado del dilema de la asistencia o dan una orientación poco especificada. TutorMoments, en cambio, reproduce puntos de decisión pedagógica identificados por docentes y evalúa si la ayuda del tutor es apropiada para el momento de aprendizaje concreto: andamiaje frente a rigor.

• La métrica que elija puede invertir sus conclusiones. Zhang et al. (2026), al evaluar agentes de enseñanza con IA en la educación médica, encontraron que las puntuaciones agregadas no divulgadas de una plataforma educativa ordenaban a los agentes casi al contrario que una rúbrica transparente y validada por especialistas de 8 dimensiones de calidad docente (precisión del conocimiento médico, orientación pedagógica, cobertura del conocimiento, calidad del juego de roles, dificultad adaptativa, seguridad médica, implicación y retroalimentación). Las puntuaciones de la plataforma indexan el rendimiento del estudiantado; la rúbrica indexa la conducta docente del agente: elegir la métrica equivocada determina qué agentes se adoptan o se refinan. También encontraron que la indulgencia del LLM como evaluador varía según el modelo (algunos son demasiado indulgentes para discriminar), así que la puntuación automatizada necesita calibración humana y es más fiable en las dimensiones de proceso cognitivo.
• Ancle las suites de evaluación al aprendizaje medido, no a sus sustitutos. Los puntos de referencia de capacidad docente, las rúbricas de pedagogía conversacional y la latencia del tutor deben validarse contra mejoras de aprendizaje reales en lugar de tratarse como sustitutos de ellas, y la latencia es en sí misma un eje de evaluación porque determina si el estudiantado se implica siquiera (Northcutt et al., 2026).

Conceptos conectados

• Interpretar y aplicar la investigación en AIED
• Validez de la evaluación — Validez de la interpretación en la evaluación de la IA en educación
• Medición educativa — Teoría de la medición para evaluar el aprendizaje
• IA psicométricamente consciente — Aplicar la psicometría a la evaluación basada en IA
• Punto de referencia — Puntos de referencia estandarizados para evaluar sistemas de IA
• Evaluación automatizada — Sistemas de calificación y puntuación basados en IA
• Analítica del aprendizaje — Análisis de la conducta de aprendizaje basado en datos
• Métodos de investigación en AIED — Métodos de investigación para la IA en educación
• Mejoras en el aprendizaje — Medir las mejoras de aprendizaje de las herramientas de IA
• Evaluación formativa — Evaluación continua para guiar la instrucción
• Evaluación sumativa — Evaluación sumativa: formatos resistentes a la IA (oral, supervisada, a libro cerrado)
• Evaluación auténtica — Evaluación del rendimiento real y transferible
• IA con intervención humana (HITL) — Supervisión humana de la evaluación con IA
• Calibración de la confianza — Calibrar la confianza en los sistemas de IA
• Riesgo de alucinación — Riesgo de contenido fabricado en las salidas de IA
• Tutoría inteligente — Evaluar los sistemas de tutoría con IA
• IA agéntica — Evaluar la conducta de agentes de IA autónomos

Artículos conectados

• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — Lo que se pierden las puntuaciones de plataforma: evaluación multidimensional de agentes de enseñanza con IA
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — ¿Miden lo mismo los instrumentos de evaluación para las personas y para los LLM? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Evaluar la calidad de exámenes generados por IA: un estudio de campo a gran escala
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Alineación pedagógica neurosimbólica (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Punto de referencia de clasificación triple para agentes de tutoría con LLM (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Evaluar VLM en DrawEduMath: el contenido erróneo es lo más difícil (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Evaluar el conocimiento pedagógico de los LLM (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — Validación de la observación de aula con LLM: fiabilidad frente a precisión (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — Asistentes locales de base de conocimiento con IA sobre recursos educativos abiertos: evaluación multidimensional
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Modernizar la verdad de referencia: cuatro cambios para mejorar la fiabilidad y la validez
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Calibrar la confiabilidad: codiseño de métricas y visualizaciones
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: evaluar la capacidad docente de los LLM
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Por qué las máquinas malinterpretan la calidad pedagógica: alineación entre personas y máquinas
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Calificación automática de respuestas cortas con LLM
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: ingeniería de prompts con la persona en el bucle para la evaluación formativa
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Evaluar LLM para diagnosticar las habilidades cognitivas del estudiantado
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — El Índice de Eficacia de la Tutoría: predecir la calidad de los tutores de matemáticas con LLM
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — Punto de referencia de agentes de diseño instruccional
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — Un marco invariante respecto a la herramienta para enseñar y evaluar métodos computacionales
• Towards Valid Student Simulation with Large Language Models — Hacia una simulación válida del estudiantado con modelos de lenguaje grandes
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — De modelos evaluados a ayudas para la evaluación
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — El fundamento teórico de las pruebas socráticas
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Evaluación responsable en la era de la IA
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — De productos auténticos a procesos autenticados
• Comprehensive Review of Intelligent Tutoring Systems — Revisión integral de los sistemas de tutoría inteligente
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Metaanálisis de los resultados educativos de la IA generativa
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — Cuando la ayuda no ayuda: evaluar tutores de IA para el esfuerzo productivo
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: punto de referencia de LLM educativos
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents — Teaching Monster: punto de referencia de conocimiento pedagógico del contenido
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Calificación con IA de evaluaciones de física manuscritas (Olimpiada)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Destilar un modelo de lenguaje autoexplicativo para la analítica del aprendizaje
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Evaluación metaanalítica de tecnología educativa adaptativa con IA
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — El papel de la IA en la puntuación, la psicometría y la evaluación
• AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators — Evaluación metaanalítica de los resultados de alfabetización en IA
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Evaluar la tutoría con IA al ritmo de la innovación: microensayos aleatorizados liderados por docentes en una plataforma de tutoría con IA en ciencias de GCSE
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: evaluación de la calidad de ítems de matemáticas basada en procesos
• Towards Scalable Measurement of Durable Skills — Hacia una medición escalable de las habilidades duraderas
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — De la generación de contenido al apoyo al aprendizaje: tutores de vídeo generativo guiados por la pedagogía para el aprendizaje STEM
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: la tutoría con IA y la humana producen mejoras de aprendizaje equivalentes en el GRE
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — Lo que se pierden las métricas de fidelidad: una comprobación estructural de datos educativos sintéticos
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluación de modelos preentrenados para la valoración pedagógica de nuevas preguntas educativas asistidas por IA
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — Cuando los evaluadores gritan «que viene el lobo»: lecciones de la evaluación con LLM como juez en producción en IA educativa