Preguntas frecuentes
¿Cómo sabemos que una IA educativa funciona correctamente y no solo que puntúa bien?
Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.
El informe de evaluación de un proveedor llega con un número en la cabecera: concordancia con evaluadores humanos, 0,84. O su piloto termina el viernes y la evidencia consiste en una encuesta de satisfacción y una línea de benchmark copiada de las notas de la versión del modelo. En la reunión alguien pregunta si el sistema funciona, y usted tiene una cifra que suena a respuesta.
La respuesta breve: las puntuaciones que ve más a menudo miden parecido, y el parecido es una afirmación más débil que "esto enseña" o incluso que "esta retroalimentación se puede leer". Decida qué le está permitido demostrar a cada número, puntúe cada salida que produce su sistema y convierta la precisión en una regla con un umbral, una persona y un ahorro asociados. Un número sobre el que nadie puede actuar no es evidencia.
La versión breve
1. Escriba una frase que nombre lo que le importa y después elija una medida que lea esa cosa. La coincidencia de palabras no le dirá si el razonamiento es correcto.
2. Evalúe cada salida por separado. Una puntuación alta de calificación no dice nada del módulo de retroalimentación que está a su lado.
3. Haga que una persona puntúe unos cincuenta resultados y compare esas valoraciones con su verificador automático. Donde los dos discrepen, el verificador es lo que está a prueba.
4. Sustituya "precisión 0,84" por una regla: por debajo de esta confianza, una persona lee la respuesta. Informe el umbral, la proporción de trabajo que ahorra y en qué se convirtió la concordancia.
5. Pruebe la seguridad a lo largo de conversaciones completas y compruebe cualquier estudiante simulado antes de fiarse de lo que dice sobre su tutor.
Decida qué puede demostrar cada número
Dos familias de números dominan esta literatura. Las dos miden cuán de cerca se parece su salida a otra cosa, lo cual es una afirmación más débil que la corrección.
Puntuaciones de similitud (ROUGE y BLEU) comparan la redacción de la respuesta de su sistema con la redacción de una respuesta de referencia. Un modelo que escribe algo cercano al texto esperado puntúa alto, incluso cuando su razonamiento es erróneo, o cuando un estudiante podría llegar a la respuesta correcta por una ruta que no enseña nada.
Puntuaciones de concordancia (QWK, kappa cuadrática ponderada) miden cuán de cerca se alinean las calificaciones del modelo con las de una persona. Un modelo puede coincidir con el evaluador en la nota final y equivocarse en el porqué, y el porqué es la parte de la que aprende el estudiante.
Un estudiante puede llegar a una respuesta incorrecta por una ruta equivocada que parece correcta, y ninguna puntuación de similitud lo nota. Si el razonamiento es lo que le importa, la medida tiene que leerlo: una rúbrica aplicada por una persona, o una comprobación escrita para ese paso en particular.
El asistente del curso de Sistemas de Control Lineal informa esto de la manera correcta. Su mejor configuración alcanzó una puntuación de similitud de 0,4093 frente a las respuestas de referencia, con la mejora medida de forma fiable por encima de cero, y los autores declaran con claridad que los números miden redacción y formato (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). La puntuación es poco impresionante y el artículo sigue siendo útil, porque dice qué cubre la puntuación.
Puntúe cada salida por separado
En el proyecto WrAFT, un modelo con ajuste fino alcanzó una puntuación de concordancia de 0,84 con evaluadores humanos en 360 ensayos TOEFL reservados. Es un resultado sólido para calificar. El modelo del mismo proyecto entrenado para escribir retroalimentación produjo una salida truncada e imposible de analizar, mientras que dar instrucciones a otro modelo sin más produjo retroalimentación que el profesorado prefirió (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).
El mismo fallo aparece en una segunda forma: un despliegue cuyo módulo de calificación puntuaba bien y cuya retroalimentación llegaba cortada a mitad de frase e ilegible. Nada en el número de titular lo decía.
Así que haga una lista de las salidas que produce su sistema y dé a cada una su propia medida y su propia condición de aprobado. La calificación, el texto de retroalimentación, la selección de pistas y los rechazos de seguridad fallan de maneras distintas, y una puntuación a nivel de módulo no puede ver más allá de su propio módulo.
Ponga una persona donde el modelo duda
Una correlación le dice que el modelo suele acertar. No le dice qué hacer en las ocasiones en que no acierta. El resultado del enrutamiento por confianza es la plantilla más limpia de la evidencia, y es lo bastante corto para copiarlo.
La confianza resultó ser una señal de advertencia fiable: cuando el modelo dudaba, era más probable que se equivocara (β = -0,602, p < 0,001). El equipo envió a una persona el 20% de las respuestas con menor confianza. Esa única regla elevó la concordancia con las calificaciones humanas de 0,78 a 0,82 y recortó el trabajo manual de calificación en aproximadamente un 80% (Know when to trust: Making AI scoring more reliable for educational assessment).
Fíjese en lo que contiene el informe: un umbral, una persona y un ahorro. "Concordancia 0,84" no contiene ninguno de los tres, y por eso es difícil actuar sobre ella y fácil discutirla.
Compruebe su verificador automático contra una persona
Muchos equipos usan ahora un segundo modelo para juzgar al primero. La solución es razonable y el segundo modelo no tiene por qué acertar.
Un estudio en el que un modelo de frontera redactó pistas para un sistema de tutoría inteligente encontró que aproximadamente el 35% de ellas eran demasiado generales, incorrectas o regalaban la respuesta, y que las comprobaciones automáticas de calidad del propio modelo discrepaban del juicio humano sobre cuáles eran malas (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).
Versión práctica: tome una muestra de unos cincuenta resultados, haga que una persona los valore y compare eso con las valoraciones de su verificador. Donde los dos diverjan, ha aprendido algo sobre el verificador. Guarde la muestra y la tabla de discrepancias, porque también es el artefacto que responde a un revisor que pregunta cómo lo sabe.
Mida la cantidad misma cuando la tarea lo permita
La solución más limpia es entrenar el modelo en la misma cantidad que se propone medir. Un modelo con ajuste fino se entrenó para reproducir las propiedades estadísticas de las preguntas de examen: cuán difícil es cada ítem y qué tan bien separa a los estudiantes más fuertes de los más débiles. Aprendió esos patrones en lugar de que se los dijeran (Multimodal item parameter estimation using simulated response probabilities). Como el objetivo era una propiedad de la propia evaluación, la evaluación pudo tratar sobre esa propiedad y no sobre la redacción.
Informe la progresión además del punto final. El simulador de escritura SWIM publicó la puntuación de cada etapa una junto a otra: prompting basado en rúbrica 0,577, ajuste fino 0,474 ± 0,023, aprendizaje por refuerzo 0,618 ± 0,005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). Un lector puede ver en esa tabla si el entrenamiento hizo algo. Un único número final no puede decírselo, y esconde una etapa en la que el modelo con ajuste fino rindió peor que el prompt.
Compare con algo de fuera de su proyecto
Consiga primero una línea base, incluida una barata. El modelo del asistente del curso sin fundamentación documental puntuó por debajo de una búsqueda simple por palabras clave, que es el tipo de resultado que cambia la hoja de ruta y cuesta un día descubrir.
Un benchmark externo le dice después si su número sirve de algo. En el benchmark de pedagogía CDPK, EduQwen alcanzó 96,52% frente al 90,55% de Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). El Pedagogy Benchmark, construido a partir de exámenes reales de desarrollo profesional docente y que cubre 97 modelos, encontró una precisión que iba del 28% al 89% (Lelièvre et al., 2025).
En una tarea sobre enseñanza, los modelos iban de flojos a buenos, así que un resultado de benchmark sitúa su sistema en algún punto dentro de un rango amplio.
Pruebe la seguridad a lo largo de una conversación entera
La mayoría de las pruebas de seguridad comprueba un único intercambio. Los daños que importan en la tutoría se acumulan. SafeTutors encontró que incluso los modelos construidos específicamente para enseñar se degradan a lo largo de una conversación larga y pueden revelar respuestas que deberían estar reteniendo (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).
Ejecute la comprobación en conversaciones completas y escriba los turnos de prueba a propósito: el estudiante que se equivoca, el que insiste, el que intenta convencer al modelo de que salga de su papel. Un tutor que aguanta diez turnos y cede en el undécimo falla la prueba que importa, y una batería por respuesta lo puntuará como limpio.
Compruebe el estudiante simulado antes de fiarse de él
Generar estudiantes simulados en lugar de reclutar estudiantes reales abarata mucho la evaluación. Un estudiante simulado es también un instrumento de medida, y puede equivocarse en las formas en que se equivocan los instrumentos: demasiado cooperativo, demasiado fluido, demasiado rápido para aceptar una pista.
La prueba más directa de la evidencia comparó estudiantes simulados y estudiantes guiados por prompt con 382 diálogos reservados de la mayor colección pública de diálogos reales de matemáticas entre estudiante y tutor, usando siete medidas que cubren lenguaje, comportamiento y pensamiento (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Otros trabajos presionan el realismo desde ángulos distintos: INSIDE entrena modelos para actuar y pensar como estudiantes, y los perfiles conscientes del historial condicionan la simulación al pasado de un estudiante en lugar de a una persona fija (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).
Si su arnés de evaluación es un estudiante simulado, valide el simulador contra transcripciones reales antes de dejar que califique a su tutor.
En qué se equivocan los equipos de evaluación
Una puntuación de concordancia alta significa que el sistema es correcto. Significa que el sistema califica como el evaluador con el que lo comparó, en los ensayos en los que lo comparó. El 0,84 de WrAFT venía con una retroalimentación que no se podía analizar.
Un solo número puede representar al producto entero. Los equipos publican un panel con "precisión 0,84" en una esquina y ningún campo para el módulo de retroalimentación, la política de pistas o el comportamiento de rechazo. La puntuación a nivel de módulo es el número más fácil de calcular y lo menos informativo que se puede informar.
Un benchmark externo resuelve si la herramienta funciona. El rango del 28% al 89% del Pedagogy Benchmark dice que la familia de tareas es difícil y que se atiende de forma desigual. Su posición en ese rango es un hecho sobre su modelo. Lo que su estudiantado puede hacer después es un hecho distinto.
Un modelo que juzga a un modelo es un sustituto barato de las valoraciones humanas. Es barato. La cifra del 35% y la discrepancia sobre qué pistas eran malas describen lo que dejará pasar un juez que nunca se comprobó.
Los estudiantes simulados hacen que la evaluación sea gratuita. La abaratan, y trasladan el coste a la validación. La comparación de 382 diálogos existe porque el instrumento necesitaba calibración.
Lo que le van a responder
"No tenemos anotadores para esto." Cincuenta resultados valorados bastan para empezar. Valórelos usted mismo si nadie más está libre, y guarde la hoja.
"Nuestra puntuación de benchmark supera a Gemini." Así es, en CDPK, con los prompts que usa ese benchmark. Ponga al lado la medida sin asistencia.
"Nuestro juez automático coincide con nuestros evaluadores humanos." Entonces tiene una correlación en una muestra. Pregunte en qué resultados discrepó y léalos, porque ahí es donde vive el fallo.
"No podemos hacer una evaluación completa antes del lanzamiento." Haga las tres baratas: una salida puntuada por separado, cincuenta resultados valorados por una persona y una pasada de seguridad con la longitud de una conversación. Lo caro puede ir después del piloto.
"El sistema es solo una demo, así que la evaluación es prematura." Una demo es el lugar más barato para descubrir que su número mide redacción. En cuanto haya una hoja de ruta asociada, el mismo hallazgo cuesta más de actuar.
Qué hacer esta semana
1. Escriba la afirmación en una frase que su evaluación debe sustentar. Póngala al principio del documento de evaluación.
2. Enumere cada salida que produce el sistema y dé a cada una una fila, una medida y una condición de aprobado.
3. Saque cincuenta resultados, valórelos usted mismo y ponga sus valoraciones junto a las del verificador.
4. Calcule la distribución de confianza y escriba la regla de enrutamiento con un número dentro, más el nombre de la persona que lee lo que cae por debajo.
5. Mantenga una conversación de seguridad en la que el estudiante se equivoque, rebata dos veces y pida la respuesta.
Adónde ir después
¿Cómo podemos hacer que la IA apoye mejor el aprendizaje en nuestra propia materia? cubre el lado de diseño del mismo problema. Entrenar a los tutores de IA para que guíen en lugar de responder trata la vía de entrenamiento hacia un comportamiento tutorial, y Cómo evaluar intervenciones de IA es la versión de esta pregunta orientada al profesorado, con Cómo informar e interpretar la investigación en IA educativa como la orientada a la investigación. Los métodos están en Evaluación de la IA educativa y Entrenamiento y ajuste fino de LLM.
Preguntas frecuentes relacionadas
- ¿Cómo podemos hacer que la IA apoye mejor el aprendizaje en nuestra propia materia?
- ¿Cómo entrenamos a un tutor de IA para que guíe a los estudiantes en lugar de responderles?
- ¿Cuáles son las mejores prácticas para informar e interpretar la investigación sobre IA en educación?
- ¿Qué medidas y métodos de investigación puede usar un docente para evaluar intervenciones relacionadas con la IA?
- ¿Qué opciones y problemas hay que considerar al adoptar herramientas de IA?