En esta página

Esta página está traducida al español. Las páginas de artículo siguen escritas en inglés. Leer esta página en inglés

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

La evaluación de la IA en educación — el conjunto de métodos, puntos de referencia y criterios que se usan para valorar si las herramientas de IA en la educación (tutores basados en LLM, calificadores automáticos, sistemas de retroalimentación, agentes) funcionan de verdad: no solo en la precisión titular, sino en la fiabilidad, la calidad pedagógica, la validez y el impacto real en el aprendizaje. Un tema recurrente en la investigación es que la evaluación debe ser específica de dominio, consciente de la fiabilidad y anclada en el juicio humano y en los resultados educativos, y no en cifras únicas de precisión agregada.

Preguntas para reflexionar

  • ¿Cómo decidiría si una herramienta de tutoría con IA «funciona»? ¿Qué evidencia —más allá de una cifra de precisión titular— le convencería de que mejora realmente el aprendizaje?
  • Un hallazgo clave es que la fiabilidad no garantiza la validez: un sistema puede ser muy coherente y aun así juzgar mal qué es una buena enseñanza. ¿Por qué podría equivocarse una IA estable y repetible?
  • La evaluación debe ser específica de dominio: un punto de referencia que funciona para una asignatura puede inducir a error en otra. Cuando ve un resultado brillante de un punto de referencia para una herramienta de IA, ¿qué querría comprobar sobre el contexto?
  • Los sistemas de «verdad de referencia» con los que se juzga suelen ser discutidos: qué cuenta como respuesta o calificación correcta varía entre especialistas y disciplinas. ¿Cómo complica esa incertidumbre la confianza en cualquier evaluación?
  • La investigación muestra que los evaluadores de texto basados en LLM privilegian las conductas verbalizadas explícitamente y ponderan poco el contexto implícito: un «sesgo hacia las señales explícitas». ¿Qué tipos de buena enseñanza podría pasar por alto de forma sistemática una máquina que solo busca lo obvio?
  • La evaluación moderna también sopesa el coste ambiental y de infraestructura —energía, hardware— y no solo la calidad de la salida. ¿Debería la sostenibilidad influir en cómo juzga el valor de una herramienta de IA?

Introducción

La evaluación de la IA en educación abarca varios objetos de valoración distintos. Puede evaluar la salida (¿son correctas y fiables la respuesta, la calificación o la retroalimentación de la IA?), el proceso (¿apoya la herramienta una evaluación y un aprendizaje válidos y defendibles?) y el agente (¿enseña eficazmente y se comporta de forma apropiada un tutor o agente de IA?). Cada uno exige métodos distintos y plantea preguntas de validez distintas.

El arco de una década de este campo es en sí mismo un marco: Xiong y Li (2026) trazan tres eras —formativa (2015–2018), de expansión (2019–2022) y generativa (2023–presente)— a lo largo de 313 artículos, y sostienen que los constructos y los argumentos de validez deben reescribirse para la colaboración entre personas e IA, ya que los modelos de TRI y de la teoría clásica de los tests se construyeron sobre el desempeño humano sin asistencia.

Cómo aparece la evaluación de la IA en educación en la investigación

  • Fiabilidad de la salida y verdad de referencia: Modernizar la verdad de referencia sostiene que los problemas de fiabilidad en la evaluación de la IA educativa a menudo se remontan a los propios datos de referencia —las etiquetas de «verdad de referencia» con las que se juzga a los sistemas— y propone cuatro cambios para mejorar la fiabilidad y la validez. Calibrar la confiabilidad codiseña métricas y visualizaciones de evaluación con las partes interesadas para que la confianza en una herramienta de IA se apoye en evidencia demostrada e interpretable.

  • Calificación y puntuación automatizadas: la calificación de respuestas cortas con LLM, la calificación automática de respuestas cortas consciente de la confianza, la ingeniería de prompts con la persona en el bucle de CoTAL y el diagnóstico cognitivo de matemáticas manuscritas muestran que los LLM pueden calificar y diagnosticar, pero que la fiabilidad depende de la supervisión humana, del anclaje específico de dominio y de la calibración de la confianza, y no del tamaño bruto del modelo.

  • Un punto de referencia para el conocimiento pedagógico, y no para el contenido. Lelièvre et al. (2025) puntúan 97 modelos con ítems del examen docente chileno (CDPK 28–89%), y muchos superan una línea base humana estimada de ~50%, pero los ítems estáticos de opción múltiple no pueden evaluar la planificación de clases ni el andamiaje turno a turno.

  • Reconocer no es generar. En TutorCaseBench, el mejor de 11 modelos eligió una estrategia documentada en el 63,0% de los ítems de cuatro opciones, pero satisfizo una intervención documentada solo en el 55,8% de los casos de respuesta libre, de modo que las puntuaciones de selección de estrategia sobreestiman la preparación del tutor (Park et al. (2026)).

  • Validar ítems generados contra un punto de referencia psicométrico. Isley et al. (2025) generaron exámenes adaptados a cada curso para 71 clases y compararon 20 más con ítems de Estadística AP escritos por personas, ajustando un modelo TRI 2PL jerárquico bayesiano con anclajes previos al test en 1.686 estudiantes; los ítems de IA fueron más fáciles pero más discriminativos (ᾱ = 1,3 frente a 1,2).

  • Calidad pedagógica y alineación: Por qué las máquinas malinterpretan la calidad pedagógica documenta el desalineamiento entre personas y máquinas al juzgar qué hace buena a la instrucción, y el Índice de Eficacia de la Tutoría predice la calidad del tutor a partir de su conducta docente. La evaluación responsable en la era de la IA y los procesos autenticados sostienen que la evaluación debe ir más allá de las respuestas correctas y preguntarse si la evaluación sigue siendo auténtica, válida y defendible cuando la IA puede producir los «productos» del aprendizaje.

  • Monitorización en producción y calibración de jueces: Rohlfs et al. (2026) informan de lo que ocurre cuando la evaluación con LLM como juez se ejecuta a escala de producto, a partir de una suite de K-12 que sirve millones de mensajes de docentes y estudiantado cada mes. A medida que el programa maduraba, los falsos positivos pasaron a dominar las alertas de los evaluadores y desviaron la atención del personal analítico hacia fallos que no justificaban un cambio de producto. Tres cambios —paneles de fallo unánime con ejecuciones repetidas del juez, elección del modelo juez por evaluador y rúbricas suavizadas— redujeron los falsos positivos confirmados en un 99% y elevaron la precisión por alerta del 0,6% al 49% en 21 evaluadores desplegados, mientras que un conjunto de fallos flagrantes mantuvo la captura en el 100%. La lección para la práctica evaluativa es que es el punto de operación de un evaluador, y no su precisión titular, lo que decide si una alerta es accionable.

  • La diversidad de jueces como protocolo de validez. Un punto de referencia para agentes de diseño instruccional tomó sus jueces de distintos proveedores de modelos en lugar de uno solo, e informó de una alta fiabilidad interjueces en 1.017 escenarios puntuados (Jeon et al. (2026)).

  • Audite una explicación por la atribución que afirma, no por su fluidez. Pan et al. (2026) filtran las narraciones de un modelo por el cierre aritmético, las covariables citadas, la fidelidad de la decisión y la tasa de tratamientos inseguros, porque un texto fluido está igual de bien formado tanto si su señal es exacta como si es ruidosa: el 98,8% de las narraciones pasó mientras la cola negativa quedaba truncada.

  • La sensibilidad a los prompts es una propiedad de primer orden de un calificador LLM. Habibullah et al. (2026) calificaron un examen de visión por computador de 570 estudiantes en 171 configuraciones y un examen de aprendizaje automático de 1.038 estudiantes en 162: un breve preámbulo de «calificador estricto» sacó a 14 de 17 modelos de pesos abiertos de la banda de calificación, mientras que la réplica reprodujo la vulnerabilidad pero no su dirección, mejorando siete modelos cuyos prompts neutros sobrevaloraban. La precisión de un prompt no es evidencia de un calificador utilizable, y el sesgo con signo debe figurar junto a la cifra de error absoluto medio; el ajuste fino con LoRA sobre ejemplos doblemente calificados agrupados llevó a cinco modelos pequeños a la paridad humana y casi eliminó la sensibilidad a la persona.

  • La evidencia calificable es una variable de diseño, no una propiedad de la tarea. Globerson et al. (2026) dejaron que un LLM ejecutivo sostuviera la rúbrica y orientara la conversación hacia la habilidad evaluada, elevando la evidencia calificable al 92,4% en gestión de proyectos y al 85% en resolución de conflictos, mientras que pedir a los participantes que atendieran a la habilidad no cambió nada.

Por qué es difícil la evaluación de la IA educativa

La evaluación de la IA educativa es difícil por varias razones. Primero, la fiabilidad no basta: un sistema puede coincidir con una rúbrica y aun así juzgar mal la pedagogía, como muestra la investigación sobre alineación entre personas y máquinas. Segundo, la verdad de referencia es discutida: qué cuenta como respuesta «correcta», calificación o movimiento docente es en sí mismo un juicio que varía entre disciplinas y especialistas, según la modernización de la verdad de referencia. Tercero, la validez educativa es multidimensional: la validez de la evaluación, la evaluación formativa y la evaluación auténtica imponen criterios distintos que una única métrica de precisión no puede capturar. Por último, el objetivo no deja de moverse: la IA agéntica y los modelos multimodales exigen marcos de evaluación (IA agéntica, evaluación invariante respecto a la herramienta) en lugar de reutilizar puntos de referencia de modelos de texto. Los hallazgos de evaluación también están sujetos a las mismas limitaciones transversales que afectan a toda la investigación sobre IA educativa: envejecen a medida que la IA mejora, dependen de la reproducibilidad y de prácticas FAIR y pueden apoyarse en sistemas propietarios, así que los resultados de evaluación deben leerse con las salvedades de limitaciones en la investigación sobre IA educativa. Una dimensión adicional y emergente es la sostenibilidad de recursos: los despliegues locales informan cada vez más del consumo energético y de los requisitos de hardware (por ejemplo, VRAM, mWh por consulta) junto con la precisión —véanse los asistentes sostenibles de base de conocimiento locales—, de modo que una evaluación completa sopesa el coste ambiental y de infraestructura, y no solo la calidad de la salida.

La fiabilidad no garantiza la validez. La validación de la observación de aula basada en LLM muestra que un modelo puede ser muy estable en evaluaciones repetidas y seguir desalineado con el juicio experto, y a la inversa, que los modelos que se alinean bien con los especialistas suelen ser más variables: la fiabilidad y la precisión se desacoplan, así que una cifra de precisión de una sola pasada puede exagerar la confiabilidad. El mismo estudio documenta un sesgo hacia las señales explícitas: los evaluadores de texto basados en LLM privilegian las conductas verbalizadas explícitamente y ponderan poco la evidencia implícita o contextual (por ejemplo, la autorregulación sostenida del estudiantado allí donde una rúbrica permite puntuaciones altas en criterios tolerantes a la ausencia), lo que produce un desacuerdo sistemático y no aleatorio. Esto subraya que la fiabilidad de la medición es un requisito previo para una interpretación válida, y no un sustituto de ella, y que la evaluación debe incluir comprobaciones de estabilidad con medidas repetidas junto con la precisión anclada en especialistas.

Incluso un modelo de discurso validado para horizontes largos sigue solo débilmente las medidas de resultado independientes: las puntuaciones de Razonamiento del Estudiante y de Aprovechamiento Docente de NSPA correlacionaron con modelos de valor añadido de la eficacia docente en ρ = 0,10, de modo que los constructos automatizados necesitan validación externa de resultados antes de informar la evaluación (Fang y Liu, 2026).

La evaluación de estudiantes simulados se enfrenta al mismo estándar: un simulador solo es válido si su comportamiento es epistémicamente fiel y no meramente fluido, así que debe puntuarse contra el objetivo conductual y el entorno que declara, y no contra una humanidad genérica; además, los jueces automatizados coinciden con las preferencias de personas expertas aproximadamente el 65% de las veces (Yuan et al. (2026)).

La precisión agregada oculta a quién se atiende mal. Las evaluaciones de modelos de visión y lenguaje en DrawEduMath muestran que la precisión global oculta una debilidad sistemática: los modelos rinden peor precisamente con el trabajo del estudiantado que más ayuda pedagógica necesita (trabajo erróneo, de estudiantes con dificultades), así que desagregar la evaluación por competencia del estudiante y estado de error es necesario para no exagerar la capacidad y no ampliar las brechas de rendimiento.

La corrección binaria oculta los fallos que importan. En un punto de referencia de diagnóstico de pasos con tres clases y 10.836 pares simulados, siete tutores LLM clasificaron los pasos óptimos casi a la perfección (F1 94–99%), pero las alternativas válidas solo a F1 0–76% y los pasos incorrectos a 4–55% —rechazo en exceso y validación en exceso—, y un diagnóstico preciso seguía sin producir retroalimentación accionable (Yasir et al. (2026)).

  • Los controles por perturbación muestran qué evidencia usa realmente un modelo. En VIRA-Bench, el mejor de 11 modelos respondió al 61,3% de las preguntas sobre vídeos de tutoría frente a una referencia experta del 91,0%, y eliminar el vídeo o barajar su orden degradó capas de preguntas distintas, un diagnóstico más barato que otra puntuación agregada (Wang et al. (2026)).

  • Reutilizar instrumentos humanos para evaluar LLM exige una comprobación de la estructura latente. Strugatski et al. (2026) ajustaron un análisis factorial exploratorio por separado para personas y seis LLM multimodales: la congruencia LLM-personas se mantuvo por debajo de la línea base personas-personas en ambos instrumentos, y el análisis paralelo retuvo distinto número de factores (cinco para las personas frente a cuatro para los LLM).

  • La evaluación conjunta revela compromisos que una única puntuación oculta. Jiang et al. (2026) puntúan nueve modelos orientados a la educación en capacidad, seguridad, educación básica y formación de alto nivel bajo un mismo protocolo: los seis mejores son estadísticamente indistinguibles en conjunto y, sin embargo, difieren en 19,5 puntos en Seguridad, y la Seguridad está fuertemente anticorrelacionada con la Educación básica (r = −0,83).

  • El desequilibrio de clases puede volver engañosa una métrica de evaluación. Csibi y colegas (2026) clasificaron el nivel de reflexión en 1.954 ensayos húngaros de formación docente en los que el 68% se situaba en un único nivel: una configuración superficial alcanzó un ROC-AUC de 0,7131 con solo 0,5162 de precisión, y el equilibrado de clases redujo todas las métricas (0,6672 de precisión sin él frente a 0,6408 con él). Los modelos superficiales dieron las mejores puntuaciones agregadas, mientras que los transformers manejaron mejor los niveles minoritarios, así que la cifra informada debería seguir el rendimiento del que depende de verdad una decisión.

  • Los errores de los puntos de referencia y de los calificadores se confunden con fallos del modelo. Una recalificación experta de seis puntos de referencia de física muy usados auditó 250 ítems rechazados y atribuyó 143 (57,20%) a defectos del punto de referencia y 95 (38,00%) a errores de los calificadores, dejando solo 12 (4,80%) como errores genuinos del modelo, de modo que el 95,20% de la brecha medida no era atribuible al modelo. Reparar los ítems movió la media@4 de HLE-Physics del 47,28% al 78,66% y la media@5 de CritPt del 32,29% a un 87,50% corregido, convirtiendo una aparente debilidad de los modelos de frontera en una cuasi saturación. La auditoría sostiene que una puntuación reportada es una propiedad conjunta del modelo, el banco de ítems y el calificador, y que la adjudicación experta debe preceder a cualquier afirmación de capacidad extraída de un punto de referencia. (Ansari et al., 2026)

La velocidad de los sistemas que se evalúan es otra restricción. Harrison et al. (2026) describen el problema temporal directamente: cuando un ensayo a gran escala ya se ha diseñado, impartido, analizado y publicado, la tecnología estudiada puede haber cambiado materialmente, lo que empuja la práctica hacia datos observacionales o de uso débiles justo en el momento en que se necesita evidencia más sólida. Su respuesta no es aceptar diseños más débiles, sino acortar el bucle: microensayos aleatorizados liderados por docentes en ejercicio que conservan el contraste causal y lo repiten a medida que la plataforma evoluciona.

  • La fidelidad de los datos es un problema de evaluación distinto del de la calidad de la salida. Las cohortes educativas sintéticas que reproducen los estadísticos resumen de cada variable pueden seguir describiendo mal la estructura de los datos: un grafo semanal de proximidad entre estudiantes varió entre 2,6 y 4,9 veces menos a lo largo de un trimestre en las versiones sintéticas que en las cohortes reales, de modo que una puntuación de fidelidad no predice qué análisis sobreviven con datos reales (Inoue y Yasutake, 2026).

  • La precisión dentro de la distribución no es desplegabilidad. Un clasificador de niveles de Bloom con un F1 macro de 0,88 en su banco de ítems curado cayó a 0,48 y 0,20 en dos conjuntos de preguntas generadas por IA, una pérdida que siguió la casi ausencia de verbos desencadenantes de Bloom explícitos y no el tamaño del modelo; los LLM sin entrenar fueron la opción más robusta fuera de distribución (0,79 y 0,41–0,51) y el reentrenamiento con datos etiquetados fuera de distribución recuperó las mayores ganancias (hasta 0,82), así que la transferencia pertenece al informe junto con el ajuste dentro de la distribución (Castanares et al., 2026).

  • Una escala de dificultad con IA es una ayuda para la evaluación, no una calificación. Las estimaciones de dificultad con IA siguieron con fuerza la tasa de acierto a nivel de problema (rho = −0,871 en 79 problemas) pero se debilitaron hasta −0,552 en una muestra de 106 problemas de CS101 y se acercaron a cero a nivel de examen, así que esas escalas pertenecen a la revisión de ítems y no a la evaluación del estudiantado (Yan et al. (2026)).

Conexiones con conceptos relacionados

La evaluación de la IA en educación se sitúa en el centro de los métodos y los riesgos. Operacionaliza la validez de la evaluación, la medición educativa y el punto de referencia dentro de la evaluación y la evaluación automatizada. Su llamada a la supervisión humana conecta con la IA con la persona en el bucle y el rol docente, mientras que su atención a la fiabilidad conecta con el riesgo de alucinación, la evaluación con IA consciente de la confianza y la calibración de la confianza. La distinción entre evaluar el rendimiento y evaluar el aprendizaje enlaza con rendimiento frente a aprendizaje y con el modelado del estudiante; y la evaluación de agentes pedagógicos conecta con la tutoría inteligente, el entrenamiento pedagógico de LLM y la seguridad pedagógica.

Evaluación de las mejoras de aprendizaje

Un objeto central de la evaluación de la IA en educación es la mejora de aprendizaje: la mejora medible en conocimiento o habilidad que produce una herramienta de IA (véase mejoras de aprendizaje). Evaluar las mejoras con rigor exige elegir la medida de resultado adecuada, porque el rendimiento y el aprendizaje divergen: la IA puede inflar el rendimiento inmediato en tareas asistidas por IA y dejar intacto o reducido el aprendizaje duradero y sin asistencia (véanse Rismanchian et al. (2026) y Strömberg et al. (2026)). Por eso una evaluación eficaz de las mejoras:

  • Usa medidas de resultado sin asistencia y resistentes a la IA. La evidencia sobre salvaguardas y la investigación sobre evaluación sumativa muestran que las medidas supervisadas, a libro cerrado y sin asistencia —y no los deberes asistidos por IA o el trabajo para llevar a casa— revelan mejoras de aprendizaje genuinas.
  • Distingue el rendimiento asistido del aprendizaje duradero. El metaanálisis muestra que la IA puede producir grandes ganancias de productividad sin una mejora de aprendizaje significativa (g ≈ 0), así que las evaluaciones deben informar de ambas.
  • La generación tecnológica puede no importar, y faltan datos de costes. Burneo et al. (2026) agrupan 14 ensayos aleatorizados en una mejora de aprendizaje promedio de 0,125 sd, con la IA generativa sin mostrar ventaja sobre el software adaptativo anterior (0,022 sd, EE 0,075) y costes por estudiante comparables informados solo en dos o tres estudios.
  • Combina medidas pre/post con comprobaciones de validez. La validez de la evaluación y la medición educativa fundamentan la medición de las mejoras; la revisión metaanalítica agrupa tamaños del efecto entre estudios para establecer la evidencia de mejoras del campo.
  • Desagrega por estudiante y por contexto. Como las mejoras de aprendizaje varían según la población, el dominio y la configuración de la IA, la evaluación debe informar de mejoras para distintos subgrupos de estudiantes (por ejemplo, por competencia previa, como revelan las evaluaciones de VLM según el estado de error) en lugar de un único agregado, y debe conectar los hallazgos de mejoras con la revisión sistemática y metaanálisis para situarlos en la base de evidencia más amplia.

Se necesitan puntos de referencia condicionados por el contexto: Zhang et al. (2026) sostienen que los puntos de referencia previos de tutoría (MathTutorBench, MRBench, LearnLM) premian un lado del dilema de la asistencia o dan una orientación poco especificada. TutorMoments, en cambio, reproduce puntos de decisión pedagógica identificados por docentes y evalúa si la ayuda del tutor es apropiada para el momento de aprendizaje concreto: andamiaje frente a rigor.

  • La métrica que elija puede invertir sus conclusiones. Zhang et al. (2026), al evaluar agentes de enseñanza con IA en la educación médica, encontraron que las puntuaciones agregadas no divulgadas de una plataforma educativa ordenaban a los agentes casi al contrario que una rúbrica transparente y validada por especialistas de 8 dimensiones de calidad docente (precisión del conocimiento médico, orientación pedagógica, cobertura del conocimiento, calidad del juego de roles, dificultad adaptativa, seguridad médica, implicación y retroalimentación). Las puntuaciones de la plataforma indexan el rendimiento del estudiantado; la rúbrica indexa la conducta docente del agente: elegir la métrica equivocada determina qué agentes se adoptan o se refinan. También encontraron que la indulgencia del LLM como evaluador varía según el modelo (algunos son demasiado indulgentes para discriminar), así que la puntuación automatizada necesita calibración humana y es más fiable en las dimensiones de proceso cognitivo.
  • Una tasa de error puede ocultar el fallo que pretende detectar. Stanchev (2026) envió una única grabación de texto a voz de un pasaje de inglés médico a cuatro servicios de ASR: los dos servicios gratuitos devolvieron el 87,96% y el 88,34% de la referencia, mientras que los dos de pago devolvieron previsualizaciones del 32,76% y el 55,35% y por tanto obtuvieron tasas de error de palabra del 73,21% y el 48,77%. Las altas tasas de error provenían de tokens nunca devueltos y no de tokens mal oídos, así que clasificar solo por la tasa de error trató una restricción de exportación como un fallo de transcripción. La cobertura pertenece al lado de la tasa de error siempre que una métrica automatizada sustituya al artefacto que ve quien aprende.
  • Ancle las suites de evaluación al aprendizaje medido, no a sus sustitutos. Los puntos de referencia de capacidad docente, las rúbricas de pedagogía conversacional y la latencia del tutor deben validarse contra mejoras de aprendizaje reales en lugar de tratarse como sustitutos de ellas, y la latencia es en sí misma un eje de evaluación porque determina si el estudiantado se implica siquiera (Northcutt et al., 2026).
  • Un mapa bibliométrico puede revelar qué recompensa una cultura de evaluación. En 1.403 publicaciones de educación médica, los trabajos más citados medían la capacidad del modelo —sobre todo el rendimiento de ChatGPT en exámenes de licencia— mientras que la investigación sobre gobernanza quedaba rezagada, así que los autores piden una evaluación empírica de los marcos de gobernanza en lugar de más pruebas de capacidad (Sriram et al. (2026)).
  • Las evaluaciones por juicio experto necesitan su propia contabilidad de fiabilidad. Puech et al. (2026) hicieron que 25 especialistas emparejados por dominio valoraran 92 vídeos de clase generados con una rúbrica anclada a la calidad de «una clase magistral tipo MOOC», juzgando el 87% en el umbral o por encima (media 3,42 de 5). Cada vídeo fue valorado una sola vez por una persona revisora (k = 1), así que el diseño reparte el panel por todo el conjunto de vídeos a costa de una estadística de acuerdo interevaluadores. Un modelo de intercepto aleatorio atribuyó alrededor del 35% de la varianza residual a la persona revisora (ICC = 0,35), y el artículo informa intervalos agrupados por revisor en lugar de una única cifra de precisión. Una evaluación construida sobre el juicio experto es tan sólida como el análisis de fiabilidad que publica.

Concepciones erróneas

  • «Puntuaciones altas en exámenes docentes significan que el modelo es pedagógicamente competente.» Se puntuaron 97 modelos con ítems del examen docente chileno (CDPK 28-89%), y muchos superaron una línea base humana estimada en torno al 50%; aun así, los ítems estáticos de opción múltiple no pueden evaluar el juicio en acto. Puntuar bien en el examen está acotado por lo que el examen mide.
  • «El criterio de puntuación es un tecnicismo.» La coincidencia estricta puntuó los mismos 2.250 diálogos de tutoría en un 42,1%, mientras que un LLM como juez calibrado con personas evaluadoras humanas los puntuó en un 81,3% (Lee et al., 2026): el criterio mueve la cifra más que el modelo del tutor, la estrategia o la canalización.
  • «Reconocer y generar son capacidades comparables.» Reconocer no es generar. En TutorCaseBench, el mejor de 11 modelos eligió una estrategia documentada en el 63,0% de los ítems de cuatro opciones, pero satisfizo un criterio de implementación documentada con mucha menos frecuencia. Elegir la respuesta correcta entre cuatro y producirla son tareas distintas.
  • «Las puntuaciones de los modelos significan algo sin un instrumento validado.» Se generaron exámenes adaptados al curso para 71 clases y se compararon con ítems de Estadística AP escritos por personas mediante un modelo bayesiano jerárquico 2PL: el instrumento se ajustó antes de interpretar las puntuaciones.

Conceptos conectados

Artículos conectados

Preguntas frecuentes relacionadas

Incrustar esta página

Copia el código de abajo para incrustar esta página en un sistema de gestión del aprendizaje u otro sitio web. La versión incrustada muestra solo el contenido de la página: oculta el encabezado, la navegación y el pie de página del sitio.