Base de conocimiento AIEdAIEd KB
En esta página

Esta página está traducida al español. Las páginas de artículo siguen escritas en inglés. Leer esta página en inglés

Conceptos

Validez de la evaluación

Creada 2026-09-25 · Actualizada 2026-11-11

Traducción automática de la página en inglés, todavía sin revisar por una persona hablante nativa.

Validez de la evaluación — si las evaluaciones miden lo que afirman medir. La IA en la educación plantea preguntas de validez fundamentales: ¿las evaluaciones calificadas por IA evalúan el aprendizaje del estudiantado o la habilidad de hacer prompts con IA? ¿El uso de la IA invalida los supuestos de la evaluación tradicional?

Preguntas para reflexionar

  • La validez pregunta si una evaluación mide lo que afirma medir. Antes de seguir leyendo: si viera que un estudiante entrega un ensayo pulido que sospecha asistido por IA, ¿pensaría que el problema mayor es la trampa, o que la tarea ya no medía lo que usted creía que medía?
  • Esta página plantea una pregunta aguda: cuando el estudiantado usa la IA, ¿la puntuación refleja el conocimiento del estudiante o la habilidad de hacer prompts con la IA? ¿Se le ocurre una evaluación que haya diseñado o realizado en la que la puntuación podría estar diciéndole ahora más sobre la herramienta que sobre quien aprende?
  • Un hallazgo clave es que una misma entrada de quien aprende puede recibir respuestas semánticamente distintas según el LLM subyacente que se use, lo que introduce «varianza irrelevante para el constructo» que amenaza la fiabilidad y la equidad. Si dos estudiantes reciben apoyos de IA distintos puramente por el modelo que hay detrás, ¿hasta qué punto es justa la comparación resultante?
  • La página sostiene que, incluso cuando un LLM puntúa bien, trasladar las interpretaciones humanas de las puntuaciones exige similitud en la estructura latente de las respuestas, y que en eso los LLM divergen de las personas. ¿Qué sugiere esto sobre confiar en una IA que «aprueba» un examen diseñado para humanos?
  • En lugar de intentar detectar el uso de la IA, la base de conocimientos aboga por rediseñar las evaluaciones para que sigan siendo válidas para un estudiantado capaz de usar la IA. ¿Por qué rediseñar la tarea podría ser una estrategia más preservadora de la validez que vigilar si se usó la IA?
  • La IA sirve ahora como examinando, autora de pruebas, calificadora y analista, lo que vuelve opaca la cadena interpretativa. Cuando todos los roles de una evaluación los ocupa la IA, ¿qué significa siquiera decir que una evaluación es «válida» para el estudiante humano que está en medio de ella?

Introducción

Retos de validez

  • Validez de constructo: cuando el estudiantado usa la IA en las evaluaciones, ¿la puntuación refleja el conocimiento del estudiante o la capacidad de la IA? La investigación sobre el desempeño frente al aprendizaje en métodos de investigación en AIED aborda esto directamente. Una medida de reconstrucción puede ser sensible a la corrección sin ser una puntuación de corrección: Su et al. (2026) encontraron mayor similitud de reconstrucción EEG en los ítems correctos (M = 71,43; DE = 4,61) que en los incorrectos (M = 62,30; DE = 5,91), aunque la reconstrucción de alta calidad de una persona aprendiente acompañaba a una respuesta incorrecta.

  • Varianza irrelevante para el constructo entre LLM en la evaluación basada en la conversación: Hao (2026) muestra que, incluso para un único turno conversacional, el contenido semántico de las respuestas generadas por LLM varía entre modelos y condiciones de contexto conversacional. La similitud dentro de un mismo modelo supera de forma consistente a la similitud entre modelos (0,715–0,795 frente a 0,443–0,604), y añadir el historial del chat cambia significativamente el contenido de la respuesta (similitud media entre historiales de ~0,40–0,45). Como una misma entrada de quien aprende puede recibir respuestas semánticamente distintas según el modelo subyacente, el prompt y el contexto por sí solos no pueden preservar la consistencia de la respuesta, lo que introduce una potencial varianza irrelevante para el constructo que amenaza la validez, la fiabilidad y la equidad. Mantener condiciones de evaluación consistentes a medida que evolucionan los LLM es por tanto un reto de infraestructura (reglas simbólicas, plantillas de respuesta, capas de validación), y no meramente de diseño de prompts.

  • Evidencia que está presente y nunca llega al corrector: Abreu, Stari y Martí (2026) nombran una amenaza de irrelevancia para el constructo que precede a cualquier razonamiento: en la revisión por IA de informes de laboratorio de física experimental, una ecuación, un gráfico, una tabla o una unidad pueden estar correctamente incluidos en un informe y, sin embargo, no ser recuperados del contenido procesado con el que trabaja el modelo; y como un signo, un valor o una unidad modificados alteran la interpretación física, un desacuerdo con el profesorado no tiene por qué indicar un error de razonamiento. Su remedio es procedimental —PDF de alta resolución en lugar de fotografías escaneadas, ecuaciones escritas en un editor de ecuaciones, ejes y unidades legibles dentro de las figuras, e instrucciones que exijan una cita concreta para cada puntuación— porque la calidad del documento fija el techo de cualquier afirmación de validez que la puntuación resultante pueda sostener.

  • Validez de la estructura latente entre humanos y LLM: Strugatski et al. (2026) añaden una condición de validez más profunda: incluso cuando un LLM puntúa bien, trasladar las interpretaciones humanas de las puntuaciones exige similitud en la estructura latente de las respuestas. Al comparar seis LLM multimodales con cohortes humanas en instrumentos de química y de razonamiento cuantitativo, encuentran que las estructuras factoriales LLM–humano divergen de forma consistente (congruencia LLM–humano por debajo de la línea de base humano–humano), de modo que el desempeño en un examen normado sobre humanos es una prueba débil sobre las capacidades de los LLM en los constructos que los ítems fueron diseñados para medir.

  • Validez consecuencial: ¿las evaluaciones mediadas por la IA tienen consecuencias justas? Los estudios sobre sesgo lingüístico muestran que la calificación por IA puede perjudicar a quienes hablan una lengua no nativa.

  • Un objetivo móvil en la evaluación de idiomas. Pruebas de alto impacto como el TOEFL iBT, el IELTS, el PTE Academic y el Duolingo English Test siguen exigiendo lectura y escritura cronometradas y sin ayuda, mientras el estudiantado usa ya la IA generativa para esas tareas en la vida académica, de modo que la inferencia de extrapolación —de las puntuaciones sin ayuda al rendimiento académico real— es el paso más afectado (Gonulal (2026)).

  • El alcance de una norma es en sí mismo una propiedad de validez: Wright (2026) sostiene que las prohibiciones redactadas en la educación superior desde 2023 vedan la «IA generativa» sin la precisión técnica necesaria para separar la generación del contenido evaluado de la conversión de un formato, ya que el reconocimiento óptico de caracteres, el reconocimiento de texto manuscrito y la transcripción de voz a texto son tecnologías de reconocimiento que infieren lo que ya está presente en lugar de producir contenido nuevo. Allí donde una norma se ancla a la identidad de la plataforma y no a su función, es sobreinclusiva por accidente definicional: captura el uso exclusivamente transcriptivo de una herramienta multifuncional y sanciona a un estudiante que no hizo aquello que la norma pretendía impedir, y recae con más fuerza sobre quienes aprenden y dependen de esas herramientas por accesibilidad —una inferencia que la evaluación no puede sostener sobre el constructo que afirma medir. Propone una redacción basada en la función más cuatro criterios operativos (fidelidad, no aumentación, trazabilidad, atestación) para los casos limítrofes, y trata la dependencia de la salida de detectores y de heurísticas de estilo como evidencia de lo débil que es la base probatoria de la propia norma.

  • La finalización agéntica elimina el supuesto de producción humana: Hadjisolomou y El-Haddad (2026) extienden el análisis de validez desde la asistencia generativa hasta la finalización agéntica: los agentes de IA autónomos ya pueden iniciar sesión en un LMS, leer los materiales y completar de principio a fin el trabajo asíncrono sin vigilancia (demostrado en un curso real: un cuestionario puntuado con 10/10 en menos de 5 minutos y una reflexión para el foro fabricada pero verosímil). Al colocar un «supuesto de producción humana» en la base de la cadena de inferencia basada en argumentos de Kane, muestran que la finalización por agentes elimina silenciosamente el respaldo de la inferencia de puntuación sobre la que descansan las inferencias de generalización, extrapolación y decisión, de modo que toda puntuación asíncrona sin vigilancia, incluidas las obtenidas honestamente, pierde su apoyo interpretativo porque la autoría no es verificable. Su movimiento decisivo consiste en clasificar esto como un fallo de validez y no de integridad: una institución puede sancionar una conducta indebida y seguir careciendo de fundamento para las puntuaciones que publica. La detección es estructuralmente insuficiente (los clasificadores son poco fiables y están sesgados; la monitorización del LMS ve los mismos clics que vería un estudiante), de modo que el remedio es el rediseño de la evaluación para una presencia humana verificada (un breve componente oral, borradores con el proceso visible, referencias específicas de cada sesión de clase), con un menú de opciones que preserve la equidad en lugar de una obligación de vigilancia.

  • Varianza irrelevante para el constructo en la calificación humana del trabajo asistido por IA generativa: Luo y Dawson (2026) ofrecen una demostración empírica directa de que la calificación humana del trabajo asistido por IA generativa está atravesada de varianza irrelevante para el constructo. En entrevistas basadas en escenarios con 33 docentes universitarios, las decisiones de calificación estaban impulsadas por valores orientados a la persona (honestidad y diligencia del estudiante), orientados a la capacidad (independencia respecto a la IA, habilidad con la IA generativa, dominio disciplinar), orientados a la relación (confianza construida con el estudiantado) y orientados a la justicia (equidad, beneficencia) —todos los cuales pueden hacer variar las calificaciones por factores ajenos a los resultados que se evalúan. Bajar la nota al trabajo asistido por IA generativa está justificado, sostienen, si y solo si el uso de la IA impidió al estudiantado demostrar los resultados evaluados; en caso contrario, la calificación impulsada por valores amenaza la validez. El estudio ancla el encuadre de validez en la práctica real del profesorado y reclama una «transparencia bidireccional»: que el profesorado aclare cómo afectará a las calificaciones el uso de la IA generativa, y no solo que el estudiantado declare su uso.

  • La variación a escala exige generación de variantes equivalentes al constructo: VARIA (Lee, 2026) somete la premisa de «variación a escala» de la Evaluación Auténtica Integrada con IA (AIAA) —sustituir la vigilancia por supervisión mediante variación de la tarea por estudiante— a una comprobación empírica y falsable. Como cada examinando recibe una tarea de desempeño única pero equivalente, la garantía de integridad está condicionada a que los LLM generen variantes que sean a la vez distintas en la superficie, equivalentes al constructo, aplicables a la rúbrica y ajustadas en dificultad. Al someter a benchmarking tres familias de modelos frontera con cuatro estrategias de prompt sobre 600 variantes, VARIA encuentra que los generadores frontera satisfacen los criterios conjuntos de integridad solo de forma marginal (puntuación conjunta 0,81–0,88), mientras que las referencias no frontera se desploman (0,50–0,55), y ninguna estrategia de prompt domina por sí sola las cuatro propiedades, de modo que «la variación a escala no puede resolverse solo con prompts» si el umbral de diversidad se fija de forma agresiva, y las instituciones deben validar su pareja específica de modelo y prompt.

  • El sesgo de calificación a la baja en la calificación por IA con supervisión humana es una característica de validez, no un defecto: Curi et al. (2026) muestran que, en una evaluación nacional de escritura a gran escala, el sesgo conservador sistemático (calificación a la baja) de un corrector con LLM, aunque problemático como decisión final, es precisamente lo que permite una delegación segura: las respuestas marcadas como «aprobado» por la IA pueden aceptarse con confianza, mientras que las marcadas como «suspenso» (15,3–16,5% de los casos) se derivan a revisión experta, lo que mantiene la amenaza de validez del error de la IA fuera del resultado final. Su cadena de TRI y Bookmark hace legible el impacto de la calificación por IA sobre el nivel de competencia, en lugar de tratar el acuerdo bruto de puntuaciones como la única señal de validez.

  • La inflación de calificaciones impulsada por la IA como amenaza a la validez: Chirikov (2026) identifica un mecanismo novedoso de inflación de las calificaciones impulsado por la tecnología y que opera aguas arriba de la calificación, en la producción del trabajo calificado. En un estudio de diferencias en diferencias sobre más de 500.000 calificaciones en 319 cursos (2018–2025), los cursos con más tareas expuestas a la IA (escritura, programación) vieron crecer la proporción de sobresalientes en 13 puntos porcentuales tras el lanzamiento de ChatGPT, con compresión de la distribución de calificaciones. Un análisis de triple diferencia muestra que el efecto se concentra en los cursos con mucho trabajo para casa, lo que prueba que el desplazamiento de tareas por la IA (la IA realizando las tareas calificadas antes de que el profesorado las observe) infla las calificaciones sin un aumento correspondiente de la competencia. Esto reduce la comparabilidad de las calificaciones entre cursos y erosiona el valor informativo de los expedientes de maneras difíciles de detectar a partir de las distribuciones de calificaciones por sí solas.

  • Susceptibilidad del aprobado a nivel de programa, y los criterios de calificación que la determinan: Ivory et al. (2026) juzgaron con un aprobado/suspenso binario —la decisión que los calificadores toman realmente en una primera lectura— la salida de ChatGPT para cada evaluación del trabajo de curso de un grado de psicología de tres años (40 evaluaciones, 16 tipos): 36 de 40 aprobaron. Se siguen dos implicaciones de validez. Primera, la variable operativa es el umbral de aprobado, no la detección: una calificación que premia la fluidez estructural y la elección correcta del análisis mientras se toleran valores incorrectos deja pasar estadísticas fabricadas y referencias alucinadas, de modo que la evaluación certifica la salida de la herramienta como comprensión del estudiante por la forma en que se califica, y no porque alguien haya sido engañado. Segunda, los ítems de opción múltiple filtraban sus propias respuestas: ChatGPT respondió correctamente a preguntas de estadística sin que se mostrara al estudiantado la figura ni la tabla de resultados, porque el enunciado del ítem y las opciones implicaban la respuesta, lo que convierte el diseño de las opciones de respuesta en una propiedad de validez del ítem y no en una propiedad de la IA.

  • Exactitud y concordancia como señales de validez distintas: Falahat, Das, Bhaumik y Thambi (2026) calificaron un examen de farmacia de 21 ítems con ChatGPT-5 y encontraron que una exactitud porcentual moderada convivía a menudo con coeficientes de correlación-concordancia bajos, una distinción metodológica entre la exactitud de la puntuación y la concordancia que limita la fiabilidad de la IA como sustituta de la calificación incluso allí donde la exactitud bruta parece aceptable. La concordancia fue alta en los ítems objetivos (CCC 0,935–1,000) pero casi nula en las respuestas breves y modesta en los ensayos (0,341–0,854), y proporcionar la rúbrica no cerró la brecha de forma consistente.

  • La concordancia puede coexistir con la explotabilidad. Roy et al. (2026) auditaron seis fuentes de rúbrica en cuatro corpus de preferencias y no encontraron ninguna que fuera a la vez fiable, predictiva de las preferencias y robusta frente a ataques: los jueces pueden coincidir en una lectura defectuosa mientras la redacción de la rúbrica admite respuestas que puntúan alto violando el constructo (46,4% de exploits verificados, reducidos al 36,0% con el refinamiento).

  • Validez de los ítems generados por IA: Assessing AI-Generated Exams muestra que las preguntas generadas por IA, validadas mediante TRI bayesiana, alcanzan dificultad y discriminación a la par de los ítems de exámenes estandarizados escritos por expertos (fiabilidad 0,79 frente a 0,72), lo que apoya la validez de las evaluaciones generadas por IA y adaptadas al curso cuando se respaldan con una evaluación psicométrica.

  • Evaluación auténtica: la evaluación auténtica y la Escala de Evaluación con IA proponen rediseños de la evaluación que preservan la validez.

  • Confianza y calibración: los sistemas con conciencia de la confianza mejoran la validez al señalar las evaluaciones inciertas.

  • Evidencia encarnada y multimodal: una evaluación solo de voz puede confundir la fluidez verbal con el conocimiento conceptual; Morphew et al. muestran que el análisis de gestos mediante visión por computador acoplado al análisis del habla con LLM aumenta la validez de constructo y la equidad en la educación con IA al captar la comprensión expresada mediante el gesto, y no solo mediante las palabras, lo que reduce el sesgo contra quienes se expresan de forma no verbal.

  • Los deberes dejan de certificar la capacidad cuando un modelo puede resolver la tarea: Mikhasenko et al. (2026) documentan una invalidación concreta de los deberes como medida de capacidad en un curso de física de partículas en Bochum: una vez que un modelo generativo puede producir una solución correcta, una derivación entregada ya no establece que el estudiante pueda resolver el problema de forma independiente. Su respuesta separa las dos funciones —los deberes con formato de investigación y con IA permitida se mantienen como trabajo exploratorio y con bonificación, y un examen escrito sin herramientas se convierte en el único determinante de la calificación final—, una división del trabajo impulsada por la validez y no un régimen de detección.

  • Validez orientada a la decisión para la calificación por IA a escala: Curi et al. (2026) ilustran una visión de la validez orientada a la decisión en la evaluación nacional de escritura Acredita EB: en lugar de preguntarse solo si las puntuaciones de la IA concuerdan con las humanas, se preguntan si los errores de la IA pueden cambiar una decisión de certificación. Las notas de corte automatizadas de TRI/Bookmark reprodujeron de cerca las notas de corte operativas, y la calificación sistemática a la baja de la IA se neutralizó derivando los resultados de suspenso de la IA a revisión humana, notablemente frente a un estándar de referencia que está a su vez cuestionado, ya que diez calificadores expertos que puntuaron los mismos 50 textos nunca alcanzaron unanimidad en ningún ítem de la rúbrica.

  • Preocupaciones de validez del lado del estudiantado sobre la IA como calificadora: AlGhamdi (2026) añade la voz de quien aprende a la pregunta por la validez: 13 estudiantes de informática cuya tarea de escritura manuscrita fue puntuada por ChatGPT cuestionaron si un corrector de IA puede interpretar válidamente la intención, el esfuerzo y las normas institucionales de calificación; uno preguntaba con puntería: «If ChatGPT [is] checking the exams, why are we going to university?».

  • El permiso no degrada por sí mismo la tarea, y las tasas de uso son la señal de validez equivocada: Zou et al. (2026) encuestaron a 85 estudiantes de magisterio cuyas evaluaciones permitían explícitamente la IA generativa y encontraron una implicación con la evaluación alta y estadísticamente no afectada por el hecho de que el estudiantado la usara o no (media 4,21/5, DE 0,46; U de Mann–Whitney = 781,5, r = 0,07, p = 0,536). Con un 62,4% (53) que declinaron usar la IA generativa en absoluto y el uso de quienes la adoptaron confinado en gran medida a la corrección de estilo (43,8%) y a la revisión de la claridad (34,4%), la tasa de adopción aporta poca información sobre si la evaluación seguía justificando una inferencia sobre el aprendizaje, y el no uso motivado por el miedo a una acusación falsa de plagio (41,5% de quienes no la adoptaron) tampoco es prueba de validez.

  • Validez del marco de muestreo cuando una prueba de nivel escolar se lee como evidencia de sistema: Restrepo Morales et al. (2026) dan un tratamiento cuantitativo a la inferencia que va de las puntuaciones a las afirmaciones sobre un sistema. Una evaluación piloto con 1.198 estudiantes voluntarios de 171 centros escolares salvadoreños en el Test for Schools basado en PISA produjo resultados anunciados como comparables a los de Alemania y Suecia, pero el instrumento produce estimaciones para un centro escolar y no se administró bajo el marco de muestreo nacional con sus estándares de tasa de respuesta, límites de exclusión y ponderación, de modo que una comparación entre una estimación de nivel escolar y una media de país arrastra al menos tres fuentes de incertidumbre no informadas (error de muestreo de nivel escolar, error de muestreo de la media del país y error de enlazado del equating de la escala). En lugar de poner a prueba la afirmación sobre el aprendizaje, los autores la acotan: con el 5,5% superior de la distribución salvadoreña de matemáticas igualando la media alemana bajo un aprendizaje nulo, y entendiendo que la participación voluntaria sesga al alza las pruebas de logro, la evidencia publicada no puede separar un efecto real de una muestra seleccionada. Este es un fallo de la inferencia de validez de la comparación, y no de los estudiantes ni del instrumento.

Una propuesta conceptual plantea un límite de validez que se aplica a toda evaluación mediada por IA de esta página: El Khoury y Ma (2026) sostienen que la velocidad no es validez, y que los prompts, ejemplos e informes basados en transcripciones generados por IA todavía tienen que ponerse a prueba en cuanto a exactitud, sensibilidad cultural, accesibilidad, interpretabilidad y alineación con los resultados del curso. Amplían además lo que cuenta como evidencia: allí donde el diálogo se convierte en el artefacto evaluado, la transcripción es un registro del proceso en el que el juicio, la empatía, la clarificación y la toma de decisiones compartida se despliegan en contexto, y la pregunta de diseño pasa a ser si esa evidencia sostiene la inferencia que se extrae de ella —la misma pregunta a la que se enfrenta la calificación automatizada, respondida mediante la alineación entre tarea, retroalimentación y evidencia de aprendizaje, y no mediante la novedad tecnológica.

  • Los metadatos de ítem asignados por la IA no son evidencia psicométrica. A lo largo de un estudio de ciencia de datos de 10 semanas con 311 ítems de opción múltiple desplegados, las valoraciones de dificultad del LLM seguían las propias etiquetas Bloom del modelo (rho = 0,90) pero no la dificultad empírica de los ítems (rho = 0,06), de modo que la dificultad de un ítem debe establecerse a partir de los datos de respuesta y no de las etiquetas del modelo generador (An y Wang, 2026).

  • Los juicios estudiantiles sobre la alineación curricular siguen a la dificultad, no al contenido. Vogt et al. (2026) pidieron al estudiantado que valorara si cada ítem de un examen calificado de 60 ítems se alineaba con el currículo del curso y encontraron que las valoraciones correlacionaban con la dificultad del ítem en ρ = 0,762 (los ítems más fáciles se juzgaban alineados y los más difíciles no alineados, ρ = −0,762, p < 0,001), mientras que las valoraciones no diferían según la fuente del ítem. Allí donde un instrumento pide al estudiantado juzgar el ajuste curricular de una evaluación, la puntuación resultante es en parte una valoración de la dificultad y no puede leerse como evidencia independiente de alineación.

  • Realinear el triángulo de la evaluación en lugar de parchear un vértice. Koretsky et al. (2026) enmarcan el problema de la IA generativa a través del triángulo de la evaluación —cognición (lo que se evalúa), observación (cómo se obtiene la evidencia de aprendizaje) e interpretación (la inferencia que se extrae)— y sostienen que los tres vértices deben realinearse juntos, ya que rediseñar tareas sin reparar la interpretación deja la inferencia sin respaldo. Su revisión de alcance convierte además la fidelidad de los materiales de evaluación generados por IA en una propiedad de validez en sí misma, catalogando dimensiones de contenido, lingüísticas, cognitivas, conductuales, estructurales y pedagógicas y exigiendo una evaluación con supervisión humana antes de que tales tareas sustenten una evaluación.

  • Los ítems generados pueden ajustar sin medir. Baghaei y Eryilmaz (2026) nombran el operacionalismo generativo —entra la etiqueta del constructo, salen los ítems y el ajuste posterior se lee como garantía— y muestran cómo la redundancia semántica y la subrepresentación del constructo producen psicometría deseable sin que el atributo impulse las respuestas.

Rediseño en lugar de detección

La base de conocimientos sostiene que mantener la validez de la evaluación exige rediseñar las evaluaciones para un estudiantado capaz de usar la IA, y no detectar el uso de la IA. Un problema de validez paralelo recorre la medición en investigación: muchas afirmaciones sobre la IA en la educación se apoyan en datos de autoinforme, que no pueden sostener una inferencia sobre el aprendizaje o la competencia por muy bien validado que esté el propio instrumento. Los enfoques más allá de la detección y la evaluación representan un pensamiento que pone la validez por delante.

Los productos para llevar a casa y la división cualitativa/cuantitativa. Brunnström y Palmqvist (2026) dan a la argumentación del rediseño una propuesta concreta anclada en la taxonomía SOLO. Al trabajar una pregunta de examen para llevar a casa de ciencia cognitiva con un chatbot, encuentran que la IA generativa es más fuerte exactamente allí donde la taxonomía es más baja —produciendo contenido exhaustivo, fluido y de tipo factual en el nivel cuantitativo (multiestructural)—, mientras que el nivel cualitativo (relacionar, evaluar, generalizar) solo emergió mediante una calibración repetida impulsada por quien aprende. Su recomendación está por tanto diferenciada por constructo: las evaluaciones para llevar a casa deberían enfatizar la evidencia de comprensión cualitativa, mientras que el conocimiento basado en el recuerdo cuantitativo se evalúa mejor en clase, donde la IA generativa no está disponible. La demostración subraya además que un artefacto pulido entregado es una evidencia débil en cualquier dirección, y que un rediseño válido debe dar cuenta de lo exigente que resulta el aprendizaje legítimo apoyado en la IA (evaluación sumativa, integridad académica).

Una contrapartida a nivel de diseño proviene de la misma población que la argumentación del rediseño suele ignorar. Zou et al. (2026) encontraron que las tareas reflexivas y personalizadas se juzgaban ampliamente demasiado personales para la ayuda de la IA, mientras que una evaluación intensiva en conocimiento de otro curso provocaba una fuerte intención de usar la IA generativa para las referencias, de modo que lo que el estudiantado hizo con la IA seguía al constructo que la tarea le pedía evidenciar. La lección para la validez es precisa más que celebratoria: el diseño puede eliminar el beneficio de la sustitución genérica, pero el mismo estudio advierte contra leer una cohorte de no usuarias como prueba de que lo logró, ya que una parte sustancial del no uso se atribuyó al miedo a una acusación falsa de plagio y no a que la tarea resistiera a la IA.

Sharma (2026) aporta una argumentación de rediseño por el lado de la integridad que convierte la evidencia de integridad en evidencia de validez. Al extender al diseño de la evaluación el encuadre posplagio de Eaton (2023), sostiene que los modelos de integridad basados en la detección y la verificación están desalineados con el trabajo en el que el juicio humano y la generación por máquina se entrelazan, y reformula la integridad como una práctica pedagógica que se ejercita mediante el juicio evaluativo —la capacidad de sopesar opciones, justificar las decisiones académicas y asumir la responsabilidad bajo incertidumbre epistémica. La consecuencia para el diseño es que la integridad debe evidenciarse en lugar de inferirse: se ofrecen como artefactos de integridad las estelas documentadas de decisiones, la verificación de las afirmaciones aportadas por la IA generativa, la defensa oral y el historial de versiones, y el autor es explícito en que la diferencia con la evaluación auténtica es epistémica —la autenticidad pregunta si una tarea refleja la práctica del mundo real; el diseño orientado a la integridad pregunta si quienes aprenden pueden justificar decisiones y asumir la responsabilidad frente a los estándares disciplinares—, de modo que la integridad se convierte en un criterio evaluable incrustado en la arquitectura de la tarea. Nombra el riesgo de validez de su propia propuesta en lugar de dejarlo implícito: exigir un razonamiento documentado privilegia a quienes aprenden fluidos en el discurso reflexivo y corre el riesgo de «sustituir un régimen de cumplimiento por otro», porque el juicio como evidencia «sigue siendo relacional y situado en lugar de mecánicamente verificable» —el mismo problema de fiabilidad interpretativa que esta página registra para toda evaluación mediada por IA.

Weidlich (2026) reformula el rediseño como la pregunta de qué inferencia pretende proteger un cambio. Partiendo de la validez basada en argumentos de Kane, separa cinco presiones que el debate tiende a colapsar en una sola: infrarepresentación del constructo, varianza irrelevante para el constructo, atribución del desempeño, extrapolación condicional y uso no sustentado de las puntuaciones. El uso de la IA no es automáticamente una amenaza, porque el uso de la herramienta es pertinente allí donde el constructo pretendido es el juicio profesional apoyado en la IA y se salta el desempeño objetivo allí donde se trata de razonamiento sin ayuda, de modo que el constructo y las condiciones de la IA deben especificarse conjuntamente. Su cautela sobre el rediseño se sigue de ahí, ya que las intervenciones cambian una presión por otra: las defensas orales pueden fortalecer la atribución a la vez que reducen la fiabilidad o la accesibilidad.

La tarea, y no el detector, fija lo que un artefacto puede evidenciar. Liu y Liu (2026) hicieron que un modelo escribiera 148 textos en tres formatos de tarea y tres escenarios de uso de IA: los memorandos de integración de evidencia (3,16) y las defensas de seguimiento y revisión (3,10) puntuaron por encima de los ensayos de posición (2,63), porque esos formatos exigían explicar las fuentes o responder a las objeciones. Proponen la simulación con modelos como prueba previa de la tarea antes de aplicarla con el estudiantado.

El constructo de resultado también mueve la estimación: en un metaanálisis de tres niveles sobre aprendizaje basado en problemas y aprendizaje basado en proyectos apoyados en IA generativa, Chen et al. (2026) encontraron que los resultados internos a quien aprende se agruparon en g = 0,819, mientras que las medidas del producto conjunto humano–IA arrojaron g = 1,958 con un intervalo de predicción que cruza cero, modelados por separado precisamente porque ese producto no es aprendizaje interiorizado.

La calificación consciente de la IA toma una tercera vía entre el rediseño y la detección. AICG estima una probabilidad de uso de IA por respuesta y descuenta la evidencia cognitiva con max(δ, 1 − pAI) en lugar de penalizar la nota, lo que reduce el MAE un 4,2% frente al modelo cognitivo sin ponderar y mantiene calificables las respuestas asistidas por IA (Guo et al., 2026).

La política ha pasado al permiso graduado y a la garantía por encima de la fricción. Al codificar 55 documentos institucionales, Ansari (2026) encontró 4 que prohíben la IA por defecto y 31 que definen categorías nominales de uso, y de los 23 que toman posición sobre la detección, 16 rechazan los detectores. El rediseño, en esa lectura, es rediseño más un mecanismo de garantía y no solo fricción.

Conexiones

La validez de la evaluación conecta con la evaluación auténtica, la calificación automatizada, los sistemas de evaluación con IA con conciencia de la confianza, la evaluación formativa, la integridad académica y el ensayo controlado aleatorizado (que depende de medidas de resultado válidas).

La IA desafía la validez en el plano epistémico: Hathcoat, Slotnick y Miller (2026) sostienen que, cuando los LLM sirven como examinandos, autores de pruebas, calificadores y analistas, la cadena interpretativa se vuelve opaca y el objeto de medición pierde definición, lo que reformula la validez como algo que exige un juicio «cíborg» fluido en IA, y Green et al. (2026) muestran que las puntuaciones de la IA pueden alinearse con los calificadores humanos (87% en la lista de comprobación) mientras que el fundamento subyacente diverge, especialmente en la calidad de la medición y en los informes débiles.

Cuando la IA genera el artefacto evaluable. Kumar, Wongsirichot y Nanthaamornphong (2026) dan al problema de la validez su caso disciplinar más agudo: en la educación en informática la IA produce el artefacto que se califica —el código fuente—, de modo que el uso de la herramienta, el aprendizaje y la evaluación se funden en una única interacción, y un código entregado ya no separa el aprendizaje de la delegación. A lo largo de 72 estudios encuentran ganancias de eficiencia que no se transfieren al desempeño sin ayuda (21 estudios), el conocimiento previo moderando si la ayuda de la IA se convierte en competencia (6 estudios) y la investigación sobre detección prácticamente ausente de la base de evidencia (3 estudios), mientras que el rediseño de la evaluación está comparativamente bien evidenciado (25 estudios). Su conclusión para la práctica es específica del constructo y de baja tecnología: añadir un componente oral u otro elemento con el proceso visible al menos a una evaluación de alto impacto por curso —la intervención de mayor palanca de la revisión— y exigir una implicación crítica con la salida de la IA como componente calificado y observable, y no como una disposición opcional (integridad académica, evaluación).

Correnti et al. (2026) replican y amplían un argumento de validez para eRevise, un sistema automatizado de evaluación de la escritura para la escritura argumentativa de los últimos cursos de primaria, con 34 docentes y 609 estudiantes de ocho parroquias de Luisiana, y comprueban si los mismos mecanismos socioculturales se sostienen en tres resultados de escritura distintos en lugar de uno solo.

La validez bajo información imperfecta

El replanteamiento reciente más agudo trata el problema de la IA generativa como un problema probatorio. El estudiante sabe cómo se produjo un trabajo; la institución observa el artefacto y, a lo sumo, rastros parciales del proceso —una brecha entre producto y proceso que Mohamed y Temimi (2026) formalizan como validez de la evaluación bajo información imperfecta. En este relato la pregunta no es si se incumplió una norma, sino si la evaluación sigue generando evidencia creíble del razonamiento, el esfuerzo y el juicio del estudiante, y cada mecanismo institucional —prohibición, vigilancia, divulgación, rediseño— se evalúa por la respuesta del estudiantado que vuelve más atractiva. La lente de la validez disuelve además una separación falsa: la integridad y la validez son el mismo problema visto desde extremos distintos, porque un hallazgo de conducta indebida es en sí misma una afirmación de validez sobre lo que el trabajo evidencia.

La IA portátil cierra la última brecha probatoria en lugar de ampliarla: Corbin et al. (2026) sostienen que las gafas y los auriculares de IA prestan asistencia sin ninguna señal externa, de modo que una persona examinada puede estar presente y supervisada y aun así no demostrar capacidad sin ayuda, lo que disuelve la separabilidad y la observabilidad que los formatos vigilados daban por supuestas.

Un marco del lado de quien aprende nombra los objetivos de inferencia que un artefacto no puede resolver por sí solo. Sak (2026) propone la validez atribucional para los juicios sobre potencial de alta capacidad a partir de trabajo asistido por IA: la relación de la capacidad al producto es de muchos a uno, porque la competencia de quien aprende, la capacidad del modelo, la dirección de quien aprende, el ajuste humano–IA y el contexto se combinan de formas distintas para dar lugar a artefactos equivalentes, de modo que el producto no puede identificar la capacidad que hay detrás. El marco separa cuatro objetivos de inferencia —competencia independiente, agencia intelectual, capacidad híbrida y arrastre del desarrollo— y nombra tres errores que se siguen cuando la evidencia de un objetivo se lee como la de otro: sobreatribución, ilusión del desarrollo y presunta equivalencia de capacidades. Su exigencia sobre el registro refleja la disciplina probatoria que esta sección extrae de la literatura sobre conducta indebida: nombrar la capacidad sobre la que versa un juicio, documentar cómo se produjo el trabajo (modelo y versión, interfaz, funciones permitidas, mediación adulta, condiciones de acceso) y exigir evidencia posterior de transferencia antes de leer el desempeño asistido como un cambio en quien aprende.

Teichmann (2026) extrae la consecuencia procedimental: allí donde el uso prohibido no puede detectarse, un régimen que sigue acusando sobre la base de puntuaciones de detectores no puede garantizar la inferencia que extrae, y por tanto produce injusticia sin eficacia. Aboga por sustituir la pregunta forense —¿usó el estudiante la IA?— por una pregunta de validez —¿demostró el estudiante la capacidad que la tarea fue diseñada para certificar?—, lo que traslada el esfuerzo institucional hacia la evaluación a nivel de programa entre tareas vinculadas, elementos orales y supervisados en los puntos de certificación, y el juicio evaluativo como objeto explícito de evaluación.

La misma sección de la base de evidencia aporta la contrapartida de los expedientes de casos, y es más incómoda que la literatura sobre detección por sí sola. Munoz et al. (2026) codificaron todos los casos de conducta indebida con IA generativa de una universidad regional australiana a lo largo de tres años —1.162 casos que portaban 1.855 elementos de evidencia discretos— y valoraron cada ítem por su valor probatorio en relevancia, credibilidad y fuerza inferencial. Las categorías más fuertes fueron las que no dependen de la clasificación probabilística de texto (admitidas del propio estudiante, conducta prohibida observada en el examen y referencias fabricadas verificadas de forma independiente), mientras que la salida de los detectores obtuvo las valoraciones más débiles de todas las categorías: los informes de similitud o de Turnitin eran enteramente débiles en fuerza inferencial y las salidas de detectores por sí solas enteramente bajas en credibilidad, cayendo del 8,8% de los ítems en 2024 al 0,5% en 2025. El fallo de validez es procedimental tanto como instrumental: ninguna fase del proceso fijaba un umbral probatorio mínimo ni exigía a los investigadores ponderar el valor probatorio antes de hacer avanzar una denuncia, de modo que la calidad de la evidencia no mostró una relación fiable con los resultados de los casos, que es exactamente el problema del estándar probatorio catalogado en cuestiones legales y riesgos. Su propuesta de aplicar un marco de credenciales en el momento de la denuncia y no solo en el de la determinación es una exigencia de validez: una denuncia es una afirmación sobre lo que el trabajo evidencia, y debería estar garantizada por materiales capaces de sostenerla. Hadra, Cambridge y Mesbah (2026) muestran hasta qué punto el instrumento está lejos de ese estándar, con una exactitud macro de 0,69 (Originality) frente a 0,61 (Turnitin) a lo largo de 192 textos, un fallo casi total en la escritura híbrida humano–IA (sensibilidad 0,02 y 0,31), una exactitud decreciente con la longitud del texto y en la escritura científica, y una tendencia limítrofe a clasificar erróneamente como IA la escritura del estudiantado de EFL, de modo que la puntuación de un detector no puede establecer el hecho que una conclusión de conducta indebida afirma.

El referente de la calificación humana y su techo

La comparación de OpRaise entre tres modelos frontera y 761 ensayos auténticos de tres universidades del Reino Unido convierte el referente en parte de la argumentación de validez. Las calificaciones humanas se usaron como verdad de referencia sobre la base explícita de que el juicio académico es el estándar socialmente aceptado, mientras los autores reconocen que los calificadores humanos solo concuerdan moderadamente entre sí, lo que limita desde arriba el acuerdo IA–humano que cabría exigir razonablemente y significa que una correlación no puede leerse como listo-o-no sin un punto de referencia. Dentro de ese marco, los fallos aparecieron como estructura sistemática más que como error aleatorio: las calificaciones se comprimían hacia el centro de la escala, de modo que los mejores y los peores ensayos eran los peor juzgados; la concordancia era más débil en las fronteras de nota; y las calificaciones de la IA seguían la amplitud de vocabulario, los conectores y la complejidad de las frases, mientras que las calificaciones humanas eran en gran medida insensibles a ellos. La lección práctica tiene dos filos, porque el mismo estudio encontró que la fiabilidad era excelente —recalificaciones idénticas a lo largo del tiempo y alta concordancia entre modelos—. Un argumento de validez para la calificación automatizada no puede por tanto apoyarse en la estabilidad ni en la concordancia media; tiene que mostrar la ausencia de desviación sistemática, que es exactamente lo que esta evidencia no encontró.

La estabilidad entre ejecuciones no está garantizada, sin embargo: repetir la misma calificación sobre entregas idénticas con cinco días de diferencia dio un alfa de Krippendorff de 0,625, con la variación concentrada en las notas intermedias y las notas A y F ausentes de los recuentos de la sesión repetida (Brevik et al. (2026)).

  • El tamaño del modelo no es un indicador de la validez de la evaluación. A lo largo de ocho configuraciones de cuatro familias sobre 114 ensayos calificados, la concordancia exacta de banda abarcó del 18,4% al 54,4% y seguía a la familia más que al número de parámetros: el modelo más grande, GPT-OSS 120B, calificaba a la baja 1.316 bandas, y la temperatura no lo arreglaba (Kerwat et al. (2026)).

  • La concordancia y el error del referente se disfrazan de aprendizaje. Dos estudios de 2026 muestran vías distintas por las que una puntuación puede parecer válida mientras establece otra cosa. Un estudio abierto de escritura de marketing encontró una concordancia absoluta LLM–humano de solo ICC(2,1) 0,435 y un híbrido significativamente peor que el LLM por sí solo, con la composición de anclas moviendo la concordancia de 0,338 a 0,902 (Agreement and error in automated scoring of student marketing posts). Una auditoría experta de seis referentes de física atribuyó el 95,20% de los rechazos auditados a ítems o calificadores defectuosos más que a error del modelo, moviendo la media CritPt@5 del 32,29% al 87,50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). En ambos casos la amenaza es varianza irrelevante para el constructo fuera del modelo que se puntúa.

  • La concordancia entre codificadores LLM es consistencia, no validez. Sobre un corpus de diálogo educativo etiquetado por expertos, un filtro de concordancia entre modelos retuvo solo 33 de 74 afirmaciones conductuales derivadas del corpus y 11 de 48 derivadas del constructo, y los errores compartidos de los modelos sobrevivieron al filtro, de modo que la concordancia entre modelos no puede sustituir a la validez de constructo (Bernado et al., 2026).

  • Las etiquetas automáticas de sentimiento son una afirmación de medición, no una descripción. Sobre 1.220 respuestas abiertas de encuestas al estudiantado, la mejor herramienta de sentimiento disponible (BERT-nlptown) solo alcanzó una concordancia moderada con la codificación humana (κ = 0,42), y las herramientas de léxico clasificaron erróneamente alrededor del 20% de las respuestas por falta de cobertura de vocabulario (You y Horissian, 2026). Una etiqueta de sentimiento es un resultado de medición, así que el error de clasificación es una amenaza a la validez y no un problema de ajuste.

  • La contaminación es la amenaza a la validez que los datos agregados ocultan. Cuando el estudiantado usa la IA para hacer el trabajo calificado, una subida de la puntuación media de la rúbrica es evidencia sobre la herramienta y no sobre el aprendizaje, y un modelo que califica la salida de un modelo es «una sala de espejos» y no una evaluación (Jenkins y de Mello-e-Souza Wildermuth, 2026). Los autores señalan que la contaminación es invisible en los datos agregados que los programas suelen usar.

  • La exposición es medible, y el remedio es evidencia suficiente y no seguridad máxima. Villanueva (2026) puntuó 53.915 ítems de evaluación según su formato publicado, su supervisión y el peso de la nota, y encontró que la mayoría de las notas evaluadas reposan sobre trabajo cuya autoría no puede verificarse tras la entrega; sostiene que los programas necesitan evidencia suficiente de aprendizaje en las etapas clave, y no que cada unidad se vuelva segura.

  • Un modelo puede preprobar los ítems y exponer defectos que la revisión del profesorado pasa por alto. Una institución hizo que una plataforma empresarial de IA respondiera los ítems de examen antes de su aplicación y después comparó su razonamiento con el constructo previsto y la respuesta clave (Ford, Helms y Moseley, 2026). El ejercicio sacó a la luz enunciados ambiguos, múltiples respuestas plausibles, pistas no intencionadas e ítems cuya respuesta clave no podía defenderse con claridad. Los autores tratan la respuesta como un acicate para reexaminar un ítem, y no como prueba de que sea defectuoso.

  • Una medida válida puede seguir siendo insegura de optimizar. El ajuste fino de un tutor con LLM contra una métrica de adaptatividad de tipo rúbrica elevó la métrica (de +0,05 a +0,42) mientras las valoraciones ciegas de expertos caían (de 4,46 a 3,03), porque una métrica que puntúa las decisiones de forma independiente se maximiza repitiendo la única mejor decisión (Domínguez Figaredo y Fernández De la Cruz, 2026).

  • La geometría de un embedding no son las distinciones de una rúbrica. Frente a 992 soluciones de física manuscritas bajo cinco representaciones textuales y nueve mecanismos de embedding, Tauschhuber y Kortemeyer (2026) informan de una mejor correlación de Spearman ponderada con las puntuaciones humanas de 0,198, con los grupos enriquecidos en puntuación en lugar de equivalentes en puntuación.

  • «Pasar las comprobaciones estándar zanja la cuestión del calificador.» En el mismo referente ningún modelo pasó las tres en ninguna tarea: QWK de al menos 0,70, no más de 0,10 por debajo del acuerdo entre calificadores y una diferencia de medias estandarizada dentro de 0,15. En código, ocho modelos superaron las dos primeras y luego calificaron por debajo de los calificadores, y en respuestas breves 21 de 22 calificaron por debajo, así que la dirección de la desviación importa tanto como su tamaño.

  • «La concordancia detecta a un calificador sesgado.» No lo hizo en una ablación intra-ítem. Añadir solo una etiqueta de logro verdadera o intercambiada al prompt movió las notas entre 0,28 y 0,75 puntos en una escala de diez en todos los modelos probados, mientras que una etiqueta verdadera elevó el QWK solo entre 0,029 y 0,046. Un reescalado ajustado sin la etiqueta igualó esa ganancia. La invariancia debe informarse junto a la concordancia, porque un calificador puede puntuar más cerca del docente mientras lee al estudiantado y no el trabajo.

  • La suficiencia de la evidencia, y no la pureza del artefacto, es la pregunta de validez. Bayraktar (2026) sostiene que, cuando la IA puede producir un artefacto plausible, el producto pulido ya no garantiza una afirmación sobre el aprendizaje; su marco añade tareas centradas en el juicio, evidencia de proceso, explicación metacognitiva y respuesta a la retroalimentación a la base probatoria. Es una heurística de diseño y no una intervención probada.

Concepciones erróneas

  • «El sesgo de la calificación con LLM es una razón para abandonarla.» En una evaluación nacional de escritura a gran escala, un calificador LLM mostró un sesgo conservador sistemático (calificaba a la baja) —problemático como nota final y potencialmente útil como señal de cribado. Un sesgo con una dirección conocida es un instrumento distinto de uno impredecible.
  • «La inflación de notas después de la IA es especulación.» En un estudio de diferencias en diferencias de más de 500.000 notas en 319 cursos (2018-2025), los cursos con más tareas expuestas a la IA (escritura, programación) vieron subir la proporción de notas A. El efecto se concentró allí donde las tareas estaban expuestas.
  • «El profesorado ha adoptado la IA de forma generalizada.» El 62,4% (53) se negó a usar IA generativa, y el uso de quienes la adoptaron se limitó en gran medida a la corrección de pruebas (43,8%) y a las comprobaciones de claridad (34,4%). El patrón de adopción es cauteloso y estrecho, lo que cambia lo que un argumento de validez debe cubrir.

Conceptos conectados

Artículos conectados

Preguntas frecuentes relacionadas

Metadatos

Evaluación y mediciónEvaluación auténtica, Evaluación automatizada, Evaluación formativa
Métodos de investigación y evaluaciónECA
Equidad, ética y uso responsableMitigación de sesgos, Equidad
Fundamentos de la IA en la educaciónIntegridad académica
FuenteHistorialEditarChat

Incrustar esta página

Copia el código de abajo para incrustar esta página en un sistema de gestión del aprendizaje u otro sitio web. La versión incrustada muestra solo el contenido de la página: oculta el encabezado, la navegación y el pie de página del sitio.