¿Cómo puedo rediseñar la evaluación para que una calificación siga diciéndome algo defendible sobre lo que el estudiante sabe o puede hacer?

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

Probablemente tenga entre manos una tarea que funcionó durante años y que ahora devuelve trabajos que no puede defender. La nota dice A; puede que el trabajo sea en su mayor parte de la herramienta. O un estudiante está impugnando una calificación baja por motivos que usted no puede comprobar, o su programa está reescribiendo su política de evaluación y le pregunta qué debería cambiar en su curso para el próximo semestre.

La respuesta breve: decida de qué debe ser evidencia la nota, incluya en la tarea al menos un paso que el estudiante complete sin la herramienta y haga que la rúbrica puntúe el razonamiento y no solo el producto. Un rediseño que se salte el segundo y el tercer paso cambia cómo se produce el trabajo sin cambiar qué puede sustentar la nota.

La versión breve

1. Escriba qué capacidad representa la nota. La independencia, el uso adecuado de la IA y la capacidad de dirigir y juzgar la IA son tres constructos distintos, y un solo trabajo no puede ser evidencia de los tres.

2. Añada un paso autenticado a cada tarea de alto riesgo: una breve comprobación oral, una aplicación en clase, una demostración en vivo o una justificación anotada. Con uno suele bastar.

3. Fije el límite del uso de la IA por paso de la tarea, no por curso. Inventaríe lo que hace el estudiante en cada paso y pregúntese qué evalúa usted específicamente ahí.

4. Incluya evidencia del proceso en la rúbrica con puntos reales. Si la rúbrica sigue premiando solo el producto, el estudiantado optimizará para el producto.

5. Piense en el estudiante más tentado a ocultar, no en el más responsable, y compruebe qué opción facilitan más sus reglas.

Decida de qué es evidencia la nota

Empiece por declarar explícitamente qué capacidad se supone que representa la nota. ¿Está evaluando lo que un estudiante puede hacer por su cuenta, lo que puede lograr de manera adecuada con IA, su capacidad para evaluar y dirigir la IA, o alguna combinación de todo ello? La síntesis Validez de la evaluación de esta base de conocimiento lo trata como un problema de validez: un trabajo pulido ya no es evidencia suficiente de que el estudiante posea la capacidad que ese trabajo parece demostrar. Esta es la mitad del argumento que corresponde a la evaluación; la mitad que corresponde a la aplicación de las normas está en ¿Cómo puedo reducir las trampas con IA en mi curso?, y el marco general de la validez recorre ¿Qué medidas y métodos de investigación puede usar un docente para evaluar intervenciones relacionadas con la IA?.

Diga la respuesta en el programa de la asignatura, en la hoja de la tarea y en la rúbrica. El estudiantado lee tres documentos y cumple el que es más específico. "Se permite el uso de IA con reconocimiento" no es una declaración de lo que usted mide, y no le da al estudiante ninguna forma de saber si el uso permitido socava aquello que usted califica.

El riesgo de la sustitución de constructo

El artículo From Authentic Products to Authenticated Processes llama sustitución de constructo al riesgo que de ello resulta: quien evalúa atribuye al estudiante un producto mediado por IA y mide sin querer las capacidades de la herramienta en lugar de las del estudiante. Su respuesta recomendada es hacer visibles el razonamiento, el juicio, la verificación, la iteración y la responsabilidad del estudiante mediante enfoques como entregas por etapas, justificaciones anotadas de las decisiones, registros del proceso, declaraciones sobre el uso de la retroalimentación, defensas orales y otras formas de evidencia autenticada del proceso.

Esa lista es un menú, y qué opción resulta más barata depende del tamaño de su clase. Para una sección de 25, una comprobación oral de cinco minutos por estudiante y por tarea principal supone unas dos horas de corrección que quizá ya esté dedicando. Para una clase magistral de 300, las entregas por etapas y las justificaciones anotadas escalan donde las defensas orales no lo hacen, y una comprobación oral por muestreo sobre los trabajos que parecen anómalos es lo que sigue siendo práctico. Elija la opción que aún pueda mantener en la décima semana.

Incluya un paso autenticado en cada tarea

En la práctica, una arquitectura de evaluación sólida suele combinar una tarea auténtica habilitada por IA con alguna forma de verificación independiente. Según la disciplina, puede incluir una breve explicación oral, una aplicación en clase, una demostración en vivo, un portafolio anotado, un componente breve sin ayuda o preguntas sobre decisiones clave.

El concepto de Evaluación auténtica también subraya el trabajo intelectual realista, el desafío cognitivo, la agencia del estudiante, la retroalimentación y la autenticidad social o profesional. Blindar una tarea frente a la IA sin hacer que merezca más la pena realizarla le deja la misma evaluación y trabajo adicional.

Recorra la tarea paso a paso y fije ahí el límite

El método a nivel de tarea que hace esto manejable es el que documenta McCorkle: inventariar cada paso que realiza un estudiante, preguntarse en cada paso "¿qué estoy evaluando, en concreto?" y derivar de la respuesta el límite del uso de la IA, que es también la manera en que las expectativas que hay detrás de ¿Cómo puedo reducir las trampas con IA en mi curso? se vuelven explícitas y exigibles.

Aplíquelo una vez en su tarea más discutida y escriba el resultado en la hoja de la tarea. Un resultado típico separa con claridad: los primeros pasos de recuperación y redacción son donde vive el constructo y donde la herramienta hace el daño, mientras que el formato, la comprobación de referencias y la edición de lengua son pasos en los que el uso de herramientas resulta invisible para su constructo y probablemente deberían permitirse sin más. Los permisos generales y las prohibiciones generales fracasan por igual, porque la respuesta difiere de verdad según el paso.

Haga que la rúbrica puntúe el proceso

Mohamed y Temimi replantean el mismo problema como uno de información imperfecta y no de moralidad: el estudiante sabe cómo se produjo el trabajo y la institución solo ve el producto más rastros parciales, así que la pregunta de diseño pasa a ser qué respuesta del estudiante hace más atractiva cada entorno de evaluación. Su modelo de regiones de respuesta compara tres opciones, ningún uso de IA, uso declarado y uso oculto, y muestra que las reglas, la vigilancia, la declaración y el rediseño operan por canales distintos y solo tienen éxito cuando la respuesta más atractiva coincide con el propósito de la evaluación.

Dos resultados inciden directamente en la arquitectura. La disuasión depende de la discriminación de un detector entre el uso oculto y el trabajo legítimo, no de su tasa bruta de aciertos, así que cuando los falsos positivos crecen más rápido que los verdaderos positivos, una vigilancia más intensa puede hacer que ocultarse resulte relativamente más atractivo. Y el rediseño orienta al estudiantado hacia un uso responsable solo cuando la rúbrica premia de verdad la evidencia del proceso; de lo contrario, se queda en lo cosmético. Su regla práctica es diseñar para el estudiante más tentado a ocultar y no para el más responsable.

Si un párrafo de justificación, un registro de revisiones o una reflexión sobre una sugerencia de IA rechazada no lleva puntos, se escribirá en cinco minutos y no lo leerá nadie. Dé a la evidencia del proceso el peso suficiente para que un estudiante que se la salte pierda más de lo que gana al saltársela, y describa cómo es una buena evidencia del proceso con la misma precisión que usa para el producto.

La variación de tareas por estudiante depende de la capacidad, no es gratuita

Una arquitectura popular sin vigilancia es la variación de tareas por estudiante, en la que cada examinando recibe una versión superficialmente distinta pero equivalente en constructo de la misma tarea, de modo que las respuestas no puedan compartirse de forma útil. VARIA, un Punto de referencia de 600 variantes generadas en 60 celdas de condiciones, encontró que los modelos de frontera se agrupan estrechamente en una puntuación conjunta de integridad (0,81-0,88), mientras que las referencias que no son de frontera caen a 0,50-0,55, y que ninguna estrategia de ingeniería de prompts optimiza a la vez la diversidad superficial y la equivalencia de constructo. La variación a escala no puede darse por supuesta solo a partir de las indicaciones, así que una institución debería validar su propio par de modelo e indicaciones antes de tratar la garantía como real.

Para una decisión a nivel de curso, eso significa una prueba antes de comprometerse: genere un conjunto de variantes a partir de una de sus propias tareas, pida a un colega que califique dos de ellas para la misma capacidad y compare. Si las calificaciones divergen entre las variantes, la afirmación de equivalencia no se sostiene en su tarea y la protección frente a respuestas compartidas se paga con injusticia.

El rediseño rara vez ocurre tarea a tarea

En un estudio cualitativo con 12 docentes universitarios y 17 estudiantes de una gran universidad australiana, Nicola-Richmond et al. encontraron que ambos grupos coincidían en que la evaluación debe cambiar, pero subrayaban fricciones sistémicas: plazos largos, restricciones de acreditación en cohortes grandes, carga de trabajo y coste. Concluyeron que el rediseño requiere a toda la aldea, es decir, un equipo de todo el programa que combine experiencia en diseño de evaluación, IA generativa, conocimiento de la materia, industria y evidencia, con puntos de alfabetización en IA generativa y de garantía del aprendizaje situados de forma estratégica a lo largo de una titulación. Si usted es un solo docente con un solo curso, ese hallazgo es una advertencia sobre lo que le frenará y una razón para incorporar al responsable del programa a la primera conversación y no a la última.

El propósito importa tanto como la mecánica. El Khoury y Ma sostienen que una reforma organizada solo en torno a prevenir conductas indebidas es demasiado defensiva y proponen la evaluación gozosa, segura, emocionalmente receptiva, capacitadora y favorable a la agencia del estudiante, en la que la integridad es una consecuencia del buen diseño y no su punto de partida. Su ejemplo práctico usa un agente de IA construido por el docente para que el estudiantado ensaye antes del juicio y para producir un informe de evidencia alineado con la rúbrica, pero la división del trabajo se enuncia con claridad: la IA organiza la evidencia y el docente la interpreta.

Las objeciones que escuchará

"No tengo horas para las comprobaciones orales." Entonces no las haga en todo. Un componente autenticado en la tarea de mayor riesgo, más una comprobación por muestreo en los trabajos que parecen inconsistentes con entregas anteriores, cubre la mayor parte del riesgo a una fracción del coste. Las opciones que escalan son las entregas por etapas y las justificaciones anotadas.

"La acreditación y la aprobación de los programas no se moverán tan rápido." El estudio citado señala los plazos largos y las restricciones de acreditación de las cohortes grandes como la fricción central. Un solo curso puede cambiar lo que ocurre dentro de una evaluación existente sin cambiar su nombre, su peso ni sus resultados de aprendizaje, y eso suele bastar para empezar.

"Esto penaliza al estudiantado ansioso y al estudiantado con discapacidad." Puede hacerlo. Los componentes orales en vivo necesitan ajustes planificados de antemano, una elección de formato cuando el constructo lo permite, y atención a la diferencia lingüística y al sesgo de quien evalúa. Verifique la capacidad, no las condiciones de la actuación.

"Deberíamos comprar un detector y ya está." El resultado sobre la discriminación argumenta en contra de usarlo como columna vertebral del diseño: si los falsos positivos crecen más rápido que los verdaderos positivos, una vigilancia más intensa hace que ocultarse resulte relativamente más atractivo. La detección puede tener un lugar en una respuesta que también rediseñe la tarea, y ¿Deberíamos usar detectores de IA? cubre ese argumento.

"El estudiantado usará IA de todos modos." Lo hará, y la pregunta de diseño es qué respuesta facilita más su tarea. Si declarar el uso no le cuesta nada al estudiante y la rúbrica paga el proceso, la mayoría lo declara; si declararlo invita a la sospecha, ocultarlo se vuelve la opción racional.

Qué hacer esta semana

1. Escriba una frase que nombre la capacidad que califica su próxima tarea principal. Póngala en la hoja de la tarea.

2. Elija el paso autenticado más barato que pueda sostener y añádalo a esa tarea.

3. Inventaríe los pasos de la tarea y marque cada uno como portador o no del constructo. Permita la IA donde no lo sea y restrínjala donde lo sea.

4. Añada evidencia del proceso a la rúbrica con puntos asignados y diga cómo se ve una buena evidencia.

5. Lleve el cambio a su responsable de programa y a la oficina que aprueba los ajustes, antes de que empiece el semestre y no después de la primera reclamación.

Adónde ir después

El argumento de validez que sostiene toda la página está en Validez de la evaluación; la pieza que corresponde a la aplicación de las normas es ¿Cómo puedo reducir las trampas con IA en mi curso?, con ¿Cómo redacto una política de IA para un curso y la comunico al estudiantado? al lado. ¿Cuáles son las mejores prácticas para la enseñanza de la escritura en el contexto de la IA? cubre la redacción que el estudiantado sigue de verdad, y ¿Qué medidas y métodos de investigación puede usar un docente para evaluar intervenciones relacionadas con la IA? cubre si la herramienta en torno a la cual está diseñando funciona siquiera.