En esta página

Esta página está traducida al español. Las páginas de artículo siguen escritas en inglés. Leer esta página en inglés

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

La generación automática de preguntas (AQG) — el uso de IA, en especial la PLN y los grandes modelos de lenguaje (LLM), para generar ítems de evaluación educativa (preguntas de opción múltiple, de respuesta corta, de rellenar huecos, de programación y de desempeño) de forma automática a partir de material fuente u objetivos de aprendizaje. La AQG permite evaluar a escala —producir cuestionarios formativos, ejercicios adaptativos e ítems de práctica—, pero la calidad varía enormemente según el tipo de ítem y exige validación para evitar preguntas alucinadas o mal calibradas. Es un componente central de la evaluación automatizada y un habilitador clave del aprendizaje adaptativo y el aprendizaje personalizado.

Preguntas para reflexionar

  • La generación automática de preguntas produce ítems de evaluación a partir de material fuente y a escala, pero la calidad varía enormemente según el tipo de ítem. Antes de leer, ¿qué tipo de ítem diría usted que la IA genera de forma más fiable: opción múltiple, respuesta corta o código, y por qué?
  • El reto central es el control de calidad: los LLM pueden generar preguntas factualmente incorrectas. Una cadena de procesamiento redujo la alucinación en 62% añadiendo un bucle de generar, validar y refinar. ¿Por qué cree que pedirle a la IA que valide sus propias preguntas las mejoraría de forma significativa, en lugar de limitarse a aprobar su propia salida?
  • La investigación muestra que las preguntas generadas pueden inclinarse hacia el pensamiento de orden inferior (recuerdo) salvo que se diseñen explícitamente para resultados de orden superior. Si usted usara IA para crear ítems de práctica, ¿cómo sabría si estaban entrenando una comprensión genuina o solo la memorización?
  • La calibración de la dificultad importa: las estimaciones de dificultad de la IA correlacionan fuertemente con el desempeño del estudiantado, pero su uso en contextos de alta exigencia exige cautela. ¿Cuándo una pregunta que la IA juzga «de dificultad adecuada» seguiría siendo la pregunta equivocada para un estudiante concreto?
  • La generación con conciencia de accesibilidad construye preguntas ajustadas para quienes aprenden y son personas sordas o con hipoacusia, refinadas en colaboración con la comunidad destinataria. ¿Qué sugiere este ejemplo sobre por qué la generación de preguntas no puede tratarse como un problema puramente técnico ni solo de contenido?

Introducción

La generación automática de preguntas importa porque crear ítems de evaluación a mano es caro, y la IA puede producirlos con rapidez y a escala. Sin embargo, la investigación muestra que los ítems generados deben validarse en cuanto a corrección, pertinencia y dificultad, y que los distintos tipos de ítem (opción múltiple, respuesta corta, código) varían en la fiabilidad con que pueden generarse. La AQG se sitúa, por tanto, en la intersección de la IA generativa, la PLN educativa y la medición educativa.

Enfoques para la generación de preguntas

La investigación ilustra varios enfoques:

  • Cadenas de generar y validar: Generate-Then-Validate presenta un bucle de generación → validación → refinamiento que reduce la alucinación del LLM en 62% frente a la generación directa, alcanza 89% de precisión en conjuntos de datos de STEM y una mejora de 23% en pertinencia. El paso de validación filtra los ítems inválidos o de baja calidad, y los ítems fallidos activan una regeneración con consignas correctivas.
  • Generación basada en el seguimiento del conocimiento: KT4EQG genera preguntas de ejercicio personalizadas guiadas por el seguimiento del conocimiento, ajustando los ítems al estado de conocimiento de cada estudiante en lugar de generar preguntas genéricas.
  • Distractores ligados a concepciones erróneas como etiquetas diagnósticas: CoLearn (He et al., 2026) asocia cada distractor a una única concepción errónea extraída y marca exactamente una opción correcta, de modo que el ítem se genera con sus objetivos diagnósticos incorporados y después puede calificarse de forma determinista sin ninguna llamada al LLM: unos 7,6 segundos y aproximadamente $0,005 por ronda en el despliegue real de los autores, frente a unos 32 segundos y $0,015 por una ronda de respuesta corta calificada con un LLM. El vínculo es tan bueno como las etiquetas de concepciones erróneas que hay detrás, ya que las concepciones erróneas extraídas coincidían con las concepciones erróneas objetivo con F1 ≈ 0,56, y sus opciones de ítem atendían a una habilidad realmente débil 0,72 de las veces.
  • Generación con conciencia de la profundidad cognitiva: Evaluating the cognitive depth of LLM-generated questions examina si los ítems generados apelan al pensamiento de orden superior (creación, evaluación) o solo a la memorización, en conexión con la taxonomía de Bloom y la medición educativa.
  • Problemas de caso con errores incorporados para la evaluación repetida: Takahashi et al. (2026) generaron nuevos problemas de razonamiento diagnóstico jerárquico (HDR) —casos breves que llevan errores deliberadamente incorporados y que el estudiantado debe encontrar y explicar— y encontraron que los ítems redactados por GPT-4o igualaban a los redactados por personas en consistencia interna (α de Cronbach = 0,78 en ambos) y en dificultad, sin que las pruebas exactas de Fisher encontraran diferencias significativas en la distribución de puntuaciones entre 100 participantes. El formato combina una exigencia de pensamiento de orden superior con una respuesta acotada, de modo que las respuestas convergen y la calificación se vuelve reproducible. La motivación generativa es la reutilización de ítems: reutilizar un caso invita a reutilizar el recuerdo y las respuestas, mientras que casos generados estructuralmente equivalentes pero contextualmente distintos suprimen el sesgo de ítem en la remedición.
  • Cadenas pedagógicas: Slide-deck Q&A generation usa una cadena de varias etapas para generar preguntas pedagógicamente sólidas a partir de materiales de curso.
  • Generación con conciencia de la accesibilidad: Chen et al. diseñan un sistema de generación de preguntas impulsado por LLM para quienes aprenden y son personas sordas o con hipoacusia, introduciendo estrategias de preguntas visuales y emocionales que apuntan a los momentos de dificultad visual o emocional de un vídeo, y refinando iterativamente las preguntas con la comunidad destinataria para garantizar la accesibilidad lingüística.
  • Sistemas basados en RAG y con intervención humana: CODE-GEN combina la generación aumentada por recuperación con la revisión con intervención humana para generar evaluaciones de opción múltiple.
  • Puntos de referencia y evaluación: NSMQ Riddles proporciona un punto de referencia de acertijos científicos y matemáticos para evaluar sistemas de generación de preguntas y de razonamiento.

Validación y calidad

El reto central de la AQG es el control de calidad:

  • Evalúe el proceso de resolución, no el enunciado: ProIQA sostiene que la revisión de la calidad de un ítem debe seguir lo que hace una persona experta —simular la solución— y construye un árbol de razonamiento generado por LLM para cada ítem, verificado en cuanto a corrección matemática en 90,38–97,80%, y después codifica su estructura de dependencias con una red neuronal de grafos junto a una vista solo del enunciado. Informa de ganancias medias sobre el segundo mejor método de 7,5% en evaluación de conceptos, 6,3% en estimación de dificultad y 19,5% en evaluación de competencias, y su análisis de errores nombra un modo de fallo que conviene vigilar: un árbol de razonamiento lógicamente correcto pero estructuralmente superficial deja un ítem difícil con apariencia de fácil.

  • Riesgo de alucinación: los LLM pueden generar preguntas factualmente incorrectas. Generate-Then-Validate muestra que una fase de validación dedicada reduce esto de forma marcada, y el riesgo de alucinación es una preocupación reconocida en todo el ámbito.

  • Calibración de la dificultad: las preguntas generadas deben calibrarse a una dificultad adecuada. La investigación sobre calibración de la dificultad muestra que las estimaciones de dificultad de la IA correlacionan fuertemente con el desempeño del estudiantado (p. ej., rho ≈ −0,87), lo que permite seleccionar mejores ítems, a la vez que advierte contra el mal uso en contextos de alta exigencia. Razavi y Powers (2026) extienden esto a ítems de matemáticas y lectura de K-5 (N = 5170) calibrados con el modelo de teoría de respuesta al ítem de Rasch: las valoraciones de dificultad de GPT-4o sin ejemplos previos correlacionaron de moderada a fuertemente con las dificultades reales (r = 0,83 en matemáticas, r = 0,81 en lectura) pero variaron según el curso, mientras que un enfoque basado en características —características cognitivas y lingüísticas extraídas por LLM e introducidas en modelos de árboles— alcanzó correlaciones de hasta r = 0,87. La extracción estructurada de características del estudio (p. ej., complejidad sintáctica, carga cognitiva, dificultad de los distractores) y su flujo de trabajo práctico de siete pasos ofrecen una plantilla para calibrar ítems generados, mientras que su hallazgo de restricción del rango en los primeros cursos y sus advertencias de generalizabilidad aconsejan cautela ante usos de alta exigencia.

  • Evidencia a gran escala sobre la percepción del estudiantado: Johnson et al. (2025) analizaron 5.214.211 sesiones de preguntas del estudiantado sobre ítems de rellenar espacios generados automáticamente en la función de práctica CoachMe del lector VitalSource Bookshelf. Las valoraciones eran escasas (3,31 pulgares arriba y 2,00 pulgares abajo por cada 1.000 sesiones), y los pulgares abajo seguían características controladas por el generador, como la importancia de la oración (razón de probabilidades 2,38), la importancia de la respuesta (1,64) y la categoría gramatical de la respuesta, mientras que los modelos de pulgares arriba estaban casi vacíos. Aplicar umbrales a las dos variables de importancia reduciría la tasa de pulgares abajo a aproximadamente 1,62 por cada 1.000 sesiones, lo que convierte las valoraciones del estudiantado en una señal de calidad práctica para ajustar la generación.

  • La paridad psicométrica media puede ocultar carencias a nivel de ítem: una revisión de alcance de 153 informes de educación médica encontró que la generación de ítems con IA a veces igualaba la dificultad y la discriminación humanas, pero en una comparación de fisiología solo 9 de 40 ítems de ChatGPT cumplían todos los criterios ideales frente a 19 de 40 ítems del profesorado (Zhao et al. (2026)).

  • Reconocibilidad en un examen real, y lo que la revisión elimina de verdad: Vogt et al. (2026) introdujeron 30 ítems de opción múltiple generados por IA y 30 del Examen Nacional de Licencia en un examen calificado en tableta realizado por 119 estudiantes de medicina de quinto curso, con los ítems de IA redactados a partir de los propios materiales del curso por ChatGPT-4o y Gemini 1.5 Pro mediante un panel de expertos que aceptó el 82% de ellos y eliminó el 18,2% por inutilizables. La atribución de fuente del estudiantado no difirió entre los dos tipos de ítem, y la dificultad del ítem, la distribución de distractores y la alineación curricular percibida fueron estadísticamente indistinguibles: un resultado de reconocimiento y no de calidad, y la razón por la que los autores describen el beneficio del flujo de trabajo como un traslado del esfuerzo docente de la redacción a la revisión, y no como su eliminación. Sobrevivió una diferencia exploratoria: los ítems de Gemini eran más difíciles que los del examen de licencia (p = 0,028), mientras que los de ChatGPT no lo eran (p = 0,984).

  • Dependencia de la tarea: la fiabilidad de la generación varía según el tipo de ítem. La calificación de respuesta corta y la evaluación analítica de la escritura muestran que los ítems de respuesta abierta y de escritura son más difíciles de generar y calificar de forma fiable que los ítems estructurados.

  • Calidad cognitiva: la evaluación de la profundidad cognitiva muestra que los ítems generados pueden inclinarse hacia el pensamiento de orden inferior salvo que se diseñen explícitamente para resultados de orden superior.

  • Las rúbricas de redacción de ítems se aprueban antes que la alineación. Veintisiete ítems de química generados por GPT-4 cumplieron de media el 87,71% de 22 criterios binarios de redacción de ítems, pero solo el 33,33% redujo el lenguaje especializado y el 48,15% equilibró la longitud de las opciones, y la alineación con el nivel de competencia alcanzó un 25,93% de concordancia exacta con la dificultad implícita de Rasch (Rodemer et al. (2026)). La comprobación que importa es la dificultad empírica, no la lista de verificación.

  • El etiquetado automático del nivel cognitivo no se transfiere a los ítems generados. Un clasificador de la taxonomía de Bloom entrenado con un banco de ítems curado se derrumbó ante las preguntas generadas por IA —la F1 macro pasó de 0,88 dentro de la distribución a 0,48 y 0,20 fuera de ella— porque los ítems generados promedian muchas más palabras (18,2 frente a 9,3) y comparten solo una mediana del 10,5% de sus verbos desencadenantes de Bloom con el corpus curado, frente al 35,1% de un conjunto más cercano; reentrenar con datos etiquetados fuera de la distribución fue la mayor ganancia individual, con un umbral de aproximadamente N > 1.000 muestras etiquetadas (Castanares et al., 2026).

Papel en el aprendizaje adaptativo y personalizado

La AQG es un habilitador clave del aprendizaje adaptativo y personalizado: produce los grandes bancos de ítems de los que se nutren los tutores adaptativos y, combinada con el seguimiento del conocimiento o el modelado del estudiantado, puede generar ítems ajustados al estado de conocimiento de cada estudiante (KT4EQG). La personalización basada en intereses muestra que la AQG también puede adaptar las preguntas a los intereses del estudiantado, y no solo a la dificultad.

Implicaciones para la IA en la educación

  • Genere y después valide: empareje siempre la generación con una etapa de validación y refinamiento para controlar la alucinación y asegurar la pertinencia.
  • Empareje el tipo de ítem con la fiabilidad: use la AQG para los tipos de ítem estructurados (opción múltiple, rellenar huecos, código), donde es más fiable, y aplique una validación cuidadosa a los ítems de respuesta abierta y de escritura.
  • Diseñe para la profundidad cognitiva: las consignas y las cadenas deben apuntar al pensamiento de orden superior, y no solo al recuerdo, para apoyar un aprendizaje genuino.
  • Calibre la dificultad: use las estimaciones de dificultad de la IA para seleccionar ítems con un reto adecuado, con una validación sólida antes de usos de alta exigencia.
  • Personalice mediante modelos del estudiantado: combine la AQG con el seguimiento del conocimiento y los modelos de interés para generar ítems adaptativos e individualizados.

Concepciones erróneas

«Las preguntas generadas son utilizables a la escala en que se pueden producir.» El volumen no es la restricción; la calibración sí. La calidad varía enormemente según el tipo de ítem y exige validación para evitar ítems alucinados o mal calibrados, y por eso las cadenas que funcionan dedican su esfuerzo a la verificación y no a la generación: una redujo la alucinación un 62% añadiendo un bucle de generar-validar-refinar.

«Un bucle de refinamiento hace fiables los ítems generados.» Los hace menos erróneos. Una reducción del 62% en la alucinación deja un remanente sustancial, y ningún bucle resuelve el problema más difícil de si la dificultad declarada de un ítem coincide con lo que el estudiantado hace de verdad: la cuestión de validez en la que la evidencia sobre las etiquetas de dificultad muestra que fallan los metadatos generados. La validación reduce el contenido fabricado; la calibración requiere datos de respuesta del estudiantado.

«La generación de preguntas personaliza la práctica de forma natural.» Genera oferta, y la personalización es un problema de emparejamiento. Producir más ítems no indica qué ítem debería ver a continuación cada estudiante, y la cuestión de la selección adaptativa es un mecanismo aparte con su propia evidencia.

«La generación escala la evaluación sin cambiar lo que esta mide.» Cambia la composición de lo que se mide, porque los ítems que se generan bien no son una muestra representativa de los ítems que evalúan bien. Los formatos fáciles de generar desplazarán progresivamente a los más difíciles de generar, lo que reconfigura el constructo sin que se note.

Conceptos conectados

Artículos conectados

Recursos relacionados

  • TeacherServer
    Una amplia biblioteca gratuita de generadores didácticos de propósito único — planes de clase, hojas de trabajo, objetivos del IEP, rúbricas, estudios de caso, problemas matemáticos — para el profesorado de K-12 y el profesorado universitario.

Incrustar esta página

Copia el código de abajo para incrustar esta página en un sistema de gestión del aprendizaje u otro sitio web. La versión incrustada muestra solo el contenido de la página: oculta el encabezado, la navegación y el pie de página del sitio.