¿Qué evidencia existe sobre las intervenciones de alfabetización en IA en la educación superior?

Esta es una traducción automática de la página en inglés y todavía no ha sido revisada por una persona hablante nativa.

La oficina del vicerrector quiere un resultado de alfabetización en IA en todos los programas de grado para el próximo otoño, y el plan sobre la mesa es un taller de dos horas más un módulo tutorial de la biblioteca. O una subvención ha financiado la "alfabetización en IA" en su institución y la primera reunión del comité trata de en qué gastarla. Alguien en la sala preguntará qué sabrá hacer el estudiantado después, y lo que lo resuelve es un argumento de diseño.

La respuesta para esa sala, y el estado de la evidencia en la educación superior, es esta: la alfabetización crece cuando el estudiantado critica las salidas de la IA dentro de una tarea disciplinar real, de forma repetida y con sus pares, y crece menos cuando se les muestra qué hace la herramienta. El efecto medio en la literatura de intervención es grande; la dispersión en torno a esa media es aún mayor, así que su diseño decide más que su tema. Las encuestas de confianza miden aceptación. Si quiere afirmar que hay alfabetización, pruebe un desempeño.

La versión breve

1. Inserte la alfabetización en un curso que el estudiantado ya cursa y en un trabajo que ya se califica.

2. Haga que se comprometan con su propia respuesta antes de ver la del modelo.

3. Califique la crítica con la rúbrica que ya usa para la tarea.

4. Ejecútela más de una vez a lo largo del semestre.

5. Cuente una tarea de desempeño como su evidencia y mantenga las ganancias de confianza en una línea aparte.

Construya la secuencia en torno a una crítica

El ejemplo de aula más sólido de la base de conocimiento viene de psicología de grado. Richmond y Nicholls pidieron al estudiantado calificar un comunicado de prensa generado por ChatGPT contra la rúbrica de su propio curso, nombrar los errores y revisarlo. En general, el estudiantado vio que la prosa estaba pulida y que el contenido tergiversaba los objetivos, los métodos y los hallazgos de la investigación. Frente a la cohorte anterior de evaluación entre pares, el grupo de crítica de la IA rindió algo mejor en la revisión del guion que vino después (d = 0,36), sin ventaja significativa en el video final (Using generative AI to promote psychological, feedback, and artificial intelligence literacies in undergraduate psychology).

La literatura de la que vienen estos ejemplos se apoya en intervenciones breves, en el autoinforme y en trabajo de diseño, y este estudio arrastra dos de esos límites. La comparación fue histórica, así que una cohorte mejor preparada produciría el mismo patrón. La ventaja apareció además en el artefacto intermedio y desapareció en el terminado, que es lo que cabría esperar si la crítica enseñó a revisar.

Beck y Brodersen incorporaron el mismo movimiento a un curso de economía: el estudiantado resuelve o interpreta por su cuenta un problema auténtico, luego obtiene la respuesta de ChatGPT, compara las dos, critica la IA, reflexiona y discute con sus pares. Su diseño integra la alfabetización en IA en rutinas de aprendizaje activo que el curso ya aplicaba, como Think-Pair-Share. Su aportación es un diseño instruccional transferible, respaldado por el uso en el aula y no por un experimento (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Inserte la alfabetización en un curso que el estudiantado ya cursa

La revisión sistemática de Hingle y Johri ordena las actividades de alfabetización en IA con el marco ICAP: exposición pasiva, manipulación activa, generación constructiva y coconstrucción interactiva. Las intervenciones aparecen en los cuatro modos, y la revisión argumenta contra reducir la alfabetización en IA a una sesión informativa unidireccional (Systematic review of collaborative learning activities for promoting AI literacy). Las prácticas que respalda son las que se pueden incorporar a una tarea: el estudiantado crea, critica, explica y debate las salidas de la IA con sus pares.

El AI Literacy Continuum de NC State describe una progresión desde Not Yet Engaged y Uncritical Use hasta Informed Use, Critical Evaluation e Improvement, y se implementó con más de 330 participantes en cursos y talleres (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Sus observaciones sugieren una división: las experiencias breves movieron al estudiantado hacia el uso informado, mientras que la evaluación crítica y la mejora aparecieron sobre todo en trabajo sostenido e incrustado en la disciplina. No hubo una medida pre/post validada ni un grupo de comparación, así que esto es evidencia basada en la práctica.

La formación del profesorado muestra el mismo techo desde otro ángulo. La intervención de investigación basada en diseño de Le et al. se pilotó con 14 estudiantes de máster y se evaluó con 29 estudiantes de formación docente. La autoeficacia declarada en competencia con IA aumentó y el estudiantado se desplazó hacia una consideración pedagógica más crítica de la IA generativa, mientras las ganancias en ética solo alcanzaron significación marginal. Un estudio de diseño pequeño de esa forma no puede establecer competencia (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mida lo que el estudiantado puede hacer

Un metaanálisis de tres niveles de 59 estudios (172 tamaños de efecto, 7.211 participantes) ofrece la estimación cuantitativa más clara disponible: un efecto global grande (g = 0,837, p < 0,001). El intervalo de predicción del 95% va de -0,292 a 1,966, que es la cifra que hay que citar cuando alguien pregunta si la intervención funcionará en su programa. Dos moderadores fueron significativos. Las intervenciones en Asia Oriental y Europa superaron a las de Norteamérica, y las intervenciones centradas en conocimiento superaron a las dirigidas a habilidades, actitudes o ética. Aparecieron efectos mayores pero no significativos en pedagogías mixtas o reflexivas, herramientas apoyadas en IA generativa y resultados de tareas de desempeño.

Los autores leen su propio resultado como un argumento para ir más allá del conocimiento hacia habilidades, prácticas, ética y actitudes, mediante una pedagogía reflexiva integrada y un diseño culturalmente relevante. Para un comité, dos implicaciones hacen el trabajo. El resultado que usted mide da forma al efecto que encuentra, así que elija el resultado que de verdad le importa. Un intervalo de predicción tan amplio aboga por un pilotaje local.

La medición es donde fracasan la mayoría de las afirmaciones de un programa. La prueba de desempeño validada GLAT predijo el desempeño en una tarea de educación superior asistida por IA. Una medida de alfabetización en ChatGPT autoinformada no lo hizo (GLAT: The generative AI literacy assessment test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). En toda la base de conocimiento, la competencia en IA declarada y la demostrada divergen sustancialmente, lo que convierte la medición educativa y la validez de la evaluación en parte del diseño y no en una ocurrencia tardía de la evaluación.

Burriss et al. afinan qué cuenta. Su estudio con 22 estudiantes de grado 11 que componían anuncios de servicio público en video sobre ética de la IA sostiene que las escalas de alfabetización y los marcos de competencia existentes presuponen un desempeño medible individualmente, lo que excluye la expresión colaborativa y creativa. Proponen las reflexiones del estudiantado, los artefactos multimodales y el discurso cívico como complementos de las medidas convencionales. Su estudiantado desarrolló una comprensión crítica de la ética de la IA mediante pedagogía crítica colaborativa, y eso cuestiona las concepciones de la alfabetización como lista de habilidades y también los instrumentos construidos sobre ellas. Quince de las 18 respuestas de fin de unidad afirmaron un aprendizaje nuevo, y los autores señalan que el proyecto resiste la evaluación sumativa tradicional ("Young Scholar[s] on the Beat": Multimodal composition as a form of critical AI literacy pedagogy).

Las medidas de aceptación son una trampa aparte. Wang, Chuang y Wu encuestaron a 831 estudiantes y docentes taiwaneses de K-12 tras unos 30 minutos con una guía de alfabetización en IA escalonada por edad y encontraron una estructura de aceptación estable de cuatro factores. La diversión percibida fue el correlato más fuerte de la intención conductual. El estudio midió aceptación a corto plazo, no ganancias de aprendizaje, competencia ética ni uso real, y los autores afirman que los constructos de aceptación "no deben usarse para inferir la eficacia del aprendizaje ni el éxito de la implementación" (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Cuente con los errores que la enseñanza no corrige

Entrenar al estudiantado para formular mejores indicaciones o usar mejor la IA no los convierte en usuarios críticos fiables. En el experimento de sycophancy contextual, la formación en alfabetización en IA y en indicaciones redujo la frecuencia con que el modelo reflejaba los errores de razonamiento de los participantes, y la propagación posterior de esos errores sobrevivió al entrenamiento (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Lea eso como un límite de lo que un curso puede prometer. La educación en alfabetización no puede cargar con toda la responsabilidad de la seguridad, y un programa que afirme que sí lo hace ha desplazado el riesgo en lugar de eliminarlo. El diseño de herramientas y las salvaguardas de nivel de sistema siguen en el plan.

Empiece donde ya están sus estudiantes

Şan y Orhan Karsak usaron una prueba psicolingüística de asociación de palabras con 436 estudiantes de grado turcos (1.376 respuestas codificadas, κ interevaluador = 0,87) para trazar cómo representan la IA. Las asociaciones se agruparon en torno a la utilidad instrumental, con el predominio de la comodidad (f = 145) y la rapidez (f = 110). La transparencia algorítmica, la privacidad y los conceptos de gobernanza fueron escasos y quedaron estructuralmente aislados de ese grupo de utilidad (τ de Kendall = -0,819). Su argumento se sigue de ahí: un módulo de ética impartido dentro de una estructura cognitiva que no tiene esquema para recibirlo probablemente fracasará. Los currículos necesitan puentes explícitos desde el conocimiento cotidiano de la herramienta hacia los marcos éticos y de gobernanza, y las microcredenciales deberían secuenciar el contenido para cerrar esa brecha en lugar de repetir lo que el estudiantado ya sabe (Knowing its name, not its nature: Word association mapping of student AI cognition and evidence-based micro-credential design in Turkish higher education).

Una interpretación situada viene de los siete grupos focales de Dai y Chan con 28 investigadores de posgrado, que usaban la IA de forma desigual a lo largo del flujo de trabajo de investigación. El uso era más intenso en trabajo procedimental de bajo riesgo, como el formato, la traducción y la explicación, y notablemente más cauteloso donde estaba en juego la contribución académica. Los participantes trazaban sus propios límites entre asistir su razonamiento y sustituirlo. Los autores tratan la alfabetización en IA como una capacidad situada y no como una lista estática de competencias, y recomiendan andamiar cada dimensión a lo largo de tareas reales en lugar de imponer reglas binarias (Shaping responsible GenAI use in research through AI literacy-oriented guidelines: Insights from postgraduate students).

Compruebe la credencial antes de otorgarla

Los certificados y las microcredenciales son donde la alfabetización en IA se imparte a escala y donde la evaluación es más débil. Wu y Li construyeron un sistema de indicadores ponderado por expertos (AHP y Fuzzy-AHP con comprobaciones de Monte Carlo, 18 expertos) para programas de certificación en IA. La competencia profesional del profesorado mostró la mayor brecha entre importancia y satisfacción, con una importancia percibida alta (0,1976) frente a una satisfacción actual baja. Sus datos sitúan la capacidad del profesorado por delante de la infraestructura tecnológica como la restricción principal del cambio pedagógico. La adaptabilidad intercultural obtuvo el peso estratégico más bajo (0,0735), que ellos leen como un sesgo tecnologicista en la certificación temprana (Evaluation indicator system for AI certificate programs).

La pregunta que se sigue es la que hay que plantear a su propio programa: ¿certifica la credencial una alfabetización duradera o registra una asistencia? ¿Y está preparado para juzgarlo quien la imparte?

En qué se equivoca este público

Un taller es un currículo. Las observaciones del Continuum sitúan la evaluación crítica y la mejora en trabajo sostenido e incrustado en la disciplina, y Le et al. movieron la autoeficacia sin establecer competencia.

La confianza es un indicador de la alfabetización. El resultado de GLAT es directo: una prueba de desempeño predijo el desempeño en la tarea y una medida autoinformada no.

Un efecto medio grande significa que el programa funcionará aquí. Con un intervalo de predicción de -0,292 a 1,966, la media describe el campo; su cohorte se sitúa en algún punto dentro de ese rango.

La formación en alfabetización convierte al estudiantado en usuarios seguros. En el experimento de sycophancy, la formación redujo el reflejo y dejó intacta la propagación de errores.

La alfabetización es una sola habilidad que se transfiere entre herramientas. Dai y Chan encontraron investigadores que trazaban límites distintos en partes distintas de un mismo flujo de trabajo.

Lo que le van a responder

"No hay espacio en el currículo." Añada la crítica a una tarea que ya califica, como Beck y Brodersen la integraron en rutinas de aprendizaje activo existentes. Un curso separado cuesta más y enseña lo mismo.

"Nuestro estudiantado creció con esta tecnología." Lo que Şan y Orhan Karsak midieron es la familiaridad con la herramienta: comodidad y rapidez, con la privacidad y la gobernanza estructuralmente separadas. La soltura en el uso de algo no es comprenderlo.

"Solo deme el tamaño del efecto." g = 0,837, p < 0,001, de 59 estudios, con un intervalo de predicción del 95% de -0,292 a 1,966. La segunda cifra es la que gobierna su decisión.

"Encuestaremos al estudiantado al final del semestre." Entonces habrá medido aceptación. Wang et al. dicen explícitamente qué no puede sostener eso, con una muestra de 831.

"La credencial es el mecanismo de rendición de cuentas." Wu y Li encontraron que la competencia del profesorado era la restricción vinculante, y que la adaptabilidad intercultural recibía el menor peso. Un certificado registra que alguien completó algo.

"Nuestro profesorado no está preparado para enseñar esto." La evidencia está de acuerdo. La capacidad del profesorado fue la mayor brecha en los datos de Wu y Li, y ningún estudio de esta página prueba cómo cerrarla.

Qué hacer esta semana

1. Elija una tarea calificada y añada un paso en el que el estudiantado produzca su propia respuesta antes de consultar la IA.

2. Escriba la consigna de la crítica contra su rúbrica existente, para que el estudiantado califique la salida con el estándar que ya usa.

3. Programe una segunda ejecución de la misma actividad más adelante en el semestre, en el mismo curso.

4. Sustituya una pregunta de confianza de fin de semestre por un ítem breve de desempeño, y puntúelo.

5. Pregunte a quien sea responsable de su microcredencial qué evidencia de competencia va a aceptar, y obtenga la respuesta por escrito.

Adónde ir después

¿Cómo debería incorporar la alfabetización en IA a mi curso? lleva la pregunta de diseño a la planificación del curso. Alfabetización en IA contiene el concepto y su debate sobre la medición, y la página de lagunas de investigación cubre dónde sigue siendo débil esta literatura.