FAQ
Какие доказательства существуют по интервенциям в области ИИ-грамотности в высшем образовании?
Автоматический перевод данной английской страницы, не проверенный носителем языка.
Доказательства по интервенциям в области ИИ-грамотности в высшем образовании обнадёживающи, но всё ещё методологически незрелы. По всей базе знаний наиболее устойчиво повторяющийся вывод заключается в том, что ИИ-грамотность развивается эффективнее через активную, контекстуализированную практику с ИИ — особенно критику, сравнение, рефлексию и сотрудничество, — чем через одни лишь демонстрации инструментов или лекции. В то же время относительно мало исследований измеряют устойчивую, независимо продемонстрированную компетентность; многие опираются на самоотчёты, краткие интервенции, наблюдательные сравнения или дизайн-ориентированные исследования.
Литература по интервенциям сходится на нескольких принципах дизайна.
Общая количественная картина
Трехуровневый мета-анализ 59 эмпирических исследований (172 размера эффекта, 7 211 участников) даёт наиболее чёткую количественную оценку в этой области: интервенции по ИИ-грамотности показывают большой общий эффект (g = 0,837, p < .001) — но с широким 95% интервалом предсказания [−0,292, 1,966], поэтому эффективность значительно варьируется между условиями и может не обобщаться единообразно. Два модератора оказались значимыми: интервенции в Восточной Азии и Европе превосходили таковые в Северной Америке, и интервенции, ориентированные на знания, превосходили те, что были направлены на навыки, отношения или этику. Более крупные (хотя и незначимые) эффекты появлялись для смешанных или рефлексивных педагогик, инструментов с поддержкой GenAI и результатов в виде задач на результативность. Авторы утверждают, что образование в области ИИ-грамотности должно поэтому выходить за рамки знаний к навыкам, практикам, этике и отношениям, посредством интегрированных и рефлексивных педагогик и инструментов с поддержкой GenAI, — и что необходима культурно релевантная, чувствительная к контексту интервенция.(AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators)
Для практиков важны два следствия: (1) измеряемый вами результат формирует видимый эффект — интервенции, ориентированные на знания, выглядят сильнее, чем ориентированные на навыки, отношения или этику, поэтому оценивайте то, что вам действительно важно; и (2) широкий интервал предсказания означает, что сильный средний эффект не гарантирует сильного эффекта в любом конкретном локальном условии, что усиливает аргумент в пользу контекстно-чувствительного дизайна.
Критика ИИ, а не простое использование его
В курсе психологии для студентов-бакалавров Richmond и Nicholls предложили студентам оценить сгенерированный ChatGPT пресс-релиз по рубрике их курса, найти ошибки и отредактировать его. Студенты в целом признавали, что результат стилистически отточен, но слаб в точном представлении целей, методов и результатов исследования. По сравнению с предыдущей когортой Взаимное оценивание когорта, занимавшаяся критикой ИИ, выступила несколько лучше на последующей правке сценария (d = 0,36), хотя не было значимого преимущества на итоговом видео.
Это обнадёживающее доказательство в пользу основанной на критике ИИ-грамотности, но историческое сравнение не позволяет сделать сильный каузальный вывод.
Встраивание ИИ-грамотности в дисциплинарную работу
Подход Beck и Brodersen в экономике предполагает, что студенты сначала сами решают или интерпретируют аутентичную экономическую задачу, затем получают ответ ChatGPT, сравнивают его с собственным, критикуют ИИ, рефлексируют и обсуждают с сокурсниками. Интервенция сочетает ИИ-грамотность с существующими техниками Активное обучение, такими как Think-Pair-Share.
Её основной вклад — переносимый учебный дизайн, а не сильное экспериментальное доказательство эффектов обучения.
Источник: Fostering Generative AI Literacy in Economics.
Длительный опыт, а не разовые семинары
Континуум ИИ-грамотности Университета штата Северная Каролина описывает прогрессию от Not Yet Engaged и Uncritical Use через Informed Use, Critical Evaluation и Improvement. Его внедрение охватило более 330 участников в рамках курсов и семинаров.
Наблюдения позволили предположить, что краткий опыт может сдвинуть студентов к информированному использованию, тогда как свидетельства критического оценивания и улучшения были более явными в длительном, встроенном в дисциплину опыте. Однако не было валидированного измерения до/после или группы сравнения, поэтому это практико-основанное, а не каузальное доказательство.
Коллаборативные и когнитивно активные дизайны
Систематический обзор Hingle и Johri организует активности по ИИ-грамотности с помощью рамок ICAP: пассивное воздействие, активное манипулирование, конструктивная генерация и интерактивное ко-конструирование. Обзор находит интервенции во всех четырёх режимах и выступает против сведения ИИ-грамотности к одностороннему информационному занятию.
Доказательства поддерживают проектирование возможностей для студентов создавать, критиковать, объяснять и обсуждать результаты ИИ со сокурсниками.
Источник: Systematic Review of Collaborative Learning Activities for Promoting AI Literacy.
Педагогическое образование: уверенность в сравнении с продемонстрированной компетентностью
Дизайн-ориентированная интервенция Le с коллегами по грамотности в области GenAI, опробованная с 14 студентами магистратуры и оценённая на 29 студентах Профессиональное развитие преподавателей, повысила заявленную ИИ-компетентность Самоэффективность и привела к сдвигам к более критическому педагогическому рассмотрению GenAI.
Однако прирост по этике стал лишь маргинально значимым, а небольшое дизайн-ориентированное исследование означает, что выводы об объективной компетентности остаются ограниченными.
Источник: Development and Evaluation of AI Literacy Training for Teacher Education Students.
Обучение ИИ-грамотности не устраняет ошибки, связанные с ИИ
Особенно важное предостережение состоит в том, что обучение студентов лучше составлять промпты или использовать ИИ не эквивалентно тому, чтобы сделать их надёжно критичными пользователями. В эксперименте по контекстному сикофантству обучение ИИ-грамотности и промптингу снизило склонность модели зеркалить ошибки рассуждения участников, но не устранило распространение ошибок дальше по цепочке.
Это означает, что образование в области грамотности не может нести всю нагрузку по обеспечению безопасности; также необходимы дизайн инструментов и защитные меры на системном уровне.
Источник: The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration.
Измерение ИИ-грамотности имеет значение
Литература по измерению усиливает это предостережение. Валидированный тест результативности GLAT предсказывал результативность на задаче в высшем образовании с поддержкой ИИ, тогда как мера грамотности в области ChatGPT по самоотчёту — нет. В более общем плане база знаний сообщает о существенных расхождениях между заявленной и продемонстрированной людьми ИИ-компетентностью.
Следовательно, интервенцию, которая повышает уверенность, отношения или воспринимаемую грамотность, не следует автоматически интерпретировать как улучшение самой ИИ-грамотности. Это указывает на важность образовательного измерения и валидности оценивания при оценке ИИ-интервенций по грамотности.
Более новая работа уточняет и что следует измерять, и как. Исследование Burriss с коллегами в классе с 22 учащимися одиннадцатых классов, создававшими видеоролики социальной рекламы об этике ИИ, утверждает, что существующие шкалы ИИ-грамотности и рамки компетентностей предполагают индивидуально измеримую результативность и тем самым исключают коллаборативное и творческое выражение; они предлагают, чтобы рефлексии студентов, Мультимодальный ИИ артефакты и гражданский дискурс дополняли традиционные измерения. Их вывод о том, что студенты развили критическое понимание этики ИИ через коллаборативную критическую педагогику, бросает вызов представлениям об ИИ-грамотности как о наборе навыков, — а вместе с ними и инструментам, построенным на этих наборах. Он также показывает направление движения: 15 из 18 ответов в конце модуля подтвердили новое обучение, хотя авторы отмечают, что проект устойчив к традиционному суммативному оцениванию. См. Multimodal composition as a form of critical AI literacy pedagogy.
Отдельное предостережение исходит из исследований принятия. Wang, Chuang и Wu опросили 831 тайваньского K-12 студента и преподавателей после примерно 30 минут работы с возрастно-типизированным руководством по ИИ-грамотности и обнаружили устойчивую четырёхфакторную структуру приятия — но воспринимаемая игривость была самым сильным коррелятом поведенческого намерения, и исследование измеряло краткосрочное принятие, а не прирост в обучении, этическую компетентность или фактическое использование. Авторы прямо заявляют, что конструкты принятия «must not be used to infer learning effectiveness or implementation success». См. Measuring acceptance of age-tiered AI literacy guidebooks.
Источники:
- GLAT: The Generative AI Literacy Assessment Test
- AI Literacy Assessment: Self-Reported vs Performance Misalignment
Диагностика до обучения: существующие представления студентов об ИИ
То, где интервенция начинается, имеет не меньшее значение, чем её содержание. Şan и Orhan Karsak использовали психолингвистический тест словесных ассоциаций с 436 турецкими студентами-бакалаврами (1 376 закодированных ответов, межэкспертная κ = 0,87), чтобы отобразить их когнитивные репрезентации ИИ. Ассоциации группировались вокруг инструментальной полезности — удобство (f = 145) и скорость (f = 110), — тогда как алгоритмическая прозрачность, конфиденциальность и концепции Управление ИИ были не просто редки, но структурно изолированы от доминирующего кластера полезности (тау Кендалла τ = −0,819). Авторы утверждают, что подача модуля по этике в когнитивную архитектуру, не имеющую существующей схемы для его восприятия, скорее всего, потерпит неудачу: учебные программы должны выстраивать явные мосты от повседневного знания инструментов к этическим рамкам и рамкам управления, а микро-квалификации должны упорядочивать содержание, чтобы закрывать этот структурный пробел, а не воспроизводить то, что студенты уже знают. Это аргумент в пользу оценки потребностей при проектировании интервенций, и это одно из немногих исследований, поставляющих управляемую данными диагностику до обучения. См. Knowing its name, not its nature.
Контрастирующий, ситуативный взгляд дают Dai и Chan: семь фокус-групп с 28 аспирантами-исследователями, которые по-разному реализуют ИИ-грамотность в исследовательском рабочем процессе — более интенсивное использование в задачах с низкими ставками процедурного характера (форматирование, перевод, объяснение), заметно большая осторожность там, где на кону учёный вклад, — и проводили свои собственные границы между помощью своему рассуждению и его заменой. Их вывод состоит в том, что ИИ-грамотность лучше рассматривать как ситуативную способность, чем как статичный перечень компетентностей, и что руководство по ответственному использованию должно скаффолдить каждое измерение грамотности на реальных задачах, а не вводить бинарные правила. См. Shaping responsible GenAI use in research through AI literacy-oriented guidelines.
Квалификации и оценка на уровне программы
ИИ-грамотность всё чаще доставляется через сертификаты и микро-квалификации, и именно здесь оценка наиболее тонкая. Wu и Li построили экспертную систему индикаторов оценки с весами (AHP / Fuzzy-AHP с проверкой устойчивости методом Монте-Карло, 18 экспертов) для программ сертификации в области ИИ и обнаружили, что профессиональная компетентность преподавательского состава показала наибольший разрыв между важностью и удовлетворённостью — высокая воспринимаемая важность (0,1976) при низкой текущей удовлетворённости, — что выявляет способность преподавательского состава, а не технологическую инфраструктуру, как основное ограничение педагогической трансформации; кросс-культурная адаптируемость получила наименьший стратегический вес (0,0735), что сигнализирует о технологически-ориентированном уклоне в ранней сертификации. См. Evaluation indicator system for AI certificate programs. Это выводит на передний план вопрос, который литература по интервенциям едва тестировала: сертифицирует ли квалификация устойчивую ИИ-грамотность или просто фиксирует завершение, и оснащены ли преподаватели, которые её доставляют, сами для такого суждения.
Общая оценка доказательств
В целом доказательства можно охарактеризовать как умеренные по принципам instructional design, но всё ещё слабые-до-умеренных по каузальной эффективности.
Наиболее защищаемая текущая модель для высшего образования состоит в том, чтобы:
- Встраивать ИИ-грамотность в аутентичные дисциплинарные задачи.
- Предлагать студентам сформировать первоначальное суждение или решение до обращения к ИИ.
- Требовать сравнения, верификации и критики результатов ИИ.
- Включать диалог с сокурсниками и рефлексию.
- Повторять этот опыт с течением времени, а не полагаться только на разовые семинары.
- Оценивать студентов с помощью задач, основанных на результативности и требующих независимой оценки и ответственного суждения, а не полагаться только на уверенность или опросы самоотчёта.
Остаются важные пробелы. Литературе по-прежнему необходимы более многоинституциональные рандомизированные или сильные квазиэкспериментальные исследования, валидированные общие измерения результатов, отсроченные тесты сохранения и переноса, и доказательства о том, сохраняются ли приросты в грамотности, когда студенты сталкиваются с новыми моделями ИИ, дисциплинами или незнакомыми режимами отказов ИИ.
Короте говоря, текущие доказательства поддерживают трактовку ИИ-грамотности как встроенной в дисциплину критической практики, а не просто как знания об ИИ или умение составлять промпты. Дидактический аргумент в пользу критики, сравнения, рефлексии, сотрудничества и повторяющейся аутентичной практики становится всё более связным, но доказательства того, что конкретные интервенции производят устойчивую и переносимую ИИ-грамотность, остаются менее установленными. О том, как этот вывод переводится в конкретный дизайн курса, см. Как включить ИИ-грамотность в мой курс?; о том, где сама доказательная база остаётся тонкой, см. Какие существуют заметные пробелы в исследовательской литературе по ИИ в образовании?.