Помогает ли использование ИИ студентам действительно учиться?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Да, может — но более качественная работа, созданная с ИИ, не обязательно является доказательством более качественного обучения. Исследования документируют и реальные учебные выгоды, и пренебрежимо малые эффекты, и вред для обучения. Важный вопрос не в том, используют ли студенты ИИ, а в том, чему ИИ помогает им делать, какое мышление остаётся их ответственностью и что они могут делать впоследствии.

База знаний называет различие между успешной работой с помощью ИИ и приобретённой способностью разрывом между выполнением и обучением. Студент может представить более сильное эссе или решить больше практических задач с ИИ, не становясь при этом лучше — а иногда и становясь хуже — в выполнении сравнимой работы самостоятельно. И наоборот, хорошо спроектированная обратная связь, примеры и тьюторство с ИИ могут улучшить последующее выполнение без ИИ. См. Прирост в обучении и Когнитивная разгрузка.

Что фактически показывают исследования?

Некоторые интервенции с поддержкой ИИ улучшают обучение

Широкой отправной точкой является Может ли EdTech закрыть разрывы в обучении? Глобальные доказательства цифровых интервенций. Этот синтез Всемирного банка 14 рандомизированных исследований в десяти экономиках оценил положительный средний эффект обучения в 0.125 стандартных отклонения для адаптивных и работающих на ИИ образовательных технологий. Однако он объединил прежние адаптивные системы с инструментами Генеративный ИИ. Он не обнаружил статистически установленного преимущества для более новых генеративных инструментов, признавая при этом значительную неопределённость в этом сравнении. Результат поддерживает потенциал этих интервенций, а не утверждение, что любой чат-бот улучшит обучение.

Более конкретные доказательства показывают, почему важен проект обучения. В Человеко-центрированном проектировании обратной связи на базе GenAI в высшем образовании многосайтовое рандомизированное исследование с участием 1 176 студентов первых курсов сравнивало взаимное оценивание, прямую обратную связь ИИ, самооценку с последующей обратной связью ИИ и гибридную последовательность, сочетающую самооценку, взаимную обратную связь и критику ИИ.

Рефлексивные и гибридные варианты дали более сильную отложенную передачу без ИИ, чем прямая обратная связь ИИ. Студенты впоследствии лучше справлялись с новой задачей научной аргументации, а не только с пересматриваемым заданием. Однако эти условия также требовали дополнительной оценочной деятельности и, возможно, большего времени. Исследование поддерживает полный проект обратной связи, а не доказывает, что преимущество вызвано одним компонентом или самим ИИ.

ИИ может улучшать выполнение практики, вредя обучению

Наиболее ясное предостережение даёт Генеративный ИИ без предохранителей может вредить обучению: доказательства из школьной математики.

В этом рандомизированном полевом эксперименте почти с 1 000 студентов интерфейс ИИ общего назначения повысил результаты практики с помощью ИИ на 48% относительно контрольной группы, но студенты впоследствии набрали на 17% меньше на экзаменах без помощи. Тьютор, настроенный на руководство и подсказки, спроектированные преподавателем, в значительной степени избежал этого штрафа. Крайне важно, что он не дал статистически значимого улучшения результатов экзамена без помощи относительно контрольной группы. Избежание вреда — это не то же самое, что демонстрация дополнительного обучения. Эти проценты описывают данную конкретную интервенцию и условия, а не универсальные эффекты использования ИИ.

Практический вывод: оценка инструмента ИИ по выполненным домашним заданиям, правильным ответам на практике или удовлетворённости студентов может давать искажённое представление о его образовательной ценности. Удовлетворённость и воспринимаемое обучение — это меры самоотчёта, и база знаний документирует, насколько далеко они могут отходить от измеренного обучения.

Более крупное и долгое полевое исследование указывает в том же направлении в масштабе. Штраф генеративного ИИ для обучения проследил 26 811 китайских учащихся средних школ (7–12 классы) в течение 30 месяцев, используя рассредоточенное внедрение ИИ. Баллы за домашние задания выросли на 18%, а время выполнения упало на 30% (с 64 до 45 минут), тогда как баллы закрытых ежемесячных экзаменов упали на 20% в течение шести месяцев, а баллы вступительных экзаменов с высокими ставками упали на 18–24% от базового уровня, но лишь примерно через два года. Потери концентрировались среди примерно 81% пользователей ИИ, чьё поведение указывало на передачу домашних заданий на аутсорсинг; пользователи, которые сохраняли время на домашние задания сопоставимым с не-пользователями, учились примерно столь же эффективно. Расхождение между выполнением домашних заданий и экзаменов — это разрыв между выполнением и обучением, записанный по национальной когорте, а двухлетний лаг означает, что краткие оценки систематически недооценивают издержки.

Доступа и предохранителей недостаточно

Двухлетний рандомизированный школьный эксперимент Один клик: тьюторство с ИИ с Khanmigo обнаружил скромные достижения в математике в 18 средних школах. При этом студенты редко вступали в содержательные тьюторские диалоги. Авторы отметили, что достижения напоминали те, что связаны со структурированной практикой без ИИ. Поскольку интервенция сочетала индивидуализированную практику и тьюторство с ИИ, она не позволяла чисто изолировать дополнительный вклад компоненты ИИ. Наличие способного тьютора отличается от его продуктивного использования студентами.

Более новый эксперимент Делаем тьюторство с ИИ продуктивным даёт родственный урок. Среди более чем 6 000 учащихся средних школ, использующих NUMI, поддержка ИИ улучшила восстановление после ошибок, но замедлила продвижение по вопросам. Правило мастерства «три правильных ответа подряд» повысило определяемое платформой успешное выполнение, не улучшая само по себе обучение неделю спустя. Наиболее сильный сигнал отложенного обучения появлялся, когда ИИ был встроен в рабочий процесс мастерства, но достижения были малозначимы статистически и сконцентрированы на конкретном отработанном материале. Этот рабочий документ даёт лишь предположительные доказательства в пользу тщательно структурированного подхода, а не широко доказанный рецепт.

То, как студенты используют инструмент, а не только доступ к нему, определяет результат

Одна и та же технология даёт разное обучение в зависимости от того, как структурировано взаимодействие. В качественном исследовании 38 студентов в неконтролируемых письменных оцениваниях вовлечённость охватывала спектр от когнитивной передачи на аутсорсинг до когнитивного перераспределения — переноса усилий с низкоуровневого поиска на критическую оценку. Большинство студентов (n = 31) намеревались использовать генеративный ИИ как помощника в обучении, однако 76.32% опирались на одноходовой диалог «спросил — получил ответ — прекратил», а 78.94% использовали инструмент до или после написания, а не через задачу, что порождает парадокс эффективности: удобство получено за счёт когнитивной работы, строящей схемы («скорость, с которой вы это забываете, тоже очень велика»). Только 8 студентов работали как когнитивные партнёры через устойчивый итеративный диалог.

Педагогический урок в том, что и всеобщие разрешения, и всеобщие запреты оставляют студентов угадывать. Поведение меняла конкретная по отношению к задаче ориентация относительно того, какую когнитивную работу студенты должны сохранить за собой и какая помощь ИИ была уместна, — направление проектирования, развитое на странице Как я могу снизить списывание с ИИ в своём курсе?.

Меньшие усилия автоматически не означают меньшего обучения

Было бы ошибкой заключить, что ИИ помогает только тогда, когда он заставляет студентов работать усерднее или никогда не показывает полный пример.

В предрегистрированных экспериментах, описанных в Тренер, а не костыль, взрослые, которые упражнялись в переписывании сопроводительных писем с ИИ, впоследствии писали без ИИ лучше, чем те, кто упражнялся самостоятельно, несмотря на меньшие затраты усилий. Выгоды сохранялись на однодневном наблюдении. Другой эксперимент обнаружил, что просмотр переписанного ИИ примера давал сравнимые выгоды с упражнением с инструментом. Это были краткие, ограниченные письменные задачи, а не доказательства устойчивого улучшения для всех видов письма, но они показывают, что примеры могут поддерживать обучение, а не обязательно заменять его.

Поэтому цель — не максимальная сложность. Цель — сохранить или улучшить учебную деятельность, которая развивает намеченную способность.

Та же картина повторяется в преподавании информатики

Систематический обзор 72 исследований в преподавании информатики находит ту же структуру в своём наиболее устойчивом результате. Генеративный ИИ надёжно повышает краткосрочное завершение и сокращает время на задачу (36 исследований), и ни одно исследование в корпусе не документирует отрицательного эффекта на непосредственное выполнение, — однако эти достижения «не передаются на независимое выполнение» (21 исследование). Студенты с помощью Codex выполняли вдвое больше задач в процессе обучения, но не показывали лучших результатов в тестах без ИИ, чем контрольная группа. Предварительные знания модерируют всё: хорошо подготовленные студенты превращают помощь в устойчивый навык, тогда как недостаточно подготовленные рискуют использовать её как костыль, устраняющий нужную им практику. Центральное проектное требование обзора — верификация — чтение, тестирование, изменение, объяснение и критика вывода ИИ, — сделанная оцениваемым, наблюдаемым компонентом работы, а не чаянием, оставленным на усмотрение.

Полезный принцип проектирования: опора, а не замена

Синтезы базы знаний по Скаффолдинг и Активному обучению подчёркивают поддержку, которая помогает учащимся понимать, практиковаться, оценивать и в конце концов выполнять с меньшей помощью.

«Опора, а не замена» — полезный принцип, но его нужно применять к цели обучения, а не механически к каждой функции ИИ. Полный разобранный пример может быть тем, из чего студенты учатся; последовательность подсказок всё ещё может стать тем, по чему они кликают, не думая. Важное различие — в том, что учащийся делает с помощью. См. Когнитивная разгрузка и Поиск помощи.

Для деятельности, нацеленной на развитие самостоятельной способности, разумная стартовая рутина:

1. Установите мышление учащегося. Попросите начальную попытку, предсказание, черновик, объяснение или интерпретацию подходящего примера.
2. Обеспечьте адресную помощь. Используйте ИИ для подсказки, объяснения, контрастного примера или сфокусированной обратной связи по трудности.
3. Потребуйте ответа на помощь. Пусть студент объяснит, пересмотрит, проверит или обоснует принятие или отклонение предложения.
4. Проверьте новое применение с меньшей поддержкой. Попросите студента решить сравнимую задачу или применить идею в другом контексте.

Это отправная точка обучения, а не универсально подтверждённая последовательность. Объём и время поддержки должны отражать предварительные знания студентов и задачу. См. Сокращение неправильного использования ИИ и Предварительные знания.

Сделайте сохраняемое мышление явным

Для математики преподаватель может попросить студентов представить свою попытку решения до запроса помощи, а затем использовать промпт вида: «Определи первый шаг, который мне следует пересмотреть, дай одну полезную подсказку и попроси меня попробовать снова». Последующая проверка должна требовать нового решения и объяснения, а не воспроизведения ответа ИИ. Это применяет указания на страницах Скаффолдинг и Поиск помощи.

Для письма преподаватель может предложить студентам оценить свой черновик по рубрике до получения критики ИИ, а затем объяснить, какие предложения они приняли, изменили или отклонили. Если цель — построение аргументации, сгенерированная ИИ проза не должна подменять доказательство того, что студент способен построить аргумент. Если цель — оценка альтернативных правок, сравнение полных примеров может быть уместным. См. Преподавание письма и Грамотность в отношении обратной связи.

Это проектные применения доказательств. Их всё равно следует оценивать в рамках курса, а не предполагать их работоспособность на основании педагогической разумности звучания.

Как понять, помогает ли ИИ в моём курсе?

Страница Оценивание AIEd рекомендует разделять качество вывода ИИ, опыт студентов при его использовании и фактическое обучение студентов. Практическое оценивание требует большего, чем опрос удовлетворённости или сравнение оценок за задания.

Сначала определите способность. Решите, что студенты должны понимать или уметь делать после деятельности. «Создать отполированный отчёт» отличается от «выбрать подходящие доказательства», «объяснить причинно-следственную связь» или «обнаружить необоснованный вывод». Оценивание должно выявлять способность, которую вы намерены развивать. См. Образовательное измерение.

Измеряйте до, после и позже. Используйте краткое базовое задание, немедленную проверку обучения и отложенное применение. Включите как сравнимую задачу, так и, где уместно, задачу, которая меняет контекст или требует иного применения. Когда цель — самостоятельная компетентность, уберите помощь ИИ, которая могла бы выполнить эту компетентность за студента. Успешная проверка сразу после практики полезна, но не устанавливает удержание в течение месяцев или передачу между областями. См. Прирост в обучении и Передача обучения.

Используйте значимое сравнение. Где возможно, сравнивайте деятельность с поддержкой ИИ с хорошо спроектированной альтернативой без ИИ, используя схожий контент, учебное время и возможности практики. Простое улучшение «до и после» не может установить, что причиной улучшения был ИИ; студенты могли бы улучшиться благодаря остальной преподавательской работе. Для более сильных причинных утверждений обратитесь к Методам исследования эффективности при проектировании сравнения.

Наблюдайте, как студенты используют помощь. Ищите объяснения, попытки исправить ошибки, обоснованные правки и верификацию, а не только входы в систему, количество сообщений или выполненные вопросы. Эти наблюдения могут помочь объяснить результат, но не должны заменять меру обучения. См. Поиск помощи и Взаимодействие студента с ИИ.

Проверяйте, что фактически измеряет панель показателей. В оценке восьми агентов преподавания с ИИ в медицинском образовании ранжирование агентов по собственному показателю платформы расходилось с подтверждённой экспертами рубрикой качества преподавания — агент, занимавший третье место по показателю платформы, занимал последнее место по качеству по рубрике, — потому что показатель платформы отслеживал выполнение студентами во время взаимодействия, а не поведение преподавания агента. Встроенная метрика — это гипотеза, которую нужно подтвердить, а не доказательство обучения. См. Какие измерения и методы исследования может использовать преподаватель для оценки ИИ-интервенций? о мерах и схемах сравнения, которые делают такую проверку убедительной.

Важная оговорка состоит в том, что не каждый законный результат обучения должен демонстрироваться без ИИ. Курс может намеренно учить эффективной работе с поддержкой ИИ. В этом случае оценивайте способность студентов выбирать, проверять, пересматривать и защищать своё использование ИИ, наряду с любыми самостоятельными основами, которые требует дисциплина. Тест человеческих способностей для результатов обучения в эпоху ИИ предлагает такое различение между самостоятельной способностью, дополненным ИИ выполнением и ответственностью за верификацию. Это концептуальная структура оценивания, а не подтверждённое решение для каждого курса.

Проверьте, кто получает выгоду — и чего она стоит

Среднее улучшение может скрывать студентов, которые получают малую выгоду или сталкиваются с новыми барьерами. Синтез Цифровой разрыв различает доступ к инструменту, навыки, необходимые для его использования, и в конечном счёте получаемые результаты.

При оценивании в учебной аудитории изучайте результаты с учётом значимых исходных точек, таких как предварительные знания, языковые потребности и требования доступности. Предоставляйте ориентиры, а не исходите из предположения, что студенты уже знают, как получать и оценивать полезную обратную связь. При оценивании самостоятельного обучения уберите помощь, которая поставляет целевое мышление, а не адаптации, необходимые для доступа к задаче. См. ИИ-грамотность, Справедливость в ИИ в образовании и Доступность.

Также изучите обратную связь, которую студенты фактически получают. Беглая реакция может неверно диагностировать их трудность, закрепить ошибку или предложить ответ, тогда как нужен был другой вид поддержки. Используйте согласованные с курсом материалы, сохраняйте путь к человеческой помощи и избегайте сбора большего объёма информации о студентах, чем требует деятельность. Эти вопросы напрямую связаны с Качеством обратной связи ИИ, Педагогической безопасностью и Приватность.

Итог

ИИ может помочь студентам учиться, но ни доступ, ни отполированный результат, ни ярлык «тьютор» не устанавливают, что он это делает. Доказательства сильнее всего, когда определённый проект обучения оценивается против значимой альтернативы с использованием мер тех способностей, которые студенты должны развивать. Долгосрочное удержание, широкая передача и обобщаемость между учащимися и условиями остаются важными неопределённостями. См. Ограничения исследований AIEd.

Самый полезный вопрос для преподавателя:

После этой деятельности с поддержкой ИИ что мои студенты могут понимать, объяснять, судить или делать, чего они не могли делать раньше, — и какие доказательства показывают это улучшение?