Автоматический перевод данной английской страницы, не проверенный носителем языка.

What Measures and Research Methods Can an Instructor Use to Evaluate AI-Related Interventions?

Сопоставляйте метод с утверждением. Если вы хотите узнать, понравилась ли студентам ИИ-активность, опрос может помочь. Если вы хотите узнать, научились ли они, используйте измерения результативности. Опрос — это метод самоотчёта: правильный инструмент для отношения и неправильный — для обучения, по причинам, собранным на той странице. Если вы хотите узнать, вызвало ли улучшение действие ИИ, вам необходимы надёжное условие сравнения и, желательно, случайное распределение.

Варианты методов

Страница Research Methods in AIED различает несколько полезных вариантов:

• Рандомизированные эксперименты дают самый сильный каузальный вывод.
• Квазиэкспериментальные дизайны с пред-/посттестом или сопоставимыми группами зачастую более практичны в целостных классах, но поддерживают более слабые каузальные утверждения.
• Качественные интервью, фокус-группы, наблюдения и анализ артефактов раскрывают механизмы и неожиданный опыт.
• Качественный анализ с поддержкой ИИ может реорганизовать корпуса интервью или наблюдений за минуты, поэтому обоснованность важна не меньше, чем точность или раскрытие информации: фиксируйте документированные реорганизации, которые позволяют читателю проверять, оспаривать и пересматривать путь от данных к утверждению.
• Смешанные методы сочетают доказательства результативности с объяснениями того, почему возникли эффекты.
• Дизайн-ориентированное исследование полезно, когда преподаватели итеративно разрабатывают и совершенствуют интервенцию в аутентичном курсе.

Какой бы канал вы ни использовали, каузальное утверждение становится интерпретируемым только при трёх условиях: точно описанное воздействие, чётко определённое условие сравнения и валидное измерение устойчивого обучения. Weidlich et al. (2025) проверяют 19 сравнений использования ChatGPT в образовании именно по этим критериям и обнаруживают, что только 4 (21%) удовлетворяют всем трём: у 74% было чётко определённое воздействие, у 42% — чётко определённая контрольная группа, а у 53% результат квалифицировался как обучение. Инструмент общего назначения, введённый наряду с новыми активностями, обратной связью или дизайном интерфейса, смешивает средство с методом, поэтому значимый результат нельзя приписать ИИ.

Управляемое оценивание в аудитории

Для управляемого оценивания в аудитории полезный минимум — это базовое измерение, интервенция, непосредственное пост-измерение и более позднее измерение без помощи. По возможности включайте условие сравнения, например существующую практику, отсутствие ИИ, неограниченный ИИ в сравнении со scaffolded ИИ, или два альтернативных дизайна. Измеряйте результативность с помощью ИИ и самостоятельное обучение раздельно.

Синтез AI Ed Evaluation рекомендует такие исходы, как прирост в обучении без посторонней помощи, отложенное удержание материала, перенос на новую задачу, качество рассуждений, Заблуждения об ИИ, усвоение обратной связи и результативность подгрупп. Вовлечённость, удовлетворённость, журналы использования ИИ, самоэффективность и воспринимаемая полезность могут быть ценными вторичными измерениями, но их не следует рассматривать как замену обучения. Нагрузка на преподавателя и экономия времени — также закономерные результаты внедрения.

К прочтению результатов применимы два предостережения. Во-первых, усреднённый эффект из литературы — слабый ориентир для одной аудитории: аудит O'Neill (2026) 14 влиятельных мета-анализов показал, что ни один не даёт валидного основания для своих утверждений — они объединяют в одну оценку «учебные достижения», оценки смешанных тестов, мотивацию, Самоэффективность и отношение; сообщённая гетерогенность была крайней (I² варьировался от 77.2% до 94.4% в 13 анализах, которые её сообщали, причём у 12 из этих 13 она превышала 80%), все 14 оценивали публикационное смещение невалидно, и 61% случайно выборочно проверенных первичных исследований имели проблемы валидности, в то время как статистика, которая показала бы, насколько далеко на самом деле разбросаны индивидуальные результаты, по большей части отсутствовала (только четыре анализа сообщили дисперсию между исследованиями и только два — предикционный интервал, и оба включали ноль). Во-вторых, удобный показатель может измерять не тот конструкт: в оценке восьми ИИ-агентов-преподавателей агент, занявший третье место по собственному баллу платформы, занял последнее место по экспертно-валидированной рубрике, поскольку баллы платформы индексировали результативность студента во время взаимодействия, а не качество преподавания агента. Рассматривайте любую единичную метрику панели управления как гипотезу, которую следует валидировать по измерению, привязанному к способности, которую вы намерены развивать.

О том, что показывает и чего не показывает текущее доказательство, а также где оно остаётся скудным, см. Помогает ли использование ИИ студентам действительно учиться? и Какие существуют значимые пробелы в исследовательской литературе по ИИ в образовании?.