AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Интерпретация и применение исследований в сфере ИИ в образовании

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Интерпретация и применение исследований в сфере ИИ в образовании — как решить, стоит ли действовать на основании вывода об ИИ в образовании, если вы преподаёте, руководите программой, проектируете курс или разрабатываете программное обеспечение. Для работы с этой страницей не нужны знания статистики. Она начинается с вопроса, который реально стоит перед практиком: следует ли мне это делать? — разбирает несколько вещей, которые помогают на него ответить, и оставляет технические детали в более позднем разделе для тех, кто хочет или нуждается в них. Короткая версия: вывод стоит принимать во внимание, когда вы знаете, с чем сравнивали, что измеряли, кого изучали и существует ли инструмент до сих пор в той форме, в которой его изучали. Большинство заявлений, доходящих до преподавателей, администраторов и разработчиков, не проходят хотя бы одну из этих четырёх проверок.

Вопросы для размышления

  • Вендор, новостная история или коллега утверждает, что ИИ-инструмент улучшил обучение. Какую одну вещь вы хотели бы увидеть, прежде чем пробовать его в своём курсе — и знали бы вы, где её искать?
  • У каждой статьи этой базы знаний теперь есть раздел Что это значит для практики, а у большинства — раздел Ограничения. Если читать их вместе, что каждый из них сообщает вам такого, чего не сообщает другой?
  • Студенты практикуются с ИИ-инструментом и лучше справляются с практической работой, но хуже — с экзаменом без открытой книги. Какое число является результатом обучения, который важен для вашего курса — и заметили бы ваши текущие оценки эту разницу?
  • Исследование обещает большое улучшение, но в нём приняли участие 30 студентов одного курса в одном учебном заведении, а версия изученного инструмента уже не та, которой кто-либо пользуется. Какой из этих двух фактов беспокоит вас больше и почему?
  • Многие ИИ-инструменты увеличивают степень использования инструмента студентами, не увеличивая объём их обучения. Если бы вам пришлось выбирать между инструментом, повышающим вовлечённость, и инструментом, повышающим результаты без посторонней помощи, какое доказательство стало бы решающим?
  • Вас просят одобрить или купить инструмент на основании собственных цифр эффективности вендора. Что вы хотели бы узнать о том, как эти цифры были получены?

Введение

Эта страница для тех, кому нужно что-то решить: преподавателю, размышляющему, менять ли задание, Администраторы, взвешивающему пилотный проект, проектировщику учебного процесса, создающему курс, разработчику программного обеспечения, определяющему, что должна делать функция, или исследователю, объясняющему кому-то из них полученный вывод.

Две привычки имеют решающее значение, и ни одна не требует исследовательской подготовки.

Сначала читайте два раздела, написанные для вас. У каждой статьи здесь теперь есть раздел Что это значит для практики — обычно от трёх до пяти конкретных действий, выведенных из данного исследования, — и у большинства есть раздел Ограничения, в котором указано, чего исследование не может подтвердить. Читайте их до выводов исследования, а не после. Раздел о практике говорит, для чего исследование годится; раздел об ограничениях говорит, где оно заканчивается. Если раздел о практике отсутствует или расплывчат, считайте страницу незавершённой, а не доказательством.

Оценивайте заявление, а не уверенность заявления. Заявления об ИИ в образовании обычно точны относительно чего-то и вводят в заблуждение относительно того, что важно для вас, потому что исследование и ваша аудитория различаются по четырём параметрам: с чем сравнивали, что измеряли, кто принимал участие и какая версия инструмента использовалась. Далее на странице даны проверки простым языком, а затем доказательства по каждой из них для тех читателей, которые этого хотят.

Далее следует не замена соседним страницам. Методы исследований ИИ в образовании описывают, как строятся исследовательские дизайны, Ограничения исследований ИИ в образовании каталогизируют повторяющиеся слабости литературы, Оценивание AIED описывает, как оцениваются системы и результаты, а Различия в эффектах между группами учащихся описывает, кого вывод включает и кого не включает.

Четыре вопроса, которые разрешают большинство заявлений

Задавайте их, прежде чем тратить время, деньги или семестр на что-либо.

1. С чем это сравнивали, и было ли сравнение честным? «Студенты, использовавшие ИИ, справились лучше, чем студенты, которые его не использовали» сообщает вам что-то только в том случае, если другие студенты делали что-то реальное. Если сравнение велось с обычной практикой — или ни с чем, — то вывод объединяет инструмент вместе с дополнительным временем, дополнительным вниманием и новизной. На что смотреть: есть ли контрольная группа, получившая правдоподобную альтернативу, и случайное распределение по двум условиям.

2. Что именно измеряли? Именно здесь большинство ярких заявлений незаметно не проходит проверку. Результаты тестов, качество домашних заданий, Мотивация, отношение и вовлечённость сводятся в единое число «достижений», или результат работы при наличии инструмента подаётся как обучение. Обучение, зависящее от наличия инструмента, — не то же самое, что обучение, которое сохраняется. На что смотреть: что измерял инструмент, был ли он валидизирован для данной популяции и измерялся ли результат без ИИ в аудитории.

3. Кого изучали, сколько человек и как долго? Тридцать студентов одного курса — это сигнал, а не результат. Четырёхнедельное вмешательство ничего не может сказать о годе. И исследование студентов, не похожих на ваших, всё ещё полезно — это гипотеза о вашем контексте, а не предсказание. На что смотреть: размер выборки, как набирались участники, одно ли место, продолжительность и была ли какая-либо подгруппа достаточно большой для анализа.

4. Не изменился ли инструмент по сравнению с изученным? Возможности ИИ развиваются быстрее, чем выходят публикации. Вывод 2025 года описывает поколение моделей 2025 года — иногда конкретную версию, иногда конфигурацию, которой никто уже не пользуется. Это не делает вывод ложным; это делает его устаревшим и означает, что заявление следует перепроверить, а не унаследовать. На что смотреть: версия модели и период сбора данных.

Что говорят доказательства о заявлениях об ИИ в целом

Если вы запомните одну вещь с этой страницы, запомните: заглавное число обычно завышено, а сравнение обычно слабое. Это не маргинальная точка зрения — именно об этом сообщают аудиты самой области. Несколько хорошо спроектированных исследований действительно показывают реальный прирост; дело в том, что бремя доказательства лежит на заявлении.

  • Около двух третей среднего эффекта исчезает после корректировки на тот факт, что впечатляющие результаты публикуются, а невпечатляющие — нет. Bartoš et al. (2026) объединили 1840 размеров эффекта из 67 обзоров и обнаружили, что скорректированное среднее составляет примерно одну треть от опубликованной медианы — SMD 0,196 против 0,67.
  • Название продукта — не метод преподавания. Проверяя сравнения, лежащие в основе одной заметной метааналитической работы, Weidlich et al. (2025) обнаружили, что только 21% из них имели чётко определённое вмешательство, контрольную группу и валидную меру обучения, — и заявленное преимущество «использования ChatGPT» оказалось больше, чем у специализированных интеллектуальных репетиторских систем (g = 0,7 против 0,66), что является скорее предупреждением, чем триумфом.
  • Работа с инструментом систематически принимается за обучение. В одном исследовании математики в K-12 студенты, практиковавшиеся с чат-ботом общего назначения, получили лучшие оценки за практику, а затем набрали примерно на 17% хуже сверстников, не имевших доступа к ИИ, на итоговом экзамене без открытой книги (база доказательств Стэнфорда по ИИ в K-12).
  • Собственные обзоры области не выдерживают аудита. Аудит O'Neill (2026) 14 рецензируемых метаанализов, утверждающих, что ИИ улучшает образование, показал, что ни один из них не дал валидного основания для выдвигаемых утверждений, а среди 46 случайно отобранных первичных исследований 61% имели проблемы валидности. Проблема не в одной плохой статье; она в культуре отчётности.
  • Самоотчёты льстят всем. Люди оценивают свои навыки работы с ИИ примерно на 40% выше, чем показывают меры результативности, и именно поэтому опросы удовлетворённости и уверенности являются самым слабым доказательством, на которое можно опираться (Меры самоотчёта, Образовательное измерение).
  • У большинства продуктов, уже находящихся в аудиториях, независимых доказательств нет вовсе. Учебная поездка Instruction Partners 2025–26 гг. охарактеризовала 20 ориентированных на студентов ИИ-продуктов и обнаружила, что из 16 с полными профилями только семь имели независимый обзор, изучавший достижения студентов по различным группам студентов в США; два изучались только за рубежом, по четырём исследования продолжались, а три опирались исключительно на внутренние данные. Авторы утверждают, что независимые причинные исследования, охватывающие приоритетные группы, должны быть ожиданием для всех ориентированных на студентов продуктов, — но пока это не норма для инструментов, которые школы уже используют.

Превращение вывода в решение

Последовательность, которая экономит больше всего напрасных усилий, по порядку.

  1. Сначала сформулируйте желаемый результат. Не «больше использовать ИИ», а «студенты могут делать X без инструмента». Если ваш результат — работа без посторонней помощи, то исследование, измерявшее работу с помощью, — смежное доказательство, а не прямое.
  2. Найдите сравнение и меру — в исследовании или в разделе о практике его статьи. Если чего-то из этого нет, считайте заявление демонстрацией, а не выводом.
  3. Читайте раздел об ограничениях как инструкции, а не как оговорки. «Один курс, самоотчётные результаты, четыре недели» точно говорит, каких из ваших предположений исследование не покрывает.
  4. Проверьте версию и дату. Если исследование использовало поколение моделей двухлетней давности, планируйте повторное тестирование, а не предположения.
  5. Назовите способствующие условия. Стоимость, лицензии, время персонала, правила работы с данными и должны ли студенты платить за тариф, который действительно работает. Исследования редко несут эту информацию, а она определяет, переживёт ли вмешательство семестр. В одном исследовании развития преподавателей из десяти участников все говорили, что будут продолжать использовать ИИ, при этом те же люди описывали личные подписки для доступа к инструментам и отсутствие временной поддержки планировавшихся переработок.
  6. Пилотируйте в малом масштабе и измеряйте условие без поддержки. Короткий замер до/после с одним оцениванием без инструмента лучше опроса удовлетворённости. Малое и честное лучше большого и риторического. См. Проектирование обучения о том, как это вписывается в проектирование курса.
  7. Запишите дату пересмотра в дневник и будьте готовы отказаться от заявления. Когда посылка исследования — возможность, которой больше не существует, честный шаг — снять заявление, а не цитировать его бесконечно; та же дисциплина, которую эта база знаний применяет к собственным страницам.

Слова, которые вы встретите в исследованиях

Простые переводы, чтобы вы могли просмотреть исследование или страницу вендора без подготовки в методах.

  • Размер эффекта — насколько велика была разница, по шкале, где 0 — ничего. Рассматривайте малые значения как «лёгкий толчок», а не «трансформацию».
  • Статистически значимо — маловероятно, что это чистый случай в данной выборке. Это ничего не говорит о том, велик ли эффект и произойдёт ли он в вашем классе.
  • Доверительный интервал — диапазон результатов, которые данные не могут исключить. Если диапазон включает ноль, вывод может означать вовсе ничего, каким бы интересным ни был заголовок.
  • Метаанализ — исследование, объединяющее множество исследований. Мощный инструмент, но лишь настолько хороший, насколько хорошо то, что он объединил, и именно поэтому обзоры подвергаются аудиту.
  • Смещение публикаций — интересные результаты публикуются, а скучные — нет, поэтому среднее по литературе выглядит розовее реальности.
  • Самоотчёт — люди, описывающие себя сами. Полезно для отношения, слабо для компетенций или поведения.
  • Контрольная группа — условие сравнения. Самое важное, на что нужно смотреть.
  • Замер до/после — измерение до и после без контрольной группы. Свидетельствует, но никогда не убеждает.
  • Анализ подгрупп — результаты для части выборки. Обычно недостаточно мощности, поэтому рассматривайте как гипотезу.
  • Репликация — кто-то другой получил тот же результат. Редко и является самым сильным доступным доказательством.
  • Бенчмарк — фиксированный набор задач для оценки систем. Очки меняются вместе с целью, поэтому проверяйте дату.

Когда всё равно стоит замедлиться

  • Заявление исходит от вендора, по метрикам вендора. Это всё ещё может быть информативно — один провайдер ИИ-репетиторства сообщает о метрике вовлечённости, откалиброванной относительно человеческих экспертов до F1 0,83, с улучшениями, полученными более чем в 40 экспериментах за пять месяцев (Udeshi et al., 2026) — но конструкт, оценщики и метрика — это выбор вендора. Спрашивайте про контрольную группу и результат без посторонней помощи.
  • Автоматическое оценивание считается решённой задачей. Высокое согласие с человеческими оценщиками — это надёжность, а не качество. В одном исследовании оценивания человеческие оценщики соглашались с консенсусом нескольких оценщиков примерно на r = 0,88, поэтому автоматические оценки около r = 0,85 уже достигали собственного измерительного потолка задачи (Когда можно доверять оцениванию ИИ).
  • Список литературы делает основную работу. Тридцать библиографических записей с достоверно сфабрикованной библиографической информацией были подтверждены в 14 статьях по информатике в образовании, все из 2025 и 2026 гг. (Denny et al., 2026). Если заявление опирается на цитату, проверьте цитату.
  • Никто не измерил поведение, от которого зависит ваша политика. Среди 493 дедуплицированных записей и 14 приоритетных исследований ни одно не измерило, удалась ли верификация и что учащийся затем сделал с её результатом, по сравнению с независимым стандартом качества результата (верификация и калибровка опоры). Политики курсов зависят именно от этого поведения.

Если вы создаёте или покупаете инструмент

Те же проверки превращаются в требования к дизайну, а детали содержатся на страницах оценивания базы знаний (Оценивание AIED, Автоматизированное оценивание).

  • Сделайте сравнение частью спецификации функции. Определите, чем занимался бы учащийся иначе, и будьте в состоянии объяснить, почему ваш инструмент лучше этого, — а не почему он лучше, чем ничего.
  • Измеряйте условие без поддержки. Если ваш результат — обучение, включите задание, выполняемое без инструмента; только результаты работы с помощью введут вас в заблуждение так же, как и ваших покупателей.
  • Сообщайте, как были валидизированы ваши автоматические суждения — эталонный стандарт, цель калибровки, кто выносил решения при расхождениях — и подавайте это как надёжность, а не как качество.
  • Указывайте версию и дату в любом заявлении об эффективности, потому что ваш следующий релиз сделает его недействительным.
  • Покажите противовесы: стоимость на студента, Доступность, обработка данных и что происходит с учащимися на бесплатном тарифе. См. Раскрытие использования ИИ, Приватность и Управление ИИ.

Для читателей, которым нужны доказательства

Приведённые выше проверки — не народная мудрость; они взяты из документированных неудач в этой литературе. Этот раздел сохраняет детали для тех, кто рецензирует статью, защищает решение или доказывает, что инструмент следует оценивать должным образом.

У провалов валидности есть распределение, а не просто наличие. В 46 проверенных исследованиях O'Neill (2026) самой распространённой проблемой было несоответствие зависимой переменной (n = 15) — мера не фиксировала то, что утверждало заявление, — за которым следовало несоответствие независимой переменной (n = 11), проблемы экспериментального дизайна (n = 7), проблемы извлечения данных (n = 6), отсутствие контрольной группы (n = 6) и неслучайное распределение по группам (n = 6). Из 14 метаанализов двенадцать трактовали несколько размеров эффекта, взятых из одного и того же первичного исследования, как независимые, что завышает видимую базу доказательств.

Заявления о подгруппах обычно неразрешимы в исследованиях, которые их делают. Микро-РКИ по естествознанию для GCSE сообщает о взаимодействии воздействия и статуса 0,57 балла (95% CI -2,25 до 3,39) со стратифицированными оценками g = 0,28 (95% CI -0,04 до 0,59) для одной группы и g = 0,35 (95% CI 0,18 до 0,52) для другой. Интервал, пересекающий ноль, — не вывод об справедливости; это вопрос для локального пилота.

Синтез может соответствовать своему собственному протоколу и при этом объединять невзвешенное качество. Doğan et al. (2026) прямо заявляют, что не использовали формальный инструмент оценки качества, считая свои критерии включения порогом строгости, поэтому квазиэкспериментальное и рандомизированное исследование внесли равный вклад, — а их неоднородность читается как I² = 82,98% при модели с фиксированным эффектом, но 15,75% при модели со случайными эффектами, и именно поэтому показатель неоднородности, процитированный без указания модели, не может сказать, насколько непоследователен корпус.

Валидация автоматического суждения — часть результата. Согласие с человеческими кодировщиками — это утверждение о надёжности, и указанный выше потолок объясняет, почему оно не то же самое, что качество (машины неверно истолковывают педагогическое качество).

Возраст инструмента — ограничение первого класса. В обзоре оценивания с помощью ИИ отмечается, что его собственные выводы отражают конкретные версии моделей в конкретные моменты времени и что движение в области делает любое описание возможностей моделей потенциально устаревшим в течение месяцев (Оценивание и преподавание с помощью ИИ в высшем образовании). Ограничивайте заявления об их охвате их поколением: «генеративный ИИ улучшил X» не переносится, тогда как «инструменты эпохи GPT-4, в данной задаче, с данным Скаффолдинг» — переносится.

Цели бенчмарков меняются, поэтому результат, который система сегодня насыщает или не выполняет, может обратиться при следующем релизе; проверки на насыщение и загрязнение должны находиться рядом с любым заявлением, основанным на бенчмарке.

Чтение этой литературы наряду с её собственными критиками — здесь нормальная практика. Контрольные списки для авторов и рецензентов находятся в разделе FAQ об отчётности и интерпретации исследований ИИ, а привычки оценки с этой страницы сочетаются с Разработкой теории ИИ в образовании, когда заявление является теоретическим, а не эмпирическим.

Короткий контрольный список

  1. Сформулируйте свой результат в одном предложении, включая, присутствует ли в нём инструмент.
  2. Найдите сравнение. Нет правдоподобного сравнения — нет решения.
  3. Соотнесите меру со своим заявлением и предпочитайте результат без посторонней помощи.
  4. Уменьшите число: читайте скорректированный на смещение эффект, а не заголовок.
  5. Проверьте версию модели и даты исследования.
  6. Читайте раздел об ограничениях как инструкции о том, чего вы ещё не знаете.
  7. Оцените стоимость: лицензии, тарифы, время персонала, правила работы с данными.
  8. Пилотируйте в малом масштабе с мерой без посторонней помощи, а затем решайте.
  9. Запишите дату пересмотра через год в дневник и будьте готовы снять заявление.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Дизайн исследованияLiterature Review
Целевая аудиторияInstructors, Administrators, Instructional Designers, Software Developers, Researchers
Оценивание и измерениеВалидность оценивания, Образовательное измерение, Меры самоотчёта, Прирост в обучении
Методы исследований и оценкаОценивание ИИ-образования, Бенчмарк, Методы исследования в AIED, Мета-анализ и систематический обзор, Количественное исследование
Справедливость, этика и ответственное использованиеЗаявления об использовании ИИ и раскрытии информации
Основы ИИ в образованииОграничения исследований в области ИИ в образовании
Вид страницыEvaluation, Framework
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.