Каковы лучшие практики представления и интерпретации исследований об ИИ в образовании?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Вы описываете исследование об ИИ в образовании, чья претензия уже опережает свою конструкцию, или рецензируете такое исследование и решаете, означает ли что-нибудь число из заголовка. В любом случае решают одни и те же шесть упущений: какая система ИИ была фактически использована, что она была настроена делать, какую педагогическую роль играла, спроектировали ли люди или отредактировали её результат, что действительно зафиксировала мера исхода и что сделали авторы по поводу смещения, стоимости и ограничений. Автор, который их опускает, представляет исследование, которое невозможно оценить; рецензент, который их не ищет, не может отличить спроектированное вмешательство от переработанной демонстрации инструмента. «Не поддаётся оценке» — а не «подтверждено» и не «опровергнуто» — вот честный вердикт, когда они отсутствуют.

Ставки не гипотетические. O'Neill (2026) аудитировал 14 рецензируемых мета-анализов, утверждающих, что ИИ улучшает образование, и обнаружил, что ни один не дал валидной основы для выдвинутых претензий. Bartoš et al. (2026) объединили 1,840 размеров эффекта из 67 мета-анализов и обнаружили, что после моделирования публикационного смещения средний эффект падает примерно до одной трети от опубликованной медианы (SMD = 0.196 против 0.67). Denny et al. (2026) верифицировали 30 фабрикованных ссылок в 14 работах по вычислительной педагогике, все опубликованных в 2025 или 2026 году, — дефект, который доходит до читателей именно потому, что рецензенты не могут проверить каждую запись в списке литературы. Дисциплина отчётности решает, можно ли вообще использовать доказательную базу области. О проектных решениях под ней см. Research Methods in AI in Education; о каталоге режимов отказа — Limitations in AIEd Research. О стороне читателя — что практик делает со статьёй после её появления, — см. Interpreting and Applying AIEd Research.

Краткая версия

Шесть шагов решают, выживет ли ваша претензия при рецензировании:

1. Опишите систему ИИ как воздействие, а не как поставщика. Модель, версия, конфигурация, промпты, роль и спроектировали или отредактировали ли люди результат.
2. Изложите педагогическое обоснование и активное сравнение. Название продукта — это не метод; обычная практика — это не честный контроль.
3. Согласуйте меру с претензией. Что фиксирует инструмент, его валидация для данной популяции и был ли исход отсроченным и без посторонней помощи.
4. Валидируйте каждое автоматическое суждение. Назовите золотой стандарт, цель калибровки и кто арбитрировал расхождение.
5. Сообщайте неопределённость анализа, а не только точечную оценку — зависимые эффекты, τ², интервалы предсказания, размеры подгрупп, оценку публикационного смещения.
6. Сообщайте контрбалансы: процедуру этики и управления, вычислительную и экологическую стоимость, собственное использование ИИ, нулевые результаты и только проверенные вами цитаты.

Решите, что вы будете говорить о системе ИИ — и напишите это так, чтобы кто-то мог это воспроизвести

Это проверка, которую проваливает большинство представляемых работ. Фреймворк RAISE (Reporting AI Studies in Education, Allison 2026) — это чек-лист из 30 пунктов по десяти тематическим областям, и его диагностическая претензия скорее конкретна, чем риторична: представления систематически опускают, какая модель использовалась (GPT-4, Claude или собственный алгоритм), как она была настроена (промпты, параметры дообучения), какую роль играла (генератор обратной связи, соавтор, тьютор, оценщик) и спроектировали или отредактировали ли человеческие акторы её результаты. Это оставляет рецензентам четыре неотвечаемых вопроса: «Что именно делал ИИ?», «Был ли он необходим?», «Воспроизводимо ли это?» и «Достоверны ли претензии об обучении?»

Он проходит от образовательного обоснования через спецификацию на уровне API, взаимодействие учащийся–ИИ, доступность и культурную пригодность, участников и обстановку, участие людей, проектирование, этику, прозрачность и воспроизводимость до ограничений. Его компаньон — Этическая и рисковая матрица — охватывает риски для Автономность учащегося учащегося, equity, Управление ИИ данных и алгоритмической прозрачности. Hwang, Xie, Wah and Gašević (2026) предлагают упрощённую альтернативу — TEP-AIED, которая сводит Прозрачность, Этику и Педагогику в одну взаимозависимую структуру, поставляет таблицу-руководство, отображённую на семь разделов статьи, и просит авторов добавить подраздел Метода с названием «Transparency, Ethics, and Pedagogy Considerations», — потому что, по их мнению, RAISE всеобъемлющ, но слишком детализирован для рутинного эмпирического использования. Раскрытие лежит в рамках Заявления об использовании ИИ и раскрытии информации и именно оно делает проверяемыми претензии о Приватность и Этика.

Решите, является ли ваше воздействие методом или продуктом

Образовательное обоснование — первая область RAISE, потому что ИИ не нейтральный инструмент: ценность зависит от согласованности между учебной задачей, теоретическим обоснованием и отображением целей на меры исхода. O'Neill (2026) обнаружил, что все аудированные мета-анализы, кроме двух, определяли воздействие как инструмент — ChatGPT, GenAI, «ИИ», — и что название продукта — это не Педагогики и стратегии преподавания; трактовка экспозиции к ChatGPT как одного общего вмешательства сопоставима с мета-анализом эффектов «бумаги». Weidlich et al. (2025) приводят тот же аргумент для первичных исследований: аудитируя подвыборку сравнений за известным мета-анализом, они обнаружили, что только 21% имели хорошо определённое воздействие, контрольную группу и валидную меру обучения, и что сообщённый размер эффекта (g = 0.7) превышал размер эффекта для специально построенных intelligent tutoring systems (0.66) — красный флаг, что «воздействие» было гетерогенным секретным соусом, а не названным методом.

Проверка: мог бы компетентный читатель воспроизвести ваше вмешательство из одного лишь раздела «Метод» и получить то же самое?

Решите, что измеряет ваш инструмент и что поэтому может утверждать претензия

В доказательной проверке O'Neill из 46 случайно отобранных первичных исследований 28 (61%) предъявляли проблемы валидности, причём наиболее частым было рассогласование зависимой переменной (n = 15), далее следовали рассогласование независимой переменной (n = 11), проблемы экспериментального проектирования (n = 7), проблемы извлечения данных (n = 6), отсутствие контрольной группы (n = 6) и нерандомизированное распределение по группам (n = 6). Многомерные исходы рутинно объединялись как взаимозаменяемые — результаты тестов, качество домашних заданий, Мотивация, Самоэффективность, установки и engagement схлопывались в одно число «академических достижений».

Две привычки отчётности это предотвращают. Изложите, какую конструкту измеряет инструмент и что он был валидирован для данной популяции: см. Меры самоотчёта о том, где меры, основанные на восприятии, расходятся с поведением, и Валидность оценивания о валидности конструкции. Затем сообщите исход, не зависящий от убеждения учащегося о вспомогательном средстве, потому что немедленная эффективность при поддержке — это не learning gain: a 2026 mini review of 493 records and 14 priority studies обнаружил, что ни одно не измеряло успех проверки и последующее решение об опоре совместно против независимо арбитрированного стандарта качества результата, и лишь немногие смотрели дальше немедленной эффективности на отсроченное удержание или перенос. The evidence for durable learning остаются смешанными, а cognitive offloading — это механизм, который наиболее правдоподобно разделяет эти два.

Решите, как были валидированы ваши автоматические суждения

AIED evaluation всё чаще делегирует оценивание моделям, что делает процедуру валидации частью результата, а не приложением. Отчёт Khan Academy о метриках её AI tutor сообщает, что когнитивная вовлечённость оценивается судьёй на основе Большие языковые модели (LLM), откалиброванным против человеческих экспертов по педагогике при F1 0.83, и что движения метрик происходили за счёт более чем 40 живых экспериментов за пять месяцев, а не офлайн-оценивания (Udeshi et al. 2026). Tseng et al. (2026) показывают, что расхождение человек–машина о качестве pretest question систематично, а не случайно, и что операционализация рубрики важнее, чем промптирование «сначала обоснование».

Согласие с человеческими кодировщиками — это не качество, и сообщать о нём как о качестве — значит мишень для рецензента. Liu et al. (2026) заставили независимого эксперта-судью ослеплённо оценить 855 парных наборов кодов, обнаружив, что согласие человек–LLM (средний Jaccard 0.30) существенно ниже согласия человек–человек (0.52), тогда как ослеплённый верификатор предпочитал человеческую и машинную кодировку с неотличимыми частотами (51.5% против 48.5%, p = 0.537). Сообщайте цель калибровки, золотой стандарт и кто его арбитрировал.

Решите, честно ли сравнение и насколько далеко идёт претензия

Честность и охват отказывают одинаково: большой эффект, который значит меньше, чем кажется. 11 из 14 аудированных мета-анализов не задали границу популяции, поэтому «студенты» охватывали детей и медицинских стажёров; один курс, одно учебное заведение, одна дисциплина или одна страна не дают права на общую претензию, а результаты для одного инструмента редко переносятся на другой. Эффекты новизны, дополнительное время на задании и условие сравнения, получившее обычную инструкцию вместо активного контроля, — обычные объяснения большого эффекта, поэтому сообщайте, что контроль фактически делал, сколько времени потратил каждый рукав и насколько новым был инструмент. Изложите и границу популяции, потому что эффекты различаются между группами учащихся и незаявленная граница — это то, что позволяет одному объединённому числу стоять за всеми ними (см. Differential Effects Across Learner Groups). Относитесь и к инструменту как к движущейся мишени: проприетарные системы меняются без уведомления, поэтому находка привязана к версии модели, и Бенчмарк, поразивший в одном релизе, может не устоять в следующем.

Решите, что может поддержать ваш анализ — и сообщайте его неопределённость, а не только заголовок

Для синтезов сообщайте обработку зависимых эффектов, между-исследовательскую дисперсию, интервалы предсказания и оценку публикационного смещения, а не только I². O'Neill обнаружил, что сообщённая гетерогенность была тяжёлой везде, где она была указана (I² от 77.2% до 94.4% по 13 мета-анализам, 12 из них выше 80%), и никогда не разрешалась (ни один анализ модераторов не достиг минимального размера подгруппы в десять исследований), что 12 мета-анализов трактовали зависимые размеры эффекта из одного исследования как независимые — раздувая кажущуюся доказательность, — и что только четыре сообщили между-исследовательскую дисперсию (τ²) и только два — интервал предсказания, причём оба включали ноль. Публикационное смещение нигде не было валидно оценено.

Поскольку I² зависит от точности, цифра гетерогенности должна путешествовать со своей моделью: Limitations in AIEd Research документирует один синтез, чья гетерогенность равна I² = 82.98% при модели фиксированного эффекта и 15.75% при случайных эффектах, поэтому читатель, получивший только первое число, не может сказать, насколько непоследователен корпус. Сообщайте τ² и интервал предсказания рядом с ней; см. meta-analysis and systematic review для конвенций со стороны обзора и снижайте заголовок соответствующим образом — скорректированная на смещение средняя Bartoš и др. составила SMD = 0.196 с интервалом предсказания от −1.521 до +1.908, охватывающим существенный вред и существенную пользу для гипотетического нового исследования.

Решите, что раскрывать об этике, стоимости, управлении — и о собственном использовании ИИ

Обзор всех статей конференции AIED 2025 обнаружил паттерн «использование LLM без раскрытия»: большинство проектов использовали LLM, но менее нескольких сообщили о потреблении ресурсов или углеродном следе. Эта работа поставляет метод с открытым исходным кодом с инструментами измерения для локального и облачного оборудования плюс формулу оценки вычислительных расходов фронтирных моделей, чьи числа параметров не раскрыты, и утверждает, что несообщение этих стоимостей само по себе является этической проблемой. Добавьте управление данными, согласие и доступность/культурную пригодность (пункты RAISE; Универсальный дизайн для обучения, Доступность) — см. Как исследования ИИ в образовании должны учитывать справедливость, доступность, конфиденциальность, этику и педагогическую безопасность? для более полного рассмотрения этих обязательств.

Ваше собственное использование ИИ в исследовательском процессе требует того же раскрытия. Zabaleta and Lin's PRISMA-LLM analysis по 888 работам по автоматизации обзоров показывает, насколько неровно это отчётность: с 2023 года 38.0% работ о программном обеспечении/продуктах не сообщили ни об одной оценке (против 9.3% работ об LLM), средняя богатость отчётности составила 6.3 для работ об LLM против 3.3 для работ о программном обеспечении/продуктах, и 84.1% использования LLM опиралось на проприетарные или хостируемые системы при лишь 4.9% с открытыми весами. Их фреймворк отделяет раскрытие реализации от оценки, чувствительной к последствиям, через пять уровней раскрытия — работоспособный шаблон для описания того, что инструмент делал в обзоре. Dai and Chan (2026) добавляют авторскую картину: 27 из 28 аспирантов использовали GenAI на разных этапах — генерация идей, обзор литературы, объяснение, обработка данных, программирование, academic writing, редактирование и перевод, — калибруя использование под ставки и дисциплинарные нормы, отмечая при этом, что институциональные политики адресуют преподавание и оценивание, а не исследовательскую практику.

Решите, что делать с нулевыми результатами и цитатами

Denny и др. верифицировали 30 фабрикованных ссылок в 14 работах, причём проверенное число на одном техническом симпозиуме выросло с 3 в 2025 году до 17 в 2026 (2.3% статей в трудах этого года) — а LLM-ассистированное составление текста делает правдоподобно изобретённую цитату дешёвой в производстве. Их контрмеры важны, когда вы цитируете этот аудит: большинство помеченных ссылок были безобидными — 229 были рассогласованиями метаданных ACM, где PDF был корректен, и 188 были валидными библиографическими вариантами, — поэтому число фабрикаций — это намеренная нижняя граница, а безобидное большинство — не ошибка округления. Проверяйте каждую запись, которую вы не можете проверить лично.

Сообщение нулевых и негативных находок — другая сторона той же монеты. Bartoš et al. (2026) обнаружили сильные доказательства подавления нулевых результатов (каждый тест Эггера p < .0001) и крайнюю гетерогенность (τ = 0.869), причём ни одна подгруппа по исходу, области, уровню или роли ИИ не показала последовательных выигрышей. Они также не обнаружили различий между исследованиями, опубликованными до и после января 2023 года, что подрывает претензию, будто современные генеративные инструменты специфически производят выигрыши.

Документированные слабости области, в её собственных числах

Базовые частоты, относительно которых следует взвешивать претензию:

• Валидность: 28 из 46 проверенных первичных исследований (61%) имели проблемы валидности; только 21% аудированных сравнений имели хорошо определённое воздействие, контрольную группу и валидную меру.
• Нераспутанная гетерогенность: I² от 77.2% до 94.4% по 13 мета-анализам, 12 выше 80%, ни один анализ модераторов не достиг минимума в десять исследований, зависимые эффекты трактовались как независимые в 12, и только четыре синтеза дали τ² против только двух с интервалом предсказания.
• Публикационное смещение: не оценено ни в одном из 14 аудированных мета-анализов; каждый тест Эггера в большем пуле был значимым (p < .0001), при τ = 0.869.
• Ссылки: 30 фабрикаций в 14 работах, 17 на одном симпозиуме 2026 года — 2.3% трудов этого года.

Возражения, которые вы услышите

«Рецензенты хотят новизны, а не деталей метода». Журналы движутся в обратном направлении: RAISE и TEP-AIED дают редакторам конструкцию, которую можно требовать, а подраздел Метода в TEP-AIED — точка входа с низким трением. Детали метода — это то, что превращает неоценимую статью в цитируемую.

«У нас нет места». Пять уровней раскрытия — это уровни отчётности, а не уровни риска, поэтому глубина оценивания конвейера может занять предложение-два. Версия, промпты и роль помещаются в короткий абзац; стоимость и управление — в предложение об ограничениях.

«Все сообщают так». Это и есть находка, а не защита — 61% проверенных первичных исследований с проблемами валидности, 12 из 13 мета-анализов выше 80% гетерогенности, 38.0% работ о программном обеспечении/продуктах без оценки. Норма и есть дефект.

«Наш инструмент проприетарный, поэтому мы не можем сообщить модель». Сообщите версию, дату доступа, конфигурацию, предоставленные вами промпты, роль и ограждения. Если поставщик не скажет, это ограничение принадлежит ограничениям как предел претензии.

«Сообщение нулей навредит нам». Подавленные нули — это документированный механизм за скорректированной на смещение средней SMD = 0.196; их публикация — это то, что сохраняет читаемость вашего положительного результата.

Чек-лист перед подачей

• Сообщите: модель, версию, конфигурацию и промпты, а также роль ИИ в проектировании. Проверьте: могли бы вы воспроизвести вмешательство из одного лишь раздела «Метод»?
• Сообщите: педагогическое обоснование и активное условие сравнения. Проверьте: является ли воздействие названным методом, а не названием продукта?
• Сообщите: что фиксирует каждая мера, её валидацию для данной популяции и отсроченный или невспомогательный исход. Проверьте: согласуется ли заголовочная претензия с зависимой переменной?
• Сообщите: кто арбитрировал автоматические суждения, против какого золотого стандарта, с каким согласием. Проверьте: используются ли точность или согласие так, как будто они были качеством?
• Сообщите: обработку зависимых эффектов, τ², интервалы предсказания, размеры подгрупп модераторов и оценку публикационного смещения. Проверьте: цитируется ли гетерогенность со своей моделью и своей точностью?
• Сообщите: участие людей, управление данными, согласие, доступность и культурную пригодность, плюс вычислительную и экологическую стоимость. Проверьте: подкреплены ли претензии об этике описанной процедурой, а не заявленными принципами?
• Сообщите: использование ИИ внутри исследовательского процесса, по всем пяти уровням раскрытия. Проверьте: был ли вообще оценён конвейер рецензирования или анализа?
• Сообщите: нулевые, негативные и дисконфирмирующие результаты рядом с положительными. Проверьте: снижен ли размер эффекта на вероятное публикационное смещение?

Что действительно подняло бы стандарт

Лекарства в этой литературе институциональны, а не индивидуальны. O'Neill рекомендует обязательную прозрачность данных для мета-анализов — полные таблицы размеров эффекта, структуры зависимостей, τ² и интервалы предсказания, — плюс более сильный гейткипинг со стороны рецензентов и редакторов и работающую практику отзыва статей, с аргументом, что эти отказы — продукты провалившегося гейткипинга, а не изолированные ошибки. PRISMA-LLM предлагает пять уровней раскрытия как уровни отчётности, а не уровни риска, так чтобы глубина оценивания конвейера обзора излагалась прямо; RAISE и TEP-AIED дают журналам конструкцию, которую можно требовать в представлениях. О смежной почве см. notable gaps in the research literature, Limitations in AIEd Research и measures and methods for evaluating AI-related interventions. Одно дешёвое лекарство лежит на авторах: каждая страница статьи в этой базе знаний теперь соединяет исследование с разделом What this means for practice и обычно с разделом Limitations, поэтому написание статьи так, чтобы оба можно было честно заполнить — действие, которое мог бы предпринять практик, и ограничение на него, — это привычка отчётности в той же мере, что и привычка письма (см. Interpreting and Applying AIEd Research).