AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Ограничения исследований в области ИИ в образовании

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Ограничения исследований в области ИИ в образовании (AIEd) — повторяющиеся слабости и ограничения, влияющие на то, какую степень уверенности можно иметь в результатах исследований ИИ в образовании и как читателям следует их интерпретировать. Они пронизывают отдельные исследования: методологические ограничения (обобщаемость, размер выборки, валидность, самоотчёт), проблема скорости (ИИ и научные результаты быстро устаревают, тогда как публикация отстаёт), ограничения научно-практического характера (воспроизводимость, практики FAIR, проприетарные инструменты) и слабое использование теории. Методологические ограничения измеримы, а не впечатленны: в критическом обзоре 80 исследований HCI о критическом мышлении с ИИ 42 (52%) не проводили контрольную группу, а большинство остальных опирались на самоотчёт, поэтому положительные результаты поля опираются на дизайны, не способные отделить эффект ИИ от обычной рефлексии (A Critical Review of Critical Thinking in HCI Research About AI). Кодирование исходов неровно точно так же: систематический обзор 103 исследований высшего образования распределил свой корпус по четырёхуровневой типологии исходов и поместил 56% его в единственный условный паттерн, в котором уверенность и мотивация росли без соответствующего прироста устойчивой компетенции (Generative AI in higher education: A systematic review of empirical uses, outcomes, and risks). Признание этих ограничений существенно для критического чтения литературы и для проектирования более сильных исследований.

Вопросы для размышления

  • Сколько бы вы доверяли заголовку вида «репетиторство на ИИ повышает результаты обучения на 30%», если бы узнали, что он получен на 30 студентах одного курса в одном учреждении? Страница отмечает обобщаемость и малые выборки как повторяющиеся ограничения — что бы вы хотели знать, прежде чем действовать на основании любого отдельного результата?
  • Поразительное ограничение — «проблема скорости»: ИИ эволюционирует быстрее, чем результаты успевают публиковаться, поэтому исследование одного поколения моделей может уже описывать устаревшую систему. Как это должно изменить степень уверенности, которую вы оказываете исследованиям ИИ в образовании?
  • Многие исследования опираются на сообщаемые самими участниками установки и характер использования, которые предвзяты: люди переоценивают свою компетентность и занижают сведения о недобросовестном использовании. Отвечали ли вы когда-нибудь в опросе о своих навыках или поведении так, что это не совпадало с реальностью? Почему меры, основанные на восприятии, так часто расходятся с объективной успешностью?
  • Страница отмечает, что знакомые рамки, такие как таксономия Блума, часто неверно читаются как строгие лестницы, и что даже широко используемые теории, такие как теория когнитивной нагрузки, были поставлены под сомнение. Когда вы видели, что теория приводилась как устоявшаяся истина в контексте, где её собственные доказательства на самом деле оспаривались?
  • Большинство исследований ИИ зависит от проприетарных, непрозрачных моделей, чьи данные и обновления вы не можете изучить. Если вы не можете проверить, какая именно модель дала результат, скольким утверждениям, построенным на нём, вы можете доверять, — и что сделало бы результаты более воспроизводимыми?
  • Если вы преподаватель или проектировщик, у которого нет времени читать первичные исследования, как вы решаете, какие утверждения об ИИ достаточно достоверны, чтобы изменить вашу практику, — учитывая, что литература фрагментирована, предварительна и написана для исследователей?

Введение

ИИ в образовании — это быстро движущаяся, разнородная область, и её доказательная база несёт характерный набор ограничений, которые исследователи, практики и политики должны взвешивать при использовании любого результата. Некоторые из них разделяются с более широкой литературой по наукам об обучении и психологии; другие усилены или сделаны уникальными самой природой ИИ. Эта страница организует их по четырём сквозным областям.

Методологические ограничения

Страница базы знаний методы исследований детализирует сильные и слабые стороны каждого дизайна. Несколько ограничений повторяются во всех дизайнах и заслуживают особого внимания:

  • Обобщаемость. Результаты одного курса, учреждения, дисциплины или национального контекста могут не переноситься. Малые, удобные или одноучрежденческие выборки ограничивают внешнюю валидность; результаты для одного инструмента ИИ редко распространяются на другой инструмент или контекст.

  • Межстрановые сравнения убеждений несут риск измерения. Опрос 1 405 учителей K-12 в пяти странах использовал автоматический машинный перевод без обратного перевода или проверки инвариантности измерения и измерял озабоченность плагиатом и креативностью единичными пунктами, поэтому его страновые контрасты нельзя читать как эквивалентные конструкты (Xiu et al. (2026)).

  • Строгость на уровне синтеза — отдельная ось от строгости первичных исследований. Мета-анализ может удовлетворять собственным критериям включения и всё равно объединять исследования, различающиеся по дизайну, точности внедрения и мере исходов, ничего из этого не взвешивая: Doğan и соавторы (2026) прямо заявляют, что не использовали формальный инструмент оценки качества и рассматривали критерии включения как порог строгости, поэтому квазиэкспериментальное и рандомизированное исследование вносили равный вклад в объединённую оценку STEM. Тот же обзор показывает связанный риск в отчётности: его гетерогенность приводится как I² = 82,98% при модели фиксированного эффекта и I² = 15,75% при модели случайных эффектов, то есть читатели, берущие одно число гетерогенности без его модели, не могут сказать, насколько непоследователен корпус на самом деле. Оценивайте синтез по тому, как он обработал зависимые размеры эффекта, качество и гетерогенность, а не только по тому, следовал ли он протоколу поиска.

  • Дизайн поиска задаёт числовые заголовки синтеза. В обзоре с определением границ 195 исследований подготовки учителей цифровая компетентность и TPACK были явными дескрипторами поиска, тогда как проектирование обучения и оценивание не имели эквивалента, поэтому приводимые 46,5% и 1,9% описывают полученный корпус, а не область (Patiño Hernández et al. (2026)).

  • Малые размеры выборки. Многие исследования AIED имеют недостаточную мощность — слишком мало участников, чтобы надёжно обнаружить значимые эффекты или поддержать сильные утверждения, которые из них иногда делают.

  • Итоговые оценки могут скрывать изучаемое. В обзоре по PRISMA 103 исследований высшего образования 56% сообщали о приростах, обусловленных скаффолдингом или верификацией, а нулевые различия в оценках часто сопровождали реальные изменения в процессе — больше отладки, больше циклов проверки, — поэтому одни оценки не могут сказать, укрепила ли практику GenAI или выхолостила её (Hawi и Samaha (2026)).

  • Дизайн валидизации может сфабриковать числовой заголовок. Nanayakkara и Halloluwa (2026) протестировали пятнадцать моделей на распознавании знакомства по данным ЭЭГ и показывают, что стандартная стратифицированная перекрёстная валидизация допускает утечку по времени и даёт до 0,9853 F1, тогда как независимая от испытаний валидизация Group K-Fold снижает пик до 0,6038 F1 — всё ещё выше случайного уровня, но далеко от приводимого результата.

  • Бенчмарки могут поставлять те отказы, о которых сообщают. Экспертная перепроверка 250 отклонённых заданий по физике отнесла 238 (95,20%) к ошибкам бенчмарка или проверяющего и только 12 (4,80%) к подлинным ошибкам модели, поэтому измеренная частота ошибок модели не может упасть ниже частоты дефектов инструмента (Ansari et al. (2026)).

  • Валидность и измерение. Валидность конструкта часто тонка: прокси для «обучения», «вовлечённости» или «грамотности» широко варьируются, а инструменты не всегда валидизированы для изучаемой популяции или конструкта. Точность бенчмарка не равна образовательной эффективности.

  • Данные самоотчётов и опросов. Значительная доля корпуса опирается на сообщаемые установки, мотивацию и характер использования. Самоотчёт подвержен искажению: респонденты переоценивают компетентность, занижают недобросовестное использование и неверно судят о своём поведении, — поэтому меры, основанные на восприятии, часто расходятся с объективной успешностью (см. How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures и Образовательное измерение).

  • Контекст и отчётность о валидизации можно измерить по всей литературе. Обзор по PRISMA-ScR 421 исследования применения НЛП к комментариям в оценке преподавания студентами обнаружил страну неустановленной в 221 исследовании, одноучрежденческий охват в 232 из 284 разрешённых случаев (81,7%), внешнюю валидизацию в 33 (7,8%) и согласие между разметчиками в 54 (12,8%) (Eicher и da Silva (2026)).

  • Богатство отчётности измеримо, и его предсказывает тип метода. В 888 статьях об автоматизации обзоров 38,0% статей о программных продуктах и продуктах с 2023 года не сообщали ни об одной оценке против 9,3% статей про LLM, а 52% из 118 статей про LLM только с положительными результатами всё же отмечали непройденный порог надёжности — это паттерн за пятью уровнями раскрытия в PRISMA-LLM (Zabaleta и Lin (2026)).

  • Стандартизация внутри каждого набора данных может скрыть неверное утверждение о разбросе. Когда синтетические образовательные когорты стандартизовались по собственной дисперсии, то, что их недельная структура варьировалась в 2,6–4,9 раз меньше, чем у реальных когорт, стало невидимым для приводимой статистики, — рутинная предобработка, по словам авторов, а не гипотетическое опасение (Inoue и Yasutake, 2026).

  • Разметки, созданные моделью, не являются истиной по определению. Там, где метки, на которых обучают или которыми оценивают систему, сами произведены языковыми моделями, согласие между разметчиками не может установить валидность: Bernado et al. (2026) никогда не валидизировали свои аннотации утверждений против человеческих эталонных меток, а 49 классификаторов-энкодеров, которые они выпускают, наследуют это происхождение и могут быть невалидны там, где приложения различаются по значимым измерениям. Их схема также строго уступала дообученному классификатору, обученному на экспертно размеченных данных (macro-F1 0,673 против 0,76), оставляя размеченные экспертами корпусы целесообразными, когда требуется высокая уверенность.

Проблема скорости: ИИ эволюционирует быстрее, чем результаты

ИИ меняется непрерывно, и выводы, сделанные по любой данной модели или системе, могут быстро стать устаревшими. Исследование одного поколения Большие языковые модели (LLM) может не описывать следующее; оценки бенчмарков, качество репетиторства и даже практическая полезность результата меняются по мере улучшения моделей. Усугубляя это, процесс публикации медленный — от проектирования исследования до рецензируемой публикации может пройти год или больше, — поэтому опубликованный результат может уже описывать устаревшую систему. Рецензенты и читатели должны поэтому трактовать результаты AIEd как предварительные, чувствительные ко времени утверждения, а не как устойчивые истины, и предпочитать недавние, ориентированные на репликацию и явно указывающие версии работы.

Thoeni и Fryer (2026) делают это следствие конкретным для одной литературы: поскольку системы на базе RAG стали общедоступны только в ноябре 2023 года, они утверждают, что результаты об интеллектуальных репетиторах до 2023 года, опирающиеся на основанные на правилах, сопоставлении по ключевым словам или эвристические системы НЛП, которые мало функционально похожи на современные большие языковые модели, следует трактовать как исторический контекст, а не как непосредственно сопоставимые доказательства, и сообщают, что их обзор не нашёл ни одного опубликованного РКИ, изучающего чат-бота на базе RAG в бакалаврском образовании за полный академический семестр. Следствие состоит в том, что фундаментальные вопросы о том, как GenAI влияет на обучение, возможно, придётся задавать заново к каждому новому поколению моделей, а не разрешать объединением старых результатов.

Ограничения научно-практического характера

Несколько ограничений касаются проведения и инфраструктуры самого исследования:

  • Отсутствие воспроизводимости. Исследования часто не сообщают достаточно подробностей (промпты, версии моделей, гиперпараметры, данные, код анализа), чтобы другие могли воспроизвести или проверить результаты, — что особенно проблематично, учитывая, насколько чувствительна выдача LLM к промптам и настройкам.
  • Практики FAIR. Открытая и воспроизводимая практика — данные и код, которые можно Findable (найти), Accessible (получить доступ), Interoperable (интероперировать) и Reusable (повторно использовать), предварительная регистрация и общие бенчмарки, — неравномерно принята в AIEd. Слабое следование принципам FAIR затрудняет повторное использование, сравнение и развитие на основе исследований.
  • Проприетарные инструменты и модели. Значительная часть исследований зависит от закрытых, проприетарных систем ИИ, чьё внутреннее поведение, обучающие данные и обновления моделей непрозрачны и могут меняться без уведомления. Это ограничивает воспроизводимость, делает точную репликацию невозможной и может привязать результаты к дорожной карте поставщика. Это также поднимает вопросы о независимости оценивания (см. Оценивание ИИ-образования).

Слабое или ограниченное использование теории

Повторяющаяся критика состоит в том, что у многих эмпирических статей ограниченная или устаревшая теоретическая рамка. Исследователи могут:

  • Принимать теории некритично. Рамки заимствуются потому, что они знакомы, без полного вовлечения их допущений, объёма или доказательной базы.
  • Неверно истолковывать рамки как фиксированные последовательности. Несколько широко используемых рамок трактуются как упорядоченные лестницы, по которым учащиеся должны подниматься от «низкой» ступени к «высокой», — но доказательства не поддерживают обязательного начала снизу. Например:
    • Таксономия Блума часто читается как строгая иерархия (воспроизведение → применение → оценивание), однако цели высшего порядка не требуют предварительной тренировки целей низшего порядка; задания можно проектировать так, чтобы с самого начала вовлекать оценивание или создание (см. Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs).
    • ADDIE и другие модели проектирования обучения иногда трактуются как жёсткие линейные фазы, а не как итеративные, гибкие эвристики планирования, какими они призваны быть (см. Дизайн обучения).
  • Упускать оспариваемые теории. Некоторые широко используемые в AIEd теории сами были поставлены под сомнение. Теория когнитивной нагрузки, например, критиковалась, а её эмпирические утверждения опровергались или оспаривались в предшествующих исследованиях, и всё же она продолжает приводиться как устоявшееся основание в новых работах по AIEd.

Следствие состоит не в том, что теории и рамки бесполезны, а в том, что их следует использовать с вниманием к их действительной доказательной базе, замышленному объёму и известной критике — а не как самоочевидные скаффолдинги (опоры) или жёсткие процедурные последовательности.

Кризис метааналитических доказательств

Растущий корпус метаисследований — обзоров, которые сами подвергаются критической проверке, — утверждает, что заявленные полем выводы о росте обучения под влиянием ИИ опираются на доказательную базу, которая далеко слабее, чем кажется. Три взаимодополняющие критики доказывают это с необычной силой:

  • Искажение в пользу положительного синтеза сильно и измеримо. Bartoš et al. (2026) в мета-мета-анализе на уровне отдельных исследований, охватывающем 1 840 размеров эффекта из 67 мета-анализов, нашли сильные свидетельства смещения публикаций (все тесты Эггера p < .0001) и крайнюю гетерогенность между исследованиями (τ = 0,869). Скорректированные на смещение публикаций эффекты составляли примерно треть от обычно сообщаемой величины (SMD = 0,196 против медианы 0,67 в опубликованной литературе), при этом интервал предсказания простирался от −1,521 до +1,908 — от большого вреда до большой пользы. Ни одна подгруппа по исходу, области, уровню или роли ИИ не показала устойчивых приростов, и различий между исследованиями до и после 2023 года не было. Их вердикт: широкие утверждения об обобщённых приростах в обучении преждевременны.
  • Метааналитические методы систематически применяются неверно. Судебный аудит O'Neill (2026) 14 влиятельных мета-анализов по AIEd обнаружил, что ни один не давал валидного основания для своих утверждений: ни у одного не было связного конструкта (инструмент «ChatGPT» трактовался как единая интервенция, а результаты тестов, мотивация, Самоэффективность и установки объединялись в одно число «академической успешности»); сообщаемая гетерогенность была крайней, с I² от 77,2% до 94,4% в 13 мета-анализах, которые её сообщали, и 12 из этих 13 выше 80%, и она никогда не разрешалась (ни один не достигал минимального размера подгруппы в десять исследований, пять опирались на подгруппы из одного исследования, три других — на подгруппы из двух); двенадцать трактовали зависимые размеры эффекта из одного исследования как независимые, раздувая кажущуюся доказательность; и ни один не оценивал смещение публикаций валидно (дискредитированные метрики fail-safe N и неверно применённые тесты Эггера были обычны). Поскольку I² зависит от точности, он сам по себе не может установить, насколько далеко друг от друга истинные эффекты, и отчётность, которая это показала бы, в значительной мере отсутствовала: только четыре мета-анализа сообщали дисперсию между исследованиями (τ²) и только два сообщали интервал предсказания, причём оба включали ноль. Большинство (61%) случайно проверенных первичных исследований были проблематичными, а одно исследование с сфабрикованными ссылками было включено шестью из 14 мета-анализов.
  • «Воздействие» — чёрный ящик. Weidlich et al. (2025) возрождают спор о медиа/методах, утверждая, что «ChatGPT» — это инструмент, а не метод, так что вопрос, «улучшает ли он обучение», — non sequitur. Проверяя подмножество исследований, лежащих в основе мета-анализа Deng et al. (2025), они обнаружили, что только у 21% сравнений было хорошо определённое воздействие, контрольная группа и валидная мера обучения; сообщавшиеся размеры эффекта (g = 0,7) даже превышали размеры эффекта у специально созданных систем интеллектуального репетиторства (0,66), что служит красным флагом: «воздействие» было разнородным «секретным соусом».

Сходимость этих трёх независимых критик сама по себе является свидетельством: разными методами, корпусами и рамками они приходят к одному и тому же выводу — что положительные размеры эффекта в AIEd, особенно из ранних мета-анализов, вероятно, отражают смещение публикаций, несвязность конструктов и методологические сокращения в той же степени (или более), чем подлинные приросты в обучении. Это не означает, что инструменты ИИ не имеют образовательной ценности; это означает, что доказательства их ценности на уровне поля в настоящее время раздуты и должны читаться соответственно. Это также переносит ответственность на качество синтеза: мета-анализ заслуживает доверия ровно настолько, насколько связны его конструкты, независимы его размеры эффекта, адекватны его анализ модераторов и гетерогенности и валидна его оценка смещения публикаций, — и каждый из этих пунктов, как показывают критики, нарушается регулярно.

Критическое чтение литературы по AIEd

В совокупности эти ограничения аргументируют за критическое, многосигнальное чтение исследований AIEd: проверяйте, обобщается ли результат и достаточна ли его мощность; выясняйте, как измерялись конструкты (и опираются ли утверждения на самоотчёт); предпочитайте недавние, явно указывающие версии и воспроизводимые работы; и подвергайте сомнению теоретическую рамку, а не трактуйте знакомые рамки как данность. Это дополняет строгий выбор метода и оценивание: хорошие методы и хорошее оценивание необходимы, но именно чтение с вниманием к ограничениям превращает доказательства в защитимые решения.

От исследований к практике

Дальнейшее, практическое ограничение — это вызов применения исследований к преподаванию и проектированию обучения. Практики — преподаватели, проектировщики обучения и разработчики для преподавателей, — часто не имеют времени или специальной экспертизы, чтобы читать, оценивать и переводить первичные исследования в конкретные решения в учебной аудитории. Литература велика, фрагментирована и написана для исследователей; результаты приводятся со статистической и методологической детализацией, которая не сразу пригодна к действию; и поскольку утверждения предварительны (см. проблему скорости выше), практик не может просто принять любое отдельное исследование на веру. Это создаёт разрыв между тем, что поддерживают доказательства, и тем, что действительно доходит до практики преподавания.

Цель этой базы знаний — помочь закрыть этот разрыв, сделать проще отслеживать, интерпретировать и применять исследования ИИ в образовании к практике, — курируя результаты открытого доступа в структурированные, доступные сводки, связывая смежные работы через страницы концепций и отмечая ограничения, которые читателям следует взвешивать. Она стремится поддержать практику, основанную на доказательствах, в преподавании и проектировании обучения, и при этом также выявлять пробелы и вопросы, которые могут направлять новые исследования и разработки. Поэтому понимание границ исследования не является самоцелью: именно оно позволяет практикам применять результаты надлежащим образом, а исследователям проектировать более сильные исследования, которые лучше служат практике.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Дизайн исследованияLiterature Review
Обучение и преподаваниеТеории обучения
Оценивание и измерениеВалидность оценивания, Образовательное измерение
Методы исследований и оценкаОценивание ИИ-образования, Бенчмарк, Методы исследования в AIED
Основы ИИ в образованииИИ в образовании
Вид страницыEvaluation
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.