AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

РКИ

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Рандомизированное контролируемое испытание (РКИ) — план исследования, при котором участники случайным образом распределяются в экспериментальную или контрольную группу для оценки причинного эффекта вмешательства на исход. В AI in education РКИ — это «золотой стандарт» для установления того, что инструмент ИИ или pedagogical подход вызывает learning gains, изменения вовлечённости или другие исходы, а не просто коррелирует с ними.

Вопросы для размышления

  • Если школа сообщает вам, что «студенты, использовавшие инструмент ИИ, получили более высокие оценки», почему это всё равно может не доказывать, что именно инструмент вызвал прирост — даже если разница велика?
  • Рандомизация уравновешивает известные и неизвестные искажающие факторы между группами. Прежде чем читать дальше: чего достигает случайное распределение такого, чего не может дать простое сравнение двух целостных классов, как бы хорошо они ни были сопоставлены?
  • Страница называет РКИ «золотым стандартом», но перечисляет реальные издержки: искусственные условия, быстро меняющийся ИИ, устаревающий по ходу испытания, недостаточную мощность малых выборок и ethical ограничения на удержание полезных инструментов от части участников. Какая из этих дилемм, по-вашему, чаще всего игнорируется в заголовках исследований об образовании?
  • РКИ с 1 174 участниками показало, что GenAI закрывает примерно три четверти разрыва в продуктивности, обусловленного образованием. Но хорошо проведённое РКИ всё равно может быть выполнено на узкой задаче в искусственных условиях. Что следует проверить в мере исхода, прежде чем доверять причинному утверждению?
  • Рассмотрим проблему этики напрямую: если у вас есть серьёзные основания полагать, что AI tutor помогает студентам учиться, можно ли оправданно в течение семестра случайным образом отказывать ему половине класса? Как бы вы спроектировали этически корректное исследование, которое при этом изолирует причину?

Введение

Рандомизация — это то, что отличает РКИ от других планов: случайно распределяя учащихся по условиям, РКИ уравновешивает известные и неизвестные искажающие факторы между группами, поэтому любое наблюдаемое различие в исходах может быть отнесено за счёт вмешательства с высокой внутренней валидностью.

Как РКИ предстают в исследованиях

  • Микро-РКИ как ответ на быстро меняющиеся технологии: Harrison et al. (2026) утверждают, что обычные крупномасштабные испытания не успевают за platforms репетиторства, которые существенно меняются в ходе исследования, и используют микрорандомизированные контролируемые испытания под руководством teacher в английских средних школах (644 из 929 студентов завершили пост-тестирование, g = 0,33), чтобы оценка причинности оставалась воспроизводимой. Компромиссы заявлены в самом их плане: отсев 30,7%, исходы, согласованные с curriculum, а не независимо стандартизированные, и только четыре недели наблюдения.

  • Утверждения о причинной эффективности: РКИ в AIED проверяют, улучшает ли ИИ-репетитор, инструмент или педагогическая обработка исходы. A randomized experiment on generative AI с 1 174 участниками показал, что генеративный ИИ существенно сокращает разрывы в продуктивности, обусловленные образованием, закрывая примерно три четверти исходного различия в результатах — однозначная причинная оценка эффекта ИИ.

  • Сравнение с «золотым стандартом»: страница research methods располагает РКИ как сильнейший план по внутренней валидности, отмечая при этом их компромиссы — стоимость, искусственные условия, быстро меняющийся ИИ, малые выборки с недостаточной мощностью и этические ограничения на удержание потенциально полезных инструментов от контрольной группы.

  • Испытание, спроектированное на эквивалентность, а не на различие. Northcutt et al. (2026) случайным образом распределили 2 383 взрослых в условия: обучение с ИИ-репетитором, живой репетитор-человек или видеоконтроль, написали новые задания GRE совместно с бывшими разработчиками тестов ETS и Kaplan, чтобы исключить «загрязнение» опубликованными тестами, сбалансировали две формы и проверяли эквивалентность двумя односторонними тестами относительно ±0,25 SD, а не различие, — именно эти решения делают «отсутствие значимого различия» интерпретируемым результатом.

  • Групповая рандомизация, низкий уровень внедрения и что тогда означает оценка по намерению лечить. Liu et al. (2026) случайным образом распределили 2 379 студентов из 13 блоков, назначая условие преподавателям, а не студентам, так что каждый студент потока наследовал условие своего преподавателя, — этот план делает многосекционное развёртывающее испытание осуществимым и одновременно порождает проблемы вывода, которые исследование затем и документирует. Только около 15% студентов в экспериментальных секциях когда-либо пользовались инструментом, поэтому оценённые эффекты отражают предложение доступа, а не его использование; авторы трактуют вмешательство как более широкое использование ИИ, к которому привело его внедрение, и рассматривают индивидуальные занятия как отдельный вопрос. Поскольку условие назначалось на уровне преподавателя, вывод опирается на 34 кластера — конфигурацию, в которой кластер-устойчивые стандартные ошибки завышают точность, — поэтому в статье наряду с ними приводятся результаты рандомизационного вывода, подтверждающие устойчивость выводов. Два основных эффекта — падение итоговых оценок на 0,37 SD в выборке точного совпадения и падение зафиксированного участия на платформе на 0,90 SD в обеих выборках — являются последствиями на уровне секций, которые рандомизация того же инструмента по студентам не смогла бы изолировать без «загрязнения» между однокурсниками из экспериментальной и контрольной групп.

  • Уровень внедрения ограничивает то, что может проверить испытание, а поддержка вовлечённости — это не дозировка. Robinson et al. (2026) провели два РКИ на платформе для чтения, в которых лишь 60,7% и 53,3% студентов контрольных групп когда-либо пользовались платформой; репетитор вовлечённости повысил число прочитанных историй на 71–80%, но не дал прироста в достижениях, что согласуется с достижением 2–5 минут в неделю.

  • Масштаб, превращающий нулевые результаты в доказательство. Mata et al. (2026) наблюдали 8 708 студентов в течение восьми семестров, имея мощность для обнаружения эффектов в 0,05 SD, и обнаружили крупное немедленное движение по устаревающим бинарным задачам — на 34 процентных пункта больше регистраций к 16 августа после одного напоминания, — тогда как академическая успеваемость, устойчивость и выпуск не показали обнаружимого эффекта. Масштаб — вот урок плана: при таком N академические нулевые результаты являются точными, а не следствием неспособности обнаружения, и именно это даёт основание заключить, что коммуникационный инструмент сдвигает то, что он может затронуть, а не накопительные результаты обучения.

  • Нулевое среднее может маскировать разнородность, гасящую друг друга. Предварительно зарегистрированное РКИ со случайным распределением 538 преподавателей из 24 турецких школ на уровне школьных кафедр обнаружило, что достижения упали на 0,129 SD среди преподавателей ниже медианы и выросли на 0,054 среди тех, кто выше медианы, а мотивация упала на 0,111 SD, причём ограничивавшей мощностью оказалась экзамен с эффектом потолка (среднее в контроле 89,2 из 100). (Sungu, Lira & Duckworth (2026))

  • Предварительная регистрация, фиксирующая и вопрос, и обнаружимый эффект. Meyer et al. (2026) зарегистрировали оба курсовых испытания в Registry of Efficacy and Effectiveness Studies, заранее зафиксировав оценку по намерению лечить и минимальный обнаружимый размер эффекта около 0,157, и случайным образом распределяли давших согласие студентов каждый семестр со второй волной на этапе add/drop, чтобы поздние зачисленные попадали в план, а не в анализируемую выборку по умолчанию. При объединении 2 483 студентов из двух курсов эффект оказывается на пороге A/B (четыре процентных пункта), тогда как объединённое изменение числовой оценки не выдерживает коррекции на множественные сравнения, — напоминание о том, что зарегистрированный первичный исход дисциплинирует то, какому из нескольких коррелированных результатов верить.

  • Рандомизация внутри целостных секций с исходным замером до вмешательства. Thoeni & Fryer (2026) случайным образом распределили 454 студента внутри трёх целостных секций по маркетингу после этапа add/drop и измерили все четыре исхода в T1, прежде чем хоть один студент получил доступ к чат-боту, так что сравнение за семестр опирается на измеренную базовую линию, а не на предполагаемую. Плоский результат (ни одно взаимодействие группы × времени не достигло значимости; наибольший зафиксированный эффект — d = 0,050, по интересу) приводится наряду с показателем внедрения — 0,89 входов в неделю при назначенном одном в неделю, — что не даёт прочитать нулевой результат о слабо используемом вмешательстве как нулевой результат о самом инструменте.

  • Кросовер внутри субъекта и контроль в виде лучшей из имеющихся практик. Kestin et al. (2025) предложили каждому из 194 студентов факультета наук о жизни Гарварда проработать два урока физики — один раз на занятии по Активное обучение активному обучению и один раз с собственным ИИ-репетитором курса, в сбалансированном порядке с пред- и пост-тестами вокруг каждого, — так что каждый студент служит сам себе контролем, и сравнение форм подачи не искажается тем, кому что назначили. Второе решение плана важно не меньше: в качестве компаратора было исследовательское активное обучение, а не лекция, поэтому преимущество (медиана пост-теста 4,5 против 3,5) измеряется относительно текущей лучшей практики и не может быть прочитано как «ИИ побеждает преподавание».

Сильные стороны и ограничения

  • Сильные стороны: сильнейший причинный вывод; чистое измерение исхода; поддержка оценки размера эффекта; уравновешивание искажающих факторов через рандомизацию.
  • Ограничения: дорого и медленно; искусственные условия могут снижать экологическую валидность; инструменты ИИ меняются быстрее, чем успевают пройти испытания; малые выборки часто имеют недостаточную мощность для обнаружения значимых эффектов; этические ограничения на удержание потенциально полезного ИИ от контрольной группы. Два из этих ограничений меняют форму, когда назначение кластеризовано: эффективная выборка становится числом кластеров, а не числом студентов, поэтому испытание может быть большим по числу голов и тонким по этой мере — 2 379 студентов у Лю и др. опираются на 34 кластера уровня преподавателя, — а когда внедрение добровольно и низко, оценка по намерению лечить отвечает на вопрос, изменились ли исходы от предложения инструмента, а не от его использования.

Более полное рассмотрение планов эксперимента в ИИ в образовании — включая вопрос о том, когда РКИ уместно, а когда лучше квазиэкспериментальный, опросный или вычислительный план, — см. на странице Методы исследования в AIED.

Связанные концепции

Связанные статьи

Метаданные

Дизайн исследованияExperiment
УровеньHigher Ed
Технологии и методыГенеративный ИИ
Методы исследований и оценкаМетоды исследования в AIED
Основы ИИ в образованииИИ в образовании
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.