База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Рандомізований контрольований експеримент (RCT)

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Рандомізований контрольований експеримент (RCT) — дизайн дослідження, у якому учасників випадково розподіляють між умовами втручання та контролю, щоб оцінити причинний ефект втручання на результат. У ШІ в освіті RCT є золотим стандартом встановлення того, чи інструмент ШІ або педагогічний підхід спричинює навчальні здобутки, зміни залученості або інші результати, а не лише корелює з ними.

Питання для роздумів

  • Якщо школа каже вам: «студенти, які користувалися інструментом ШІ, отримали вищі бали», чому це все ще може не довестити, що саме інструмент спричинив приріст, — навіть якщо різниця велика?
  • Рандомізація балансує відомі і невідомі сплутувальники між групами. Перш ніж читати, чого досягає випадковий розподіл такого, чого просте порівняння двох цілісних класів не може досягти, хоч як добре зіставленими вони виглядають?
  • Сторінка називає RCT золотим стандартом, проте перелічує реальні витрати: штучні умови, швидкозмінний ШІ, що устарює випробування, малопотужні малі вибірки та етичні обмеження на утримання корисних інструментів. Який із цих компромісів, на вашу думку, найчастіше ігнорується в заголовках освітніх досліджень?
  • RCT із 1 174 учасниками виявив, що GenAI закрив приблизно три чверті розриву в продуктивності, зумовленого освітою. Але добре проведений RCT усе ж може бути зроблений на вузькому завданні в штучних умовах. Що варто перевірити щодо міри результату, перш ніж довіряти причинному твердженню?
  • Розгляньте етичну проблему прямо: якби ви мали справжню підставу вважати, що тьютор на базі ШІ допомагає студентам навчатися, чи можна виправдати випадкове відмову йому половині класу на семестр? Як би ви спроєктували етично виважене дослідження, яке все ще ізолює причину?

Вступ

Саме рандомізація відрізняє RCT від інших дизайнів: випадково розподіляючи здобувачів за умовами, RCT балансує відомі та невідомі сплутувальники між групами, тож будь-яку спостережену різницю в результатах можна віднести до втручання з високою внутрішньою валідністю.

Як RCT виявляються в дослідженнях

  • Мікро-RCT як відповідь на швидкозмінну технологію: Harrison et al. (2026) стверджують, що звичайні масштабні випробування не можуть встигати за платформами тьюторів, які істотно змінюються впродовж дослідження, і використовують мікро-рандомізовані контрольовані випробування з участю викладачів в англійських середніх школах (644 зі 929 студентів, завершивши посттестування, g = 0.33), щоб причинне оцінювання залишалося відтворюваним. Компроміси окреслені в їхньому власному дизайні: 30.7% випадання, результати, узгоджені з навчальною програмою, а не з незалежною стандартизацією, і лише чотири тижні відстеження.

  • Причинні твердження про ефективність: RCT у ШІ в освіті перевіряють, чи покращують тьютор на базі ШІ, інструмент чи педагогічне втручання результати. Рандомізований експеримент щодо генеративного ШІ з 1 174 учасниками виявив, що GenAI суттєво звужує розриви в продуктивності, зумовлені освітою, закриваючи приблизно три чверті початкової різниці в продуктивності, — чітка причинна оцінка ефекту ШІ.

  • Порівняння зі золотим стандартом: Сторінка методів дослідження розміщує RCT як найсильніший дизайн за внутрішньою валідністю, зазначаючи при цьому їхні компроміси — вартість, штучні умови, швидкозмінний ШІ, малі малопотужні вибірки та етичні межі на утримання потенційно корисних інструментів.

  • Випробування, спроєктоване для еквівалентності, а не для різниці. Northcutt et al. (2026) рандомізували 2 383 дорослих на тьюторію на базі ШІ, живе людське тьюторство або відеоконтроль, написали нові завдання GRE з колишніми розробниками тестів ETS і Kaplan, щоб уникнути забруднення опублікованим тестом, збалансували дві форми та перевіряли еквівалентність двома односторонніми тестами проти ±0.25 SD, а не різницю — ті вибори дизайну, що роблять «відсутність значущої різниці» інтерпретовним результатом.

  • Групова рандомізація, низьке засвоєння та що тоді означає оцінка за наміром лікувати. Liu et al. (2026) рандомізували 2 379 студентів бакалаврату в 13 блоках, розподіляючи викладачів, а не студентів, тож кожен студент секції успадковував умову свого викладача, — дизайн, який робить багатосекційне випробування з впровадження реалізовним, і водночас той самий дизайн, який породжує проблеми висновкування, що дослідження потім документує. Лише близько 15% студентів у секціях із втручанням коли-небудь користувалися інструментом, тож повідомлені ефекти оцінюють пропонування доступу, а не користування ним; автори читають втручання як ширше використання ШІ, яке спричинило його впровадження, і трактують індивідуальні сесії як окреме питання. Оскільки втручання було розподілено на рівні викладача, висновкування спирається на 34 кластери — умову, у якій стандартні помилки, стійкі до кластеризації, перебільшують точність, — тож стаття повідомляє поряд із ними висновок на основі рандомізації і виявляє стійкість своїх висновків. Два головні ефекти — падіння на 0.37 SD в підсумкових оцінках у вибірці з точним зіставленням і падіння на 0.90 SD у зафіксованій участі на платформі в обох вибірках — є наслідками на рівні секції, які персональна рандомізація того самого інструмента не змогла б ізолювати без забруднення між однокласниками в групах із втручанням і контролем.

  • Засвоєння обмежує те, що може перевірити випробування, а підтримка залученості не є дозою. Robinson et al. (2026) провели два RCT на платформі для читання, у яких лише 60.7% і 53.3% студентів контролю коли-небудь користувалися платформою; тьютор залученості збільшив кількість прочитаних історій на 71–80%, проте не дав жодного приросту в академічних досягненнях, що узгоджується з досягнутими 2–5 хвилинами на тиждень.

  • Масштаб, що перетворює нулі на докази. Mata et al. (2026) відстежили 8 708 студентів упродовж восьми семестрів із потужністю виявляти ефекти 0.05 SD і виявили великі, негайні рухи на датованих бінарних завданнях — на 34 відсоткові пункти більше реєстрацій до 16 серпня після єдиного нагадування, — тоді як академічна успішність, стійкість і випуск не показали жодного виявного ефекту. Масштаб — це урок дизайну: за такого N академічні нулі є точними результатами, а не невдачами виявлення, і саме це надає підставу висновку, що інструмент комунікації рухає те, що може зачіпати, а не кумулятивні результати навчання.

  • Нульове середнє може маскувати взаємокомпенсуючу гетерогенність. Пре-реєстрований RCT, рандомізуючий 538 викладачів у 24 турецьких школах на рівні шкільних кафедр, виявив, що досягнення впали на 0.129 SD серед викладачів нижче медіани, тоді як серед тих, хто вище медіани, зросли на 0.054, а мотивація впала на 0.111 SD, причому екзамен із обмеженням «стелі» (середнє в контролі 89.2/100) обмежував потужність. (Sungu, Lira & Duckworth (2026))

  • Пре-реєстрація, що фіксує питання та виявний ефект. Meyer et al. (2026) зареєстрували обидва курсові випробування в Registry of Efficacy and Effectiveness Studies, заздалегідь взявши на себе зобов’язання щодо оцінювання за наміром лікувати та мінімального виявного розміру ефекту близько 0.157, і рандомізували студентів, які дали згоду, кожного семестру з другою хвилею на етапі додавання/вилучення, щоб пізні вступники увійшли в дизайн, а не в типовий аналітичний зразок. Зводячи 2 483 студентів з двох курсів, ефект лежить на порозі A/B (чотири відсоткові пункти), тоді як зведена зміна числової оцінки не витримує корекції на множинні порівняння — нагадування про те, що зареєстрований первинний результат дисциплінує, якому з кількох корельованих результатів вірити.

  • Рандомізація всередині цілісних секцій з базовим лінією до втручання. Thoeni & Fryer (2026) рандомізували 454 студентів бакалаврату в межах трьох цілісних секцій з маркетингу після додавання/вилучення та виміряли всі чотири результати на T1, перш ніж хоч один студент отримав доступ до чатбота, тож порівняння впродовж семестру спирається на виміряну базову лінію, а не на припущену. Плаский результат (жодна взаємодія групи × час не досягла значущості; найбільший повідомлений ефект — d = 0.050, за інтересом) повідомляється поряд із впровадженням — 0.89 входів на тиждень проти призначених раз на тиждень, — що не дає прочитати нуль про слабко використовуване втручання як нуль про інструмент.

  • Кросовер із внутрішньосуб’єктним дизайном та контролем на рівні найкращої практики. Kestin et al. (2025) дали кожному зі 194 студентів життєзональних наук Гарварду проробити два уроки з фізики — одного разу в класному занятті Активне навчання, а одного разу з власним тьютором на базі ШІ курсу, у збалансованому порядку з пре- та посттестами навколо кожного, — тож кожен студент є власним контролем, і порівняння режимів подачі не сплутане тим, кому який було призначено. Другий вибір дизайну має не менше значення: компаратором було активне навчання, засноване на дослідженнях, а не лекція, тож перевага (медіана посттесту 4.5 проти 3.5) вимірюється проти поточної найкращої практики і не може читатися як «ШІ перемагає викладання».

Сильні сторони та обмеження

  • Сильні сторони: найсильніше причинне висновкування; чисте вимірювання результатів; підтримує оцінювання розміру ефекту; балансує сплутувальники через рандомізацію.
  • Обмеження: високовартісні та повільні; штучні умови можуть зменшувати екологічну валідність; інструменти ШІ змінюються швидше, ніж можуть тривати випробування; малі вибірки часто малопотужні для виявлення значущих ефектів; етичні обмеження на утримання потенційно корисного ШІ від контрольної групи. Два з цих обмежень змінюють форму, коли розподіл кластеризований: ефективна вибірка стає кількістю кластерів, а не кількістю студентів, тож випробування може бути великим за чисельністю і тонким за цією мірою, — 2 379 студентів Liu et al. спираються на 34 кластери на рівні викладачів, — і коли засвоєння є добровільним і низьким, оцінка за наміром лікувати відповідає на питання, чи пропонування інструмента змінило результати, а не чи це зробило користування ним.

Для повнішого розгляду експериментального дизайну в ШІ в освіті — зокрема коли RCT доречний проти квазі-експериментального, опитувального або обчислювального дизайнів — див. Методи досліджень в AIED.

Пов’язані поняття

Пов’язані статті

Метадані

Дизайн дослідженняExperiment
РівеньHigher Ed
Технології та методиГенеративний ШІ
Методи досліджень та оцінкаМетоди досліджень в AIED
Основи ШІ в освітіШІ в освіті
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.