What Measures and Research Methods Can an Instructor Use to Evaluate AI-Related Interventions?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Узгоджуйте метод із твердженням. Якщо ви хочете дізнатися, чи студентам сподобалася діяльність із ШІ, може допомогти опитування. Якщо ви хочете дізнатися, чи вони навчилися, використовуйте міри продуктивності. Опитування — це self-report measure, належний інструмент для ставлень і неналежний для навчання, з тих причин, які зібрані на тій сторінці. Якщо ви хочете дізнатися, чи саме ШІ спричинив покращення, вам потрібна переконлива умова порівняння і, бажано, рандомізоване розподілення.

Варіанти методів

Сторінка Research Methods in AIED розрізняє кілька корисних варіантів:

• Рандомізовані експерименти дають найсильніше причинне висновування.
• Квазіекспериментальні дизайни «до/після» або з узгодженими групами часто практичніші в цілісних класах, але підтримують слабші причинні твердження.
• Qualitative інтерв’ю, фокус-групи, спостереження та аналіз артефактів розкривають механізми та несподіваний досвід.
• Якісний аналіз із підтримкою ШІ може реорганізувати корпуси інтерв’ю чи спостережень за лічені хвилини, тому warrantability має таке саме значення, як точність чи розкриття: фіксуйте документовані реорганізації, які дозволяють читачеві оглядати, оскаржувати й переглядати шлях від даних до твердження.
• Mixed methods поєднують докази про результати з поясненнями того, чому ефекти виникли.
• Design-based research корисні, коли викладачі ітеративно розробляють і вдосконалюють втручання в реальному курсі.

Який би канал ви не використовували, причинне твердження стає інтерпретованим лише за трьох умов: точно описане втручання, добре визначена умова порівняння та валідна міра тривалого навчання. Weidlich et al. (2025) перевіряють 19 порівнянь використання ChatGPT в освіті саме за цими критеріями і виявляють, що лише 4 (21%) задовольняють усі три, — 74% мали добре визначене втручання, 42% — добре визначену контрольну групу, а 53% — результат, який кваліфікувався як навчання. Інструмент general-purpose tool, впроваднений поряд із новими видами діяльності, зворотним зв’язком або дизайном інтерфейсу, змішує носія з методом, тому значний результат не може бути віднесений на рахунок ШІ.

Кероване оцінювання в аудиторії

Для керованого оцінювання в аудиторії корисний мінімум — це базова міра, втручання, негайна міра після нього та пізніша міра без допомоги. Там, де можливо, включайте умову порівняння: наявну практику, відсутність ШІ, необмежений ШІ проти ШІ зі скаффолдингом або два альтернативних дизайни. Вимірюйте допоможену продуктивність і самостійне навчання окремо.

Синтез AI Ed Evaluation рекомендує такі результати: приріст у навчанні без допомоги, відстрочене утримання знань, перенесення на нове завдання, якість міркування, Хибні уявлення про AI, сприйняття зворотного зв’язку та успішність за підгрупами. Залученість, задоволеність, журнали використання ШІ, самоефективність і perceived usefulness можуть бути цінними вторинними мірами, але їх не слід розглядати як замінники навчання. Навантаження на викладача й економія часу — також легітимні результати впровадження.

До читання результатів застосовні два застереження. По-перше, усереднений ефект із літератури — слакий провідник для окремої аудиторії: O'Neill's (2026) audit 14 впливових meta-analyses виявив, що жоден із них не дав валідної основи для своїх тверджень, — об’єднані "academic achievement" змішували бали за тестами, мотивацію, Самоефективність і ставлення в одній оцінці, повідомлена неоднорідність була екстремальною (I² коливалася від 77.2% до 94.4% у 13 аналізах, які її повідомляли, причому 12 із цих 13 були вище 80%), усі 14 оцінили publication bias некоректно, а 61% випадково перевірених первинних досліджень мали проблеми зі валідністю, тоді як статистика, яка показала б, наскільки сильно насправді розходяться окремі результати, значною мірою відсутня (лише чотири аналізи повідомляли міждослідницьку дисперсію і лише два — інтервал прогнозу, і обидва включали нуль). По-друге, зручний бал може вимірювати неправильний конструкт: у an evaluation of eight AI teaching agents агент, який за власною оцінкою платформи був третім, за перевіреною експертами рубрикою опинився останнім, оскільки оцінки платформи індексували успішність студента під час взаємодії, а не якість навчання агента. Розглядайте будь-яку окрему метрику панелі показників як гіпотезу, яку треба перевірити за мірою, пов’язаною з тією здатністю, яку ви маєте намір розвивати.

Щодо того, що саме показують і не показують поточні докази та де вони залишаються тонкими, див. Чи справді використання ШІ допомагає моїм студентам навчатися? та Які помітні прогалини є в дослідницькій літературі зі ШІ в освіті?.