Does Using AI Actually Help My Students Learn?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Так, може допомогти — але краща робота, виконана за допомоги ШІ, не обов’язково є доказом кращого навчання. Дослідження фіксують справжні навчальні здобутки, незначні ефекти та шкоду для навчання. Важливе питання — не просто те, чи користуються студенти ШІ, а що саме ШІ допомагає їм робити, яке мислення залишається їхньою відповідальністю і що вони можуть робити згодом.

База знань називає розрізнення між успішною роботою за допомоги ШІ та набутою здатністю розривом між продуктивністю й навчанням. Студент може подати сильніше есе або розв’язати більше практичних задач за допомоги ШІ, не стаючи при цьому кращим — а іноді стаючи гіршим — у виконанні порівнянної роботи самостійно. І навпаки, добре спроєктований зворотний зв’язок, приклади та наставництво на базі ШІ можуть покращити подальшу успішність уже без ШІ. Див. Learning Gains та Cognitive Offloading.

Що насправді показують дослідження?

Деякі втручання з підтримкою ШІ покращують навчання

Широкою відправною точкою є Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions. Цей синтез Світового банку 14 рандомізованих досліджень у десяти економіках оцінив середній позитивний навчальний ефект адаптивних освітніх технологій із підтримкою ШІ на рівні 0.125 стандартного відхилення. Проте він поєднав раніші adaptive systems з інструментами Генеративний ШІ. Для новіших генеративних інструментів не було виявлено статистично встановленої переваги, водночас автори визнають значну невизначеність у цьому порівнянні. Результат підтверджує потенціал цих втручань, а не твердження, що будь-який chatbot покращить навчання.

Конкретніші докази показують, чому має значення instructional design. У дослідженні Human-centered GenAI feedback design in higher education — багатосайтовому рандомізованому дослідженні за участі 1 176 студентів першого курсу — порівнювалися peer feedback, прямий зворотний зв’язок ШІ, самооцінювання із подальшим зворотним зв’язком ШІ та гібридна послідовність, що поєднувала самооцінювання, зворотний зв’язок від ровесників і критику з боку ШІ.

Рефлексивний і гібридний дизайни дали сильніший відстрочений перенос без участі ШІ, ніж прямий зворотний зв’язок від ШІ. Студенти згодом краще виконували нове завдання з наукової аргументації, а не лише завдання, яке вони переглядали. Проте в цих умовах також потрібна була додаткова оцінювальна діяльність і, ймовірно, більше часу. Дослідження підтримує повний дизайн зворотного зв’язку, а не доводить, що перевагу спричинив якийсь один компонент або сам ШІ.

ШІ може покращувати успішність на практиці, шкодячи навчанню

Найясніше попередження містить дослідження Generative AI without guardrails can harm learning: Evidence from high school mathematics.

У цьому рандомізованому польовому експерименті за участі майже 1 000 студентів інтерфейс ШІ загального призначення підвищив бали за допоможену практику на 48% відносно контрольної групи, але на подальших іспитах без допомоги студенти отримали на 17% нижчі результати. Тьютор, налаштований на розроблені викладачем настанови та підказки, значною мірою уникнув цієї втрати. Важливо, що він не дав статистично значущого покращення успішності на іспиті без допомоги порівняно з контрольною групою. Уникнення шкоди — це не те саме, що демонстрація додаткового навчання. Ці відсотки описують саме це конкретне втручання і конкретне середовище, а не універсальні ефекти використання ШІ.

Практичний висновок із цього такий: судження про інструмент ШІ за виконаними домашніми завданнями, правильними відповідями на практиці чи задоволеністю студентів може дати оманливу картину його освітньої цінності. Задоволеність і уявне навчання — це self-report measures, і база знань фіксує, наскільки сильно вони можуть відхилятися від виміряного навчання.

Більше й триваліше польове дослідження вказує на те саме в масштабі. The Generative AI Learning Penalty простежувало 26 811 китайських учнів середньої школи (7–12 класи) протягом 30 місяців із поступовим впровадженням ШІ. Бали за домашні завдання зросли на 18%, а час на їхнє виконання скоротився на 30% (з 64 до 45 хвилин), тоді як бали за щомісячні іспити за книжкою впали на 20% упродовж шести місяців, а бали за вступні іспити з високими ставками — на 18–24% від базового рівня, проте лише приблизно через два роки. Втрати зосереджувалися серед приблизно 81% користувачів ШІ, поведінка яких свідчила про перекладання домашніх завдань на інших; користувачі, які витрачали на домашні завдання порівнянно з тими, хто не користувався ШІ, часу, навчалися приблизно так само ефективно. Розбіжність між успішністю на домашніх завданнях і на іспитах — це розрив між продуктивністю й навчанням, виписаний на когорті національного масштабу, а дворічна затримка означає, що короткострокові оцінювання систематично недооцінюють ціну.

Доступу й засобів захисту недостатньо

Дворічний рандомізований шкільний експеримент One Click Away: AI Tutoring with Khanmigo виявив помірні здобутки в досягненнях з mathematics в 18 середніх школах. Проте студенти рідко вступали в змістовні розмови з тьютором. Автори зазначали, що ці здобутки нагадували ті, які асоціюються зі структурованою практикою без ШІ. Оскільки втручання поєднувало індивідуалізовану практику з AI tutoring, воно не виокремлювало чисто додаткового внеску ШІ-компонента. Наявність здатного тьютора — не те саме, що продуктивне його використання студентами.

Новіший експеримент Making AI Tutoring Productive дає споріднений урок. Серед понад 6 000 учнів середньої школи, які користувалися NUMI, підтримка ШІ покращила відновлення після помилок, але сповільнила просування через завдання. Правило оволодіння «три правильні відповіді підряд» підвищило визначену платформою успішність, не покращивши саме по собі навчання через тиждень. Найсильніший сигнал відстроченого навчання з’являвся тоді, коли ШІ був вбудований у процес оволодіння, але здобутки були лише маргінально статистично значущими й зосередженими на певному опрацьованому матеріалі. Цей робочий документ дає непрямі докази на користь ретельно структурованого підходу, а не широко доведений рецепт.

Результат визначає те, як студенти користуються інструментом, а не лише доступ до нього

Одна й та сама технологія дає різні результати навчання залежно від того, як структуровано взаємодію. У дослідженні a qualitative study of 38 undergraduates під час оцінювання есе без нагляду залученість охоплювала спектр від cognitive outsourcing до когнітивного перерозподілу — перенесення зусиль із пошуку інформації низького рівня на critical evaluation. Більшість студентів (n = 31) мали намір використовувати генеративний ШІ як помічника в навчанні, проте 76.32% покладалися на одноходовий діалог «запитав — отримав відповідь — зупинився», а 78.94% використовували інструмент до або після написання чернетки, а не упродовж виконання завдання, що породжує парадокс ефективності: зручність отримана ціною тієї когнітивної роботи, яка будує схеми («швидкість, з якою ти це забуваєш, також дуже висока»). Лише 8 студентів працювали як когнітивні партнери в межах підтримуваного ітеративного діалогу.

pedagogical урок тут у тому, що як загальні дозволи, так і загальні заборони змушують студентів діяти навмання. Поведінку змінювало настановлення щодо конкретних завдань: яку когнітивну роботу студенти мають зберегти за собою і яка допомога ШІ тут доречна, — це той напрям проєктування, який розроблено в Як я можу зменшити списування за допомогою ШІ на своєму курсі?.

Менші зусилля не означають автоматично меншого навчання

Було б також помилкою робити висновок, що ШІ допомагає лише тоді, коли змушує студентів працювати напруженіше або ніколи не показує повний приклад.

У пререєстрованих експериментах, описаних у Coach not crutch, дорослі, які практикувалися в перегляді супровідних листів за допомоги ШІ, згодом писали краще без ШІ, ніж ті, хто практикувався самостійно, незважаючи на менші витрачені зусилля. Здобутки зберігалися й на перевірці через один день. Інший експеримент виявив, що перегляд прикладу, переглянутого за допомоги ШІ, дає порівнянні здобутки з практикою за допомоги інструмента. Це були короткі, обмежені завдання з письма, а не доказ тривалого покращення в усіх видах письма, проте вони показують, що приклади можуть підтримувати навчання, а не обов’язково заміщати його.

Тому мета — не максимальна складність. Мета — зберегти або покращити ту навчальну діяльність, яка розвиває бажану здатність.

Той самий розвиток подій повторюється в освіті з обчислювальної техніки

A systematic review of 72 studies in computing education знаходить ту саму структуру в своєму найміцнішому результаті. Генеративний ШІ надійно підвищує короткострокове завершення завдань і скорочує час на них (36 досліджень), і жодне дослідження в корпусі не фіксує негативного ефекту на негайну продуктивність, — проте ці здобутки «не переносяться на самостійну продуктивність» (21 дослідження). Студенти за допомоги Codex виконували вдвічі більше завдань під час навчання, але не показали кращих результатів на після-тестах без ШІ, ніж контрольна група. Prior knowledge модерують усе: добре підготовлені студенти перетворюють допомогу на тривалу навичку, тоді як слабко підготовлені ризикують використати її як милицю, яка позбавляє їх необхідної практики. Центральна вимога огляду щодо проєктування — перевірка: читання, тестування, змінення, пояснення й критика результату ШІ — має стати оцінюваним, спостережуваним компонентом роботи, а не прагненням, залишеним на розсуд.

Корисний принцип проєктування: підтримуйте, а не заміщайте

Синтези в базі знань зі Скаффолдинг та Active Learning наголошують на підтримці, яка допомагає здобувачам розуміти, практикуватися, оцінювати і зрештою діяти з меншою допомогою.

«Підтримуйте, а не заміщайте» — корисний принцип, але його слід застосовувати до навчальної цілі, а не механічно до кожної функції ШІ. Повний розв’язаний приклад може бути тим, з чого студенти вчаться; послідовність підказок може стати тим, що вони прокручують, не думаючи. Важливе розрізнення — те, що здобувач робить із допомогою. Див. Cognitive Offloading та Пошук допомоги.

Для діяльності, покликаної розвивати самостійну здатність, розумним початковим порядком дій є такий:

1. Установнийте мислення здобувача. Попросіть про початкову спробу, передбачення, чернетку, пояснення або тлумачення відповідного прикладу.
2. Надайте цільову допомогу. Використовуйте ШІ для підказки, пояснення, контрастного прикладу або зосередженого зворотного зв’язку щодо складності.
3. Вимагайте реакції на допомогу. Попросіть здобувача пояснити, переглянути, перевірити або обґрунтувати прийняття чи відхилення пропозиції.
4. Перевірте нове застосування з меншою підтримкою. Попросіть здобувача розв’язати порівнянну задачу або застосувати ідею в іншому контексті.

Це навчальна відправна точка, а не універсально валідована послідовність. Обсяг і час підтримки мають відповідати попереднім знанням студентів і завданню. Див. Reducing AI Misuse та Prior Knowledge.

Робіть збережене мислення явним

Для математики викладач може попросити студентів подати свою спробу розв’язку, перш ніж просити допомоги, а потім скористатися підказкою такого виду: «Вкажи перший крок, який мені варто переосмислити, дай одну корисну підказку і попроси мене спробувати знову». Подальша перевірка має вимагати нового розв’язку та пояснення, а не відтворення відповіді ШІ. Це застосування настанов зі Скаффолдинг та Пошук допомоги.

Для письма викладач може попросити студентів оцінити свою чернетку за рубрикою, перш ніж отримати критику від ШІ, а потім пояснити, які пропозиції вони прийняли, змінили або відхилили. Якщо мета — побудова аргументації, згенерований ШІ текст не має заміщати доказів того, що здобувач може побудувати аргументацію. Якщо мета — оцінювання альтернативних переглядів, порівняння повних прикладів може бути доречним. Див. Writing Education та Feedback Literacy.

Це застосування доказів у проєктуванні. Їх усе одно слід оцінювати в межах курсу, а не вважати працездатними лише тому, що вони звучать педагогічно розумно.

Як дізнатися, чи ШІ допомагає в моєму курсі?

Сторінка AI Ed Evaluation рекомендує розрізняти якість результату ШІ, досвід студентів від його використання та фактичне навчання студентів. Практичне оцінювання потребує більшого, ніж опитування задоволеності або порівняння балів за завдання.

Спочатку конкретизуйте здатність. Визначте, що студенти мають розуміти або вміти робити після діяльності. «Виготовити відполірований звіт» — це не те саме, що «відібрати відповідні докази», «пояснити причинний зв’язок» або «виявити непідтверджений висновок». Оцінювання має розкривати ту здатність, яку ви маєте намір розвивати. Див. Educational Measurement.

Вимірюйте до, після й згодом. Скористайтеся коротким базовим завданням, негайною перевіркою навчання та відстроченим застосуванням. Включіть як порівнянне завдання, так і, де доречно, таке, що змінює контекст або вимагає іншого застосування. Якщо мета — самостійна компетентність, приберіть ту допомогу ШІ, яка могла б виконати цю компетентність за здобувача. Успішна перевірка відразу після практики є корисною, але не встановлює утримання знань упродовж місяців чи перенесення між предметними областями. Див. Learning Gains та Transfer of Learning.

Використовуйте змістовне порівняння. Там, де це можливо, порівнюйте діяльність із підтримкою ШІ з добре спроєктованою альтернативою без ШІ, використовуючи подібний контент, навчальний час і можливості для практики. Просте покращення «до і після» не може встановити, що саме ШІ спричинив приріст; студенти могли б покращитися завдяки решті teaching. Для сильніших причинних тверджень зверніться до Efficacy Research Methods, коли проєктуєте порівняння.

Спостерігайте, як студенти користуються допомогою. Звертайте увагу на пояснення, спроби виправити помилки, обґрунтовані перегляди та перевірку, а не лише на входи в систему, кількість повідомлень або завершені запитання. Ці спостереження можуть допомогти пояснити результат, але не мають заміщати міру навчання. Див. Пошук допомоги та Student–AI Interaction.

Перевіряйте, що насправді вимірює панель показників. В an evaluation of eight AI teaching agents у medical education ранжування агентів за власною оцінкою платформи розходилося з перевіреною експертами рубрикою якості навчання — агент, який платформа поставила на третє місце, за якістю за рубрикою опинився останнім, — оскільки оцінка платформи відстежувала успішність студента під час взаємодії, а не навчальну поведінку агента. Вбудована метрика — це гіпотеза, яку треба перевірити, а не доказ навчання. Див. Які міри та методи дослідження може використовувати викладач для оцінювання втручань, пов’язаних зі ШІ?, щоб дізнатися про міри й структури порівняння, які роблять таку перевірку переконливою.

Важлива умовність полягає в тому, що не кожний легітимний результат навчання має бути продемонстрований без ШІ. Курс може свідомо навчати ефективній роботі з підтримкою ШІ. У такому разі оцінюйте здатність студентів відбирати, перевіряти, переглядати й захищати своє використання ШІ, поряд із тими самостійними основами, яких вимагає дисципліна. A Human Capability Test for Learning Outcomes in the AI Era пропонує саме це розрізнення між самостійною здатністю, продуктивністю, доповненою ШІ, і відповідальністю за перевірку. Це концептуальна рамка оцінювання, а не валідоване рішення для кожного курсу.

Перевірте, кому це на користь — і чого вона коштує

Середнє покращення може приховувати студентів, які отримують малу користь або стикаються з новими бар’єрами. Синтез Digital Divide розрізняє доступ до інструмента, навички, потрібні для його використання, і зрештою отримані результати.

Для оцінювання в аудиторії розбийте результати за відповідними вихідними точками: попередніми знаннями, мовними потребами та вимогами доступності. Надавайте настанови, а не припускайте, що студенти вже знають, як отримувати й оцінювати корисний зворотний зв’язок. Оцінюючи самостійне навчання, прибирайте ту допомогу, яка постачає цільове мислення, а не адаптації, необхідні для доступу до завдання. Див. AI Literacy, Equity in AI Education та Доступність.

Перевірте також той зворотний зв’язок, який студенти фактично отримують. Плавна відповідь може неправильно діагностувати їхню складність, підкріпити помилку або дати відповідь там, де потрібен був інший вид підтримки. Використовуйте узгоджені з курсом матеріали, зберігайте шлях до людської допомоги й не збирайте більше інформації про здобувачів, ніж потребує діяльність. Ці занепокоєння напряму пов’язані з AI Feedback Quality, Pedagogical Safety та Приватність.

Висновок

ШІ може допомогти студентам навчатися, але ні доступ, ні відполіровані результати, ні ярлик «тьютор» не встановлюють, що він це робить. Докази найсильніші тоді, коли конкретне навчальне проєктування оцінюється проти змістовної альтернативи з використанням мір тих здатностей, які студенти мають розвивати. Довгострокове утримання знань, широке перенесення та узагальнення на різних здобувачів і в різних умовах залишаються важливими невизначеностями. Див. Limitations in AIEd Research.

Найкорисніше питання для викладача таке:

Після цієї діяльності з підтримкою ШІ що мої студенти можуть розуміти, пояснювати, оцінювати або робити такого, чого не могли раніше, — і які докази показують це покращення?