Які найкращі практики звітування та інтерпретації досліджень ШІ в освіті?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Ви пишете дослідження ШІ в освіті, чиє твердження вже випереджає свій проєкт, або рецензуєте таке і вирішуєте, чи означає щось число із заголовка. В обох випадках це вирішують ті самі шість пропусків: яка система ШІ була насправді використана, що вона була налаштована робити, яку педагогічну роль відігравала, чи люди проєктували або перевіряли її виведення, що справді захоплювала міра результату, і що зробили автори з упередженістю, витратами та обмеженнями. Автор, який їх пропускає, подає дослідження, яке не може бути оцінене; рецензент, який не шукає їх, не може відрізнити спроєктовану інтервенцію від переробленої демонстрації інструмента. «Неоцінне» — а не «підтверджене» і не «спростоване» — є чесним вердиктом, коли вони відсутні.

Ставки не гіпотетичні. O'Neill (2026) перевірив 14 рецензованих метааналізів, що стверджують, нібито ШІ покращує освіту, і виявив, що жоден не надав валідного підґрунтя для тверджень, які він висував. Bartoš et al. (2026) звели 1,840 розмірів ефекту з 67 метааналізів і виявили, що коли упередженість публікації змодельовано, середній ефект падає приблизно до однієї третини опублікованої медіани (SMD = 0.196 проти 0.67). Denny et al. (2026) перевірили 30 фабрикованих посилань у 14 роботах з освіти з інформатики, усі опубліковані в 2025 або 2026 році, — дефект, який досягає читачів саме тому, що рецензенти не можуть перевірити кожен запис у списку посилань. Дисципліна звітування вирішує, чи є доказова база галузі придатною до вжитку взагалі. Щодо виборів проєктування, які лежать під нею, див. Research Methods in AI in Education; щодо каталогу режимів відмови — Limitations in AIEd Research. Щодо боку читача — що практик робить із роботою, коли вона вже існує, — див. Interpreting and Applying AIEd Research.

Коротка версія

Шість кроків вирішують, чи ваше твердження виживе за рецензування:

1. Опишіть систему ШІ як вплив, а не як постачальника. Модель, версія, конфігурація, підказки, роль, і чи люди проєктували або перевіряли виведення.
2. Сформулюйте педагогічне обґрунтування та активне порівняння. Назва продукту — не метод; звичайна практика — не справедливий контроль.
3. Зробіть так, щоб міра відповідала твердженню. Що захоплює інструмент, його валідація для цієї популяції, і чи результат був відстроченим і бездопоміжним.
4. Валідуйте кожне автоматизоване судження. Назвіть еталон, ціль калібрування, і хто розбирав розбіжності.
5. Повідомляйте невизначеність аналізу, а не лише його точкову оцінку — залежні ефекти, τ², інтервали прогнозу, розміри підгруп, оцінку упередженості публікації.
6. Повідомляйте контрваги: процедуру етики та управління, обчислювальні та екологічні витрати, ваше власне використання ШІ, нульові результати, і лише перевірені вами посилання.

Визначте, що ви скажете про систему ШІ — і напишіть так, щоб хтось міг її відтворити

Це та перевірка, яку більшість подань провалює. Рамка RAISE (Reporting AI Studies in Education, Allison 2026) — це контрольний список із 30 пунктів за десятьма тематичними доменами, і її діагностичне твердження є конкретним, а не риторичним: подання регулярно пропускають, яка модель була використана (GPT-4, Claude або власний алгоритм), як вона була налаштована (підказки, параметри донавчання), яку роль відігравала (генератор зворотного зв’язку, співавтор, тьютор, оцінювач), і чи люди проєктували або перевіряли її виведення. Це залишає рецензентів із чотирма безвідповідними питаннями — «Що саме робив ШІ?», «Чи був він необхідним?», «Чи це відтворювано?» і «Чи є навчальні твердження правдоподібними?».

Вона проходить від освітнього обґрунтування через специфікацію на рівні API, взаємодію «здобувач–ШІ», доступність і культурну придатність, учасників і умови, участь людей, проєкт, етику, прозорість і відтворюваність, до обмежень. Її супутня Матриця етики та ризику охоплює ризики для здобувацької Суб’єктність здобувача, equity, Урядування ШІ даними та прозорості алгоритмів. Hwang, Xie, Wah and Gašević (2026) пропонують спрощену альтернативу, TEP-AIED, яка згортає прозорість, етику та педагогіку в одну взаємозалежну структуру, постачає таблицю настанов, відображену на сім розділів роботи, і просить авторів додати підрозділ методу під назвою «Transparency, Ethics, and Pedagogy Considerations», — бо, на їхній думку, RAISE є всеосяжною, але надто детальною для повсякденного емпіричного вжитку. Розкриття стоїть під Заяви про використання ШІ та розкриття інформації і є тим, що робить твердження про Приватність і Етика перевірними.

Визначте, чи є ваш вплив методом чи продуктом

Освітнє обґрунтування є першим доменом RAISE, бо ШІ — не нейтральний інструмент: цінність залежить від узгодження між навчальною проблемою, теоретичним обґрунтуванням і відображенням від цілей до мір результату. O'Neill (2026) виявив, що всі, крім двох, перевірені метааналізи визначали вплив як інструмент — ChatGPT, GenAI, «ШІ», — і що назва продукту не є Педагогіки та стратегії викладання; розгляд впливу ChatGPT як однієї спільної інтервенції порівнюваний із метааналізом ефектів «паперу». Weidlich et al. (2025) висувають той самий аргумент для первинних досліджень: перевіривши підмножину порівнянь за визначним метааналізом, вони виявили, що лише 21% мали добре визначений вплив, контрольну групу та валідну навчальну міру, і що повідомлений розмір ефекту (g = 0.7) перевищував той із цілеспрямованих intelligent tutoring systems (0.66) — червоний прапорець, що «вплив» був гетерогенним секретним соусом, а не названим методом.

Перевірка: чи міг би компетентний читач відтворити вашу інтервенцію з одного лише розділу методу і отримати те саме?

Визначте, що вимірює ваш інструмент, і що тому може казати твердження

У доказовому аудиті O'Neill із 46 випадково вибраних первинних досліджень 28 (61%) мали побоювання щодо валідності, і невідповідність залежної змінної була найпоширенішою (n = 15), далі йшла невідповідність незалежної змінної (n = 11), проблеми експериментального проєкту (n = 7), проблеми вилучення даних (n = 6), відсутність контрольної групи (n = 6) і нерандомізований розподіл за групами (n = 6). Багатовимірні результати регулярно зводилися так, наче вони взаємозамінні — оцінки тестів, якість домашніх робіт, Мотивація, Самоефективність, ставлення та engagement — усе згорталося в одне число «академічного досягнення».

Дві звички звітування запобігають цьому. Сформулюйте, який конструкт вимірює інструмент, і що він був валідований для цієї популяції: див. Засоби самооповідання щодо того, де міри на основі сприйняття розходяться з поведінкою, і Валідність оцінювання щодо валідності конструкту. Потім повідомляйте результат, який не залежить від переконання здобувача про допомогу, бо негайна результативність задачі за допомоги не є learning gain: a 2026 mini review of 493 records and 14 priority studies виявив, що жодне не вимірювало успіх верифікації і наступне рішення про залежність разом проти незалежно розбитого стандарту якості виведення, і мало хто дивився далі негайної результативності на відстрочене збереження або перенесення. The evidence for durable learning залишаються змішаними, і cognitive offloading — це механізм, який найімовірніше розділяє два ці.

Визначте, як були валідовані ваші автоматизовані судження

AIED evaluation усе більше делегує оцінювання моделям, що робить процедуру валідації частиною результату, а не додатком. Розповідь Khan Academy про метрики свого AI tutor повідомляє, що когнітивну залученість оцінює суддя на Великі мовні моделі (LLM), калібрований проти людських педагогічних експертів на F1 0.83, і що рухи метрик походили від понад 40 живих експериментів за п’ять місяців, а не від офлайн-оцінювання (Udeshi et al. 2026). Tseng et al. (2026) показують, що розбіжність між людиною й машиною щодо якості pretest question є систематичною, а не випадковою, і що операціоналізація рубрики важливіша за підказки, спрямовані на обґрунтування.

Узгодженість із людськими кодирувальниками — не якість, і повідомляти її так, наче це якість, — це мішень для рецензента. Liu et al. (2026) дали незалежному експертному судді оцінити 855 парних наборів коду, не знаючи джерела, і виявили, що узгодженість між людиною і LLM (середній Жаккар 0.30) значно нижча за узгодженість між людьми (0.52), тоді як сліпий верифікатор надавав перевагу людському та машинному кодуванню з однаковою частотою (51.5% проти 48.5%, p = 0.537). Повідомляйте ціль калібрування, еталон і хто його розбирав.

Визначте, чи порівняння є справедливим, і як далеко сягає твердження

Справедливість і область застосування відмовляють однаково: великий ефект, який означає менше, ніж здається. 11 із 14 перевірених метааналізів не встановили межі популяції, тому «студенти» охоплювали все від дітей до медичних інтернів; один курс, заклад, галузь чи країна не дають права на загальне твердження, і результати для одного інструмента рідко переносяться на інший. Ефекти новизни, додатковий час на задачі і умова порівняння, яка отримала звичайний інструктаж, а не активний контроль, — це звичайні пояснення великого ефекту, — тому повідомляйте, що справді робив контроль, скільки часу кожна група провела, і наскільки новим був інструмент. Сформулюйте також межу популяції, бо ефекти розходяться за групами здобувачів, і невизначена межа — це те, що дозволяє одному зведеному числу стояти за всіх них (див. Differential Effects Across Learner Groups). Розглядайте інструмент також як рухому ціль: пропрієтарні системи змінюються без повідомлення, тому знахідка прив’язана до версії моделі, і Бенчмарк, який вражав в одному релізі, може не утриматися в наступному.

Визначте, що може підтримати ваш аналіз — і повідомляйте його невизначеність, а не лише заголовок

Для синтезів повідомляйте обробку залежних ефектів, міждослідну дисперсію, інтервали прогнозу та оцінку упередженості публікації, а не лише I². O'Neill виявив, що повідомлена гетерогенність була тяжкою всюди, де її надавали (I² від 77.2% до 94.4% за 13 метааналізами, 12 із них вище 80%) і ніколи не була розв’язана (жоден аналіз модераторів не досяг мінімального розміру підгрупи в десять досліджень), що 12 метааналізів розглядали залежні розміри ефекту з одного дослідження як незалежні, завищуючи видимі докази, і що лише чотири повідомили міждослідну дисперсію (τ²) і лише два — інтервал прогнозу, обидва з яких включали нуль. Упередженість публікації не була валідно оцінена ніде.

Оскільки I² залежить від точності, показник гетерогенності мусить подорожувати зі своєю моделлю: Limitations in AIEd Research документує один синтез, чия гетерогенність становить I² = 82.98% за моделі фіксованих ефектів і 15.75% за випадкових ефектів, тому читачеві, якому дали лише перше число, не сказати, наскільки непослідовним є корпус. Повідомляйте τ² і інтервал прогнозу поряд із ним; див. meta-analysis and systematic review щодо умовностей боку огляду, і знижуйте заголовок відповідно — скоригована на упередженість середня Bartoš et al. становила SMD = 0.196 з інтервалом прогнозу від −1.521 до +1.908, охоплюючи суттєву шкоду до суттєвої користі для гіпотетичного нового дослідження.

Визначте, що ви розкриваєте про етику, витрати, управління — і ваше власне використання ШІ

Огляд усіх робіт конференції AIED 2025 виявив патерн «впровадження LLM без розкриття»: більшість проєктів використовувала LLM, але менше ніж горстка повідомили про споживання ресурсів або вуглецевий слід. Та робота постачає метод з відкритим кодом із інструментами вимірювання для локального та хмарного заліза плюс формулу для оцінки обчислювальних витрат найновіших моделей, чиї кількості параметрів не розкриті, і стверджує, що неповідомлення цих витрат саме по собі є етичним занепокоєнням. Додайте управління даними, згоду та доступність/культурну придатність (пункти RAISE; Універсальне проєктування навчання, Доступність) — див. Як дослідження зі ШІ в освіті мають інтегрувати справедливість, доступність, приватність, етику та педагогічну безпеку? для повнішого розгляду цих зобов’язань.

Ваше власне використання ШІ в дослідницькому процесі потребує того самого розкриття. Zabaleta and Lin's PRISMA-LLM analysis з 888 робіт про автоматизацію оглядів показує, наскільки нерівномірним є це повідомлення: від 2023 року 38.0% робіт про програмне забезпечення/продукти не повідомили про жодного оцінювання взагалі (проти 9.3% робіт про LLM), середня багатість повідомлень становила 6.3 для робіт про LLM проти 3.3 для робіт про програмне забезпечення/продукти, і 84.1% використання LLM спиралося на пропрієтарні або розміщені системи, з лише 4.9% відкритих ваг. Їхня рамка відокремлює розкриття впровадження від оцінювання, чутливого до наслідків, за п’ятьма рівнями розкриття — придатний шаблон для опису того, що інструмент робив в огляді. Dai and Chan (2026) додають картину з боку автора: 27 із 28 аспірантів-дослідників використовували GenAI в породженні ідей, огляді літератури, поясненні, обробці даних, програмуванні, academic writing, редагуванні та перекладі, калібруючи використання до ставок і галузевих норм, зауважуючи при цьому, що інституційні політики стосуються викладання та оцінювання, а не дослідницької практики.

Визначте, що робити з нульовими результатами і посиланнями

Denny et al. перевірили 30 фабрикованих посилань у 14 роботах, причому перевірена кількість на одному технічному симпозіумі зросла з 3 у 2025 році до 17 у 2026 (2.3% робіт матеріалів того року), — і чернеткування з допомогою LLM робить правдоподібне вигадане посилання дешевим для створення. Їхні контрваги важливі, коли ви цитуєте той аудит: більшість позначених посилань були безневинними — 229 були невідповідностями метаданих ACM, де PDF був правильним, і 188 були валідними бібліографічними варіантами, — тому фабрикована кількість є свідомою нижньою межею, а безневинна більшість — не похибкою округлення. Перевіряйте кожен запис, який ви не можете перевірити особисто.

Повідомлення нульових і негативних знахідок — інший бік тієї самої монети. Bartoš et al. (2026) виявили сильні докази придушених нульових результатів (кожен тест Egger p < .0001) і крайню гетерогенність (τ = 0.869), причому жодна підгрупа за результатом, галуззю, рівнем або роллю ШІ не показувала послідовних приростів. Вони також не виявили різниці між дослідженнями, опублікованими до і після січня 2023 року, що підриває твердження, нібито саме сучасні генеративні інструменти породжують прирости.

Документовані слабкості галузі в її власних числах

Базові частоти, проти яких слід зважувати твердження:

• Валідність: 28 із 46 вивірених первинних досліджень (61%) мали побоювання щодо валідності; лише 21% перевірених порівнянь мали добре визначений вплив, контрольну групу та валідну міру.
• Нерозв’язана гетерогенність: I² від 77.2% до 94.4% за 13 метааналізами, 12 вище 80%, жоден аналіз модераторів не досяг мінімуму в десять досліджень, залежні ефекти розглядалися як незалежні в 12, і лише чотири синтези дали τ² проти лише двох із інтервалом прогнозу.
• Упередженість публікації: не оцінена в жодному з 14 перевірених метааналізів; кожен тест Egger у більшому масиві був значущим (p < .0001), при τ = 0.869.
• Посилання: 30 фабрикацій у 14 роботах, 17 на одному симпозіумі 2026 року — 2.3% матеріалів того року.

Заперечення, які ви почуєте

«Рецензенти хочуть новизни, а не деталей методу». Журнали рухаються в інший бік: RAISE і TEP-AIED дають редакторам конструкт, який можна вимагати, і підрозділ методу TEP-AIED є точкою входження з низьким тертям. Деталі методу — це те, що перетворює неоцінну роботу на таку, на яку можна посилатися.

«У нас немає місця». П’ять рівнів розкриття — це рівні повідомлення, а не рівні ризику, тому глибина оцінювання конвеєра може бути одним-двома реченнями. Версія, підказки та роль вміщуються в короткий абзац; витрати та управління вміщуються в речення про обмеження.

«Усі так повідомляють». Це — знахідка, а не захист, — 61% вивірених первинних досліджень із побоюваннями щодо валідності, 12 із 13 метааналізів вище 80% гетерогенності, 38.0% робіт про програмне забезпечення/продукти без жодного оцінювання. Норма — це дефект.

«Наш інструмент пропрієтарний, тому ми не можемо повідомити модель». Повідомляйте версію, дату доступу, конфігурацію, підказки, які ви надали, роль і обмеження. Якщо постачальник не скаже, те обмеження належить до обмежень як межа твердження.

«Повідомлення нульових результатів нашкодить нам». Придушені нульові результати — задокументований механізм за середньою SMD = 0.196, скоригованою на упередженість; їхнє публікування — це те, що робить ваш позитивний результат читабельним.

Контрольний список перед поданням

• Повідомляйте: модель, версію, конфігурацію та підказки, і роль ШІ в проєкті. Перевірте: чи могли б ви відтворити інтервенцію з одного лише розділу методу?
• Повідомляйте: педагогічне обґрунтування та умову активного порівняння. Перевірте: чи вплив є названим методом, а не назвою продукту?
• Повідомляйте: що захоплює кожна міра, її валідацію для цієї популяції, і відстрочений або бездопоміжний результат. Перевірте: чи твердження в заголовку відповідає залежній змінній?
• Повідомляйте: хто розбирав автоматизовані судження, проти якого еталону, з якою узгодженістю. Перевірте: чи точність або узгодженість використовуються так, наче вони є якістю?
• Повідомляйте: обробку залежних ефектів, τ², інтервали прогнозу, розміри підгруп модераторів та оцінку упередженості публікації. Перевірте: чи гетерогенність процитована зі своєю моделлю і своєю точністю?
• Повідомляйте: участь людей, управління даними, згоду, доступність і культурну придатність, плюс обчислювальні та екологічні витрати. Перевірте: чи твердження про етику спираються на описану процедуру, а не на стверджені принципи?
• Повідомляйте: використання ШІ всередині дослідницького процесу, за всіма п’ятьма рівнями розкриття. Перевірте: чи конвеєр рецензування або аналізу був оцінений взагалі?
• Повідомляйте: нульові, негативні та спростовуючі результати поряд із позитивними. Перевірте: чи розмір ефекту знижений на ймовірну упередженість публікації?

Що справді підвищило б стандарт

Засоби в цій літературі є інституційними, а не індивідуальними. O'Neill рекомендує обов’язкову прозорість даних для метааналізів — повні таблиці розмірів ефекту, структури залежностей, τ² та інтервали прогнозу — плюс сильніший контроль з боку рецензентів і редакції та діючу практику відкликання, з аргументом, що ці невдачі є продуктами невдалого контролю, а не поодинокими помилками. PRISMA-LLM пропонує п’ять рівнів розкриття як рівні повідомлення, а не як рівні ризику, щоб глибина оцінювання конвеєра огляду була сформульована прямо; RAISE і TEP-AIED дають журналам конструкт, який можна вимагати в поданнях. Щодо суміжного ґрунту див. notable gaps in the research literature, Limitations in AIEd Research та measures and methods for evaluating AI-related interventions. Один дешевий засіб стоїть за авторами: кожна сторінка статті в цій базі знань тепер поєднує дослідження з розділом Що це означає для практики і, як правило, із розділом Обмеження, тому написання роботи так, щоб обидва могли бути заповнені чесно — дія, яку міг би зробити практик, і обмеження на неї, — є звичкою звітування в тій самій мірі, що й звичкою письма (див. Interpreting and Applying AIEd Research).