База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Методи досліджень в AIED

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Методи досліджень в AIED — сукупність емпіричних дизайнів, стратегій збору даних та аналітичних методів, якими дослідники вивчають ШІ в освіті: чи підтримують (або шкодять) інструменти ШІ навчанню та за яких умов. Корпус цієї бази знань охоплює експериментальні, опитувальні, якісні, дизайн-орієнтовані, обчислювально-бенчмаркові та оглядові методи. Кожен із них має відмінні сильні сторони та обмеження, а вибір між ними тягне за собою компроміси між внутрішньою валідністю (уповноваженістю причинно-наслідкових тверджень), зовнішньою валідністю (узагальнюваністю), екологічною валідністю (автентичністю реального світу) та здійсненністю вивчення швидкозмінних інструментів ШІ.

Питання для роздумів

  • Центральна напруга сторінки: найсильніші дизайни для причинного висновку (рандомізовані експерименти) — найважчі для проведення в реальних навчальних аудиторіях, тоді як найавтентичніші середовища пропонують слабший причинний контроль. Якби вам треба було вирішити, чи допомагає репетитор на базі ШІ навчанню, з якою з цих двох невдач ви б радше погодилися — і чому?
  • Перш ніж читати, чи можете ви назвати різницю між внутрішньою, зовнішньою та екологічною валідністю? Сторінка стверджує, що кожен дизайн жертвує ними. Як дослідження, яке є суворо причинним, усе одно може розповісти вам майже нічого корисного про реальну навчальну аудиторію?
  • Бенчмарк показує, що ШІ набирає високу точність, але сторінка наполягає: висока точність бенчмарку не тягне за собою освітньої ефективності. Чому система, яка «складає тест», усе одно може не допомагати студентам навчатися — і якого роду доказів бракує?
  • Дизайн-орієнтоване дослідження ітерує реальну інтервенцію, але не може віднести здобутки до конкретного механізму, тоді як RCT ізолює причини, але працює в штучних умовах. Враховуючи швидкий темп змін ШІ, як довго, на вашу думку, суворе RCT залишається релевантним, перш ніж протестований ним інструмент застаріє?
  • Експертний консенсус за методою Delphi встановлює згоду між експертами, а не емпіричний ефект. Коли законно будувати рамку компетентностей із того, у що вірять експерти, порівняно з даними про те, що працює — і як би ви на практиці відрізнили одне від іншого?
  • Сторінка відстоює тріангуляцію — поєднання бенчмаркової оцінки, експериментів, вимірювання та якісної роботи для судження і про те, чи працює інструмент, і про те, як. Перед читанням: де в твердженні на кшталт «цей ШІ покращує навчання» кожен із методів був би потрібен, щоб ви повірили?

Вступ

Центральна напруга досліджень AIED: найсильніші дизайни для причинного висновку — рандомізовані експерименти — часто найважчі провести з автентичними інструментами ШІ в реальних навчальних аудиторіях, тоді як найавтентичніші середовища (польові розгортання, кейс-стаді, аналізи логів) дають слабший причинний контроль. Жоден окремий метод цього не вирішує; галузь просується через тріангуляцію методів і через явність щодо того, якого роду твердження може підтримати кожен дизайн. Кожен метод також несе транcверсальні обмеження — узагальнюваність, валідність вимірювання, швидкий темп змін ШІ, відтворюваність і слабке використання теорії, — які читач має зважувати; див. Обмеження досліджень AIEd.

Предметом сторінки є метод, а не знахідки. Науки про навчання — це змістова галузь, якій ці методи служать: де ця сторінка охоплює, як дослідження має бути спроєктоване, виміряне та звітоване, тамта сторінка охоплює, що галузь встановила про те, як люди навчаються і як мають бути спроєктовані навчальні середовища, і вона трактує дизайн-орієнтовані та змішані методи як сигнатурні підходи наук про навчання, а не як два варіанти серед багатьох.

Суміжною з цією сторінкою є AI-Assisted Educational Research, яка охоплює ШІ як інструмент власної роботи галузі: пошук літератури, скринінг, автоматизацію оглядів, якісне кодування, аналіз і письмо. Її область включає дослідження практиків, такі як стипендія викладання та навчання, і залишається відмінною від дизайнів, які описує ця сторінка.

Martin, Rost, Koenen та Graulich (2026) спрямовують ту саму критичність на власне виробництво знань галузі, використовуючи номічну проблему вимірювання Chang (2004): вимірювання величини потребує закону, що пов’язує її з чимось спостережуваним, проте цей закон не може бути перевірений емпірично, не знаючи вже величини. Вони стверджують, що функції вимірювання, похідні від ШІ, які виникають із навчальних даних та оптимізації, а не від дослідника, можуть посилювати її, а не розв’язувати. Такі функції можуть виглядати точними, залишаючись епістемічно непрозорими, тож роль дослідника зсувається до інтерпретації та валідації обчислювальних виходів. Їхня рефлексивна рамка з семи фаз (постановка проблеми; інструментування та вимірювання; експериментування та доказовий висновок; порівняння та реплікація; побудова норм і консенсусу; впровадження та його наслідки; і безперервне вдосконалення) пропонується як аналітична допомога, а не валідований метод, і вони стверджують, що порівняльність має поширюватися між популяціями студентів, а не лише підмножинами, яким модель служить добре.

Суворість звітування та модель TEP-AIED

Якість звітування досліджень ШІ в освіті сама по собі є дослідницьким занепокоєнням. Модель TEP-AIED (Hwang, Xie, Wah & Gasevic, 2026) пропонує структуровану рамку для подання досліджень ШІ в освіті з суворістю, організовуючи суттєві компоненти звіту дослідження — постановку проблеми теорії/технології/освіти, дизайн, дані, аналіз і результати, — щоб читачі та рецензенти могли оцінити, чи підтримуються твердження і чи є робота відтворюваною. Вона відповідає на хронічні слабкості галузі в звітуванні (нечіткі описи інструментів, незаявлені версії моделей, пропущені деталі оцінювання), які документує сторінка обмежень. Рамки звітування на кшталт TEP-AIED стоять поруч із усталеними контрольними списками звітування (наприклад, CONSORT-подібні настанови для випробувань, PRISMA-подібні настанови для оглядів) як частина ширшого руху галузі до методологічної прозорості та відтворюваності.

RAISE (Allison, 2026) підходить до тієї самої проблеми з протилежного боку — як контрольний список, а не як наративна структура. Вона задає 30 пунктів у десяти тематичних доменах (освітнє обґрунтування та теоретичне обґрунтування, специфікація системи ШІ, роль та взаємодія ШІ, Доступність і культурна відповідність, середовище та учасники, участь людини, дизайн та оцінювання дослідження, етика та достовірність, прозорість і відтворюваність, обмеження та імплікації), з редагованою версією та супутньою Ethics and Risk Matrix, що покриває агенцію здобувача, рівність доступу, управління даними Урядування ШІ та алгоритмічну прозорість. Ці дві рамки звертаються одна до одної безпосередньо: TEP-AIED характеризує RAISE як всеохопну, але дорікає її широті, стверджуючи, що "its breadth and granularity may make it complex and less accessible for routine empirical applications," тоді як власне формулювання RAISE полягає в тому, що вона не вимагає жодного методу чи моделі і лише потребує, щоб зроблений вибір був видимим. Прочитані разом вони позначають компроміс у цій літературі — повніший контрольний список аудиту проти стрункішого тривимірного наративу — і сходяться на тих самих непохитних умовах: назвати та версіонувати систему ШІ, розкрити підказки та дизайн взаємодії, визначити умови лікування та порівняння, повідомити про етичний огляд і зменшення ризиків і заявити, чи вимірюють результати результативність, збереження чи перенос. Щоб дослідження було розсунуте на цих умовах, інструмент звітування має бути прийнятий на час дизайну, а не зібраний на стадії рукопису, на що наполягають обидві рамки. Історичний аналіз на рівні корпусу сам по собі є методологічним вибором із зобов’язаннями прозорості: Rismanchian і Doroudi розміщують кожну статтю в своїй рамці AI×Ed на підставі авторського судження про анотації та повні тексти, явно визнають, що це не систематична і не масштабована керована даними категоризація, і роблять свій повний набір даних публічно доступним як додатковий матеріал для реплікації.

Експериментальні та квазіекспериментальні дизайни

Дослідження ефективності перевіряє, чи породжує інтервенція свій передбачуваний навчальний ефект, типово використовуючи експериментальні або квазіекспериментальні дизайни, які порівнюють результати з і без інтервенції. Експерименти рандомізовано привласнюють здобувачів до умов (наприклад, репетитор на базі ШІ проти людського репетитора, або скаффолдингований ШІ проти неасистованого), щоб оцінити причинні ефекти на результати на кшталт навчальних здобутків, залученості чи мотивації. Рандомізовані контрольовані випробування є золотим стандартом внутрішньої валідності. Рандомізоване польове дослідження людської підтримки плюс репетиторства на базі ШІ і RCT щодо генеративного ШІ у викладанні використовують привласнення для ізоляції причинних ефектів. - Валідація інструменту та перевірки базової лінії йдуть перед оцінкою ефекту. Davor (2026) порівняв дві цілі класи ганської старшої школи (86 студентів, по 43 в групі) з GenAI як геометричним скаффолдингом, розміри вибірки обґрунтувавши аналізом G*Power і попередньо апробувавши Geometry Reasoning and Proof Test до надійності розполовинної стабільності Spearman-Brown 0,859 перед дослідженням. Групи не відрізнялися значуще на претесті, і ANCOVA з коригуванням на попередню результативність зберегла груповий ефект (F(1, 83) = 50.30, p < .001, часткове η² = .377). За відсутності рандомізованого привласнення саме надійність апробації та перевірка еквівалентності базової лінії роблять кориговане порівняння інтерпретованим.

  • Сильні сторони: найсильніший причинний висновок; чисте вимірювання результатів; підтримка оцінювання розміру ефекту та тверджень ефективності.
  • Обмеження: дорого й повільно; штучні умови можуть зменшувати екологічну валідність; швидкозмінні інструменти ШІ роблять довгі експерименти швидко застарілими; малі вибірки часто недоуповноважені для виявлення значущих ефектів; етичні обмеження на утримання потенційно корисних інструментів.
  • Приклади: Access is Not Enough: Human Support Improves Engagement with AI Tutoring, Generative AI Can Harm Teaching, Do Gains from Generative AI-Enabled Adaptive Pretesting Persist? Evidence from a Retention Study, Exploring How Agent Voice Accents Shape Human-AI Collaboration in K-12 Group Learning, From AI Use to Critical Thinking Among Medical Students: A Moderated Mediation Perspective on Cognitive Load and Self-Regulated Learning.
  • Пререєстрація застосовна до вторинних аналізів, а не лише до випробувань. Srivastava (2026) прогнав чотири правила оновлення Відстеження знань над ідентичними логами ASSISTments (12 716 студентів, 985 813 оцінених подій), які відрізнялися лише тим, як вони оцінюють рядки з підказками, тримавши підтверджувальну половину запечатаною до появи файлу з URL реєстрації, і повідомив, що всі чотири пререєстровані передбачення справдилися. Нарахування кредиту за будь-яке завершення передбачало пізнішу неасистовану результативність ледь вище за константу складності вміння (об’єднаний AUC 0,604 проти 0,595), водночас оголошуючи 93,9% пар студент–вміння опанованими проти 72,8% за суворим правилом. Коли один лог підтримує кілька висновків, саме фіксування аналізу заздалегідь робить порівняння довіреним.

Дослідження на опитуваннях та структурному моделюванні рівнянь

Поперечні опитування вимірюють самоописані ставлення, сприйняття, мотивацію, Самоефективність та прийняття технологій, часто моделюючись регресією або структурним моделюванням рівнянь (SEM/PLS-SEM) для перевірки гіпотетичних зв’язків і медіаторів. Вони домінують у корпусі цієї бази знань, зокрема для питань прийняття, мотивації та психологічних механізмів.

  • Сильні сторони: великі вибірки; широке, недороге покриття; можуть перевіряти складні медіаційні моделі психологічних механізмів; здійсненні для вивчення ставлень, які важко спостерігати.
  • Обмеження: поперечні дані не можуть встановити причинність; упередженість спільного методу/самоопису; зручна вибірка обмежує узагальнюваність; медіатори висновуються з коваріації, а не з маніпуляції.

Сам інструмент заслуговує на окрему критичність. Те, що може і не може встановити анкета, інтерв’ю або щоденник, — і задокументована прогалина між тим, що люди повідомляють, і тим, що вони роблять, — зібрано на сторінці Засоби самооповідання.

Якісні методи

Інтерв’ю, фокус-групи та тематичний аналіз породжують багаті, контекстуальні описи того, як студенти та викладачі переживають інструменти ШІ, які смисли вони до них прикладають і які напруження й шкоди пропускають стандартизовані міри. Дослідження безпеки репетиторів на базі ШІ та дослідження того, як ШІ змінює робочі процеси викладання, сильно спираються на якісні докази. Див. виділену сторінку поняття Якісне дослідження для повного опрацювання якісних підходів — тематичного аналізу, ґрунтованої теорії, феноменології/феноменографії, дискурс-аналізу, спостережень і етнографії, кейс-стаді та інтерв’ю/фокус-груп — кожного з прикладами з бази знань.

Змішані дизайни

Дослідження зі змішаними методами поєднують кількісні та якісні волокна — часто послідовно (наприклад, QUAL→QUAN→qual), — щоб якісні дані пояснювали або контекстуалізували кількісні знахідки. Дослідження зі змішаним методом щодо GenAI та сталого навчання поєднує тривильові опитування з інтерв’ю викладачів; дослідження парадоксу компетентності використовує фокус-групи викладачів, опитування студентів і подальші інтерв’ю.

Дизайн-орієнтоване дослідження (DBR)

DBR ітеративно проєктує, впроваджує та вдосконалює освітню інтервенцію в автентичних контекстах, циклічно рухаючись між теорією, дизайном і реальною практикою. Воно помітне в цій базі знань для розробки навчальних середовищ на базі ШІ та педагогічних моделей. Див. виділену сторінку поняття Дизайн-орієнтоване дослідження для повного циклу DBR, прикладів та його сильних сторін/обмежень. Канонічним прикладом в AIEd є дослідження моделі AI-Assisted Collaborative Learning (Putra et al.), яке провело чотирифазний цикл DBR — аналіз потреб, проєктування моделі, восьмитижневе впровадження в навчальній аудиторії та вдосконалення моделі, — ітеруючи на чотирифазовому навчальному циклі (ідентифікація проблеми → колаборативне дослідження з асистуванням ШІ → колаборативне Вирішення задач → рефлексія та презентація). Інші приклади розробляють ШІ-грамотність підготовку викладачів (Development and evaluation of artificial intelligence literacy training for teacher education students) і GenAI Скаффолдинг для критичного мислення (Scaffolding critical thinking with generative AI: Design principles for integrating large language models in higher).

DBR жертвує причинним контролем експериментів заради екологічної автентичності та ітеративного вдосконалення: це правильний інструмент для питань «як нам спроєктувати це навчальне середовище на базі ШІ, щоб воно працювало на практиці?», і його докази найсильніші як доказ концепту та настанова з дизайну, а не як причинна ефективність. Читання навчальних здобутків DBR потребує тієї самої обережності, що й інші дизайни — без неасистованого, контрольованого міри результату здобутки можуть відбивати той самий конфаундер продуктивності, завищеної ШІ, задокументований у розділі навчальні здобутки.

Систематичні огляди та метааналізи

Огляди синтезують доказову базу, а не запускають новий експеримент. Систематичні огляди та огляди меж застосовують прозорий протокол для пошуку, скринінгу, оцінювання та синтезу тіла досліджень; метааналізи додатково об’єднують розміри ефектів між дослідженнями, щоб отримати зважену підсумкову оцінку і перевірити модератори. Комплексний огляд ITS і систематичний огляд GenAI у вищій освіті є взірцями підходу.

Див. виділену сторінку поняття Метааналіз і систематичний огляд для повнішого опрацювання систематичного огляду та метааналізу в ШІ в освіті — включно з їхнім ставленням до первинних дизайнів, звітуванням PRISMA та їхніми сильними сторонами й обмеженнями.

Обчислювальна та бенчмаркова оцінка

Обчислювальна оцінка оцінює системи ШІ напряму — проти бенчмарків, міток ґрунтової правди чи людських суджень, — а не вивчає людських здобувачів. Це включає бенчмарки, підходи Великі мовні моделі (LLM)-as-judge. Це найближчий метод до Оцінювання ШІ в освіті (див. розрізнення нижче).

  • Сильні сторони: швидкий, масштабований, відтворюваний; дає змогу порівнювати моделі та версії систем один на один; суттєвий для розробки систем і забезпечення якості.
  • Обмеження: вимірює вихід системи, а не навчання — висока точність бенчмарку не тягне за собою освітньої ефективності; якість ґрунтової правди та рубрик сама по собі є спірною; може пропускати педагогічну якість, яку сприймають люди. Rismanchian і Doroudi стверджують, що гнучкість природної мови LLM робить суто технічні метрики недостатніми, потребуючи людсько-натхненних підходів до оцінювання — симульованих студентів, тестів AI-викладача та аналізів поведінкової науки, раніше зарезервованих для людських суб’єктів, — щоб судити навчально-релевантну якість, і що обережне вивчення LLM може породжувати прозріння в людське навчання.
  • Роз’єднані учасники, а не рандомізовані поділи, запобігають витоку в оцінюванні детекторів. Kumar et al. (2026) побудували стилометричний детектор з 90 авторів, кожен із яких створив один неасистований і один перефразований зразок, тримаючи кожне вікно від учасника в одному фолді, щоб стиль автора не міг витікати між поділом, і повністю відклавши 18 людей. Випадковий ліс досяг ROC-AUC 0,870 з F1 0,842, але позначив 4 з 18 незалежно авторських документів як GPT-асистовані (22,2%); автори трактують цей рівень хибних спрацьовувань як релевантний для розгортання результат і представляють модель як підтримку рішень, а не автоматизований екран порушень.
  • Приклади: TeachBench - Evaluating LLM Teaching Ability, ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents, Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education, Confidence Estimation in Automatic Short Answer Grading with LLMs, The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors.
  • Стандарти звітування для автоматизованих конвеєрів та аудованих бенчмарків. Дві статті 2026 року поширюють методологічну підзвітність за межі самого дослідження. PRISMA-LLM відображує 888 статей про автоматизацію оглядів і 14 726 анотацій, виявляючи, що 38,0% статей про програмне забезпечення чи продукти не повідомляли про жодної оцінки проти 9,3% статей про LLM, і що 52% оцінок LLM лише з позитивними результатами залишили невдоволеним занепокоєння високої планки, і пропонує звітування, що ідентифікує, де в робочому потоці огляду діяла автоматизація (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews). Експертний аудит переоцінювання шести фізичних бенчмарків показує ту саму проблему на рівні інструменту: з 250 аудованих відкидань лише 12 (4,80%) були справжніми помилками моделі, тоді як 143 були дефектами завдань і 95 — помилками оцінювачів (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Обидва стверджують, що обчислювальним оцінкам потрібен аудований бюджет помилок, перш ніж їхні результати читаються як знахідки про здобувачів або моделі.
  • Вбудовуйте перевірку людської згоди в розробку детектора, а не після нього. Baker і колеги (2026) викладають семикроковий процес для текстових детекторів когнітивних конструктів — вибір набору даних, визначення конструкту, чернетку книги кодів, перевірку міжоцінювачами-людьми, вдосконалення категорій, побудову детектора та застосування, — щоб надійність на людськокодованих мітках передувала будь-якому розгортанню LLM-as-judge. Вона потребує скоригованих на випадковість метрик згоди (Cohen's або Fleiss's κ, Krippendorff's α), крос-валідації на рівні студента та аналізу помилок за підгрупами як мінімальних стандартів, і стверджує, що хибне вимірювання стає джерелом шкоди, коли такі детектори сидять усередині розгорнутих платформ.

Інші дизайни: лонгітюдні, кейсові та симуляційні дослідження

Поза основними сімействами база знань використовує лонгітюдні дизайни, які відстежують здобувачів у часі (лонгітюдне дослідження LMS), кейсові та “in the wild” дослідження автентичного використання (великомасштабний аналіз реальних взаємодій студентів) і симуляційні дослідження, в яких LLM стоять замість студентів чи пацієнтів (LLM як симульовані здобувачі, Симуляція). Вони жертвують широтою або контролем заради реалізму та доступу до феноменів, які інакше важко спостерігати.

Методи експертного консенсусу: метод Delphi

Метод Delphi — це структурована техніка встановлення експертного консенсусу з питання, на яке ще немає емпіричної відповіді — найчастіше в цій базі знань він використовується для розробки рамок, переліків компетентностей і визначень, на яких практики й дослідники можуть погодитися. В дослідженні Delphi панель експертів відповідає на послідовні раунди анкет; після кожного раунду подається зворотний анонімний зведений підсумок відповідей групи, і експерти переглядають свої відповіді, доки група не збігається на угоді (типово визначуваній заданим порогом, наприклад 75%). Це спосіб будувати валідність конструкту та професійний консенсус через ітеративні, анонімні консультації, а не через єдине опитування чи голосування.

  • Сильні сторони: породжує консенсус від різноманітної панелі експертів без тисків особистої групи (анонімність зменшує ефекти домінування); добре пристосований до визначення конструктів, компетентностей і рамок, коли не існує жодної валідованої міри; ітеративні раунди дають змогу експертам вдосконалювати і збігатися; здійсненний там, де повні експерименти чи великі вибірки непрактичні.
  • Обмеження: консенсус відбиває експертне судження, а не емпіричні докази — він встановлює угоду, а не ефект; результати залежать від складу панелі та (суб’єктивного) порогу консенсусу; може бути повільним через кілька раундів; судження єдиної панелі може не узагальнюватися.
  • Приклади: дослідження рамки SAIL (три раунди, 17 експертів, вдосконалення рівнів компетентності зі ШІ-грамотності), дослідження рамки HCAP (три раунди, 30 викладачів, визначення 25 компетентностей викладача зі ШІ), AI Literacy Heptagon (який використав експертний внесок/консенсус поряд з оглядом за PRISMA), і.

Delphi часто поєднується з іншими методами — наприклад, експертний консенсус може бути використаний для валідації рамки (як у SAIL і HCAP), яка потім тестується або впроваджується через дизайн-орієнтоване дослідження або дослідження на опитуваннях. Він стоїть поряд із якісними та експертно-судженнєвими підходами і сприяє валідності інструментів, заснованих на рамках.

Дослідження проти оцінювання: зв’язки та розрізнення

Дослідження та оцінювання тісно пов’язані, але відмінні. Дослідження ставить узагальнювані питання про те, як ШІ впливає на навчання — «чи покращує скаффолдинг результати навчання?» — і має на меті будувати теорію та докази, які переносяться за межі конкретного дослідження. Оцінювання (див. Оцінювання ШІ в освіті) оцінює, чи працює конкретний інструмент чи система на базі ШІ — чи є вона точною, надійною, педагогічно обґрунтованою і придатною до мети, — проти бенчмарків, рубрик або критеріїв, визначених зацікавленими сторонами. Дослідження наголошує на внутрішній валідності та узагальненні; оцінювання наголошує на якості системи та локальному прийнятті рішень.

Кордони розмиваються: дослідження бенчмарків — це оцінювання, яке може живити дослідження, а інструменти оцінювання (рубрики, набори ґрунтової правди, рамки валідності) залежать від занепокоєнь Освітнє вимірювання та Валідність оцінювання, які дослідження прояснює. Навпаки, знахідки досліджень про те, що підтримує навчання, мають інформувати, як інструменти ШІ оцінюються. База знань трактує їх як взаємодоповнювальні: обчислювальна та бенчмаркова оцінка (Бенчмарк, Оцінювання ШІ в освіті) каже нам, чи є система ШІ технічно обґрунтованою, тоді як дослідження ефективності та опитування (Рандомізований контрольований експеримент (RCT)) кажуть нам, чи допомагає вона людям навчатися.

Вибір між методами

Вибір методу випливає з дослідницького питання. Питання причинного ефекту надають перевагу експериментам (Рандомізований контрольований експеримент (RCT)); питання механізму та сприйняття — опитуванням та якісній роботі; питання якості системи — обчислювальній оцінці (Бенчмарк, Оцінювання ШІ в освіті); питання синтезу — оглядам та метааналізам; питання дизайну — DBR; а питання про те, на чому експерти погоджуються щодо того, що має містити конструкт, компетентність чи рамка, — методам експертного консенсусу на кшталт методу Delphi. Враховуючи гетерогенність галузі та темп змін ШІ, корпус цієї бази знань відбиває навмисний рух до тріангуляції — поєднання обчислювальної оцінки з доказами ефективності, якісними та експертно-консенсусними, щоб судити і про те, чи працює інструмент, і про те, чи допомагає він навчанню.

Так само важливо читати будь-яке єдине дослідження з усвідомленням трансверсальних обмежень, які впливають на дослідження AIED у цілому — методологічні обмеження, швидкий темп змін ШІ проти повільної публікації, прогалини відтворюваності та практики FAIR, сподвищництво пропрієтарними інструментами і слабке або некритичне використання теорії. Див. Обмеження досліджень AIEd.

Протиставлення основних дослідницьких традицій

Три основні дослідницькі традиції — кількісна, якісна та експериментальна — принципово відрізняються в тому, що вони можуть стверджувати, чим жертвують і коли кожна з них доречна. Розуміння цих протиставлень суттєве як для проєктування, так і для читання досліджень ШІ в освіті.

Що встановлює кожна традиція

Вимір Кількісна / опитувальна Якісна Експериментальна
Основне питання Скільки? Як пов’язано? Що це означає? Як це переживається? Чи спричинює X Y?
Первинні дані Числа, шкали, самоопис Слова, спостереження, артефакти Міри результатів за привласнених умов
Мета висновку Патерни, кореляції, медіація Смисл, механізми, категорії Причинні ефекти
Внутрішня валідність Слабка (кореляційна) Слабка (без контролю) Сильна (рандомізоване привласнення)
Зовнішня валідність Сильна (великі вибірки) Обмежена (малі, контекстно обумовлені) Помірна (контрольовані умови)
Екологічна валідність Помірна Висока Нижча (штучні умови)
  • Кількісне дослідження вимірює та моделює зв’язки між змінними — опитування, SEM/PLS-SEM, вимірювання, лонгітюдне відстеження. Воно дає широту, точність і узагальнюваність, але не може встановити причинність із поперечних даних і успадковує обмеження вимірювання (включно з упередженістю самоопису).
  • Якісне дослідження інтерпретує смисл і досвід — інтерв’ю, фокус-групи, тематичний аналіз, ґрунтовану теорію, феноменографію, дискурс-аналіз, спостереження/етнографію, кейс-стаді. Воно дає глибину, механізм і теорієбудову (див. Розвиток теорії в ШІ в освіті), але обмежену узагальнюваність і слабку причинну підтримку.
  • Експериментальні та квазіекспериментальні дизайни (див. Рандомізований контрольований експеримент (RCT)) оцінюють причинні ефекти через рандомізоване привласнення або зіставлене порівняння — золотий стандарт внутрішньої валідності ціною вартості, швидкості та екологічної валідності.

Зв’язки вимірювання та змішаних методів

Кількісна робота залежить від Освітнє вимірювання — надійних, валідних інструментів для конструктів, що вивчаються. Якісна робота виявляє механізми та смисли, які ці інструменти можуть пропускати. Експериментальна робота оцінює, чи спричинює інтервенція результати, які вимірюють інструменти. Це три взаємодоповнювальні шари: інструменти квантифікують конструкти, експерименти встановлюють причинність, а якісна робота пояснює як і чому за числами.

Дизайни зі змішаними методами навмисно поєднують кількісні та якісні волокна, щоб їхні сильні сторони компенсували слабкості один одного — кількісна ширина плюс якісна глибина, із тріангуляцією, що підвищує довіру.

Дослідження зручності використання та HCI

Окреме методологічне волокно — дослідження зручності використання та HCI — оцінює, як користувачі взаємодіють із системою ШІ: її зручність використання, корисність, навчальність і досвід користувача, використовуючи протоколи мислення вголос, структуровані дослідження користувачів, інтерв’ю та спостереження. Воно найближче до Оцінювання ШІ в освіті і відповідає на передумовне питання: навіть педагогічно обґрунтований інструмент провалюється, якщо він непридатний до вжитку. Дослідження зручності використання ділить методи збору даних із якісним дослідженням, але має на меті оцінювати артефакт, а не інтерпретувати смисл.

Вигоди та обмеження в межах традицій

  • Кількісна/опитувальна: вигоди — великі вибірки, широке покриття, перевіряє складні медіатори, ефективна. Обмеження — жодної причинності, упередженість самоопису, зручна вибірка, інструменти можуть вимірювати хибний конструкт.
  • Якісна: вигоди — глибоке прозріння, виявляє несподівані феномени та шкоди, суттєва для теорієбудови, центрує недопредставлені голоси. Обмеження — обмежена узагальнюваність, залежність від дослідника, малі вибірки, слабка причинна підтримка, важко синтезувати.
  • Експериментальна: вигоди — найсильніший причинний висновок, чисте вимірювання результатів, оцінювання розміру ефекту. Обмеження — дорога/повільна, штучні умови, швидкозмінний ШІ датує результати, недоуповноважені малі вибірки, етичні обмеження.
  • Змішана: вигоди — тріангуляція, ширина + глибина, пояснює несподівані результати. Обмеження — складна, ресурсомістка, інтеграція може бути поверхневою, успадковує слабкості кожного волокна.
  • Зручність використання/HCI: вигоди — ідентифікує бар’єри впровадження, придатні до дії настанови з дизайну, швидка й дешева. Обмеження — не встановлює навчальних ефектів, малі вибірки, задоволеність самоописом може вводити в оману.

На практиці дослідження ШІ в освіті рідко чисто потрапляє в одну традицію. Найсильніші докази тріангують: обчислювальна оцінка або оцінка зручності використання встановлює, що система працює, експеримент встановлює, що вона спричинює навчання, кількісні інструменти вимірюють конструкти, а якісна робота виявляє механізми та смисли — разом відповідаючи і на те, чи допомагає інструмент навчанню, і на те, як і чому.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Дизайн дослідженняExperiment
РівеньHigher Ed
Оцінювання та вимірюванняОсвітнє вимірювання
Методи досліджень та оцінкаОцінювання ШІ в освіті, Бенчмарк, Рандомізований контрольований експеримент (RCT), Методи досліджень в AIED
Основи ШІ в освітіШІ в освіті
Вид сторінкиEvaluation
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.