AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Методы исследования в AIED

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Методы исследования в AIED — совокупность эмпирических дизайнов, стратегий сбора данных и аналитических техник, которые исследователи используют для изучения ИИ в образовании: поддерживает ли ИИ обучение (или вредит ему), каким образом и при каких условиях. Корпус базы знаний охватывает экспериментальные, опросные, качественные, основанные на дизайне, вычислительно-эталонные и обзорные методы. У каждого есть свои сильные и слабые стороны, и выбор между ними связан с компромиссами между внутренней валидностью (уверенностью в причинных утверждениях), внешней валидностью (обобщаемостью), экологической валидностью (подлинностью реального мира) и осуществимостью изучения быстро меняющихся инструментов ИИ.

Вопросы для размышления

  • Центральное напряжение страницы: сильнейшие дизайны для причинного вывода (рандомизированные эксперименты) труднее всего провести в настоящих аудиториях, тогда как самые подлинные условия дают более слабый причинный контроль. Если бы вам нужно было решить, помогает ли ИИ-тьютор обучению, с какой из этих двух неудач вы бы предпочли смириться — и почему?
  • Прежде чем читать: можете ли вы назвать различие между внутренней, внешней и экологической валидностью? Страница утверждает, что каждый дизайн жертвует ими. Как исследование, строго причинное, могло бы всё же почти ничего не сказать вам полезного о настоящей аудитории?
  • Бенчмарк показывает, что ИИ набирает высокую точность, но страница настаивает, что высокая точность на бенчмарке не влечёт образовательной эффективности. Почему система, которая «сдаёт тест», всё ещё могла бы не помогать студентам учиться, — и какого рода доказательств не хватает?
  • Исследование, основанное на дизайне, итеративно дорабатывает настоящую интервенцию, но не может приписать приросты конкретному механизму, тогда как RCT изолирует причины, но проходит в искусственных условиях. Учитывая быстрый темп изменений ИИ, как долго, по-вашему, строгое RCT остаётся актуальным, прежде чем инструмент, который оно тестировало, устареет?
  • Консенсус экспертов по методу Дельфи устанавливает согласие среди экспертов, а не эмпирический эффект. Когда законно строить рамку компетенций из того, во что эксперты верят, а не из данных о том, что работает, — и как вы отличили бы одно от другого на практике?
  • Страница выступает за триангуляцию — сочетание бенчмарк-оценивания, экспериментов, измерения и качественной работы, чтобы судить и о том, работает ли инструмент, и о том, как. Прежде чем читать: где в утверждении вида «этот ИИ улучшает обучение» каждый метод был бы нужен, чтобы вы поверили?

Введение

Центральное напряжение в исследованиях AIED состоит в том, что сильнейшие дизайны для причинного вывода — рандомизированные эксперименты — зачастую труднее всего провести с подлинными инструментами ИИ в настоящих аудиториях, тогда как самые подлинные условия (полевые внедрения, исследования случаев, анализы журнальных данных) дают более слабый причинный контроль. Ни один метод не решает это; область продвигается за счёт триангуляции между методами и за счёт явности относительно того, какого рода утверждение каждый дизайн может поддержать. Каждый метод также несёт сквозные ограничения — обобщаемость, валидность измерения, быстрый темп изменений ИИ, воспроизводимость и слабое использование теории, — которые читатели должны взвешивать; см. Ограничения исследований в области ИИ в образовании.

Предметом этой страницы является метод, а не результаты. Науки об обучении — содержательная область, которую обслуживают эти методы: там, где эта страница рассматривает, как исследование должно быть спроектировано, измерено и описано, та страница рассматривает, что область установила о том, как люди учатся и как следует проектировать учебные среды, и трактует основанные на дизайне и смешанные методы как характерные подходы наук об обучении, а не как два варианта среди многих.

Смежной с этой страницей является Исследования в образовании с помощью ИИ, которая охватывает ИИ как инструмент собственной работы области: поиск литературы, отбор, автоматизацию обзоров, качественное кодирование, анализ и написание. Её область включает исследования практиков, такие как академия преподавания и обучения, и она остаётся отличной от дизайнов, которые описывает эта страница.

Martin, Rost, Koenen и Graulich (2026) предъявляют тот же пристальный взгляд к производству знаний самой области, используя номическую проблему измерения Chang (2004): измерение величины требует закона, связывающего её с чем-то наблюдаемым, однако этот закон нельзя проверить эмпирически, уже не зная величины. Они утверждают, что функции измерения, полученные из данных ИИ, которые возникают из обучающих данных и оптимизации, а не из исследователя, могут усиливать её, а не разрешать. Такие функции могут выглядеть точными, оставаясь эпистемически непрозрачными, поэтому роль исследователя смещается к интерпретации и валидации вычислительных выводов. Их семифазная рефлексивная рамка (формулирование проблемы; инструментарий и измерение; экспериментирование и вывод на основе данных; сравнения и воспроизведение; построение норм и консенсуса; внедрение и его следствия; и непрерывное уточнение) предлагается как аналитическое пособие, а не как валидированный метод, и они утверждают, что сопоставимость должна простираться через популяции студентов, а не через подмножества, которым модель служит хорошо.

Строгость отчётности и модель TEP-AIED

Качество отчётности об исследованиях ИИ в образовании само по себе является предметом исследования. Модель TEP-AIED (Hwang, Xie, Wah и Gasevic, 2026) предлагает структурированную рамку для строгого представления исследований ИИ в образовании, организуя существенные компоненты отчёта об исследовании — формулирование теории/технологии/образовательной проблемы, дизайн, данные, анализ и результаты, — чтобы читатели и рецензенты могли оценить, поддержаны ли утверждения и является ли работа воспроизводимой. Она отвечает на хронические слабости области в отчётности (нечёткие описания инструментов, не заявленные версии моделей, пропущенные детали оценивания), которые документирует страница ограничений. Рамки отчётности, подобные TEP-AIED, соседствуют с устоявшимися контрольными списками отчётности (например, руководство в стиле CONSORT для испытаний, руководство в стиле PRISMA для обзоров) как часть более широкого движения области к методологической прозрачности и воспроизводимости.

RAISE (Allison, 2026) подходит к той же проблеме с противоположной стороны — как контрольный список, а не как нарративная структура. Она излагает 30 пунктов по десяти тематическим областям (образовательное обоснование и теоретическое обоснование, спецификация системы ИИ, роль и взаимодействие ИИ, Доступность и культурное соответствие, условия и участники, участие человека, дизайн исследования и оценивание, этика и достоверность, прозрачность и воспроизводимость, а также ограничения и следствия), с редактируемой версией и сопутствующей Матрицей этики и риска, охватывающей активность учащегося, справедливость доступа, Управление ИИ данных и алгоритмическую прозрачность. Две рамки прямо обращаются друг к другу: TEP-AIED характеризует RAISE как всестороннюю, но упрекает её в широте, утверждая, что «её широта и гранулярность могут сделать её сложной и менее доступной для рутинных эмпирических применений», тогда как собственное формулирование RAISE состоит в том, что она не предписывает никакого метода или модели и требует только, чтобы сделанный выбор был видим. Прочитанные вместе, они отмечают компромисс в этой литературе — более полный контрольный список аудита против более строгого трёхмерного повествования, — и сходятся в одном и том же неотъемлемом: назвать и версионировать систему ИИ, раскрыть промпты и дизайн взаимодействия, определить условия воздействия и сравнения, сообщить об этическом рассмотрении и снижении риска и заявить, измеряют ли исходы результативность, удержание или перенос. Чтобы исследование было судимо на этих условиях, инструмент отчётности должен быть принят в момент дизайна, а не собран на стадии рукописи, — в этом настаивают обе рамки. Анализ исторического уровня корпуса сам по себе является методологическим выбором с обязательствами прозрачности: Rismanchian и Doroudi располагают каждую статью в их рамке AI×Ed на основе авторского суждения об аннотациях и полных текстах, явно признавая, что это не является систематической или масштабируемой категоризацией, управляемой данными, и делают свой полный набор данных публично доступным как дополнительный материал для воспроизведения.

Экспериментальные и квазиэкспериментальные дизайны

Исследование эффективности тестирует, производит ли интервенция свой задуманный учебный эффект, обычно используя экспериментальные или квазиэкспериментальные дизайны, которые сравнивают исходы с интервенцией и без неё. Эксперименты рандомизированно распределяют учащихся по условиям (например, ИИ-тьютор против человеческого тьютора или обучение с опорой ИИ против обучения без помощи), чтобы оценить причинные эффекты на такие исходы, как прирост в обучении, вовлечение или мотивация. Рандомизированные контролируемые испытания — золотой стандарт внутренней валидности. Рандомизированное полевой исследование человеческой поддержки вместе с ИИ-тьюторством и RCT генеративного ИИ в преподавании используют распределение, чтобы изолировать причинные эффекты. Квазиэкспериментальные дизайны (до/после, между субъектами или согласованные группы без рандомизации) более осуществимы в целостных аудиториях, но слабее в причинных утверждениях.

  • Валидация инструмента и проверки базовой линии предшествуют оценке эффекта. Davor (2026) сравнил две целостных класса старшей школы Ганы (86 студентов, по 43 в группе) по GenAI как опоре в геометрии, определив размер выборки анализом G*Power и предварительно испытав Тест геометрических рассуждений и доказательств до надёжности 0.859 по расщеплению пополам Спирмена–Брауна перед исследованием. Группы значимо не различались на предтесте, а ANCOVA с поправкой на предыдущую результативность сохранила эффект группы (F(1, 83) = 50.30, p < .001, частная η² = .377). При отсутствии рандомизированного распределения именно надёжность предварительного испытания и проверка эквивалентности базовой линии делают скорректированное сравнение интерпретируемым.
  • Сильные стороны: сильнейший причинный вывод; чистое измерение исходов; поддержка оценки размера эффекта и утверждений об эффективности.
  • Ограничения: дорого и медленно; искусственные условия могут снижать экологическую валидность; быстро меняющиеся инструменты ИИ делают длинные эксперименты быстро устаревающими; малые выборки часто недостаточно мощны для обнаружения значимых эффектов; этические ограничения на удержание потенциально полезных инструментов.
  • Образцы: Access is Not Enough: Human Support Improves Engagement with AI Tutoring, Generative AI Can Harm Teaching, Do Gains from Generative AI-Enabled Adaptive Pretesting Persist? Evidence from a Retention Study, Exploring How Agent Voice Accents Shape Human-AI Collaboration in K-12 Group Learning, From AI Use to Critical Thinking Among Medical Students: A Moderated Mediation Perspective on Cognitive Load and Self-Regulated Learning.
  • Предрегистрация применяется и к вторичным анализам, а не только к испытаниям. Srivastava (2026) прогнал четыре правила обновления Трассирование знаний на идентичных журналах ASSISTments (12 716 студентов, 985 813 оценённых событий), которые различались только в том, как они оценивают строки с подсказками, сохранил подтверждающую половину за печатью до тех пор, пока не появился файл, содержащий URL регистрации, и сообщил, что все четыре предрегистрированных предсказания подтвердились. Признание любого завершения предсказывало последующую результативность без помощи едва выше константы сложности навыка (объединённый AUC 0.604 против 0.595), объявляя 93.9% пар студент–навык освоенными против 72.8% при строгом правиле. Когда один журнал поддерживает несколько выводов, именно фиксация анализа заранее делает сравнение достоверным.

Опросные исследования и моделирование структурными уравнениями

Поперечные опросы измеряют самоотчётные отношения, восприятия, мотивацию, Самоэффективность и принятие технологий, часто моделируемые с помощью регрессии или моделирования структурными уравнениями (SEM/PLS-SEM) для проверки гипотетических отношений и посредников. Они преобладают в корпусе базы знаний, особенно для вопросов принятия, мотивации и психологических механизмов.

  • Сильные стороны: большие выборки; широкий, недорогой охват; могут проверять сложные медиационные модели психологических механизмов; осуществимы для изучения отношений, которые трудно наблюдать.
  • Ограничения: поперечные данные не могут установить причинность; смещение общего метода/самоотчёта; удобная выборка ограничивает обобщаемость; посредники выводятся из ковариации, а не из манипуляции.

Сам инструмент заслуживает отдельного пристального взгляда. То, что анкета, интервью или дневник могут и не могут установить, — и задокументированный разрыв между тем, что люди сообщают, и тем, что они делают, — собрано на странице Меры самоотчёта.

Качественные методы

Интервью, фокус-группы и тематический анализ производят богатые, контекстуальные описания того, как студенты и преподаватели переживают инструменты ИИ, какие смыслы они к ним прикрепляют и какие напряжения и вреды упускают стандартизированные меры. Исследование безопасности ИИ-тьютора и то, как ИИ меняет рабочие процессы преподавания, в значительной степени опираются на качественные данные. См. специализированную страницу концепции Качественное исследование для полного рассмотрения качественных подходов — тематического анализа, обоснованной теории, феноменологии/феноменографии, дискурс-анализа, наблюдений и этнографии, исследований случаев и интервью/фокус-групп, — каждое с образцами из базы знаний.

Смешанные дизайны

Исследования со смешанными методами сочетают количественные и качественные направления — часто последовательно (например, QUAL→QUAN→qual), — чтобы качественные данные объясняли или контекстуализировали количественные результаты. Смешанно-методическое исследование GenAI и устойчивого обучения сочетает опросы за три волны с интервью преподавателей; исследование парадокса компетентности использует фокус-группы преподавателей, опрос студентов и последующие интервью.

Исследование, основанное на дизайне (DBR)

DBR итеративно проектирует, внедряет и дорабатывает образовательную интервенцию в подлинных контекстах, циклически проходя между теорией, дизайном и реальной практикой. Оно заметно в базе знаний при разработке учебных сред на ИИ и педагогических моделей. См. специализированную страницу концепции Дизайн-ориентированные исследования для полного цикла DBR, образцов и его сильных сторон и ограничений. Канонический пример AIEd — исследование модели ИИ-опосредованного совместного обучения (Putra et al.), которое провело четырёхфазный цикл DBR — анализ потребностей, проектирование модели, восьминедельное внедрение в аудитории и доработка модели, — итеративно дорабатывая четырёхстадийный цикл обучения (выявление проблемы → совместное исследование с помощью ИИ → совместное Решение задач → рефлексия и презентация). Другие образцы развивают ИИ-грамотность подготовку преподавателей (Development and evaluation of artificial intelligence literacy training for teacher education students) и GenAI-Скаффолдинг для критического мышления (Scaffolding critical thinking with generative AI: Design principles for integrating large language models in higher).

DBR жертвует причинным контролем экспериментов ради экологической подлинности и итеративного уточнения: это правильный инструмент для вопросов вида «как спроектировать эту учебную среду на ИИ, чтобы она работала на практике?», и его доказательства сильнее всего как доказательство концепции и руководство по дизайну, а не как причинная эффективность. Чтение приростов в обучении по DBR требует той же осторожности, что и другие дизайны, — без необученного с помощью инструментов, контролируемого измерения исходов приросты могут отражать тот же искажённый ИИ эффект результативности, задокументированный в разделе приростов в обучении.

Систематические обзоры и метаанализы

Обзоры синтезируют доказательную базу, а не проводят новый эксперимент. Систематические и обзорные обзоры применяют прозрачный протокол для поиска, отбора, оценки и синтеза совокупности исследований; метаанализы дополнительно объединяют размеры эффектов между исследованиями, чтобы получить взвешенную сводную оценку и проверить модераторов. Всесторонний обзор ITS и систематический обзор GenAI в высшем образовании служат образцами этого подхода.

См. специализированную страницу концепции Мета-анализ и систематический обзор для более полного рассмотрения систематического обзора и метаанализа в ИИ в образовании — включая их отношение к первичным дизайнам, отчётность по PRISMA и их сильные стороны и ограничения.

Вычислительное и бенчмарк-оценивание

Вычислительное оценивание оценивает системы ИИ напрямую — относительно бенчмарков, эталонных меток или человеческих суждений, — а не изучает человеческих учащихся. Оно включает бенчмарки, подходы «Большие языковые модели (LLM)-как-судья». Это ближайший метод к Оценивание ИИ-образования (см. различие ниже).

  • Сильные стороны: быстро, масштабируемо, воспроизводимо; позволяет прямое сравнение моделей и версий систем; существенно для разработки систем и обеспечения качества.
  • Ограничения: измеряет вывод системы, а не обучение — высокая точность на бенчмарке не влечёт образовательной эффективности; качество эталонных данных и рубрик само оспаривается; может упускать педагогическое качество, воспринимаемое людьми. Rismanchian и Doroudi утверждают, что гибкость естественного языка у LLM делает чисто технических метрик недостаточными, требуя подходов к оцениванию, вдохновлённых человеком, — моделируемых студентов, тестов ИИ-преподавателя и анализов поведенческих наук, ранее зарезервированных за человеческими субъектами, — чтобы судить о качестве, значимом для обучения, и что осторожное изучение LLM может породить проницательность о человеческом обучении.
  • Разрозненные участники, а не случайные разделения, предотвращают утечку в оценивании детекторов. Kumar et al. (2026) построили стилометрический детектор на 90 авторах, каждый из которых произвёл один образец без помощи и один парафразированный, удерживая каждое окно от участника в одном фолде, так что авторский стиль не мог утечь через разделение, и полностью удержав 18 человек. Случайный лес достиг ROC-AUC 0.870 при F1 0.842, но пометил 4 из 18 независимо написанных документов как созданные с помощью GPT (22.2%); авторы рассматривают эту долю ложных срабатываний как результат, значимый для внедрения, и описывают модель как поддержку принятия решений, а не как автоматизированный скрининг недобросовестного поведения.
  • Образцы: TeachBench - Evaluating LLM Teaching Ability, ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents, Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education, Confidence Estimation in Automatic Short Answer Grading with LLMs, The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors.
  • Стандарты отчётности для автоматизированных конвейеров и аудитированные бенчмарки. Две статьи 2026 года распространяют методологическую подотчётность за пределы самого исследования. PRISMA-LLM отображает 888 статей об автоматизации обзоров и 14 726 аннотаций, обнаруживая, что 38.0% статей о программном обеспечении или продуктах не сообщали ни об одном оценивании против 9.3% статей о LLM и что 52% оценок LLM только с положительными результатами оставили неудовлетворённой озабоченность высоким порогом, и предлагает отчётность, идентифицирующую, где в рабочем процессе обзора действовала автоматизация (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews). Экспертный аудит повторной оценки шести физических бенчмарков показывает ту же проблему на уровне инструмента: из 250 аудитированных отклонений только 12 (4.80%) были подлинными ошибками модели, тогда как 143 были дефектами заданий и 95 — ошибками оценщиков (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Обе работы утверждают, что вычислительным оцениваниям нужен аудитированный бюджет ошибок, прежде чем их результаты читаются как результаты о учащихся или моделях.
  • Встраивайте проверку согласия с людьми в разработку детектора, а не после неё. Baker и коллеги (2026) излагают семишаговый процесс для текстовых детекторов когнитивных конструктов — отбор набора данных, определение конструкта, составление кодбука, проверка межэкспертного согласия между людьми, доработка категорий, построение детектора и применение, — чтобы надёжность на размеченных людьми метках предшествовала любому внедрению подхода «LLM-как-судья». Он требует метрик согласия, скорректированного на случайность (κ Коэна или Флейсса, α Криппендорфа), кросс-валидации на уровне студента и анализа ошибок по подгруппам как минимальных стандартов и утверждает, что ошибочное измерение становится источником вреда, как только такие детекторы оказываются внутри внедрённых платформ.

Прочие дизайны: лонгитюдные, исследования случаев и симуляционные

За пределами основных семейств база знаний использует лонгитюдные дизайны, отслеживающие учащихся во времени (лонгитюдное исследование LMS), исследования случаев и в естественных условиях подлинного использования (крупномасштабный анализ реальных взаимодействий студентов) и симуляционные исследования, в которых LLM выступают вместо студентов или пациентов (LLM как моделируемые учащиеся, Моделирование). Они жертвуют широтой или контролем ради реализма и доступа к явлениям, которые иначе трудно наблюдать.

Методы экспертного консенсуса: техника Дельфи

Метод Дельфи — структурированная техника для установления экспертного консенсуса по вопросу, на который ещё нет эмпирического ответа, — чаще всего используемая в базе знаний для разработки рамок, списков компетенций и определений, с которыми практики и исследователи могут согласиться. В исследовании по методу Дельфи группа экспертов отвечает на последовательные раунды анкет; после каждого раунда анонимная сводка ответов группы подаётся обратно, и эксперты пересматривают свои ответы, пока группа не сойдётся в согласии (обычно определяемом заранее заданным порогом, например 75%). Это способ построить валидность конструкта и профессиональный консенсус через итеративные, анонимные консультации, а не через один опрос или голосование.

  • Сильные стороны: производит консенсус от разнообразной группы экспертов без давлений личной группы (анонимность снижает эффекты доминирования); хорошо подходит для определения конструктов, компетенций и рамок, когда не существует валидированной меры; итеративные раунды позволяют экспертам уточнять и сходиться; осуществимо там, где полные эксперименты или большие выборки непрактичны.
  • Ограничения: консенсус отражает экспертное суждение, а не эмпирические данные — он устанавливает согласие, а не эффект; результаты зависят от состава группы и (субъективного) порога консенсуса; может быть медленным через несколько раундов; суждение одной группы может не обобщаться.
  • Образцы: исследование рамки SAIL (три раунда, 17 экспертов, уточнение уровней компетентности в ИИ-грамотности), исследование рамки HCAP (три раунда, 30 преподавателей, определение 25 компетенций ИИ-преподавателя), Гептагон ИИ-грамотности (который использовал экспертное участие/консенсус наряду с обзором, направляемым PRISMA), и.

Дельфи часто сочетается с другими методами — например, экспертный консенсус может быть использован для валидации рамки (как в SAIL и HCAP), которая затем тестируется или внедряется через исследование, основанное на дизайне, или опросные исследования. Оно соседствует с качественными подходами и подходами экспертного суждения и способствует валидности инструментов, основанных на рамках.

Исследование против оценивания: связи и различия

Исследование и оценивание тесно связаны, но различны. Исследование задаёт обобщаемые вопросы о том, как ИИ влияет на обучение, — «улучшает ли скаффолдинг результаты обучения?», — и стремится построить теорию и данные, переносимые за пределы конкретного исследования. Оценивание (см. Оценивание ИИ-образования) устанавливает, работает ли конкретный инструмент или система ИИ — является ли он точным, надёжным, педагогически обоснованным и пригодным для цели, — относительно бенчмарков, рубрик или определённых заинтересованными сторонами критериев. Исследование подчёркивает внутреннюю валидность и обобщение; оценивание подчёркивает качество системы и локальное принятие решений.

Границы размываются: исследования бенчмарков — это оценивание, которое может питать исследование, и инструменты оценивания (рубрики, наборы эталонных данных, рамки валидности) зависят от проблем Образовательное измерение и Валидность оценивания, которые исследование проясняет. И наоборот, результаты исследований о том, что поддерживает обучение, должны информировать то, как инструменты ИИ оцениваются. База знаний трактует их как взаимодополняющие: вычислительное и бенчмарк-оценивание (Бенчмарк, Оценивание ИИ-образования) говорит нам, технически ли обоснована система ИИ, тогда как исследование эффективности и опросное исследование (РКИ) говорит нам, помогает ли она людям учиться.

Выбор между методами

Выбор метода следует за исследовательским вопросом. Вопросы о причинном эффекте благоприятствуют экспериментам (РКИ); вопросы о механизме и восприятии благоприятствуют опросам и качественной работе; вопросы о качестве системы благоприятствуют вычислительному оцениванию (Бенчмарк, Оценивание ИИ-образования); вопросы синтеза благоприятствуют обзорам и метаанализам; вопросы дизайна благоприятствуют DBR; а вопросы о том, с чем согласны эксперты относительно того, что должен содержать конструкт, компетенция или рамка, благоприятствуют методам экспертного консенсуса, подобным технике Дельфи. Учитывая разнородность области и скорость изменений ИИ, корпус базы знаний отражает осознанный сдвиг к триангуляции — сочетанию вычислительного оценивания с данными об эффективности, качественными данными и данными экспертного консенсуса, чтобы судить и о том, работает ли инструмент, и о том, помогает ли он обучению.

В равной степени важно чтение любого отдельного исследования с осознанием сквозных ограничений, затрагивающих исследования AIED в целом, — методологических ограничений, быстрого темпа изменений ИИ против медленной публикации, пробелов воспроизводимости и практики FAIR, опоры на проприетарные инструменты и слабого или некритичного использования теории. См. Ограничения исследований в области ИИ в образовании.

Противопоставление основных исследовательских традиций

Три основные исследовательские традиции — количественная, качественная и экспериментальная — фундаментально различаются в том, что они могут утверждать, чем жертвуют и когда каждая уместна. Понимание этих противопоставлений существенно и для проектирования, и для чтения исследований ИИ в образовании.

Что устанавливает каждая традиция

Измерение Количественная / опросная Качественная Экспериментальная
Основной вопрос Сколько? Как связано? Что это значит? Как это переживается? Вызывает ли X Y?
Первичные данные Числа, шкалы, самоотчёт Слова, наблюдения, артефакты Меры исходов по распределённым условиям
Цель вывода Закономерности, корреляции, опосредование Смысл, механизмы, категории Причинные эффекты
Внутренняя валидность Слабая (корреляционная) Слабая (нет контроля) Сильная (рандомизированное распределение)
Внешняя валидность Сильная (большие выборки) Ограниченная (малые, привязанные к контексту) Умеренная (контролируемые условия)
Экологическая валидность Умеренная Высокая Более низкая (искусственные условия)
  • Количественное исследование измеряет и моделирует отношения между переменными — опросы, SEM/PLS-SEM, измерение, лонгитюдное отслеживание. Оно даёт широту, точность и обобщаемость, но не может установить причинность из поперечных данных и наследует измерительные ограничения (включая смещение самоотчёта).
  • Качественное исследование интерпретирует смысл и опыт — интервью, фокус-группы, тематический анализ, обоснованную теорию, феноменографию, дискурс-анализ, наблюдение/этнографию, исследования случаев. Оно даёт глубину, механизм и построение теории (см. Разработка теории в области ИИ в образовании), но ограниченную обобщаемость и слабую причинную поддержку.
  • Экспериментальные и квазиэкспериментальные дизайны (см. РКИ) оценивают причинные эффекты через рандомизированное распределение или согласованное сравнение — золотой стандарт внутренней валидности за счёт стоимости, скорости и экологической валидности.

Связи измерения и смешанных методов

Количественная работа зависит от Образовательное измерение — надёжных, валидных инструментов для изучаемых конструктов. Качественная работа раскрывает механизмы и смыслы, которые эти инструменты могут упускать. Экспериментальная работа оценивает, вызывает ли интервенция исходы, которые измеряют инструменты. Эти три — взаимодополняющие слои: инструменты квантифицируют конструкты, эксперименты устанавливают причинность, а качественная работа объясняет как и почему за числами.

Смешанные дизайны намеренно сочетают количественные и качественные направления, чтобы их сильные стороны компенсировали слабости друг друга — количественную широту плюс качественную глубину, причём триангуляция повышает уверенность.

Исследования удобства использования и HCI

Отдельное методологическое направление — исследования удобства использования и HCI — оценивает, как пользователи взаимодействуют с системой ИИ: её удобство использования, полезность, обучаемость и пользовательский опыт, используя протоколы мышления вслух, структурированные исследования пользователей, интервью и наблюдение. Это ближайшее к Оценивание ИИ-образования и отвечает на предварительный вопрос: даже педагогически обоснованный инструмент терпит неудачу, если он неудобен в использовании. Исследования удобства использования разделяют методы сбора данных с качественными исследованиями, но нацелены на оценивание артефакта, а не на интерпретацию смысла.

Преимущества и ограничения между традициями

  • Количественная/опросная: преимущества — большие выборки, широкий охват, проверка сложных посредников, эффективность. Ограничения — отсутствие причинности, смещение самоотчёта, удобная выборка, инструменты могут измерять не тот конструкт.
  • Качественная: преимущества — глубокая проницательность, выявление неожиданных явлений и вреда, существенно для построения теории, центрирование недопредставленных голосов. Ограничения — ограниченная обобщаемость, зависимость от исследователя, малые выборки, слабая причинная поддержка, трудность синтеза.
  • Экспериментальная: преимущества — сильнейший причинный вывод, чистое измерение исходов, оценка размера эффекта. Ограничения — дороговизна/медлительность, искусственные условия, быстро меняющийся ИИ устаревает результаты, маломощные малые выборки, этические ограничения.
  • Смешанные методы: преимущества — триангуляция, широта + глубина, объяснение неожиданных результатов. Ограничения — сложность, ресурсоёмкость, интеграция может быть поверхностной, наследование слабостей каждого направления.
  • Удобство использования/HCI: преимущества — выявление барьеров принятия, пригодное к действию руководство по дизайну, быстрота и недороговизна. Ограничения — не устанавливает учебных эффектов, малые выборки, удовлетворённость самоотчётом может вводить в заблуждение.

На практике исследования ИИ в образовании редко попадают чисто в одну традицию. Сильнейшие данные триангулируются: вычислительное оценивание или оценивание удобства использования устанавливает, что система работает, эксперимент устанавливает, что она вызывает обучение, количественные инструменты измеряют конструкты, а качественная работа раскрывает механизмы и смыслы — вместе отвечая и на то, помогает ли инструмент обучению, и на то, как и почему.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Дизайн исследованияExperiment
УровеньHigher Ed
Оценивание и измерениеОбразовательное измерение
Методы исследований и оценкаОценивание ИИ-образования, Бенчмарк, РКИ, Методы исследования в AIED
Основы ИИ в образованииИИ в образовании
Вид страницыEvaluation
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.