AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Качество обратной связи ИИ

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Качество обратной связи ИИ — точность, полезность, своевременность и педагогическая ценность обратной связи, генерируемой системами ИИ для учащихся. По мере того как генерируемая ИИ обратная связь становится повсеместной в образовании, понимание того, что делает обратную связь эффективной — и в каких случаях она не справляется, — приобретает критическое значение для обеспечения того, чтобы ИИ поддерживал обучение, а не подрывал его.

Вопросы для размышления

  • Что делает обратную связь «хорошей» — только ли точность, или также своевременность, конкретность, применимость и калибровка под то, что вы уже знаете? Недостаток какого из этих качеств вы заметили бы первым?
  • Исследования показывают, что студенты воспринимают генерируемую ИИ обратную связь как сопоставимую с обратной связью преподавателя, — но приемлемость не гарантирует эффективности обучения. Почему обратная связь, которая ощущается вполне нормальной, всё же может не помогать вам улучшаться?
  • Даже высококачественная обратная связь ИИ инертна без «грамотного в отношении обратной связи» получателя — исследования показывают, что низкая грамотность в обратной связи может сделать обратную связь ИИ минимально полезной или даже отрицательной. Чья это ответственность — формировать такую грамотность?
  • Качество обратной связи и глубина доработки связаны между собой: скаффолдинг того, как студенты работают с обратной связью ИИ, смещает их в сторону улучшений на уровне аргументации, а не поверхностных правок. Как способ получения обратной связи меняет то, что вы с ней делаете?
  • Подхалимная обратная связь смешивает поддержку с согласием — ИИ, который подтверждает ваш ответ вместо того, чтобы его оспаривать, подрывает корректирующую функцию обратной связи. Когда обратная связь должна бросать вам вызов, а не утешать вас?
  • Калибровка уверенности имеет значение: система, которая знает, когда она не уверена, даёт лучшую обратную связь, чем та, которая уверенно ошибается. Как инструменту следует сигнализировать о своей неуверенности, и как бы вы использовали этот сигнал?

Введение

Качество обратной связи ИИ — это не просто вопрос правильности. Эффективная обратная связь должна быть своевременной, конкретной, применимой и откалиброванной под текущее понимание учащегося. Исследования в этой базе знаний рассматривают качество обратной связи ИИ по нескольким измерениям: точность (является ли обратная связь правильной?), полезность (помогает ли она студенту улучшаться?) и педагогическое соответствие (способствует ли она обучению, а не просто выполнению задачи?).

Как качество обратной связи ИИ проявляется в исследованиях

  • Сопоставимость с человеческой обратной связью: Исследования в высшем образовании показывают, что генерируемая ИИ обратная связь воспринимается как приемлемая и поддерживающая — сопоставимая с обратной связью преподавателя. Но приемлемость не гарантирует эффективности обучения. Систематический обзор, проведённый по методике PRISMA, охватывающий 42 эмпирических исследования (2023–2025), также обнаруживает, что качество оценивания и обратной связи Большие языковые модели (LLM) зависит от задачи: системы соответствуют оценкам экспертов-людей на коротких, хорошо структурированных ответах с подробными рубриками, но деградируют на сложных, открытых или многоязычных работах, причём обратная связь иногда оказывается слишком общей или не согласованной с оценкой, — и определяет качество промптов, детализацию рубрик, версию модели и язык оценивания как доминирующие факторы, определяющие качество оценивания и обратной связи (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Сгенерированные LLM учебные материалы соответствовали созданным человеком — когда присутствовала обратная связь. Lin et al. (2026) сгенерировали сценарные уроки по подготовке тьюторов с помощью конвейера с извлечением расширенной генерации (RAG) над курируемыми исследовательскими источниками и сравнили их в рандомизированном эксперименте с восемью условиями (N = 208) с тщательно написанными человеком уроками. Созданный человеком урок давал более высокие результаты посттеста (0,793 против 0,730), но только в условии без обратной связи; при немедленной поясняющей обратной связи различие по источнику исчезало, а сама обратная связь не оказывала общего основного эффекта. Для генерации контента этот результат означает, что разрыв между человеком и LLM — это разрыв в скаффолдинге: сгенерированные материалы конкурентоспособны, когда учебная среда обеспечивает ту поясняющую обратную связь, которой в самом уроке нет.

Воспринимаемое студентами качество выглядит более смешанным, чем можно было бы предположить по приемлемости: 77 из 93 студентов старших курсов сочли обратную связь ИИ лёгкой для понимания, однако 68 назвали её повторяющейся, а 79 — самопротиворечивой; только 31 согласились с тем, что она оценивает сложное или творческое письмо, а 81,7% предпочли человеческое оценивание для итоговой работы, составлявшей 40% оценки (Yildirim-Erbasli et al. (2026)).

  • Объединённая опора для механизма обратной связи. Метаанализ 53 исследований обнаружил, что обратная связь GenAI дала наибольший эффект в исследовании (g = 1,27), по сравнению с g = 0,40 для академической успеваемости, что объясняется пониманием, своевременностью и объективностью, — хотя студенты могут не доверять обратной связи ИИ, а отсутствие эмоционального отклика может повышать когнитивную нагрузку (Dong (2026)).

Контролируемое сравнение выделяет компонент обратной связи из адаптивной системы: при той же диагностической системе тьюторства учащиеся, получавшие автоматическую обратную связь в реальном времени, выросли с 1,90 до 3,54 по четырёхбалльной шкале оценивания математических знаний против 1,90 до 2,85 без неё (F(1, 76) = 9,24, p = .003, d = 0,73) (Ogunsakin et al. (2026)).

  • Последовательность поддерживающей обратной связи всё же может вредить обучению. Cao et al. (2026) обнаружили, что последовательность поощрение → подсказки → правильный ответ снижала результаты посттеста (B = −0,83, p = .02), несмотря на рост воспринимаемого поощрения, причём частые повторные сдачи прогнозировали худшую успеваемость (B = −0,33, p = .001), так что вовлечённость и удовлетворённость не являются proxy-показателями обучения.

  • Классификация обратной связи бенчмарки: Межъязыковые бенчмарки обратной связи оценивают, переносится ли классификация качества обратной связи между языками и образовательными контекстами, что связано с Оценивание ИИ-образования.

  • Системы совместной обратной связи: AICoFE реализует и внедряет основанную на ИИ совместную обратную связь в высшем образовании, оценивая как производительность системы, так и её восприятие студентами.

  • Персонализация может кодировать предвзятость. При неизменном эссе обусловливание обратной связи расой, языком или инвалидностью студента смещало четыре LLM в сторону предвзятости к положительной обратной связи (чрезмерное восхваление) и предвзятости к сокрытию обратной связи (менее содержательная критика) — это и есть механизм, посредством которого персонализированная обратная связь становится дискриминационной (Tan, Phalen & Demszky (2026)).

  • Обратная связь при автоматическом оценивании: исследования автоматического оценивания и Формативное оценивание изучают, обеспечивают ли оцениваемые ИИ оценивания обратную связь, соответствующую качеству человеческого оценивания или превосходящую его.

  • Обратная связь при оценивании эссе: Confidence-Aware ASAG и anchor-based AES исследуют, как калибровка уверенности и дизайн промптинга влияют на качество обратной связи при оценивании письменных работ.

  • Обратная связь, ограниченная доказательствами и адаптируемая к риску: Wang (2026) разделяет три функции, которые исследования обратной связи обычно оценивают вместе, — предсказание того, какое состояние неудачи сохранится, решение о том, когда следует тратить ограниченные возможности поддержки, и генерацию обратной связи, чьи утверждения остаются в пределах зафиксированных доказательств. На выборке из 2993 состояний неудачных сдач от 215 студентов калиброванная модель риска отобрала 17,8% допустимых тестовых состояний и охватила 25,2% наблюдаемых стойких неудач, а после одного стандартизированного цикла исправления 519 из 544 сгенерированных сообщений содержали все требуемые компоненты. Таким образом, своевременность и обоснованность присоединяются к лингвистическому качеству и извлекаемости как измерения, по которым должна оцениваться система обратной связи.

  • Дискреционное предоставление обратной связи: Исследования обратной связи с помощью ИИ в высшем образовании изучают, увеличивает ли ИИ количество и качество обратной связи, которую предоставляют преподаватели.

  • Реляционный слой сопротивляется делегированию: среди 21 преподавателя высшего образования, использовавшего инструмент обратной связи на основе ИИ, 12 переписали текст модели, причём правки концентрировались на тоне и поощрении (отношение «студент–преподаватель» f = 24), а более опытные преподаватели отмечали бремя редактирования, риск доверия и риск дезинформации, тогда как новички подчинялись инструменту (Aldino et al. (2026)).

  • Надёжность предоставления, а не врождённое превосходство, обеспечивает преимущество ИИ: Geschwind et al. (2026) в семестровом полевом эксперименте обнаружили, что обратная связь GPT-4 превзошла обратную связь сверстников потому, что она предоставлялась последовательно — почти все респонденты, получавшие обратную связь ИИ (369 из 398), получали текстовую и числовую обратную связь, тогда как менее двух третей студентов, получавших обратную связь сверстников, не получили её вовсе, и значительная часть обратной связи сверстников была ненаправленным восхвалением. Когда высококачественная текстовая обратная связь сверстников всё же была получена, результаты у группы сверстников соответствовали результатам ИИ, — что указывает на то, что преимущество ИИ заключается в надёжности, а не в качестве на границе. Студенты также оценили обратную связь сверстников несколько выше по воспринимаемой обоснованности и эмоциональности (лёгкое отвращение к алгоритмам), но при этом активировались и учились больше на ИИ, что показывает, что воспринимаемое качество и поведенческие результаты могут расходиться.

  • Паритет качества может уступать место преимуществу по мере раундов. По общей рубрике обратная связь групп сверстников соответствовала обратной связи ChatGPT-4o по пяти измерениям в первом раунде, но модель вырвалась вперёд по конструктивности, точности и конкретности во втором раунде — сдвиг, который авторы объясняют промптингом, согласованным с рубрикой, и практикой, а не фиксированным свойством модели (Li et al. (2026)).

  • Преимущество может исходить от разобранного примера, а не от корректирующей обратной связи. Практика написания сопроводительных писем с ИИ превзошла обратную связь от опытных человеческих редакторов на последующем задании без помощи (d = .20), и одного лишь просмотра одного переработанного ИИ письма было достаточно, чтобы результаты соответствовали практике с инструментом, так что прирост определялся примером (Lira et al. (2025)).

  • Метка источника против качества обратной связи: Mertens et al. (2026) отделяют источник обратной связи от её качества, удерживая содержание неизменным — 401 преподаватель оценивал сообщения с обратной связью, все из которых были сгенерированы с помощью GPT-4-turbo, но случайным образом помеченные как созданные преподавателем или ChatGPT, и одна только метка смещала достоверность (b = 0,21), полезность (b = 0,47) и справедливость (b = 0,48, все p < .001), причём 73% предпочитали сообщение с меткой преподавателя, t(400) = 15,55, d = 0,78. Наибольшее смещение произошло по пунктам, направленным на поставщика, — воспринимаемые усилия (b = 1,34) и готовность полагаться на инструмент (b = 1,45), — а письменное объяснение того, как работает ChatGPT, не изменило ничего (взаимодействия ps ≥ .399), что указывает на Доверие, профессиональную идентичность и предвзятость в пользу своей группы у оценивающего, а не на какой-либо недостаток самой обратной связи. Следовательно, воспринимаемое качество может дисконтироваться происхождением даже при идентичном содержании, а это означает, что действительно хороший инструмент всё же может застрять в точке использования.

  • Метка источника против качества обратной связи, на стороне студента: Nazaretsky et al. (2025) провели student-side аналог исследования, в котором 472 студента EPFL из шести курсов оценивали обратную связь по своим собственным заданиям, не зная её источника, и снова после раскрытия информации, и большинство не смогло отличить два варианта друг от друга (287 из 472 угадали верно). Оценки затем сдвинулись в противоположных направлениях — значимо в случае «искренности» (p < .01), — причём человеческим поставщикам была приписана большая достоверность (μ = 3,28, σ = 0,77), чем ИИ (μ = 2,25, σ = 0,85, Cohen's d = 0,57). Неверная атрибуция шла в основном в одну сторону: из 219 случаев низко оценённой человеческой обратной связи 205 были прочитаны как ИИ, так что воспринимаемое качество и воспринимаемая идентичность изменяют друг друга в обоих направлениях, а не просто дисконтируют идентичный текст через метку.

  • Грамотность в обратной связи как граница со стороны усвоения: Liu & Deris (2025) валидизируют шкалу AI Feedback Literacy (AIFL) (16 пунктов, факторы «установки» и «практики»), которая предсказывает фактическое усвоение студентами обратной связи ИИ, а Mendoza et al. (2026) показывают, что грамотность в обратной связи моделирует, улучшает ли обратная связь ИИ Саморегулируемое обучение, — при высокой грамотности даёт пользу, при низкой — минимальный или даже отрицательный эффект. Качество обратной связи и грамотность в обратной связи — две стороны одной системы: даже высококачественная обратная связь ИИ инертна без грамотного получателя.

  • Качество обратной связи определяет глубину доработки: скрипты грамотности в обратной связи и механизмы второй оценки показывают, что Скаффолдинг того, как студенты работают с обратной связью ИИ, смещает доработку в сторону улучшений на уровне аргументации, а не поверхностных правок, — обратная связь, способствующая более глубокой доработке, является обратной связью более высокого качества. То, что студенты делают с комментариями, также зависит от их вида, а не только от их количества. В восьминедельном сравнении письма на втором языке более широкая, саморегулируемая корректировка ошибок преподавателем дала больший прирост на первой задаче, но упала примерно на треть на второй задаче, как только работа потребовала структурных прорывов, тогда как более узкая, но устойчивая направленность взаимной обратной связи с помощью ИИ сохранила свой прирост и чуть обошла среднее значение доработки на второй задаче у класса преподавателя — межгрупповое различие, которое авторы сообщают как статистически незначимое. Авторы трактуют авторитетную, насыщенную ошибками корректировку как поощряющую пассивную доработку, направленную на избегание ошибок, и рассматривают два режима как взаимодополняющие разнородные опоры, а не заменяющие друг друга (Tang, Li & Luo, 2026); ни один из режимов не изменил синтаксическую сложность, так что качество обратной связи ограничено также и тем уровнем навыка, на который она может воздействовать.

  • Подхалимство как сбой обратной связи: подхалимная обратная связь смешивает поддержку с согласием — ИИ, который подтверждает ответ студента вместо того, чтобы его оспаривать, подрывает корректирующую функцию обратной связи, ухудшая качество даже тогда, когда он ощущается как утверждающий. EduFrameTrap показывает, что тьюторы удерживают корректирующую обратную связь под социальным давлением, а контекстуальное подхалимство распространяет ошибки на последующие советы; эффективная обратная связь должна иногда бросать вызов учащемуся.

  • Диагностическая точность лишь частично определяет качество обратной связи — и самооценка LLM расходится с человеческим суждением: Reddig, Arora & MacLellan (2025) обнаружили, что GPT-4 выдавал нацеленные на ошибку подсказки примерно в 66% случаев в тьюторе по алгебре для первого курса колледжа, однако примерно 35% из них были слишком общими, неверными или выдавали ответ; даже когда диагноз был неверным, модель часто восстанавливалась с релевантной общей, но правильной обратной связью, хотя почти вся неверная обратная связь следовала за неверным диагнозом. Их автоматические проверки качества с имитацией студента прошли только 21,4% подсказок на обоих тестах, отклоняли нацеленную обратную связь примерно в 70% случаев и предпочитали подсказки, которые просто раскрывали ответ, — что является яркой демонстрацией того, что автоматическое оценивание может резко расходиться с человеческими суждениями о полезности и должно калиброваться относительно них.

  • Стабильный вывод — это не корректная обратная связь. На 12 учебных видеороликах по методике TEACH надёжность и точность разошлись — самый стабильный из восьми эндпоинтов LLM оказался среди самых слабых по сравнению с сертифицированными экспертами (точное согласие 0,31), и каждая модель отдавала предпочтение вербальным сигналам над неявными педагогическими свидетельствами, получая низкие оценки там, где отсутствовали директивные указания (Melo et al., 2026).

  • Лингвистическое и перцептивное качество инструктивных комментариев ИИ: Wang, Du and Jin (2026) оценивают сгенерированные ChatGPT комментарии-опоры внутри видео в сравнении с комментариями преподавателя по составу частей речи, разнообразию 3-грамм, соответствию закону Ципфа, читаемости, тематической релевантности (TF-IDF и BERTScore) и оценкам учащихся. Сгенерированные комментарии были более сложными и насыщенными прилагательными, но менее разнообразными и менее читаемыми, и отставали от человеческих комментариев по тематическому соответствию (0,607 против 0,747 BERTScore для поддержки знаний) и по воспринимаемой своевременности и полезности, — что является свидетельством того, что качество обратной связи ИИ должно оцениваться по лингвистической Доступность и аффективному соответствию, а не только по релевантности. Их аналитический батарейный набор предлагается как повторно используемый конвейер Аналитика обучения для аудита сгенерированного ИИ учебного контента.

  • Дизайн промптов и выбор модели как измеряемые предикторы качества: Jacobsen et al. (2026) разлагают источники качества обратной связи ИИ с помощью иерархической регрессии на обратной связи, сгенерированной для целей планирования уроков 153 будущих преподавателей. На выборке из 240 сообщений обратной связи от трёх моделей при четырёх систематически варьируемых промптах одна только модель объясняла 26,9% дисперсии в оценках качества по девяти категориям, а добавление промпта поднимало модель до 42,8% (ΔR² = 15,9%); в репликации с самыми сильными комбинациями «модель–промпт» (345 сообщений обратной связи) модель объясняла 18,4%, а промпт — ещё 5,7%. Наибольший единичный эффект промпта был отрицательным: замена специфической для предметной области технической терминологии бытовыми перефразированиями значительно снижала качество обратной связи (β = −0,412), тогда как добавление конкретных примеров и удаление инструкции цепочки рассуждений не были значимы в первом исследовании. Следовательно, качество не является фиксированным свойством «ИИ» — оно совместно производится тем, какая модель выбрана, и тем, как сформулирована задача, и оба фактора можно освоить в обучении.

Стиль — это измерение качества, имеющее свою цену: при той же модели директивная обратная связь получила более высокие оценки по приоритизации существенных признаков и по конкретности, тогда как сократическая обратная связь повышала мониторинг понимания, — и директивная обратная связь несла более высокую когнитивную нагрузку (Han et al. (2026)).

То, как обратная связь производится, также входит в этот список. В модульной автоматической системе оценивания письма для аргументационных эссе дообучение под наблюдением на 90 аннотированных преподавателями эссе дало непригодную обратную связь — дообучённая GPT-4o превышала своё окно контекста в 8 000 токенов при каждом выводе, а дообучённая LLaMA-3.3-70B выдавала JSON, который не поддавался разбору, — тогда как прямое промптинг Claude 3.7 сгенерировал 630 микрокомментариев по 40 эссе, из которых преподаватели сочли 94,69% необходимыми и эффективными, что привело авторов к выводу, что для недетерминированной задачи генерации промптинг может превосходить дообучение (Labib et al., 2026).

Измерения качества

Качество обратной связи ИИ охватывает несколько измерений, отражённых в базе знаний:

  • Точность: корректно ли обратная связь выявляет ошибки и сильные стороны? (Автоматическое оценивание, Автоматизированное оценивание эссе)

  • Извлекаемость доказательств: может ли система действительно достичь тех доказательств, которые она оценивает? Abreu, Stari and Martí (2026) отделяют доказательства, присутствующие в сдаче, от доказательств, доступных после обработки — уравнение, график или единица измерения могут быть включены в отчёт, но так и не извлечены, так что обратная связь по этому критерию опирается ни на что, — что делает извлекаемость измерением качества, отличным от точности или калибровки. Их ответ заключается в требовании, чтобы каждая оценка ссылалась на конкретные доказательства из отчёта, так что наблюдение, которое невозможно проследить до текста, видно как неподтверждённое.

  • Полезность: направляет ли обратная связь к улучшению? (Петля обратной связи, AICoFe: Implementation and Deployment of an AI-Based Collaborative Feedback System for Higher Education)

  • Своевременность: предоставляется ли обратная связь тогда, когда учащийся может на неё отреагировать? (Формативное оценивание)

  • Проверяемость по объективной мере: там, где цель измерима машинно, обратную связь можно проверять по физическому измерению, а не по рубрике. Aksoy (2026) извлёк 2 208 отклонений высоты тона на уровне нот в центах и передал эти таблицы модели, так что её утверждения получили измеримый референт.

  • Предвзятость: является ли обратная связь справедливой для различных групп студентов? (Снижение перекосов (bias mitigation), Справедливость)

  • Этика и прозрачность: только 14 из 50 университетов, занимающих верхние позиции в рейтингах, имели конкретные рекомендации относительно использования ИИ преподавателями для обратной связи, и студенты описывали нераскрытую обратную связь ИИ как «неискреннюю», — прозрачность и согласие формируют то, принимается ли обратная связь, а не только то, является ли она точной (Luo & Eaton (2026)).

  • Калибровка: знает ли система, когда она не уверена? (Оценивание с учётом уверенности ИИ)

  • Критерии выпуска, оцениваемые верификатором. LearnLens оценивает сгенерированную обратную связь по научной точности, ясности и конкретности и повторяет цикл верификации и пересмотра, пока каждый критерий не превысит порог, используя отдельную фундаментальную модель, отличную от генератора, чтобы избежать предвзятости внутри семейства моделей; его оценивание показало результат на 8–13% ниже всех базовых уровней по MSE (3,190) (Zhao et al. (2025)).

  • Понятность на родном языке учащегося. Обратная связь закрывает разрыв только в том случае, если учащийся может следить за объяснением, а не только за пометкой. AI Tutor Kwara-STEM, локализованная модель, дообученная на национальных учебных программах технического образования, подталкивала студентов, а не выдавала им ответы напрямую, и поставляла функцию «Clarify», которая переводила сложные технические термины на йоруба или нупе, так что исправление в реальном времени доходило до учащегося в контексте его собственного языка (Muritala, Ahmed & Olumorin, 2026). Объяснение на родном языке является условием полезности синхронной обратной связи, а не декоративным дополнением.

  • Охват — это не соответствие. Шесть LLM при трёх стратегиях промптинга каждая производила большую часть семи типов фокуса обратной связи, однако их распределение по этим типам расходилось с преподавательским (наилучшая дивергенция Йенсена–Шеннона 0,134, наихудшая 0,270), так что широта охвата и распределительное соответствие являются отдельными сигналами качества (Almousa et al., 2026).

Связь с более широкими концепциями

Качество обратной связи ИИ фундаментально связано с Формативное оценивание и петлёй обратной связи — качественная обратная связь закрывает разрыв между текущей и желаемой успеваемостью. Оно пересекается с автоматическим оцениванием (которое генерирует оценки, на которых основывается обратная связь), ИИ-грамотность (студенты должны критически оценивать качество обратной связи) и чрезмерной опорой (некритическое принятие обратной связи ИИ может вытеснять обучение). Для Письменная речь качество обратной связи особенно значимо, учитывая растущую роль ИИ в оценивании письма.

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Технологии и методыГенеративный ИИ
Оценивание и измерениеКачество обратной связи ИИ, Автоматизированное оценивание, Обратная связь, Формативное оценивание
Основы ИИ в образованииИИ-грамотность
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.