Снижение перекосов (bias mitigation)

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Снижение перекосов в ИИ в образовании — выявление, измерение и уменьшение несправедливого поведения, связанного с идентичностью, в репетиторах на базе ИИ, системах оценивания, рекомендательных системах и образовательных системах. Перекос может возникать на любой стадии конвейера ИИ — данные обучения, поведение модели, промпты, оценивание и развёртывание, — и проявляться как различное обращение с учащимися в зависимости от языка, пола, расы, культуры или других характеристик идентичности. Снижение перекосов охватывает курирование данных, алгоритмы деконцентрирования (debiasing), проектирование промптов, методы справедливого оценивания, объяснимость и оценивание. Это технический аналог Справедливость и центральная забота Этика в ИИ в образовании.

Вопросы для размышления

• Перекос может возникать на любой стадии конвейера ИИ — данные обучения, поведение модели, промпты, оценивание и развёртывание. Прежде чем читать, подумайте: где в этой цепочке вы ожидали найти перекос? Эта страница предполагает, что он может появляться почти везде. Где находится место, о котором вы не думали?
• Исследования показывают, что оценивание физики с помощью ИИ физики систематически занижает оценки студентов, чьи текстовые объяснения имеют более низкое лингвистическое качество — ИИ оценивает язык, а не понимание. Почему система, которая в целом хорошо согласуется с человеческими оценщиками, может всё же систематически штрафовать неносителей языка или менее беглых пишущих?
• Одно исследование обнаружило, что промпт с гендерным перекосом заставляет эссе студентов демонстрировать более крупный «разрыв в действенности» (agentic gap) и более стереотипное по полу содержание — перекос перенёсся из инструмента в собственную работу учащегося. Что это говорит о перекосе не просто как о несправедливой оценке, но как о силе, способной переформатировать то, что студенты производят, и то, кем они себя видят?
• Другое исследование показало, что LLM сдвигают обратную связь в стереотипно согласованных направлениях, когда персонализируются атрибутами студентов — чрезмерно используя похвалу и удерживая критику в адрес «маркированных» студентов даже на идентичных эссе. Чем «вежливо» смещённая обратная связь может быть вреднее явно неверной оценки, учитывая, что её труднее обнаружить?
• Снижение перекосов охватывает курирование данных, алгоритмы деконцентрирования, нейтральное проектирование промптов, методы справедливого оценивания, объяснимость и человеческий надзор. Какой единственный рычаг снижения, по-вашему, даст наибольший эффект в системе ИИ, на которую вы опираетесь, и что вам нужно будет проверить, чтобы знать, что он сработал?
• Нейтральный промпт в значительной мере избегает вызывать различающийся по полу язык — что предполагает, что проектирование промптов является практическим способом снижения перекосов. Но если перекос может быть вновь внесён через данные, оценивание или развёртывание, почему исправление только промпта может быть неполным ответом?

Введение

Снижение перекосов важно потому, что ИИ в образовании не нейтрален: системы, обученные на данных доминирующего языка и культуры, могут систематически ставить в невыгодное положение маргинализованных учащихся, начиная от оценивания на базе ИИ, которое штрафует пишущих не-носителей языка, и заканчивая репетиторами на базе LLM, которые отвечают по-разному разным группам. Перекос — сквозная забота, которая проявляется в автоматическом оценивании, Автоматизированное оценивание эссе, Трассирование знаний, рекомендательных системах и разговорных ИИ-репетиторах.

Источники перекосов

Исследования базы знаний документируют вхождение перекосов в нескольких точках конвейера:

• Языковые перекосы и перекосы в оценивании: оценивание физики на базе ИИ систематически занижает концептуальное понимание студентов, чьи текстовые объяснения имеют более низкое лингвистическое качество — ИИ оценивает язык, а не понимание, штрафуя пишущих не-носителей языка или менее беглых пишущих. Это прямой отказ по валидности и справедливости в автоматическом оценивании.

• Перенос гендерного перекоса в письме с помощью LLM: Contaminated Collaboration показывает, что когда студенты пишут с промптом LLM, имеющим гендерный перекос, их эссе демонстрируют значительно больший разрыв в действенности и более стереотипные по полу предложения профессий (N=123); перенос перекоса асимметричен, подавляя действенность в эссе с женской целью. Проверочное исследование (N=1 600 эссе, сгенерированных LLM, R²=,399) подтверждает, что промпт с гендерным перекосом вызывает различающийся по полу язык.

• Дифференциальные отказы и эпистемическая несправедливость: The Paternalistic Filter проверяет четыре LLM как репетиторов по истории (1 800 ответов) и вскрывает «патерналистский фильтр»: модели по-разному отказывают, смягчают или переформулируют чувствительный контент для разных учащихся — эпистемическая несправедливость с прямыми следствиями для равного доступа.

• Перекос отбора в аналитике обучения: Деконцентрированная трассировка знаний решает проблему перекоса отбора, возникающего из-за неслучайных рекомендаций упражнений: обучение на наблюдаемых журналах со стандартным эмпирическим риском даёт смещённые оценки освоенности, которые накапливают ошибки в циклах адаптивной рекомендации.

• Перекосы данных и аннотирования: исследования аннотаций данных и надёжности опорной истины изучают, как метки и надёжность согласия между оценщиками, лежащие в основе моделей ИИ, несут перекос — выступая против трактовки κ > 0,8 как бинарного штампа одобрения.

• Маргинализованные знания: Генеративный ИИ и маргинализованные знания документирует, как данные обучения и поведение модели маргинализуют недоминирующие системы знаний и перспективы людей с инвалидностью.

• Стереотипно согласованная автоматическая обратная связь (маркированные педагогики): Tan и др. (2026) показывают, что четыре широко используемые LLM систематически сдвигают обратную связь на письме в стереотипно согласованных направлениях, когда обратная связь персонализируется атрибутами студентов — расой, этничностью, статусом учащегося, изучающего английский как дополнительный (ELL), особенностями обучения, достижениями или мотивацией, — создавая смещение положительной обратной связи и смещение удерживания обратной связи (чрезмерное использование похвалы, менее предметная критика, допущения об ограниченных способностях) для маркированных студентов даже на идентичных эссе. Метрика концентрации «Marked Words» предлагает конкретный метод аудита такого перекоса в автоматической обратной связи.

• Визуальные перекосы в инструментах «текст-в-изображение»: Alon, Hadar Shoval и Levkovich (2026) систематически рассматривают 31 рецензированное исследование (2023–2025) о перекосах и репрезентации в образовательных применениях сгенерированного ИИ перевода текста в изображение. Используя аналитический фреймворк из шести частей (пол; раса, этничность и СЭС; культура и религия; возраст; тело и (не)способности; содержание), они обнаруживают, что смещённая репрезентация повсеместна — изображения часто центрируют белых, мужских, западных, стройных и не инвалидизированных фигур, тогда как разнообразие, связанное с возрастом, телом и способностями, в основном игнорировалось. Большинство исследований опирались на аудиты изображений и качественные методы, при малом числе экспериментальных или интервенционных дизайнов, вскрывая значительные слепые зоны в том, как образовательные исследования измеряют визуальный перекос и реагируют на него.

• Сигналы идентичности аватара воспроизводят офлайновый перекос. В двух экспериментах (N = 396) белые аватары — а в контекстах STEM аватары азиатских мужчин — оценивались как более достоверные и компетентные, тогда как аватары пожилых чернокожих женщин штрафовались; задачи STEM и процедурные задачи усиливали перекос, а рефлексивные и межличностные задачи ослабляли его (Anthis и Kyriakidou-Zacharoudiou (2026)).

• Недискриминация как базовая этическая ценность. Agarwal и др. (2026), систематический обзор 25 статей, выделяют недискриминацию (определения, использующие перекос/дискриминацию/разнообразие) как одну из шести главных этических ценностей для ИИ в образовании, наряду с управлением данными, человеческим надзором, благожелательностью, объяснимостью и пригодностью для образования. Обзор отмечает, что ценности тесно связаны и могут конфликтовать — например, недискриминация против управления данными, — порождая этические дилеммы, и что никакие нормы о недискриминации не обращаются напрямую к конечным пользователям, оставляя учащихся в значительной мере пассивными в этической литературе.

• Перекос распределения при формировании команд с помощью ИИ. Entezami и др. (2026) показывают, что перекос входит в класс задач вне оценивания и обратной связи: три LLM, распределяющие классы по разработке программного обеспечения из 28 студентов по четырём командам, направляли мужчин на 80% реже, чем женщин, в Interface Design вместо Core Development (GPT-5.2 OR < 0,01), а национальность сдвигала распределение независимо от заслуг. Предоставление навыков уменьшало, но не устраняло это — 99,2% назначлений на основе навыков совпало с одной из двух опорных команд, однако пол всё ещё решал между равнозначно допустимыми вариантами (OR 2,53 GPT-4.1, 2,81 GPT-5.2, 1,43 DeepSeek), — а параллельная генерация изображений смещала изображения одного человека в сторону мужского пола и светлой кожи (V пола = 0,64 и 0,65; V тона кожи = 0,57 и 0,61), тогда как изображения с несколькими людьми оставались сравнительно сбалансированными.

Подходы к снижению перекосов

Исследования базы знаний иллюстрируют несколько взаимодополняющих стратегий:

• Моделирование с учётом справедливости: фреймворк Hybrid HKG-GRU интегрирует групповую дистрибутивно робастную оптимизацию (GroupDRO) для справедливости наряду с объяснимостью и контрфактической стабильностью, оценённую на журналах Moodle (152 студента, ~150 тыс. взаимодействий). Он демонстрирует, что рекомендательные системы можно обучить быть справедливыми и прозрачными, а не только точными.
• Деконцентрирующие оценки: обучение Temporal Smoothness Doubly Robust (TSDR) сочетает модель склонности с моделью импутации ошибки, сохраняя несмещённость, если верна любая из них, чтобы устранить перекос отбора из оценок освоенности при трассировке знаний.
• Снижение перекосов на уровне промпта: исследование гендерного перекоса показывает, что нейтральный промпт в значительной мере избегает вызывать различающийся по полу язык, так что проектирование промптов является практическим рычагом снижения.
• Обучение, инвариантное к диалектам: Fang и Liu (2026) показывают, что обучение инвариантности к диалектам превосходит заплату поверх: удаление контрастивного члена переноса стиля почти втрое увеличило частоту контрфактического переключения (с 4,3% до 11,8%) и расширило разрыв в ложноотрицательных ответах для нестандартного диалекта на десять пунктов, при стоимости всего в 0,8 Macro-F1 и сокращении ложноотрицательных ответов для афроамериканского разговорного английского на 18,4 пункта.
• Валидированное, языково-независимое оценивание: решение проблемы перекоса в оценивании требует оценивания, которое отделяет концептуальное понимание от лингвистического качества, и аудита баллов на языковые перекосы.
• Объяснимость: объяснимый ИИ в образовании обеспечивает прозрачность в отношении того, почему система выдала данный балл или рекомендацию, позволяя обнаруживать и исправлять смещённое поведение и поддерживая Доверие.
• Аудит по всему конвейеру: аудит персон и навыков и систематические аудиты, подобные исследованию патерналистского фильтра, показывают ценность проверки моделей при разных условиях идентичности до развёртывания.
• Измерение справедливости в значительной мере отсутствует там, где анализ масштабируется. Скоупинговый обзор PRISMA-ScR 421 исследования применения NLP к оцениванию преподавания студентами обнаружил формальную метрику справедливости лишь в 8 исследованиях (1,9%) и риск институционального использования в 18, тогда как ограничения исследования появлялись в 70,5% и меры защиты приватности в 42,3%; авторы трактуют это сосуществование как расширение LLM технического репертуара без пропорциональных достижений в валидации или отчётности об ответственном использовании (Eicher и da Silva (2026)).
• Размер группы не является прокси для неблагополучия: два из шести пост-хок методов обеспечения справедливости направляли исправления на уже привилегированные группы, поскольку использовали размер группы для определения неблагополучия; переопределение неблагополучия по наблюдаемому неравенству перенаправило один метод, но оставило другой переключающим нулевые предсказания — предел того, что может утверждать пост-хок снижение перекосов (McConvey и др. (2026)).

Снижение перекосов по всему конвейеру ИИ

Снижение перекосов — не единственное исправление, а непрерывный процесс, охватывающий конвейер:

1. Курирование данных — диверсифицировать данные обучения и проверять метки на пробелы по идентичности и несправедливые аннотации.
2. Обучение модели — применять деконцентрирующие и учитывающие справедливость цели (например, GroupDRO, дважды робастные оценки).
3. Проектирование промптов и систем — проектировать нейтральные промпты и системы, которые по-разному не реагируют на идентичность учащегося.
4. Оценивание и измерение — валидировать, что автоматическое оценивание измеряет понимание, а не язык или демографические прокси.
5. Оценивание и аудит — проверять модели при разных условиях идентичности (язык, пол, культура) и требовать объяснимости для вскрытия перекосов.
6. Человеческий надзор — сохранять человека в цикле проверку, особенно для случаев с низкой уверенностью или высокими ставками.

Связь с родственными концепциями

Снижение перекосов — технический механизм, через который операционализируется равный доступ, и базовое требование Этика и ответственного проектирования ИИ. Оно связано с Оценивание ИИ-образования (перекос как критерий оценивания), Образовательное измерение и Валидность оценивания (справедливость в оценивании), и Приватность (как родственная забота ответственного ИИ). Оно также связано с чрезмерной опорой на ИИ (поскольку смещённые системы особенно вредны, когда им чрезмерно доверяют) и ИИ-грамотность (помощь пользователям в распознавании и оспаривании смещённого ИИ).

Следствия для ИИ в образовании

• Проверяйте весь конвейер: перекос может входить на стадиях данных, модели, промпта, оценивания и развёртывания — снижайте его на всех них.
• Тестируйте при разных условиях идентичности: оценивайте репетиторов, системы оценивания и рекомендательные системы на различное поведение по языку, полу, культуре и инвалидности.
• Отделяйте понимание от языка в оценивании: автоматическое оценивание не должно штрафовать неносителей языка или менее беглых пишущих за концептуальное понимание, которое они демонстрируют.
• Делайте системы объяснимыми: прозрачность решений ИИ необходима для обнаружения и исправления перекосов.
• Сочетайте техническое и человеческое снижение: дополняйте алгоритмы деконцентрирования человеческим надзором в цикле, особенно для случаев с высокими ставками или низкой уверенностью.

Связанные концепции

• Различия в эффектах между группами учащихся
• Интерпретируемый ИИ
• Ограничители (guardrails)
• Справедливость
• Этика
• Оценивание ИИ-образования
• Автоматизированное оценивание
• Автоматизированное оценивание эссе
• Образовательное измерение
• Трассирование знаний
• Большие языковые модели (LLM)
• Генеративный ИИ
• Приватность
• Человек в контуре
• Доверие
• Когнитивный оффлоадинг
• ИИ-грамотность
• Опыт студентов
• ИИ в образовании
• Рекомендательные системы и учебные траектории

Связанные статьи

• Face value: How avatar identity shapes epistemic trust in AI-mediated learning

• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Нейро-символическое педагогическое согласование (NSPA)

• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics — Языковой перекос в оценивании на базе ИИ

• Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing — Перенос гендерного перекоса в письме с помощью LLM

• The Paternalistic Filter: Epistemic Injustice and Differential Refusal in LLM-Mediated History Education for Marginalized Romanian Students — Патерналистский фильтр и дифференциальные отказы

• Fair and explainable educational recommendations with a hybrid Graph-GRU framework — Справедливые и объяснимые образовательные рекомендации

• Temporal Smoothness Doubly Robust Learning for Debiased Knowledge Tracing — Деконцентрированная трассировка знаний

• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Модернизация опорной истины для надёжности ИИ

• Data Annotations as Pedagogical Hints: From Subjective Labels to Critical Thinking — Аннотации данных как педагогические подсказки

• Explainable Artificial Intelligence in Education (XAI-ED) — Объяснимый ИИ в образовании

• When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills — Приватность персон и навыков и аудит перекосов

• Generative artificial intelligence and the marginalization of minoritized knowledges in higher education — Генеративный ИИ и маргинализация маргинализованных знаний

• Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback — Marked Pedagogies: стереотипно согласованные перекосы в автоматической обратной связи на письме

• Can AI deliver appropriate support for diverse student profiles? A large-scale evaluation — Can AI deliver appropriate support for diverse student profiles? A large-scale evaluation

• Bias and Representation in AI-Generated Text-to-Image in Education: A Systematic Review — Перекос и репрезентация в сгенерированном ИИ переводе текста в изображение: систематический обзор (Alon и др. 2026)

• Identifying the ethical values and norms for artificial intelligence in education: A systematic literature review — Этические ценности и нормы для ИИ в образовании

• From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015–2026 — From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015–2026

• Generative AI May Reinforce Social Biases in Software Engineering Education — Generative AI May Reinforce Social Biases in Software Engineering Education

• Fairness Theatre: Evaluating Post-Hoc Fairness Interventions in Vendor-Controlled Early Warning Systems — Fairness Theatre: Evaluating Post-Hoc Fairness Interventions in Vendor-Controlled Early Warning Systems