Как предвзятость и несправедливость ИИ проявляются в образовании и что с этим можно сделать?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Предвзятость и несправедливость в образовательном ИИ — это не одна проблема. Исследования в этой базе знаний документируют, как предвзятость проникает почти на каждом этапе жизненного цикла системы — обучающие данные, поведение модели, промпты, оценивание, обратная связь, решения о распределении и инфраструктура под ними, — и по-разному сказывается на преподавателях, разработчиках, исследователях и администраторах. Картина во всём этом достаточно устойчива, чтобы сказать прямо: спрашивайте цифры по подгруппам, а не средние; определяйте «обездоленного» по результатам, а не по размеру группы; и относитесь к справедливости как к тому, что проектируют и проверяют аудитом, а не тому, что прикручивают потом.

Где проявляются предвзятость и несправедливость

Оценивание и аттестация. Оценивание ИИ может наказывать за язык, на котором пишет студент, а не за понимание, которое он выражает: оценивание по физике систематически занижает результаты студентам, чьи объяснения менее беглые, наказывая невладеющих языком и менее уверенных в себе за то, что они знают (языковая предвзятость в автоматическом оценивании). Автоматическая проверка также сжимает результаты к середине распределения, сильнее всего затрагивая самых сильных и самых слабых студентов, а её расхождение с людьми-экспертами зависит от уровня подготовки и от поверхностных языковых признаков, таких как диапазон словарного запаса (OpRaise, 2026). Полная картина оценивания — в FAQ о справедливости и надёжности оценивания.

Репетиторство, обратная связь и адаптивные системы. Внутренняя модель адаптивного репетитора может незаметно ущемлять целые группы: аудит справедливости байесовского отслеживания знаний по логам MATHia от 8 549 студентов за два учебных года обнаружил агрегированную статистическую паритетность −0,077, которая скрывала 36 из 50 навыков со смещением против начинающих читателей, при смещении на уровне навыка до −0,262 — у репетитора не было компонента читательских навыков, поэтому студенты, читавшие менее бегло, теряли позиции в математике (Stinar et al., 2026). У инструментов обратной связи есть собственный задокументированный перекос: четыре широко используемые LLM сдвигают письменную обратную связь в сторону стереотипов, когда получают идентичность студента, — больше похвалы, меньше критики, предположения об ограниченных способностях — даже для идентичных эссе (Tan et al., 2026). LLM-репетиторы также различаются в зависимости от демографической метки учащегося: в EduFair-Bench отклонения корректирующего тона превышали 0,10 для каждой модели по химии и физике, пошаговые подсказки коррелировали до |r| = 0,144 с демографическими условиями по математике, а тон следовал метке, а не качеству рассуждения (EduFair-Bench). Даже демографический контекст, невидимо присутствующий в истории разговора, меняет результаты: неявное обусловливание завышало автоматические оценки эссе до 1,57 балла для одной модели, потому что сигнал нёс контекст, а не заявленный атрибут (Rooein, Benedetto and Hovy, 2026).

Панели мониторинга и раннее предупреждение. McConvey et al. (2026) стресс-тестировали шесть постфактумных вмешательств по справедливости на реплицированной системе раннего предупреждения, построенной на 168 550 студенческих записях: ни одно не дало устойчивого выигрыша. Неравенства перераспределялись, а не сокращались; два метода использовали размер группы для определения неблагополучия и направили все 706 исправлений на иностранных студентов, у которых уже была более высокая прогнозируемая вероятность успеха (0,916 против 0,756); а один метод достиг целевого равенства возможностей по полу, подняв долю ложноположительных результатов у женщин с 0,561 до 0,837. Студенты, слитые в «Unknown Gender», имели самые низкие доли истинно положительных результатов при каждом методе.

Генеративный результат: текст, изображения и аватары. Модели воспроизводят доминирующие нормы, если их явно не проверять. Систематический обзор 31 исследования инструментов текст-в-изображение в образовании обнаружил, что изображения неизменно центрировали белых, мужских, западных, худых персонажей без инвалидности, а разнообразие по возрасту, телосложению и способностям в основном отсутствовало (Alon et al., 2026). Помощники по формированию команд направляют студентов в разные условия: три LLM, распределявшие 11 200 заданий по программной инженерии, отправляли мужчин как минимум на 80% реже женщин на Interface Design вместо Core Development, а национальность меняла распределение независимо от заслуг (Entezami et al., 2026). Даже сигналы идентичности аватара меняют доверие: белые аватары оценивались как более достоверные и компетентные в двух экспериментах (N = 396), тогда как аватары пожилых чернокожих женщин получали штраф, причём эффект усиливался в STEM-задачах (Anthis and Kyriakidou-Zacharoudiou, 2026). Инструменты письма могут переносить предвзятость в собственную работу студентов: промпт с гендерной предвзятостью порождает более гендерно-стереотипные эссе, так что предвзятость инструмента становится результатом учащегося (перенос гендерной предвзятости в письме с помощью LLM).

Данные, метки и инфраструктура. Предвзятость присутствует ещё до обучения любой модели. Готовые инструменты определения имён пропускали африканские имена с recall 0,7647 и азиатские — с 0,8640 против 0,9024 для европейских и 0,9091 для американских имён; дообученная модель устранила эти разрывы (Ji et al., 2025). Обучающие корпуса и токенизация структурно ущемляют носителей недостаточно представленных языков (Structural Silence), сгенерированные LLM профили учащихся несут региональные и гендерные априорные установки, которые распространяются дальше по цепочке (López-Pernas et al., 2026), а метки истинных данных, стоящие за моделями, заслуживают такой же проверки, как и сами модели (надёжность истинных меток).

Инструменты обнаружения сильнее всего бьют по многоязычным авторам. Поскольку детекторы классифицируют по текстовой предсказуемости, низкая перплексия и формульная плотность письма на дополнительном языке вызывают ложные сигналы «ИИ»: задокументированные исследования ошибочно классифицировали большие доли подлинных эссе TOEFL неносителей языка (Angelier, 2026), а редактирование работы неносителя сдвигало вердикты в обе стороны — на 10,7 пункта меньше вероятность быть помеченным одним детектором и на 5,8 пункта больше — другим (Park, Jeong and Kim, 2026).

Доступ и качество инструментов — тоже вопросы равенства. Цифровой разрыв фундаментален (цифровой доступ), а разрывы качества усугубляют его: бесплатный уровень одной и той же модели ошибался в 49 из 150 ответов (32,7%) против 18 из 150 (12%) на премиальном уровне, из-за чего учителя называли его «почти бесполезным для математики» (Canonigo, 2026). Преподаватели в подавляющем большинстве ожидают, что генеративный ИИ расширит неравенство — так ответили 81% из 1 057 опрошенных преподавателей, причём 58% сказали «сильно» (Watson and Rainie, 2026). И выгоды от репетиторства с ИИ распределяются не автоматически: прирост концентрируется там, где распределение следует за потребностью, — например, когда проактивное человеческое репетиторство, нацеленное на студентов, находящихся дальше всего ниже порога, дало несколько больший рост (75%, p = .065) именно в этой группе (Gurung et al., 2026), или когда проверенные экспертами учебные материалы с ИИ переместили наибольшую часть прироста в 2,34 балла в нижний квинтиль (Dang and Nguyen, 2026).

Что с этим делать — по вашей роли

Если вы преподаватель: спрашивайте у любого внедряемого инструмента, каковы были его показатели ошибок для тех подгрупп, которые вы действительно обучаете, а не только общую точность. Внимательно проверяйте работы многоязычных авторов, прежде чем принимать вердикт детектора, — эти инструменты ошибочно классифицируют письмо на дополнительном языке. Используйте нейтральные промпты, когда создаёте учебные материалы (нейтральный промпт в значительной степени избегает индуцирования гендерно-дифференцированного языка), и сравнивайте результат ИИ со своими собственными стандартами, а не относитесь к нему как к авторитетному (Как научить студентов проверять результаты ИИ?). При оценивании сохраняйте человека в контуре на пограничных случаях.

Если вы разработчик программного обеспечения: проводите аудит по условиям идентичности — язык, пол, культура, инвалидность — используя входы, которые варьируют только контекст студента (результат с неявным сигналом показывает, что заявленные атрибуты — не единственный канал). Тестируйте на отложенных субъектах, а не только на отложенных заданиях: выигрыши в справедливости, которые держались на валидационном разделении, исчезли для реальной модели внимания студента в 4 из 10 прогонов (Fragkiadakis et al., 2026). Предпочитайте смягчение в модели — дообучение, инвариантное к диалекту обучение, ориентированные на справедливость цели вроде GroupDRO — постфактумной корректировке выхода (подходы к смягчению предвзятости). Никогда не выводите неблагополучие из размера группы и сообщайте метрики по подгруппам, включая те группы, которые пришлось исключить из-за слишком малой выборки (Ye et al., 2026 исключили изучающих английский язык и студентов с IEP именно по этой причине — говорите об этом, когда так поступаете).

Если вы исследователь: сообщайте метрику справедливости, и точка, — обзор 421 исследования, применяющего NLP к студенческим оценкам, обнаружил формальную метрику справедливости только в 8 (1,9%) (Eicher and da Silva, 2026), а из 12 исследований сравнения ИИ и человека десять молчали о демографической, языковой или социальной предвзятости (Xu, Lu and Abdi, 2026). Тестируйте по демографическим измерениям, а не только по полу; сообщайте об исключениях малых групп; и оценивайте равенство наряду с точностью, а не задним числом. Когда вы проводите аудит моделей как репетиторов по истории или репетиторов в других контекстах, используйте тестирование по условиям идентичности, прежде чем делать выводы (патерналистский фильтр — предостерегающий пример).

Если вы администратор: сделайте отчётность по подгруппам и аудит перед внедрением условиями контракта при закупке прогнозных или генеративных инструментов — авторы исследования раннего предупреждения считают управление закупками, а не оптимизацию метрик, основной мерой защиты (McConvey et al., 2026). Следите за разрывами качества между уровнями, из-за которых классы с недостатком ресурсов получают существенно худшую работу инструментов, и соединяйте доступ с поддержкой и обучением, а не только с выдачей лицензий. Используйте рычаги институциональной политики в области ИИ, чтобы требовать раскрытия и отчётности о равенстве, и направляйте обсуждения НИОКР и надзора через конвенции исследований равенства, этики и безопасности.

Что не работает

Заявления об общей точности. Агрегированная паритетность −0,077 сосуществовала с 36 из 50 навыков со смещением против группы; сбалансированно выглядящая модель почти полностью упускала отстающих студентов на несбалансированном разделении (Hooshyar et al., 2026 обнаружили 8%, 12% и 16% recall для слабоуспевающих при 80% точности). Средние совместимы с концентрированным вредом.

Постфактумные исправления паритетности. Каждое вмешательство в исследовании раннего предупреждения либо перераспределяло ошибки, либо исправляло уже привилегированных, либо достигало паритетности, делая группу менее заметной. Починка конвейера лучше заплатки на выходе.

Однократное смягчение. Предвзятость возвращается через данные, промпты, оценивание и развёртывание; исследования показывают взаимодополняющие стратегии (справедливые цели обучения, проектирование промптов, диалектная инвариантность, оценивание, отделяющее понимание от языка, объяснимость, человеческий надзор) именно потому, что ни одно исправление не покрывает весь конвейер (Снижение перекосов (bias mitigation)).

Куда копать глубже

Страница Снижение перекосов (bias mitigation) каталогизирует источники и подходы к смягчению по всему конвейеру; Справедливость охватывает измерения доступа, представленности и результатов с доказательствами по каждому; Перекос автоматизации охватывает сбой на стороне читателя — чрезмерное доверие предвзятой или просто ошибочной рекомендации; а Различия в эффектах между группами учащихся собирает исследования о том, как один и тот же инструмент по-разному ложится на разные группы.