База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Пом’якшення упередженості

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Пом’якшення упередженості в освіті зі ШІ — виявлення, вимірювання та зменшення несправедливої, пов’язаної з ідентичністю поведінки в AI tutors, системах оцінювання, рекомендаційних системах і освітніх системах загалом. Упередженість може проникнути на будь-якій стадії конвеєра ШІ — навчальні дані, поведінка моделі, підказки, оцінювання та розгортання — і проявитися як різне поводження зі здобувачами залежно від мови, статі, раси, культури чи інших характеристик ідентичності. Пом’якшення охоплює курацію даних, алгоритми знеупередження, prompt design, методи справедливого оцінювання, пояснюваність та оцінювання. Це технічний аналог Справедливість і ключове занепокоєння Етика в освіті зі ШІ.

Питання для роздумів

  • Упередженість може проникнути на будь-якій стадії конвеєра ШІ — навчальні дані, поведінка моделі, підказки, оцінювання та розгортання. Перш ніж читати далі: де в цьому ланцюгу ви очікували, що живе упередженість? Ця сторінка припускає, що вона може з’являтися майже будь-де. Де є місце, якого ви не розглядали?
  • Research показує, що ШІ-оцінювання з physics систематично недооцінює студентів, чиї текстові пояснення мають нижчу мовну якість — ШІ оцінює мову, а не розуміння. Чому система, яка в цілому добре узгоджується з людьми-оцінювачами, усе одно може послідовно карати неписьменних або менш вільних письменників?
  • Одне дослідження виявило, що підказка з гендерною упередженістю змушує есеї студентів виявляти більший «розрив в агентності» та більше гендерно-стереотипного вмісту — упередженість перенеслася з інструмента у власну роботу здобувача. Що це говорить про упередженість не просто як про несправедливий бал, а як про силу, що може переформулювати те, що студенти створюють, і те, ким вони себе вбачають?
  • Інше дослідження показало, що LLM зсувають зворотний зв’язок у стереотипно узгоджених напрямах, коли персоналізуються атрибутами студента — надмірно використовують похвалу й утримують критику для «позначених» студентів навіть на ідентичних есеях. Як «мило» упереджений зворотний зв’язок може бути шкідливішим за очевидно хибний бал, бо його важче виявити?
  • Пом’якшення охоплює курацію даних, алгоритми знеупередження, нейтральну конструкцію підказок, методи справедливого оцінювання, пояснюваність і людський нагляд. Який єдиний важіль пом’якшення, на вашу думку, дасть найбільшу різницю в системі ШІ, на яку ви покладаєтесь, і що вам треба було б аудитувати, щоб дізнатись, що він спрацював?
  • Нейтральна підказка здебільшого уникає індукування гендерно диференційованої мови — що припускає, що конструкція підказки є практичним пом’якшенням. Але якщо упередженість може бути знову внесена через дані, оцінювання чи розгортання, чому виправлення лише підказки може бути неповною відповіддю?

Вступ

Пом’якшення упередженості має значення, бо AI in education не є нейтральним: системи, натреновані на домінантних мовних і культурних даних, можуть систематично ставити в невигідне становище маргіналізованих здобувачів — від оцінювання на основі ШІ, що карає неписьменних письменників, до тьюторів LLM, які відповідають по-різному для різних груп. Упередженість — це транссферне занепокоєння, що постає в Automated Grading, Автоматизоване оцінювання есе, Відстеження знань, рекомендаційних системах і тьюторах із conversational AI.

Джерела упередженості

Дослідження бази знань документують проникнення упередженості в кількох точках конвеєра:

  • Мовна упередженість і упередженість оцінювання: AI-based physics scoring систематично недооцінює концептуальне розуміння студентів, чиї текстові пояснення мають нижчу мовну якість — ШІ оцінює мову, а не розуміння, караючи неписьменних або менш вільних письменників. Це пряма відмова за валідністю та справедливістю в Automated Grading.

  • Перенесення гендерної упередженості в письмі з допомогою LLM: Contaminated Collaboration показує, що коли студенти пишуть із гендерно упередженою підказкою LLM, їхні есеї виявляють значно більший розрив в агентності та більше гендерно-стереотипних пропозицій щодо професій (N=123); перенесення упередженості є асиметричним, придушуючи агентність в есеях, орієнтованих на жінок. Дослідження-верифікація (N=1 600 есеїв LLM, R²=.399) підтверджує, що гендерно упереджена підказка індукує гендерно диференційовану мову.

  • Диференційовані відмови та епістемічна несправедливість: The Paternalistic Filter аудитує чотири LLM як тьюторів з історії (1 800 відповідей) і виявляє «патерналістичний фільтр»: моделі по-різному відмовляють, пом’якшують або переформовують чутливий вміст для різних здобувачів — епістемічна несправедливість із прямими наслідками для справедливості.

  • Упередженість відбору в learning analytics: Debiased knowledge tracing вирішує упередженість відбору, що виникає через нерендомізовані рекомендації вправ: тренування на спостережуваних логах зі стандартним емпіричним ризиком дає упереджені оцінки володіння, які накопичують помилки в циклах адаптивних рекомендацій.

  • Упередженість даних і розмітки: дослідження data annotations і ground-truth reliability вивчають, як позначки й надійність між оцінювачами, що лежать під моделями ШІ, несуть упередженість — аргументовано проти трактування κ > 0.8 як бінарної печатки схвалення.

  • Маргіналізовані знання: Generative AI and minoritized knowledges документує, як навчальні дані та поведінка моделі маргіналізують недомінантні системи знань і перспективи інвалідності.

  • Стереотипно узгоджений автоматизований зворотний зв’язок (Marked Pedagogies): Tan et al. (2026) показують, що чотири широко вжиті LLM систематично зсувають зворотний зв’язок на письмі у стереотипно узгоджених напрямах, коли зворотний зв’язок персоналізується атрибутами студента — раса, етнічність, позначка ELL, порушення навчання, досягнення або мотивація — створюючи упередженість позитивного зворотного зв’язку та упередженість утримання зворотного зв’язку (надмірне використання похвали, менш змістовна критика, припущення обмеженої здібності) для позначених студентів навіть на ідентичних есеях. Метрика концентрації «Marked Words» пропонує конкретний метод аудиту такої упередженості в автоматизованому зворотному зв’язку.

  • Візуальна упередженість в інструментах «текст-у-зображення»: Alon, Hadar Shoval, and Levkovich (2026) systematically review 31 рецензоване дослідження (2023–2025) про упередженість і репрезентацію в освітніх застосуваннях згенерованого ШІ «текст-у-зображення». Використовуючи аналітичну рамку з шести частин (стать; раса, етнічність і SES; культура і релігія; вік; тіло та (не)здатність; вміст), вони знаходять, що упереджена репрезентація є поширеною — зображення часто центровані на білих, чоловічих, західних, худих і неінвалідних фігурах, тоді як різноманіття, пов’язане з віком, тілом і здатністю, здебільшого ігнорувалося. Більшість досліджень спиралася на аудити зображень і qualitative методи, з небагатьма експериментальними або інтервенційними конструкціями, що виявляє значні сліпі плями в тому, як освітні дослідження вимірюють візуальну упередженість і реагують на неї.

  • Сигнали ідентичності аватара відтворюють офлайн-упередженість. У двох експериментах (N = 396) білі аватари — і в STEM-контекстах, аватари азійських чоловіків — оцінювалися як більш достовірні та компетентні, тоді як аватари старших чорних жінок каралися; STEM- і процедурні завдання посилювали упередженість, а рефлексивні та міжособистісні завдання її послаблювали (Anthis & Kyriakidou-Zacharoudiou (2026)).

  • Недискримінація як ключова етична цінність. Agarwal et al. (2026), systematic review 25 статей, ідентифікують недискримінацію (визначення, що використовують упередженість/дискримінацію/різноманіття) як одну з шести головних етичних цінностей для AI in education, поряд з управлінням даними, людським наглядом, доброзичливістю, пояснюваністю та освітньою доречністю. Огляд зазначає, що цінності тісно пов’язані і можуть конфліктувати — наприклад, недискримінація проти управління даними, — створюючи етичні дилеми, і що жодні норми з недискримінації не звертаються безпосередньо до кінцевих користувачів, залишаючи здобувачів переважно пасивними в етичній літературі.

  • Упередженість розподілу в формуванні команд із допомогою ШІ. Entezami et al. (2026) показують, що упередженість проникає в клас завдань поза оцінюванням і зворотним зв’язком: три LLM, що розподіляють класи з програмної інженерії по 28 студентів на чотири команди, направляли чоловіків принаймні на 80% рідше за жінок на Interface Design, а не на Core Development (GPT-5.2 OR < 0,01), а національність зсувала розміщення незалежно від заслуг. Надання навичок зменшувало, але не знімало її — 99,2% призначень на основі навичок збігалося з однією з двох команд-істин, але стать усе одно вирішувала між однаково валідними варіантами (OR 2,53 GPT-4.1, 2,81 GPT-5.2, 1,43 DeepSeek) — і паралельна генерація зображень перекошувала зображення однієї людини в бік чоловічої та світлої шкіри (стать V = 0,64 і 0,65; тон шкіри V = 0,57 і 0,61), тоді як зображення кількох людей залишалися порівняно збалансованими.

Підходи до пом’якшення

Дослідження бази знань ілюструють кілька взаємодоповнюючих стратегій:

  • Моделювання, усвідомлене справедливості: The Hybrid HKG-GRU framework інтегрує Group Distributionally Robust Optimization (GroupDRO) для справедливості поряд із пояснюваністю та контрфактичною стабільністю, оцінюється на логах Moodle (152 студенти, ~150k взаємодій). Це демонструє, що рекомендаційні системи можна натренувати бути справедливими та прозорими, а не лише точними.
  • Оцінювачі знеупередження: Temporal Smoothness Doubly Robust (TSDR) learning поєднує модель схильності з моделлю імпутації помилок, утримуючи неупередженість, якщо хоча б одна з них правильна, щоб зняти упередженість відбору з оцінок володіння при трасуванні знань.
  • Пом’якшення на рівні підказок: the gender-bias study показує, що нейтральна підказка здебільшого уникає індукування гендерно диференційованої мови, тож конструкція підказки є практичним важливелем пом’якшення.
  • Діалектно-інваріантне тренування: Fang and Liu (2026) показують, що тренування діалектної інваріантності перевершує її латання: викидання контрастивного члена перенесення стилю майже потроїло частоту контрфактичного перевертання (з 4,3% до 11,8%) і розширило розрив хибних від’ємних для нестандартного діалекту на десять пунктів, вартуючи лише 0,8 Macro-F1 і зрізавши хибні від’ємні африкансько-американського народного англійського на 18,4 пункти.
  • Валідоване, незалежне від мови оцінювання: вирішення scoring bias потребує оцінювання, яке відокремлює концептуальне розуміння від мовної якості, та аудиту балів на мовну упередженість.
  • Пояснюваність: XAI in education дає прозорість у те, чому система дала певний бал або рекомендацію, дозволяючи виявляти та виправляти упереджену поведінку й підтримуючи Довіра.
  • Аудит усього конвеєра: persona-skills auditing і систематичні аудити на кшталт дослідження патерналістичного фільтра показують цінність аудиту моделей за різними умовами ідентичності перед розгортанням.
  • Вимірювання справедливості здебільшого відсутнє там, де аналіз масштабується. Огляд-скопінг PRISMA-ScR із 421 дослідження, що застосовують NLP до оцінювання викладання студентами, знайшов формальну метрику справедливості лише в 8 дослідженнях (1,9%) і ризик інституційного використання в 18, тоді як обмеження дослідження з’являлися в 70,5% і захисти приватності в 42,3%; автори читають це співіснування як LLM ухвалення, що розширює технічний репертуар без пропорційних здобутків у валідації чи звітності про відповідальне використання (Eicher & da Silva (2026)).
  • Розмір групи не є проксі невигідного становища: два з шести постхок методів справедливості спрямовували виправлення на вже привілейовані групи, бо використовували розмір групи для визначення невигідного становища; перепризначення невигідного становища за спостережуваною диспарністю перенаправило один метод, але залишило інший, що перевертає нуль прогнозів, — межа на те, що може стверджувати постхок-пом’якшення (McConvey et al. (2026)).

Пом’якшення вздовж конвеєра ШІ

Пом’якшення упередженості — не єдине виправлення, а тривалий процес, що простягається вздовж конвеєра:

  1. Курація даних — диверсифікувати навчальні дані та аудитувати позначки на прогалини за ідентичністю та несправедливі розмітки.
  2. Model training — застосовувати знеупередження та цілі, усвідомлені справедливості (наприклад, GroupDRO, двічі робастні оцінювачі).
  3. Конструкція підказок і систем — конструювати нейтральні підказки й системи, які не реагують по-різному на learner identity.
  4. Оцінювання — валідовувати, що автоматизоване оцінювання вимірює розуміння, а не мову чи демографічні проксі.
  5. Оцінювання та аудит — аудитувати моделі за різними умовами ідентичності (мова, стать, культура) та вимагати пояснюваності, щоб виявляти упередженість.
  6. Людський нагляд — утримувати human-in-the-loop перегляд, особливо для випадків із низькою довірою або високими ставками.

Відношення до пов’язаних понять

Пом’якшення упередженості — це технічний механізм, через який операціоналізується Equity, і ключова вимога Етика та відповідальної конструкції ШІ. Воно пов’язане з Оцінювання ШІ в освіті (упередженість як критерій оцінювання), Освітнє вимірювання і Валідність оцінювання (справедливість в оцінюванні), і Приватність (як пов’язане занепокоєння відповідального ШІ). Воно також пов’язане з Over-Reliance (оскільки упереджені системи особливо шкідливі, коли їм надмірно довіряють) і ШІ-грамотність (допомагаючи користувачам розпізнавати упереджений ШІ та ставити йому під сумнів).

Наслідки для ШІ в освіті

  • Аудитуйте весь конвеєр: упередженість може проникнути на стадіях даних, моделі, підказки, оцінювання та розгортання — пом’якшуйте в усіх них.
  • Тестуйте за різними умовами ідентичності: оцінюйте тьюторів ШІ, системи оцінювання та рекомендаційні системи на різну поведінку за мовою, статтю, культурою та інвалідністю.
  • Відокремлюйте розуміння від мови в оцінюванні: автоматизоване оцінювання не повинно карати неписьменних або менш вільних письменників за концептуальне розуміння, яке вони демонструють.
  • Робіть системи пояснюваними: прозорість у рішеннях ШІ необхідна для виявлення та виправлення упередженості.
  • Поєднуйте технічне та людське пом’якшення: поєднуйте алгоритми знеупередження з людським наглядом у циклі, особливо для випадків із високими ставками або низькою довірою.

Пов’язані поняття

Пов’язані статті

Пов’язані ресурси

Метадані

РівеньHigher Ed, K 12
Цільова аудиторіяLearners, Instructors
Технології та методиГенеративний ШІ, Великі мовні моделі (LLM)
Справедливість, етика та відповідальне використанняПом’якшення упередженості, Справедливість, Етика
Основи ШІ в освітіШІ-грамотність, Викладання
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.