База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Людина в циклі

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Людина в циклі (HITL) — патерн проєктування, у якому освітні системи ШІ стратегічно переплітають автоматизовану генерацію із людським експертним судженням, зберігаючи педагогічну якість і безпеку під час масштабування виробництва. Замість повної автоматизації оцінювання, зворотного зв’язку чи інструкції HITL утримує людину (викладача, експерта в предметній галузі або здобувача) в циклі ухвалення рішень там, де її судження має найвищу граничну цінність — для оцінювання якості, вирішення крайніх випадків і захисту агентності здобувача та безпеки. Центральне питання проєктування — не чи включати людей, а де в конвеєрі їхній нагляд є найціннішим і найменш замінним.

Питання для роздумів

  • Центральне питання проєктування HITL — не чи включати людей, а де в конвеєрі їхнє судження найцінніше. У системі оцінювання чи зворотного зв’язку на основі ШІ в якій точці ви б наполягали на тому, щоб людина залишалася в циклі?
  • Дослідження генерації питань за допомогою ШІ виявили, що комп’ютери добре справляються з ясністю та валідністю, але люди все ще потрібні для значущих дистракторів і якісного зворотного зв’язку. Чому деякі частини освітнього судження можуть опиратися автоматизації?
  • Одне оцінювання виявило, що три LLM давали непослідовні, нечутливі рекомендації щодо підтримки студентів — дійшовши висновку, що людське судження все ще потрібне, перш ніж ШІ радитиме щодо студентів. Що може піти не так, коли ШІ «рекомендує» підтримку для студента, який має труднощі, і жодна людина це не перевіряє?
  • Сторінка припускає, що люди та алгоритми ловлять різні типи проблем — автоматизуйте те, що точно перевіряється, зберігайте судження там, де нюанс незамінний. Де у вашій власній практиці межа між цими двома?
  • Утримання людини в циклі трактується як захист агентності та безпеки здобувача, а не лише якості. Як повна автоматизація може непомітно змінити відчуття студентів щодо того, хто відповідальний за їхнє навчання?
  • Якщо ШІ стає автономнішим, нагляд HITL описується як ключове запобіжник безпеки. На якому рівні автономності ШІ ви б відчували дискомфорт — і що цей дискомфорт говорить вам про те, де має бути нагляд?

Вступ

HITL — це відповідь на межі та ризики повністю автономного ШІ в освіті: автоматизовані системи можуть генерувати в масштабі, але їм бракує контекстуального, етичного та педагогічного судження, яке приносять викладачі та експерти. Дві нещодавні реалізації ілюструють відмінні архітектури:

Пресхійна підтримка — галузь, де людський нагляд усе більше стверджується як неопційний. López-Pernas та співавт. (2026) перевіряли, чи можуть три LLM рекомендувати плани підтримки студентів на основі індикаторів Аналітика навчання, і виявили обмежену чутливість до потреб і різку міжмодельну непослідовність — дійшовши висновку, що судження «людина в циклі» все ще є необхідним, перш ніж прескриптивне радництво на основі Великі мовні моделі (LLM) може бути безпечно та етично розгорнуте.

Третя архітектура розміщує людське судження вище за течією від моделі, а не на її виході. У дослідженні Lee, Atif та Kang (2026) з класифікації питань здобувачів три експерти рівня докторантури керували всім конвеєром: вони уточнювали операційні визначення для кожної Конструктивізм ролі, розмічували незалежно, поки каппа Флейса не зросла з 0,60 до 0,83 після вирішення розбіжностей, і валідували зворотно перекладені та перефразовані пункти, використані для балансування навчальної вибірки.

CODE-GEN: генерація MCQ за принципом «людина в циклі»

Duan та співавт. (2026) побудували систему на основі RAG (генерація з доповненням пошуком) із агентними компонентами та двома агентами:

  • Агент-генератор — створює питання з вибором відповіді з програмування, узгоджені з цілями навчання курсу
  • Агент-валідатор — оцінює якість за сімома педагогічними вимірами

Оцінювання: 6 SMEs оцінювали 288 згенерованих ШІ питань. Успішність за людською валідацією: 79,9%–98,6% за вимірами.

Виміри, сильні в ШІ (низьке людське навантаження):

  • Ясність питання, валідність коду, узгодженість понять, валідність правильної відповіді

Виміри, що потребують людини (високе людське навантаження):

  • Проєктування педагогічно значущих дистракторів
  • Високоякісні пояснювальні Зворотний зв’язок

Стратегічний інсайт: людські зусилля мають концентруватися там, де інструкційне судження незамінне; обчислювальна перевірка може бути повністю автоматизована.

MAIC: генерація сценаріїв за принципом «людина в циклі»

Yu та співавт. (2024) розгорнули багатоагентну аудиторію (агент викладача, агент-асистент, архетипи однокурсників) в Університеті Цинхуа з >500 студентами та >100 000 навчальними записами. Викладачі-люди беруть участь у генерації сценаріїв і нагляді, забезпечуючи, що масштабне посилення за допомогою ШІ не витісняє педагогічної експертизи.

PedaCo: подвійне воротарство для генерації відео за допомогою ШІ

Kim, Baek та Kwak (2026) розширюють HITL на згенероване ШІ навчальне відео через PedaCo (Pedagogical Co-creation — педагогічне співтворення), конвеєр із двома доповнювальними шарами воротарства, які втілюють принциповий опір, заснований на когнітивній теорії мультимедійного навчання Маєра (CTML). Перший шар розміщує людину на етапі сценарію: LLM пише чернетку сценарію, рецензент на основі ШІ позначає потенційні порушення CTML (напр., «Сцена 3 вводить технічні терміни без попереднього пояснення»), і освітянин вирішує прийняти, переробити чи перегенерувати. Другий шар запускає автоматизовані метрики після синтезу за зв’язністю, надмірністю, часовою суміжністю, модальністю та якістю зображення, які переглядає освітянин. У дослідженні зі спільними суб’єктами (23 освітяни) підхід на основі рецензування покращив кожен принцип CTML (середня оцінка 3,07→3,86, p<.01), тоді як освітяни оцінювали ефективність виробництва на 4,26/5 — тертя сприймалося як продуктивне, а не обтяжливе. Принцип проєктування відлунює синтез HITL бази знань: люди та алгоритми ловлять різні типи проблем, тому найефективніші системи автоматизують там, де обчислювальна перевірка точна (часова синхронізація), і зберігають людське судження там, де педагогічний нюанс незамінний (тон, відповідність аудиторії).

Розміщення може важливішим за присутність: практики високо оцінювали зручність інструменту створення соціальних історій (SUS 86,8), проте повідомляли, що рецензування відбувалося надто пізно, бо культурні та клінічні обмеження, задані до генерації — абая замість західного вуличного одягу, — важче відновити шляхом редагування результату постфактум (Enkhjargal та співавт. (2026)).

Чому HITL важливий в епоху ШІ

Проєктування за принципом «людина в циклі» стало центральним в обговореннях бази знань щодо агентного ШІ та відповідального використання ШІ з кількох сходяться причин:

  • Педагогічна безпека. Педагогічна безпека вимагає, щоб ШІ з реальною інструкційною авторитетністю зберігав людський нагляд, тож помилки, упередження або шкідливі результати ловляться, перш ніж дійдуть до здобувачів. Це особливо важливо для автономних агентів, які проактивно переслідують цілі.

  • Нагляд рідкісний на практиці, а не лише в теорії. Wang та співавт. (2026) виявили, що міцне вбудоване управління та нагляд «людина в циклі» рідко проявлялися у 474 освітніх агентних системах ШІ, навіть коли одно-завдальна автономність і багатоагентна колаборація зростали — розрив між принципом проєктування та розгорнутою практикою.

  • Критичне питання — як зробити цикл дієвим, а не наскільки активно люди беруть участь. Погляд із навчальних наук стверджує, що організація навчання навколо збору даних, обчислювальної інтерпретації та ймовірної відповіді робить педагогічну дію залежною від того, що системи можуть виявити та над чим можуть подіяти, і що сповіщення та класифікації залученості інтерпретують здобувача ще до того, як викладач або студент що-небудь зробить (Pande (2026)).

  • Валідність і контроль якості. HITL є воротами якості для автоматизованого оцінювання та генерації — люди вирішують там, де автоматизоване оцінювання ненадійне (див. дослідження оцінювання есе за допомогою LLM) і валідують згенеровані пункти. Керований PRISMA систематичний огляд 42 досліджень оцінювання та зворотного зв’язку (2023–2025) доходить того самого висновку явно: LLM зрівнюються з людськими оцінювачами на коротких, добре структурованих завданнях, але не можуть повністю замінити людське судження на складній, відкритій чи суб’єктивній роботі, а найвища ефективність оцінювання досягається в гібридних системах, які поєднують оцінювання на основі ШІ з наглядом і перевіркою викладача (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback). Falahat та співавт. (2026) конкретно показують, де проходить ця межа: ChatGPT-5 зрівнявся з факультетом на об’єктивних пунктах фармацевтичного іспиту (CCC 0,935–1,000), але був ненадійним на пунктах із короткою відповіддю та есе навіть за наявності рубрики, що призвело авторів до рекомендації гібридного оцінювання з людським перевірянням складного, суб’єктивного чи високих ставок оцінювання. Повторення не є заміною цього нагляду: переоцінюючи ідентичні подання в п’ять різних днів, та сама модель відтворювала власні результати лише за альфою Кріпендорфа 0,625, із варіацією, зосередженою в середніх балах, а оцінки A і F були відсутні в п’ятисесійних підрахунках (Brevik та співавт. (2026)).

  • Агентність здобувача. Утримання людини в циклі зберігає Суб’єктність здобувача і підтримує Саморегульоване навчання, протидіючи надмірній опорі, яку може спричинити повністю автономна допомога.

  • Студенти самі розміщують людину на високих ставках. Серед 93 студентів бакалаврату 81,7% віддавали перевагу людському оцінюванню підсумкової роботи, вартої 40% оцінки, 75 зі 93 хотіли, щоб ШІ допомагав, а не заміняв оцінювачів, і 69 хотіли, щоб оцінювання за допомогою ШІ завжди перевірялося людиною (Yildirim-Erbasli та співавт. (2026)).

  • Довіра та калібрування. Прозорий людський нагляд підтримує Калібрування довіри — здобувачі та викладачі знають, що за системою стоїть кваліфікована людина.

  • Критерії, видимі до рецензування, підвищують узгодженість. Coscia та співавт. (2026) виявили, що виведення метрик довірливості рецензентам під час порівняння відповідей LLM підвищило узгодженість між оцінювачами з альфи Кріпендорфа 0,3987 до 0,4931, тоді як додавання подальших мір додавало когнітивного навантаження без віддачі.

  • Обмежена агентність як архітектура, а не як відмова від відповідальності. Рамкова модель AGAI-HE Ilieva та співавт. (2026) для агентної підтримки навчання вбудовує нагляд у саму модель, як третій шар поряд із шаром педагогічного робочого процесу та шаром агентної підтримки: вона визначає прийнятне використання ШІ, педагогічні межі, правила Приватність, вимоги розкриття, перевірку джерел, контрольні точки викладача, механізми доброчесності та фінальну людську відповідальність, і вимагає, щоб кожна агентна функція відстежувалася до навчальної вимоги, мети оцінювання чи засобу управління. Це конкретне втілення принципу, що HITL є властивістю системного проєктування, а не політичним твердженням, — а дослідження сприйняття авторів із 130 студентів є нагадуванням, що додавання агентної оркестрації під цим наглядом саме по собі не сприймалося як краща підтримка навчання, ніж чат-бот.

  • Те, як часто людина дивиться, саме є рішенням проєктування. Venetsanos (2026) відокремлює частоту нагляду від його розміщення: HITL високої частоти, що перевіряє кожен результат ШІ, перш ніж він дійде до студентів, купує контроль якості, швидке виявлення помилок, підзвітність і постійне калібрування, але може скасувати ефективність, що мотивувала автоматизацію, і стати вузьким місцем у пікові періоди оцінювання; HITL низької частоти, що перевіряє вибірки й рецензує лише позначені випадки, масштабується і скорочує час обробки, але ризикує тим, що помилки поширюватимуться невиявленими між поданнями, послаблює підзвітність і створює проблему справедливості, якщо деякі студенти отримують ретельніше людське рецензування, ніж інші. Замість того щоб прописувати універсальну відповідь, рамка вимагає, щоб компроміс явно приймався з урахуванням допусків на помилки в дисциплінах, чи є оцінювання формативним чи сумативним, розміру когорти та інституційних ресурсів, — і задає типове значення в протилежному від звичайного аргументу ефективності напрямі: починайте з нагляду високої частоти і зменшуйте його лише коли істотні докази демонструють прийнятну надійність, безпчність і справедливість, тож тягар доказування лежить на тому, щоб показати, що менший нагляд є безпечним. Стаття також попереджає, що принципи такого нагляду можуть перерозподіляти зусилля персоналу, а не зменшувати їх, залишаючи чистий виграш в ефективності відкритим емпіричним питанням.

  • Розгорнутий людський нагляд може означати маршрутизацію погодження, а не судження якості: в гібридній системі запитів поле прийняття кодувало лише те, чи відрізнявся вирішувач від запитувача, і жодна міра не оцінювала якість відповіді Gupta та співавт. (2026).

Де HITL проявляється в дослідженнях бази знань

  • Автоматизоване оцінювання та оцінювання: системи HITL поєднують генерацію/оцінювання за допомогою ШІ з людською валідацією в оцінюванні коротких відповідей (Confidence Estimation in Automatic Short Answer Grading with LLMs), оцінюванні самооб’яснень (Exploring the Effectiveness of Using LLMs for Automated Assessment of Student Self Explanations in Programming Education) та оцінюванні есе (PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback). Cvengros та Kortemeyer втілюють це в оцінюванні високих ставок із рукописною загальною хімією: оскільки надійність Мультимодальний ШІ LLM варіюється за форматом відповіді (текстуальні відповіді та відповіді з хімічними реакціями є надійними, тоді як малювання та графіки оцінюються гірше за випадкові), і хибні позитиви залишаються невиявленими студентами, вони перетворюють сирі бали ШІ на селективну політику прийняття/відкладення, використовуючи фільтри впевненості — пороги часткової залікової оцінки, поріг ризику на основі IRT і виключення за типом задачі, — відкладаючи невизначені та графічні пункти людям, підхід, який автори пов’язують із регуляторними рамками, що визначають ШІ в освітньому оцінюванні як високоризикованого та мандатують документований людський нагляд.
  • Системи зворотного зв’язку: мандатують документований людський нагляд.
  • Операційне оцінювання HITL у національному атестуванні (2026): Curi та співавт. (2026) втілюють HITL в інституційному масштабі на іспиті Acredita EB в Уругваї. Оскільки помилки оцінювача LLM систематично консервативні (заниження), робочий процес використовує логіку точки рішення, яка маршрутизує людське рецензування саме до тих кандидатів, чий результат здавання/нездавання залежить від розділу письма — позначені ШІ як такі, що здали, відповіді приймаються з впевненістю, тоді як позначені ШІ як такі, що не здали (15,3–16,5% випадків), перевіряються експертними оцінювачами, зменшуючи навантаження повного оцінювання на ≥50% із залишковим ризиком здачі через помилку ШІ лише 0,2–0,6%. Це HITL як стратегія розподілу ресурсів: люди вирішують точно там, де консервативне упередження ШІ інакше змінило б результати високих ставок.
  • Поріг відкладення, виведений з власної роздільної здатності рубрики (2026). Cruz та співавт. (2026) задали допуск ШІ–викладач на рівні 0,5 бала — найбільша розбіжність, яка не може пересунути подання через анкерну смугу, — і ескалювали викиди на 0,8 бала, відправляючи 11 із 362 подань (3,0%) на людське рецензування, перш ніж зворотний зв’язок було випущено.
  • Узгодженість між анотаторами — не людська ground truth. Bernado та співавт. (2026) просувають анотацію моделлю в шар аудиту, ніколи не валідуючи її проти людських золотих міток, залишаючи узгодженість між моделями (медіана 0,401) проксі для якості твердження, яке можуть пережити спільні помилки моделей. Їхнє проєктування зберігає нагляд діагностичним, а не декоративним: оскільки проміжні судження явні, рецензент може бачити, які поведінки спрацювали, і відокремлювати зчитану неправильно поведінку від правила, що погано кодує конструкцію.
  • Системи зворотного зв’язку: проєктування зворотного зв’язку за принципом «людина в циклі» з’являється в колаборативних системах зворотного зв’язку та оцінюванні коротких відповідей із усвідомленістю впевненості.
  • Підтримка колаборації в аудиторії. CoBi утримує викладача як перевіряючу людину в системі ШІ, яка виявляє піднесений дискурс малих груп: викладачі явно віддавали перевагу рецензуванню до/після дії над живовідображенням у реальному часі, яке поставило б їх «у точку уваги», і зворотний зв’язок, агрегований на рівні аудиторії (а не індивідуумів), — саме те, що дозволяє їй орієнтуватися в напрузі між Приватність, спостереженням і студентською Суб’єктність здобувача.
  • Генерація питань і змісту: окрім CODE-GEN, HITL направляє генерацію питань для оцінювання та Скаффолдинг (CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation, From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations).
  • Агентні та багатоагентні системи: оскільки ШІ стає автономнішим, нагляд HITL є ключовим запобіжником проєктування (Agentic AI and Pedagogical Best Practice: The Tension Between Automation and Learning, Beyond Access: Guided LLM Scaffolding for Independent Learning in Undergraduate Statistics).
  • Маршрутизація за наслідком рішення, а не за невизначеністю моделі (2026). Одне операційне дослідження 2026 року національного акредитаційного іспиту Acredita EB в Уругваї (два видання, приблизно 5000–6000 кандидатів у кожному) показує, як виглядає проєктування за принципом «людина в циклі», коли воно руйнується наслідками рішень, а не невизначеністю моделі. Оцінювач GPT-5 погоджувався з експертними оцінювачами на 60–80% зі 15 пунктів рубрики, але був систематично консервативним, породжуючи розбіжності «людина-здає/ШІ-не-здає» в 15,3% (2024) і 16,5% (2025) порівнянь здавання/нездавання і майже ніколи навпаки. Тому рамка приймає результати ШІ-здачі за їхнє обличчя і маршрутизує кожен результат ШІ-нездачі, який міг би змінити результат кандидата, на експертне рецензування — спочатку пропускаючи кандидатів, чиє здавання/нездавання не може залежати від розділу письма, — зменшуючи відповіді, що потребують повного людського оцінювання, принаймні на 50%. Друге проєктування 2026 року проводить межу з іншого боку: в багатоагентній платформі стандартизованого пацієнта на основі ШІ (Yang та співавт.) людський нагляд зарезервований для того, що ШІ визнано непридатним вирішувати, тоді як факультет і стандартизовані пацієнти-люди постачають контекстуальну інтерпретацію, виправні та оцінки готовності, а системі явно не дозволено визначати клінічну компетенцію автономно.

Синтез

Проєктування за принципом «людина в циклі» — не лише захід безпеки, а стратегія розподілу ресурсів. Фронтирне питання — не чи включати людей, а де в конвеєрі їхнє судження має найвищу граничну цінність. Найефективніші системи HITL концентрують дефіцитну людську експертизу там, де автоматизовані системи найслабші (проєктування дистракторів, пояснювальний зворотний зв’язок, вирішення крайніх випадків, етичне судження), і автоматизують решту — зберігаючи якість, безпчність і довіру під час масштабування виробництва.

  • Людський нагляд зберігається в роботі за підтримки ШІ. Дослідження систематичних оглядів виявили, що інструменти автоматизації ШІ зменшували процедурні навантаження (напр., скринінг), але інтерпретаційні рішення все ще потребували істотного людського нагляду; дослідження андрагогії робить «людина в циклі» (спільні ментальні моделі, співтворення) ключовим принципом проєктування ШІ.
  • «Людина в циклі» в інституційному масштабі. Qin (2026) описує, як Університет Ліннань розробив освітню модель «людина в циклі», що виносить на передній план етичне міркування, критичне судження та соціальну відповідальність, водночас демократизуючи доступ до GenAI. Модель позиціонує людей як місце судження та цінностей, навіть коли ШІ вбудовується по всьому навчальному плану, — конкретне інституційне втілення принципів «людина в циклі» у вищій освіті.
  • Здобувачі як «людина в циклі» власного навчання. Проєктування, чутливе до цінностей, спільно зі студентами комуніти-коледжу, дало повну родину функцій HITL, орієнтованих на здобувачів, для інтелектуальної системи навчання (контроль над переоцінюванням і рецензуванням, персоналізовані цілі/темп, закладки для рецензування, підтвердження впевненості щодо опанування та контроль рівня залучення допомоги ШІ), позиціонуючи студента як активного контролера петлі навчання, а не пасивного споживача адаптивних рішень. Дослідження також виявило викладачів розділеними щодо того, чи може такий контроль здобувача підірвати цілісність керованого системою шляху навчання — приклад ширшого питання розподілу ресурсів про те, де людське (здобувача проти викладача) судження додає найбільшої цінності.
  • Ескалація від ШІ до експерта є кроком «людина в циклі». Рамка SCAN розподіляє завдання за чотирма режимами генеративного ШІ за відстанню здобувача і читає пасивну залученість усередині правильно розподіленого завдання ШІ як сигнал деградованої навички, щоб пересунути здобувача від ШІ до експертної допомоги, з людиною як епістемічним аудитором (Tsim та співавт. (2026)).
  • Нагляд за порадами щодо впровадження ШІ. Оскільки системи розмовного ШІ, якими консультуються скептичні користувачі, можуть бути схильні заохочувати впровадження, людський нагляд та незалежне оцінювання є необхідними. Аудит, що показує, що більшість фронтирних моделей перенаправляють скептичний персонал K-12 до залученості, підкреслює потребу в прозорих, аудітовних порадах ШІ, а не в некритичній опорі.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

РівеньHigher Ed, K 12
Технології та методиГенеративний ШІ, Людина в циклі, Аналітика навчання, Великі мовні моделі (LLM)
Оцінювання та вимірюванняОцінювання
Методи досліджень та оцінкаБенчмарк
Справедливість, етика та відповідальне використанняПедагогічна безпека
Основи ШІ в освітіШІ в освіті
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.