AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Человек в контуре

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Человек в контуре — проектный паттерн, в котором образовательные системы ИИ стратегически перемежают автоматическую генерацию с суждением человеческого эксперта, сохраняя педагогическое качество и безопасность при масштабировании производства. Вместо полной автоматизации оценивания, обратной связи или преподавания HITL сохраняет человека (преподавателя, эксперта в предметной области или учащегося) в контуре принятия решений там, где его суждение имеет наивысшую предельную ценность — для оценки качества, разрешения пограничных случаев и защиты агентности и безопасности учащегося. Центральный проектный вопрос состоит не в том, включать ли людей, а в том, где в конвейере их надзор наиболее ценен и наименее заменим.

Вопросы для размышления

  • Центральный проектный вопрос HITL состоит не в том, включать ли людей, а в том, где в конвейере их суждение наиболее ценно. В системе ИИ-оценивания или обратной связи в какой момент вы бы настаивали на том, чтобы человек оставался в контуре?
  • Исследования генерации вопросов с помощью ИИ обнаружили, что компьютеры хорошо справляются с ясностью и валидностью, но люди всё ещё необходимы для содержательных дистракторов и хорошей обратной связи. Почему некоторые части образовательного суждения могут сопротивляться автоматизации?
  • Одна оценка обнаружила, что три LLM давали несогласованные, нечувствительные к ситуации рекомендации по поддержке студентов — заключая, что суждение человека всё ещё необходимо, прежде чем ИИ будет советовать что-либо о студентах. Когда ИИ «рекомендует» поддержку для испытывающего трудности студента, что может пойти не так, если никто из людей её не проверит?
  • Страница предполагает, что люди и алгоритмы выявляют разные виды проблем — автоматизируйте то, что точно проверяемо, сохраняйте суждение там, где нюанс незаменим. Где в вашей собственной практике проходит граница между двумя этими областями?
  • Сохранение человека в контуре framing-ируется как защита агентности и безопасности учащегося, а не только качества. Как полная автоматизация могла бы тонко изменить ощущение студентами того, кто отвечает за их обучение?
  • Если ИИ становится более автономным, надзор HITL описывается как основное ограждение безопасности. На каком уровне автономии ИИ вам было бы некомфортно — и что этот дискомфорт говорит вам о том, где должен находиться надзор?

Введение

HITL является ответом на пределы и риски полностью автономного ИИ в образовании: автоматические системы могут генерировать в масштабе, но лишены контекстуального, этического и педагогического суждения, которое привносят преподаватели и эксперты. Две недавние реализации иллюстрируют отчётливые архитектуры:

Пресскриптивная поддержка является областью, где человеческий надзор всё чаще аргументируется как неопциональный. Лопес-Пернас и др. (2026) протестировали, могут ли три LLM рекомендовать планы поддержки студентов на основе показателей Аналитика обучения, и обнаружили ограниченную чувствительность к потребностям и резкую межмодельную несогласованность, — заключая, что суждение человека в контуре всё ещё необходимо, прежде чем прескриптивное консультирование с помощью Большие языковые модели (LLM) может быть развёрнуто безопасно и этично.

Третья архитектура размещает суждение человека выше по течению от модели, а не на её выходе. В исследовании классификации вопросов учащихся Ли, Атифа и Кана (2026) три эксперта уровня доктора наук управляли всем конвейером: они уточняли операциональные определения для каждой Конструктивизм роли, маркировали независимо, пока каппа Флейсса не выросла с 0,60 до 0,83 после разрешения расхождений, и валидизировали обратно переведённые и перефразированные пункты, использованные для балансировки обучающего набора.

CODE-GEN: генерация тестовых вопросов с человеком в контуре

Дуан и др. (2026) построили основанную на RAG (генерация с дополненным поиском) агентную систему с двумя агентами:

  • Агент-генератор — производит вопросы с множественным выбором по программированию, согласованные с целями обучения курса
  • Агент-валидатор — оценивает качество по семи педагогическим измерениям

Оценка: 6 SME оценили 288 сгенерированных ИИ вопросов. Показатели успеха при валидизации человеком: 79,9%–98,6% по измерениям.

Измерения, сильные для ИИ (низкая нагрузка на человека):

  • ясность вопроса, валидность кода, согласованность с понятиями, валидность правильного ответа

Измерения, требующие человека (высокая нагрузка на человека):

  • педагогически содержательное проектирование дистракторов
  • высококачественная пояснительная Обратная связь

Стратегический вывод: усилия человека следует концентрировать там, где педагогическое суждение незаменимо; вычислительная проверка может быть полностью автоматизирована.

MAIC: генерация сценариев с человеком в контуре

Юй и др. (2024) развернули мультиагентную аудиторию (агент-преподаватель, агент-ассистент, архетипы сокурсников) в Университете Цинхуа с более чем 500 студентами и более чем 100 000 учебных записей. Человеческие преподаватели участвуют в генерации сценариев и надзоре, обеспечивая, чтобы массовое дополнение с помощью ИИ не вытесняло педагогическую экспертизу.

PedaCo: двойное привращение для генерации видео с помощью ИИ

Ким, Пэк и Квак (2026) распространяют HITL на сгенерированное ИИ обучающее видео посредством PedaCo (педагогическое со-творчество), конвейера с двумя взаимодополняющими слоями привращения, которые инстанцируют принципиальное сопротивление, основанное на когнитивной теории мультимедийного обучения Майера (CTML). Первый слой размещает человека на стадии сценария: LLM составляет черновик сценария, ИИ-рецензент помечает потенциальные нарушения CTML (например, «Сцена 3 вводит технические термины без предварительного объяснения»), а педагог решает принять, пересмотреть или сгенерировать заново. Второй слой выполняет автоматические метрики после синтеза по связности, избыточности, временной смежности, модальности и качеству изображения, которые педагог проверяет. В исследовании внутрииспытуемого типа (23 педагога) подход, основанный на проверке, улучшил каждый принцип CTML (средняя оценка 3,07→3,86, p<,01), при этом педагоги оценили эффективность производства в 4,26 из 5 — трение воспринималось как продуктивное, а не обременительное. Проектный принцип перекликается с синтезом HITL базы знаний: люди и алгоритмы выявляют разные виды проблем, так что наиболее эффективные системы автоматизируют там, где вычислительная проверка точна (временная синхронизация), и сохраняют человеческое суждение там, где педагогический нюанс незаменим (тон, соответствие аудитории).

Размещение может иметь большее значение, чем присутствие: практики высоко оценили удобство использования инструмента создания социальных историй (SUS 86,8), однако сообщили, что проверка приходила слишком поздно, поскольку культурные и клинические ограничения, заданные до генерации — например, абая вместо западной уличной одежды, — труднее восстановить путём редактирования вывода после него (Энхжаргал и др. (2026)).

Почему HITL важен в эпоху ИИ

Проектирование с человеком в контуре стало центральным для обсуждений агентного ИИ и ответственного использования ИИ в базе знаний по нескольким сходящимся причинам:

  • Педагогическая безопасность. Педагогическая безопасность требует, чтобы ИИ с реальной instructional authority сохранял человеческий надзор, так чтобы ошибки, предвзятости или вредные выводы выявлялись до того, как они достигнут учащихся. Это особенно важно для автономных агентов, которые проактивно преследуют цели.

  • Надзор редок на практике, а не только в теории. Ван и др. (2026) обнаружили, что устойчивое встроенное управление и надзор с человеком в контуре редко проявлялись среди 474 образовательных агентных ИИ-систем, даже по мере роста автономии отдельных задач и мультиагентной коллаборации, — разрыв между проектным принципом и развёрнутой практикой.

  • Критический вопрос — как контур делается действенным, а не насколько велико участие людей. Взгляд наук об обучении утверждает, что организация обучения вокруг сбора данных, вычислительной интерпретации и вероятного отклика делает педагогическое действие зависящим от того, что системы способны обнаружить и с чем могут действовать, и что оповещения и классификации вовлечённости интерпретируют учащегося до любого действия преподавателя или студента (Pande (2026)).

  • Валидность и контроль качества. HITL является качественным затвором для автоматического оценивания и генерации — люди разрешают спорные случаи там, где автоматическая оценка ненадёжна (см. исследования оценки эссе LLM) и валидизируют сгенерированные пункты. Систематический обзор, руководствующийся PRISMA, 42 исследований оценивания и обратной связи (2023–2025) приходит к тому же выводу явно: LLM соответствуют людям-оценщикам на коротких, хорошо структурированных задачах, но не могут полностью заменить человеческое суждение на сложной, открытой или субъективной работе, и наибольшая эффективность оценивания достигается в гибридных системах, сочетающих ИИ-управляемое оценивание с надзором и проверкой преподавателя (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback). Фалахат и др. (2026) конкретно показывают, где проходит эта граница: ChatGPT-5 соответствовал преподавателям по объективным пунктам фармацевтического экзамена (CCC 0,935–1,000), но был ненадёжен по пунктам с кратким ответом и по эссе даже при наличии рубрики, что привело авторов к рекомендации гибридного оценивания с проверкой человеком сложного, субъективного или высокозначимого оценивания. Повторение не является заменой этого надзора: при переоценке идентичных работ в пять различных дней одна и та же модель воспроизвела собственные результаты лишь на альфе Криппендорфа 0,625, при этом вариация была сконцентрирована в средних оценках, а оценки A и F отсутствовали в счётчиках пяти сессий (Бревик и др. (2026)).

  • Агентность учащегося. Сохранение человека в контуре сохраняет Автономность учащегося и поддерживает Саморегулируемое обучение, противодействуя чрезмерному упованию, которое может индуцировать полностью автономная помощь.

  • Студенты сами помещают человека на конец с высокими ставками. Среди 93 студентов бакалавриата 81,7% предпочитали оценку человеком для итоговой работы, составляющей 40% оценки, 75 из 93 хотели, чтобы ИИ помогал оценщикам, а не заменял их, и 69 хотели, чтобы оценка ИИ всегда проверялась человеком (Йылдырым-Эрбасли и др. (2026)).

  • Доверие и калибровка. Прозрачный человеческий надзор поддерживает Калибровка доверия — учащиеся и преподаватели знают, что за системой стоит квалифицированный человек.

  • Критерии, видимые до проверки, повышают согласие. Коша и др. (2026) обнаружили, что показ метрик достоверности проверяющим по мере того, как они сравнивали ответы LLM, поднял согласие между оценщиками с альфы Криппендорфа 0,3987 до 0,4931, тогда как добавление дальнейших мер добавило когнитивной нагрузки без отдачи.

  • Ограниченная агентность как архитектура, а не как оговорка. Рамка AGAI-HE Илиевой и др. (2026) для поддержки обучения с помощью агентного ИИ встраивает надзор в саму модель, как третий слой наряду со слоем педагогического рабочего процесса и слоем агентной поддержки: она определяет приемлемое использование ИИ, педагогические границы, правила Приватность, требования раскрытия информации, проверку источников, контрольные точки преподавателя, механизмы академической честности и итоговую человеческую подотчётность, и требует, чтобы каждая агентная функция прослеживалась к требованию обучения, цели оценивания или механизму управления. Это конкретная инстанциация принципа, что HITL является свойством проектирования системы, а не политическим заявлением, — и исследование восприятия авторов со 130 студентами является напоминанием, что добавление агентной оркестровки под этим надзором само по себе не зарегистрировалось как лучшая поддержка обучения, чем чатбот.

  • То, как часто человек смотрит, само является проектным решением. Венецанос (2026) отделяет частоту надзора от его размещения: HITL высокой частоты, проверяющий каждый вывод ИИ до того, как он достигнет студентов, покупает контроль качества, быстрое выявление ошибок, подотчётность и непрерывную калибровку, но может свести на нет эффективность, которая мотивировала автоматизацию, и создать узкое место в периоды пиковой проверки работ; HITL низкой частоты, выборочно проверяющий образцы и проверяющий только помеченные случаи, масштабируется и сокращает время оборота, но рискует тем, что ошибки будут распространяться незамеченными по работам, ослабляет подотчётность и создаёт проблему равенства, если некоторые студенты получают более тщательную проверку человеком, чем другие. Вместо того чтобы предписывать универсальный ответ, рамка требует, чтобы компромисс явно делался против дисциплинарных допусков на ошибки, является ли оценивание формирующим или суммативным, размера когорты и институциональных ресурсов, — и задаёт значение по умолчанию в направлении, противоположном обычному аргументу об эффективности: начинайте с надзора высокой частоты и снижайте его только когда существенные доказательства продемонстрируют приемлемую надёжность, безопасность и справедливость, так что бремя доказательства лежит на показе того, что меньший надзор безопасен. Статья также предупреждает, что принципы такого надзора могут смещать усилия персонала, а не сокращать их, оставляя чистый выигрыш в эффективности открытым эмпирическим вопросом.

  • Развёрнутый человеческий надзор может означать маршрутизацию утверждения, а не суждение о качестве: в гибридной системе запросов поле принятия кодировало только то, отличался ли разрешающий от спрашивающего, и никакая мера не оценивала качество ответа Гупта и др. (2026).

Где HITL появляется в исследованиях базы знаний

  • Автоматическое оценивание и проверка работ: системы HITL сочетают генерацию/оценивание с помощью ИИ с валидизацией человеком в оценивании коротких ответов (Confidence Estimation in Automatic Short Answer Grading with LLMs), оценивании самообъяснений (Exploring the Effectiveness of Using LLMs for Automated Assessment of Student Self Explanations in Programming Education) и оценивании эссе (PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback). Цвенгрос и Кортемейер инстанцируют это в высокозначимом оценивании рукописных работ по общей химии: поскольку надёжность Мультимодальный ИИ LLM варьируется по формату ответа (текстовые ответы и ответы с химическими реакциями надёжны, тогда как рисунки и графики оцениваются хуже случайного) и ложные срабатывания не выявляются студентами, они преобразуют исходные оценки ИИ в политику выборочного принятия/отсрочки, используя фильтры уверенности — пороги частичного кредита, порог риска на основе IRT и исключение по типу задачи, — откладывая неопределённые и графические пункты людям, подход, который авторы связывают с регуляторными рамками, обозначающими ИИ в образовательном оценивании как высокорисковый и предписывающими документированный человеческий надзор.

  • Системы обратной связи: требуют документированного человеческого надзора.

  • Операциональное оценивание HITL в национальном оценивании (2026): Кури и др. (2026) инстанцируют HITL в институциональном масштабе на экзамене Acredita EB в Уругвае. Поскольку ошибки оценщика на базе LLM систематически консервативны (занижение оценки), рабочий процесс использует логику точки решения, которая маршрутизирует проверку человеком точно тем кандидатам, чей исход сдачи/несдачи зависит от секции письма, — отмеченные ИИ как сданные ответы принимаются с уверенностью, тогда как отмеченные ИИ как несданные (15,3–16,5% случаев) проверяются экспертными оценщиками, сокращая нагрузку полного оценивания не менее чем на 50% при остаточном риске сдачи при ошибке ИИ всего 0,2–0,6%. Это HITL как стратегия распределения ресурсов: люди разрешают спорные случаи именно там, где консервативная предвзятость ИИ иначе изменила бы высокозначимые исходы.

  • Выведение порога отсрочки из собственного разрешения рубрики (2026). Крус и др. (2026) задают допуск ИИ–преподаватель на уровне 0,5 балла — наибольшее расхождение, которое не может переместить работу через границу опорной категории, — и эскалируют выбросы на 0,8 балла, отправляя 11 из 362 работ (3,0%) на проверку человеком до того, как обратная связь была выпущена.

  • Согласие между маркировщиками не является человеческой достоверной истиной. Бернадо и др. (2026) вводят маркировку моделью в слой аудита, никогда не валидизируя её против человеческих эталонных меток, оставляя согласие между моделями (медиана 0,401) прокси для качества утверждений, который могут переживать разделяемые ошибки моделей. Их проектирование сохраняет надзор диагностическим, а не декоративным: поскольку промежуточные суждения явны, проверяющий может видеть, какие поведения сработали, и отделять неверно прочитанное поведение от правила, которое плохо кодирует конструкт.

  • Системы обратной связи: проектирование обратной связи с человеком в контуре появляется в коллаборативных системах обратной связи и оценивании коротких ответов с учётом уверенности.

  • Поддержка аудиторной коллаборации. CoBi сохраняет преподавателя проверяющим человеком в системе ИИ, которая выявляет возвышающий дискурс в малых группах: преподаватели явно предпочитали проверку до/после действия живому отображению в реальном времени, которое поставило бы их «в неудобное положение», и агрегированная обратная связь системы на уровне аудитории (а не индивидуальном) является именно тем, что позволяет ей ориентироваться в противоречии между Приватность, наблюдением и Автономность учащегося студента.

  • Генерация вопросов и содержания: помимо CODE-GEN, HITL направляет генерацию вопросов для оценивания и Скаффолдинг (CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation, From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations).

  • Агентные и мультиагентные системы: по мере того как ИИ становится более автономным, надзор HITL является основным проектным ограждением (Agentic AI and Pedagogical Best Practice: The Tension Between Automation and Learning, Beyond Access: Guided LLM Scaffolding for Independent Learning in Undergraduate Statistics).

  • Маршрутизация по последствиям решения, а не по неопределённости модели (2026). Операциональное исследование 2026 года национального аккредитационного теста Acredita EB в Уругвае (два выпуска, примерно по 5 000–6 000 кандидатов каждый) показывает, как выглядит проектирование с человеком в контуре, когда оно управляется последствиями решения, а не неопределённостью модели. Оценщик на базе GPT-5 согласовывался с экспертными оценщиками по 60–80% из 15 пунктов рубрики, но был систематически консервативен, производя расхождения человек-сдал/ИИ-не-сдал в 15,3% (2024) и 16,5% (2025) сравнений сдачи/несдачи и почти никогда обратные. Поэтому рамка принимает результаты сдачи по ИИ за чистую монету и маршрутизирует каждый результат несдачи по ИИ, который мог бы изменить исход кандидата, на экспертную проверку — сначала пропуская кандидатов, чья сдача/несдача не может зависеть от секции письма, — сокращая число ответов, требующих полного оценивания человеком, не менее чем на 50%. Второе проектное решение 2026 года проводит границу с другой стороны: в платформе стандартизированного пациента с несколькими ИИ-агентами (Ян и др.) человеческий надзор зарезервирован для того, что ИИ суждён неспособным решать, при этом преподаватели и люди-стандартизированные пациенты поставляют контекстуальную интерпретацию, коррекцию и суждения о готовности, а системе явно не разрешено автономно определять клиническую компетентность.

Синтез

Проектирование с человеком в контуре является не просто мерой безопасности — это стратегия распределения ресурсов. Пограничный вопрос состоит не в том, включать ли людей, а в том, где в конвейере их суждение имеет наивысшую предельную ценность. Наиболее эффективные системы HITL концентрируют дефицитную человеческую экспертизу там, где автоматические системы наиболее слабы (проектирование дистракторов, пояснительная обратная связь, разрешение пограничных случаев, этическое суждение), и автоматизируют остальное — сохраняя качество, безопасность и доверие при масштабировании производства.

  • Человеческий надзор сохраняется в работе с помощью ИИ. Исследования систематических обзоров обнаружили, что инструменты автоматизации ИИ сократили процедурные нагрузки (например, отбор), но интерпретационные решения всё ещё требовали существенного человеческого надзора; исследование андрагогики делает человека в контуре (разделённые ментальные модели, со-творчество) основным принципом проектирования ИИ.
  • Человек в контуре в институциональном масштабе. Цинь (2026) описывает, как Университет Линнань разработал образовательную модель с человеком в контуре, выдвигающую на передний план этическое рассуждение, критическое суждение и социальную ответственность при демократизации доступа к GenAI. Модель позиционирует людей как локус суждения и ценностей даже по мере того, как ИИ встраивается по всему учебному плану, — конкретная институциональная инстанциация принципов человека в контуре в высшем образовании.
  • Учащиеся как человек в контуре собственного репетиторства. Проектирование, чувствительное к ценностям со студентами общественных колледжей произвело полное семейство ориентированных на учащегося функций HITL для ITS (контроль над переоцениванием и проверкой, персонализированные цели/темп, закладки для повторения, подтверждение уверенности относительно мастерства и контроль уровня вовлечения помощи ИИ), позиционируя студента как активного контролёра контура репетиторства, а не пассивного потребителя адаптивных решений. Исследование также обнаружило, что преподаватели разделились во мнении о том, может ли такой контроль учащегося подорвать целостность задаваемого системой пути обучения, — случай более широкого вопроса распределения ресурсов о том, где суждение человека (учащегося против преподавателя) добавляет наибольшей ценности.
  • Эскалация от ИИ к эксперту является ходом человека в контуре. Рамка SCAN назначает задачи четырём режимам генеративного ИИ по дистанции учащегося и читает пассивную вовлечённость внутри корректно назначенной ИИ задачи как сигнал деградации навыков для смещения учащегося от ИИ к помощи эксперта, с человеком как эпистемическим аудитором (Цим и др. (2026)).
  • Надзор за советами по внедрению ИИ. Поскольку конверсационные ИИ-системы, к которым обращаются скептичные пользователи, могут быть предрасположены поощрять внедрение, человеческий надзор и независимая оценка существенно необходимы. Аудит, показывающий, что большинство передовых моделей перенаправляют скептичный K-12 персонал в сельских районах к вовлечению, подчёркивает необходимость прозрачных, аудируемых советов об ИИ, а не некритического упования.

Связанные понятия

Связанные статьи

Метаданные

УровеньHigher Ed, K 12
Технологии и методыГенеративный ИИ, Человек в контуре, Аналитика обучения, Большие языковые модели (LLM)
Оценивание и измерениеОценивание
Методы исследований и оценкаБенчмарк
Справедливость, этика и ответственное использованиеПедагогическая безопасность
Основы ИИ в образованииИИ в образовании
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.