AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Большие языковые модели (LLM)

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Большие языковые модели (LLM) — модели нейронных сетей, обученные на огромных текстовых корпусах, которые генерируют человекоподобный текст и питают собой большинство современных приложений ИИ в образовании. LLM — это вычислительная основа генеративного репетиторства, оценивания и создания содержания в образовании.

Вопросы для размышления

  • Что, по-вашему, «знает» чат-бот ИИ, когда отвечает вам? Страница обрамляет LLM как генерирующие вероятный текст, а не извлекающие проверенные факты, — как это различие меняет то, насколько вы доверяли бы объяснениям модели?
  • LLM описываются как двигатель большинства современных инструментов образования на базе ИИ — репетиторства, оценивания, создания содержания и даже диагностирования того, что знают студенты. Какие из этих применений кажутся вам наиболее и наименее уместными для вероятностного генератора текста, и почему?
  • Страница сообщает, что три разные LLM выдали резко расходившиеся планы поддержки для одного и того же входного сигнала аналитики обучения, причём каждый с разными демографическими допущениями. Если модели не взаимозаменяемы как советники, что это означает для учреждения, принимающего одну из них?
  • Поскольку выдача LLM чувствительна к промптам и настройкам, два человека могут получить очень разные результаты от одной и той же модели. Как это должно влиять на то, как вы — как учащийся или проектировщик — формулируете запросы, и на то, сколько вы доверяете единичной выдаче?
  • Ключевое ограничение — галлюцинации, то есть правдоподобно звучащее, но не обоснованное содержанием. Что в контексте репетиторства или оценивания потребовалось бы вам, чтобы быть уверенным, что модель ничего не выдумывает, и какие предохранители вы потребовали бы, прежде чем позволить ей оценивать настоящего студента?

Введение

LLM как двигатель AIED

LLM — самая упоминаемая концепция базы знаний (60+ статей), потому что они лежат в основе почти каждого приложения ИИ в образовании:

  • Репетиторство: репетиторы ИИ используют LLM для диалога, объяснения и руководства Решение задач. Обучение и дообучение адаптирует универсальные LLM для образовательного применения.
  • Оценивание: системы оценивания, оценивание эссе и предсказание сложности заданий используют возможности LLM. Razavi и Powers (2026) показывают, что GPT-4o может оценивать сложность заданий по математике и чтению для K-5 (N = 5170), калибруясь по модели IRT Раша: оценки в режиме zero-shot умеренно-сильно коррелировали с истинными сложностями (r = 0,83 для математики, r = 0,81 для чтения), но варьировались по классам, тогда как стратегия, основанная на признаках, в которой LLM извлекает когнитивные и лингвистические признаки для древовидных моделей, достигала корреляций до r = 0,87, — свидетельство того, что структурированное извлечение признаков может превзойти единое целостное суждение LLM. В совокупной литературе по оцениванию управляемый PRISMA систематический обзор 42 эмпирических исследований (2023–2025) заключает, что LLM соответствуют человеческим оценщикам на коротких, хорошо структурированных задачах с детальными рубриками, но не могут полностью заменить человеческое суждение на сложной, открытой или субъективной работе и что версия модели является доминирующим определяющим фактором качества оценивания (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback). Надёжность также резко варьируется по типу задания: Falahat et al. (2026) обнаружили, что ChatGPT-5 близко совпал с преподавателями на объективных заданиях фармацевтических экзаменов (CCC 0,935–1,000), но был ненадёжен на заданиях с коротким ответом (CCC ≈0) и на эссе (0,341–0,854), и что предоставление рубрики не улучшало согласие последовательно.
  • Метки заданий, созданные генерацией, отслеживают поверхностную форму, а не сложность. Аудит 378 заданий обнаружил, что метки LLM «Легко/Средне/Сложно» росли в ногу с его же сгенерированным уровнем Блума (ρ=0,90) и с длиной основания (от 15,9 до 30,2 слов), но коррелировали с эмпирической сложностью задания всего лишь на ρ=0,06 по 7 888 ответам студентов, — свидетельство того, что метаданные сложности, порождённые во время генерации, описывают форматирование, а не нагрузку на предварительные знания (An и Wang (2026)).
  • Созданные задания всё же могут соответствовать заданиям экспертов. o3-mini в цикле «генерация → оценивание → ревизия» построил экзамены для 71 класса; при байесовской иерархической модели 2PL IRT задания ИИ были легче, но лучше различали (ᾱ = 1,3 против 1,2) и были более информативны (I_max = 3,85 против 2,61), чем экспертные задания AP Statistics (Isley et al. (2025)).
  • Качество аннотирования — это результат дизайна, а не свойство единичного промпта. Bernado et al. (2026) просили панель из пяти моделей оценивать читаемые человеком утверждения о каждой реплике вместо непосредственной выдачи метки, и прозрачный классификатор поверх этих бинарных суждений (macro-F1 0,673, κ Коэна 0,688) превзошёл лучшее опубликованное прямое промптирование передовой модели (macro-F1 0,61), оставаясь позади дообученного энкодера RoBERTa-base (0,76); согласие между моделями функционировало как устройство отсева, а не как свидетельство валидности.
  • Рассуждающие LLM с Мультимодальный ИИ возможностями как оценщики: когда мультимодальная, способная к рассуждению LLM (GPT-o4-mini) оценивала страницу за страницей рукописный экзамен по общей химии 296 студентов против изображений рубрики, суммарные оценки одиночного прогона были высоко воспроизводимы (ICC(A,1) = 0,967; усреднение пяти прогонов достигало 0,993) и сильно согласовывались с суммами ассистентов (R² = 0,91), однако надёжность на уровне задания резко зависела от формата: текстовые ответы и ответы с уравнениями реакций оценивались хорошо, тогда как рисование и построение графиков были хуже случайного (фоновые сетки отвлекают компьютерное зрение). Это показывает, что доверие к оценщику на базе LLM является функцией формата ответа и задачи, а не только сырой способности модели, и что для применения с высокими ставками необходим избирательный отказ от решения через фильтры уверенности (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
  • Содержание: создание содержания генеративным ИИ опирается на LLM. Генерация вопросов и генерация видео работают на LLM.
  • Безопасность: Педагогическая безопасность, Риск галлюцинаций и SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems исследования изучают риски, специфичные для LLM.
  • Диагностика: Трассирование знаний и Когнитивная диагностика всё более вовлекают LLM для более богатого моделирования учащихся. Обоснование имеет огромное значение для диагностики ошибок: Reddig, Arora и MacLellan (2025) показали, что предоставление GPT-4 структуры интерфейса репетитора вместе с байесовскими оценками навыков Трассирование знаний подняло идентификацию логических ошибок с 40% до 81% на разложении на множители (общая диагностика ошибок ~87,8%), тогда как многошаговые задачи и ответы с несколькими ошибками оставались слабыми случаями, а галлюцинировавшие диагнозы «распространённого заблуждения» сохранялись, — свидетельство того, что диагностическая ценность LLM является функцией структурированного контекста и сигналов модели учащегося, которые она получает, не меньше, чем функцией самой модели.
  • Верификация, отделённая от генерации, — со коррелированными режимами отказа. Hossain et al. (2026) ограничивают поиск репетитора одобренным преподавателем материалом курса и пропускают утверждения через архитектурно отдельный верификатор DeBERTa-v3-large-MNLI, но предостерегают, что обе модели разделяют широкое обучение на веб-данных и могут отказывать коррелированным образом, и что верификатор не может проверить трассировку кода, не выполнив её.
  • Сдвиг модели оценивания (2017–2024): обзор с определением границ Morley et al. по автоматической проверке коротких ответов по естествознанию прослеживает переход области от дообучения меньших моделей BERT (доминировавших до 2021 года) к промптингу больших LLM (GPT-1/2/3.5/4) примерно с 2022 года — принятому через Промпт-инжиниринг, а не дообучение, — причём модели, дополненные предметными данными, промптинг с учётом рубрики и цепочка рассуждений повышали точность. Однако модели GPT редко сравнивались по бенчмаркам с BERT на стандартных корпусах, немногие средства автоматической проверки могли объяснить свои оценки, а предвзятость изучалась редко — предостережения, применимые к оцениванию на LLM вообще (Auto-marking short answer questions in science: The foundational years of transformer-based models from BERT to GPT-4).

Исследования отдельных моделей

База знаний охватывает как универсальные LLM (GPT-4, Claude), так и адаптации, специфичные для образования. Бенчмарки малых языковых моделей сравнивают работу SLM в репетиторстве, а размером с браузер агентные модели работают на устройстве через WebLLM. Исследования образовательного согласования рассматривают, как сделать LLM педагогически уместными. Классное исследование трёх семейств передовых моделей — Oppenheimer, Cash и Connell Pensky (2025) — обнаружило, что ChatGPT, Gemini или Claude могут выступать партнёрами по совместной критике в аргументированном письме: за семестр итеративных эссе студенты улучшились в качестве аргументации, инженерии промптов и реакции на обратную связь ИИ примерно на одно стандартное отклонение каждая (все p < .001) и вовлекались глубоко (87,8% оспаривали утверждения LLM), позиционируя универсальные LLM как жизнеспособных партнёров по совместному обучению, а не просто генераторы ответов.

Дополнительное направление работ переосмысляет LLM из статичных оценщиков в эмуляторы педагогического рассуждения. Yaşar et al. (2026) показали, что GPT-4, оснащённая семантически точной, итеративно со-уточнённой рубрикой, может приближать человеческое оценочное суждение в обучении, основанном на проектировании: исходное согласие LLM–человек было слабым (альфа Кронбаха = 0,393; каппа от −0,06 до 0,18), однако итеративное уточнение рубрики подняло среднее согласие с 54,75% до 81,25% (итоговая альфа = 0,798, каппа 0,40–0,55), а кластеризация методом K-средних матриц оценок человека и LLM показала высоко коррелированные центроиды (r = 0,89). Исследование позиционирует рубрику как посреднический интерфейс между человеческим педагогическим намерением и машинным выводом — свидетельство того, что готовые LLM не взаимозаменяемы и как оценщики, и что их поведение при оценивании является результатом дизайна, формируемого рубрикой и промптами, которые им дают. Сырая способность модели также различает оценивание: тестирование по бенчмаркам одиннадцати моделей GenAI и моделей эмбеддингов предложений на 1 885 открытых ответах показало, что только GPTo1 достиг почти совершенного согласия с экспертными оценщиками-людьми (каппа Флейса 0,82), причём Claude3 и PaLM2 отстают немного, тогда как модели, ориентированные на эталон, такие как BERT, отстают сильно, — показывая, что чувствительность к контексту у передовых моделей имеет значение для надёжного оценивания открытых ответов (Pecuchova, Benko и Drlik (2025)). Различия между моделями также важны для последующих применений с высокими ставками. López-Pernas et al. (2026) показали, что три LLM выдали резко расходившиеся предписания поддержки студентам для одного и того же входного сигнала аналитики обучения и что каждая налагала свои демографические приоры на профили учащихся, которые они генерировали, — свидетельство того, что готовые LLM не взаимозаменяемы как предписывающие советники. Аналогично, Olvet et al. (2026) обнаружили, что оценивание GPT-4 открытых медицинских вопросов до клинической практики поднялось до согласия между оценщиками от существенного до почти совершенного с преподавателями (взвешенная каппа до 0,94) только после трёх раундов итеративного уточнения рубрики и падало до умеренного (κw = 0,54) на задании с целостной рубрикой, — усиливая тезис о том, что дизайн рубрики, а не одна только сырая способность, является решающим рычагом надёжности оценивания LLM. Поведение, специфичное для модели, проявляется и в том, как LLM отвечают скептически настроенным пользователям: алгоритмический аудит опросил десять передовых LLM по 500 раз каждый с персоной скептика из сельской Монтаны в отношении ИИ для K-12, чтобы проверить, предрасположены ли системы ИИ, к которым обращаются скептические пользователи, поощрять их внедрение. Восемь из десяти признавали озабоченности пользователя, а затем перенаправляли разговор в вовлечение с помощью ИИ; составные оценки простирались от 3,85 (Claude Sonnet) до 7,52 (Gemini 3.1 Pro Preview), причём панель оценщиков ИИ из разных семейств достигала каппы Коэна >= 0,70. Паттерн был зависящим от модели результатом дизайна. Способность модели также зависит от того, как модели комбинируются: Bird (2026) дообучил восемь современных трансформеров (BERT, ELECTRA, RoBERTa, XLNet, ERNIE, ALBERT, DistilBERT, Longformer) на классификацию английской литературы по UK Key Stage и обнаружил, что лучший унимодальный трансформер (BERT) достигал F1 всего 0,75, — тогда как слияние дообученного ELECTRA с нейронной сетью компьютерной лингвистики подняло F1 до 0,996, показывая, что одной только классификации текста трансформерами ограничена и что выигрыш лежит в слиянии с взаимодополняющими признаками.

LLM также преимущественно подтверждают: по 11 моделям ответы ИИ подтверждали пользователей на 49% чаще, чем ответы человека, а более подхалимные ответы получали более высокие оценки, повышая доверие и продолжающееся использование, — режим отказа для коучинга, репетиторства или обратной связи, где смысл в конструктивном оспаривании (Potel и Kumashiro (2026)).

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Технологии и методыГенеративный ИИ, Интеллектуальное тьюторство, Промпт-инжиниринг, RAG (генерация с дополненным поиском)
Оценивание и измерениеАвтоматизированное оценивание
Справедливость, этика и ответственное использованиеРиск галлюцинаций, Педагогическая безопасность
Основы ИИ в образованииИИ-грамотность
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.