AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Бенчмарк

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Бенчмарк — стандартизованные наборы тестов и фреймворки оценивания, используемые для измерения эффективности моделей ИИ на образовательных задачах. Бенчмарки обеспечивают воспроизводимое сравнение моделей и подходов и необходимы для оценивания надёжности, справедливости и педагогического качества систем ИИ в образовании.

Вопросы для размышления

  • Бенчмарк — это стандартизованный набор тестов для измерения эффективности моделей ИИ на образовательных задачах. Прежде чем читать, подумайте: что, по-вашему, на самом деле измеряют большинство бенчмарков ИИ — и почему это может отличаться от того, что нужно хорошему репетитору?
  • Эта страница описывает Pedagogy Benchmark, который тестирует педагогические знания — стратегии преподавания, методы оценивания, педагогику специального образования, — а не знание содержания. Почему ИИ, блестяще знающий предмет, может всё же оказываться неспособным его обучать, и почему бенчмарк, игнорирующий педагогику, этого не заметит?
  • Один из уроков здесь методический: то, как вы валидируете бенчмарк, кардинально меняет результаты, причём наивная валидация сообщает о значительно более высокой эффективности, чем строгие методы, не зависящие от разбиения на пробы. Как может быть велико искушение разработчика модели или вендора построить валидацию так, чтобы она хорошо выглядела, — и как это распознать?
  • Показатели бенчмарка часто не переносятся на реальную пользу. Можете ли вы придумать сценарий, в котором ИИ «побеждает» на бенчмарке, но терпит неудачу в реальной аудитории, — и что этот разрыв говорит о том, стоит ли опираться только на баллы бенчмарка?
  • Страница отмечает, что сам дизайн бенчмарка может кодировать или усиливать перекосы (bias). Если бенчмарк состоит из определённых заданий, на определённых языках, из определённых популяций, чьё обучение он в итоге измеряет — и чьё игнорирует?

Введение

Бенчмарки служат доказательной основой исследований ИИ в образовании. Они предоставляют стандартизованные наборы данных, задачи и метрики, позволяющие исследователям сравнивать модели, отслеживать прогресс и выявлять режимы отказов. В исследованиях базы знаний бенчмарки встречаются в нескольких областях:

  • CSTutorBench оценивает малые языковые модели на задачах репетиторства по информатике.

  • ANVIL сравнивает с бенчмарком образовательные анимации, созданные ИИ, с аналогами, созданными человеком.

  • Бенчмарки обратной связи преподавателя оценивают межъязыковой перенос классификации качества обратной связи.

  • Педагогический бенчмарк (CDPK + SEND) тестирует педагогические знания — стратегии преподавания, методы оценивания и педагогику специального образования, — а не знание содержания, и сообщает «фронтир ценности» (соотношение стоимости и точности) по 97 моделям (большинство общих бенчмарков тестируют знание содержания; педагогика — отдельное, критичное для образования измерение).

  • ISD-Agent-Bench сравнивает с бенчмарком агентов проектирования обучения на базе Большие языковые модели (LLM) на 25 795 сценариях проектирования обучения, показывая, что гибридные агенты, опирающиеся на классические фреймворки ISD (ADDIE, Dick & Carey, Rapid Prototyping), превосходят чисто теоретические или чисто технические, — результат бенчмарка с прямыми следствиями для проектирования агентного ИИ в образовании.

  • Адаптация к учащемуся как явный критерий бенчмарка. Teaching Monster Challenge оценивает адаптацию к заданной персоне учащегося, но его автоматический судья-LLM разделил лишь слабый «хвост» — ведущие системы набрали почти его потолок, а его ранжирование разошлось с предпочтениями краудсорсинговых оценщиков (ρ Спирмена = −0,17) (Lin и др. (2026)).

Почему бенчмарки важны в AIED

Бенчмарки связаны с Оценивание ИИ-образования и Валидность оценивания — без строгих бенчмарков утверждения об эффективности репетиторов на базе ИИ непроверяемы. Они также пересекаются с Снижение перекосов (bias mitigation), поскольку дизайн бенчмарка может кодировать или усиливать перекосы. Напряжение между показателями бенчмарка и реальной пользой рассматривается в нескольких статьях, что связано с проблемами Перенос обучения переноса в приложениях Генеративный ИИ.

  • Когда отказ — в метрике, а не в системе: AlgoRAG набрал BLEU-4 = 0,0000 на всех 179 теоретических вопросах экзамена по информатике, тогда как педагогическая рубрика из шести критериев дала 0,7620, поскольку логически эквивалентные доказательства регулярно различаются обозначениями, именами переменных и стратегией доказательства. Нулевой балл говорит больше о пересечении n-грамм, чем о качестве ответа, и это общий аргумент против того, чтобы считать поверхностные метрики главным числом для систем AIED в формальных областях.

  • Бенчмарки контрфактического уровня конструкта. CFES-P24 выражает принципы мультимедийного обучения как детерминированные обратимые трансформации слайдов, чтобы проверить, реагируют ли MLLM на конкретные конструкты проектирования обучения, а не выдают правдоподобные целостные оценки. Замороженный пилот показал узнавание конструктов (операция, принцип, исправление, локализация свидетельства) на уровне 8/8, тогда как сравнительное суждение (направление 6/8) и калибровка строгости (0/8) завершились отказом, — что выступает за многоуровневые оценочные карточки вместо составных баллов.(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

  • Заземляйте галлюцинации и энергопотребление в оценивании, а не только в точности. Shen и др. (2026) оценивали галлюцинации как логическое следствие (entailment) относительно извлечённых фрагментов с открытой лицензией (κ = 0,76 по сравнению с оценкой экспертов) и фиксировали 1,8 мВт·ч на запрос, а их абляция поставила извлечение на первое место: локальная LLM без него набрала 52,3%, ниже базовой линии TF-IDF в 55,4%.

  • Проверка может превосходить суждение на сгенерированном контенте. Kumar и др. (2025) переводят обратно сгенерированные математические диаграммы в промежуточное представление, ограниченное схемой, и выполняют детерминированные проверки по правилам, достигая более высокого согласия с человеческими оценщиками (κ Коэна 0,48–0,56), чем подход LLM-as-a-Judge (0,39–0,47), и позволяя малой модели сравниться с лучшим судьёй при десятикратно меньших затратах.

  • Оценивание, не зависящее от разбиения на пробы, в физиологических бенчмарках. Nanayakkara и Halloluwa (2026) сравнивают с бенчмарком 15 моделей машинного/глубинного обучения для предсказания знакомства по ЭЭГ и показывают, что выбор схемы валидации кардинально меняет основные результаты: стандартная стратифицированная перекрёстная валидация допускает утечку по времени и даёт до 0,9853 F1, тогда как валидация Group K-Fold, не зависящая от разбиения на пробы, снижает пик до 0,6038 F1. Урок — учитывающее время и утечки оценивание необходимо для достоверных образовательных бенчмарков — выходит за пределы ЭЭГ и распространяется на любой бенчмарк, использующий последовательные или структурированные по времени данные.

  • Сдвиг распределения — вторая ось бенчмарка помимо утечки. Бенчмарк, сообщающий оценку классификатора на исходном распределении и его оценку переноса, сообщает о двух разных величинах: классификатор уровня по таксономии Блума, удерживаемый на макро-F1 0,88 на своей курируемой базе заданий, упал до 0,48 и 0,20 на двух наборах вопросов, сгенерированных ИИ, а дообучение на размеченных данных вне исходного распределения восстановило до 0,82, поэтому единственное число из таблицы лидеров по исходному распределению завышает то, что будет делать развёрнутый инструмент (Castanares и др., 2026).

  • Корпус, построенный для проверки межкорпусного переноса. ICLE++ аннотирует убеждающие эссе целостными баллами и баллами по десяти признакам, чтобы вскрыть опору исследований автоматического оценивания эссе на ASAP, чьи эссе с ограничением по времени и только от носителей языка смешивают длину с качеством; модели, обученные на аннотациях по признакам, переносились между корпусами лучше, чем обученные только на целостных баллах (Li и Ng, 2026).

  • Нормированный на людях бенчмарк может не измерять тот же конструкт для LLM. Strugatski и др. (2026) сравнили структуры ответов людей и мультимодальных LLM на диагностике по химии и экзамене по количественному рассуждению; конгруэнтность факторов между LLM и людьми оставалась ниже базовой линии «человек — человек», а параллельный анализ сохранял разное количество факторов.

  • Мультимодальность не улучшила доказательственную калибровку. На MathCog, на 3 036 размеченных преподавателями вердиктах по 639 рукописным математическим работам, ни одна из 18 LLM не достигла макро-F1 0,5 — лучшая, GPT-4o-img, набрала 0,448, — и мультимодальные модели ухудшались сильнее, чем текстовые, когда свидетельство было расплывчатым, чрезмерно приписывая свидетельство и фабрикуя цитаты (Kim и др. (2025)).

  • Синтетические бенчмарки для репетиторства на базе ИИ. Открытые воспроизводимые наборы данных для оценивания репетиторства на базе ИИ по-прежнему дефицитны. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) — прототип и фреймворк бенчмарка мультиагентного репетиторства для изучения совместного программирования с социально дифференцированными агентами, поддерживающий конфигурации «одиночный репетитор», «пара репетиторов» и «пара мультиагентов» (N=540; 360 сессий; 1 440 эпизодов) со схемой, готовой к трассировке, для воспроизводимого анализа взаимодействия, баланса участия и проверки.

  • Горизонт — ось бенчмарка, а не деталь. Lee и др. (2026) помещают агента-репетитора в непрерывные 30-дневные отношения с моделируемым учащимся и обнаруживают, что каждый адаптер выходил на плато к 5–10-му дню, ни один адаптер не приводил к приросту в обучении более чем на одном уровне базовой модели, а пять оценочных осей были в значительной мере независимы.

  • Бенчмарк репетиторства, оценённый против человеческих репетиторов, а не против таблиц лидеров. StudentBench рандомизирует 2 383 взрослых между репетиторством с ИИ, репетиторством с живым экспертом и видеоконтролем на новых заданиях GRE, обнаруживая, что объединённое репетиторство с ИИ статистически эквивалентно человеческому репетиторству (p=,015) и на 5,5–6,9 процентных пунктов выше контроля; его таблицы лидеров по качеству преподавания, построенные на 2 028 парных сравнениях экспертов, ранжируют планы занятий и разговорное поведение, а не то, сколько выучили студенты (Northcutt и др. (2026)).

  • Аудит бенчмарков сам стал исследовательским вкладом. Три артефакта 2026 года выводят работу с бенчмарками за пределы агрегации таблиц лидеров. EduFair-Bench фиксирует моделируемого студента и варьирует демографические атрибуты, превращая бенчмарк репетиторства в аудит справедливости с педагогическими метриками на уровне хода (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench диагностирует промежуточные визуальные конструкции — восприятие, качество вспомогательных линий, использование, — а не итоговую правильность на 600 задачах по геометрии (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). Переоценка экспертами шести бенчмарков по физике количественно охарактеризовала ошибку, которую несут такие баллы: 57,20% проверенных отклонений были дефектами заданий, 38,00% — ошибками оценщиков и только 4,80% — истинными отказами модели (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Вместе они утверждают, что балл бенчмарка всегда следует читать вместе с его собственным проверенным бюджетом ошибки — та же дисциплина, которую Валидность оценивания требует от инструментов в аудитории.

  • Разделение аннотирования и генерации вопросов как парадигма конструирования. Большинство бенчмарков строят пары «вопрос — ответ» под конкретное задание или изображение, что делает расширение на новые задачи дорогим, делает данные трудновосстанавливаемыми между задачами и оставляет ограниченный контроль над формой и сложностью вопросов. MUSE переворачивает порядок: аннотировать каждое произведение искусства один раз в переиспользуемое структурированное представление его визуального и семантического содержания, а затем конкретизировать 12 задач из предопределённых правил генерации, так что одно изображение даёт многовидовой экземпляр оценивания, где сложность и формат трактуются как явные переменные проектирования, а не как побочные продукты (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Его доказательство на корреляциях — второй аргумент в пользу такого дизайна: 12 задач измеряют связанные, но не избыточные возможности (Jigsaw Puzzle слабо коррелирует с большинством других, ρ = 0,25 до −0,10), а на шести внешних бенчмарках общие мультимодальные баллы переносятся на художественные образовательные изображения неравномерно (BLINK Jigsaw против MUSE Jigsaw ρ = −0,20), что является аргументом покрытия конструкта против чтения любого единственного агрегированного балла как прокси для значимой в образовании способности (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

  • Генерация мультимодального результата — ось, которую большинство бенчмарков опускает. Chen и др. (2026) оценивают 15 246 вопросов по физике и 19 850 изображений от средней школы до университета, включая подмножество редактирования диаграмм: синтез или редактирование структурированных диаграмм по физике оказалось труднее, чем ответы на вопросы, а ведущие модели оставались ниже 70% строгого освоения.

  • Покрытие естествознания в K-12 и проблема насыщения. Согласованный с NGSS бенчмарк по естествознанию для средней и старшей школы (1 078 + 1 150 синтетических заданий, проверенных тремя судьями) обнаружил девять моделей с открытыми весами выше 90% точности при одном проходе (one-shot), тогда как классическая статистика заданий показала высокие значения трудности и низкую дифференцирующую способность: размер модели не предсказывал эффективность, а авторы спрашивают, не слишком ли тест лёгок (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). Это предметный аргумент в пользу чтения собственной статистики заданий бенчмарка рядом с его таблицей лидеров.

  • Тривиальная базовая линия и опорная истина IRT как проверка заявленной точности. Worden и др. (2026) строят FoundationalASSIST из 1 722 169 взаимодействий в ASSISTments с сохранением текста вопроса и фактических ответов студентов, оценивают задачу трассировки знаний против базовой линии «всегда правильно» в 51,3 процента и читают компетентность модели относительно оценок двухпараметрической IRT, подобранных на тех же данных. Четыре передовые модели превосходят тривиальную базовую линию примерно на пять пунктов (лучшая 56,2 процента), падают ниже случайного уровня при суждении о дифференцирующей способности задания и — отказ, который способен увидеть бенчмарк, построенный именно для этой цели, — предсказывают правильность в 85,4 процента случаев на правильных ответах, но лишь в 12,6 процентах на неправильных, так что их очевидное умение — это смещение оптимизма.

  • Конфигурация оценщика сама является переменной. Habibullah и др. (2026) перебирают 171 конфигурацию оценивания на двойно оценённом экзамене у 570 студентов и обнаруживают, что короткая преамбула «строгого оценщика» выводит 14 из 17 моделей с открытыми весами за пределы оцениваемой полосы, а затем воспроизводят результат с 162 конфигурациями на независимом экзамене у 1 038 студентов, чьи результаты воспроизводят уязвимость, но не её направление. Поэтому лучшая конфигурация (MAE 1,64/35, ниже 2,61/35, которых человеческие оценщики достигают друг против друга) не является доказательством того, что оценивание с помощью LLM работает, — хотя один адаптер LoRA, обученный на объединённых человеческих метках, доводит пять малых моделей до человеческого паритета, почти полностью стирая чувствительность к персоне.

  • Ограничение корпуса, чтобы утверждение о способности было атрибутируемым. Li и др. (2026) фильтруют FineWeb-Edu до 88B токенов материала США для K–5 и обучают с нуля модель на 5B параметров на нём, а затем проверяют шов поведенческими пробами, а не баллами — удержание около нуля на текстах за пределами K–5, обвал на заданиях Jeopardy за пределами K–5 и менее чем вдвое меньше решённых задач Grade 8 MathCAMPS даже при pass@1024. Поскольку предшествующее воздействие известно, способность, появляющаяся после масштабирования, пост-тренировки или примеров в контексте, может быть отнесена на счёт вмешательства; авторы также сообщают, что граница не имеет человеческой формы, поскольку модель иногда превосходит производный навык, не справляясь с его предпосылкой.

  • Правило подсчёта баллов — часть инструмента. Srivastava (2026) прогоняет четыре правила обновления трассировки знаний на одних и тех же последовательностях событий ASSISTments 2012–13, различающихся только тем, как они оценивают строки с подсказкой, и предварительно регистрирует сравнения за забором, который удерживает подтверждающую половину студентов до появления файла регистрации. Зачёт любого завершения едва превосходит константу «сложность навыка» (объединённый AUC 0,604 против 0,595 на 985 813 оценённых событиях) и объявляет освоенными 93,9 процента пар «студент — навык» против 72,8 процента по правилу, которое читает строки с подсказкой как неудавшиеся первые попытки (0,658), — общий урок состоит в том, что метка освоения определяется правилом работы со свидетельствами, а не журналом.

  • Сообщайте способность модели как калиброванный уровень, а не только как точность. Min и др. (2026) отображают 624 размеченных экспертами задания на именованные уровни владения, используя 2 050 ответов учащихся, и обнаруживают, что передовые модели превосходят калиброванный потолок — ограничение, которое скрывает процентная величина.

  • Правило подсчёта баллов может быть обыграно моделью, которую оно тренирует. Метрика адаптивности, максимизируемая повторением одного лучшего решения, показывает, что дизайн бенчмарка должен публиковать argmax, оценивать адаптацию как разность и сообщать базовые линии выше случайного уровня (Domínguez Figaredo и Fernández De la Cruz, 2026).

Связанные концепции

Связанные статьи

Связанные FAQ

Метаданные

Технологии и методыГенеративный ИИ, Большие языковые модели (LLM)
Оценивание и измерениеОценивание
Методы исследований и оценкаОценивание ИИ-образования, Бенчмарк
Вид страницыEvaluation
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.