На этой странице

Читать эту страницу на английском

Автоматический перевод данной английской страницы, не проверенный носителем языка.

GradeBench задаёт узкий и полезный вопрос об автоматическом оценивании: если даны рукописный ответ студента, рубрика преподавателя, эталонное решение и те пункты рубрики, которые преподаватель действительно выбрал, выберет ли фронтирная модель те же пункты? Золотые метки — это реальные выборы пунктов рубрики, сделанные преподавателями и ассистентами (TA) на экзаменах и квизах, а не переоценённые выходы моделей.

Что с ним можно делать

Читайте лидерборд, прежде чем доверять любому заявлению о точности от поставщика инструментов оценивания, и читайте описание построения заданий, прежде чем доверять лидерборду. Бенчмарк содержит 464 задания, взятых из 125 вопросов по 45 университетским курсам более чем десяти учебных заведений, ограниченных заданиями экзаменов и квизов со свободным ответом, которые профессор или ассистент (TA) проверил построчно, со смещением в сторону частичного начисления баллов — задания с максимальным и с нулевым баллом ограничены 5% каждое, потому что модели легко с ними справляются.

Текущий лидерборд упирается в потолок значительно ниже человеческого согласия: лучшая модель достигает 57.3% точного совпадения с рубрикой, а сайт строит график точности в зависимости от стоимости за 1,000 ответов, где модель, отстающая на 0.8 пункта, стоит примерно в семь раз меньше. Ось стоимости — практически полезная часть, поскольку оценивание — это операция большого объёма.

В качестве второго, независимо построенного инструмента см. AI Grading Benchmark от Learning Design Alliance, который оформлен как открытый репозиторий, а не размещённый лидерборд, и кратко изложен в исследовании Поркаро.

Для кого это

Преподаватели, решающие, позволять ли инструменту оценивания выставлять отметки без проверки, специалисты по оцениванию, составляющие требования к закупкам, и исследователи, которым нужна цель на уровне рубрики, а не корреляция с баллами за эссе.

Примечания и оговорки

GradeBench публикует Pensive, коммерческая платформа оценивания с ИИ, поэтому у бенчмарка и продукта один владелец; построение заданий документировано и обоснованно, но относитесь к подаче как к позиции поставщика. Он охватывает экзамены STEM с рубриками не менее чем из четырёх пунктов, что исключает эссе, короткие ответы и сообщения в дискуссиях — форматы, на которые приходится большая часть оценивания в гуманитарных науках. Точное совпадение с рубрикой — строгая метрика: два оценивающих могут разойтись по пункту и оба быть правы относительно студента. Баллы описывают версии моделей, доступные в ноябре 2026 года, и будут меняться.

Связанные концепции

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.