Ресурсы
GradeBench
Автоматический перевод данной английской страницы, не проверенный носителем языка.
GradeBench задаёт узкий и полезный вопрос об автоматическом оценивании: если даны рукописный ответ студента, рубрика преподавателя, эталонное решение и те пункты рубрики, которые преподаватель действительно выбрал, выберет ли фронтирная модель те же пункты? Золотые метки — это реальные выборы пунктов рубрики, сделанные преподавателями и ассистентами (TA) на экзаменах и квизах, а не переоценённые выходы моделей.
Что с ним можно делать
Читайте лидерборд, прежде чем доверять любому заявлению о точности от поставщика инструментов оценивания, и читайте описание построения заданий, прежде чем доверять лидерборду. Бенчмарк содержит 464 задания, взятых из 125 вопросов по 45 университетским курсам более чем десяти учебных заведений, ограниченных заданиями экзаменов и квизов со свободным ответом, которые профессор или ассистент (TA) проверил построчно, со смещением в сторону частичного начисления баллов — задания с максимальным и с нулевым баллом ограничены 5% каждое, потому что модели легко с ними справляются.
Текущий лидерборд упирается в потолок значительно ниже человеческого согласия: лучшая модель достигает 57.3% точного совпадения с рубрикой, а сайт строит график точности в зависимости от стоимости за 1,000 ответов, где модель, отстающая на 0.8 пункта, стоит примерно в семь раз меньше. Ось стоимости — практически полезная часть, поскольку оценивание — это операция большого объёма.
В качестве второго, независимо построенного инструмента см. AI Grading Benchmark от Learning Design Alliance, который оформлен как открытый репозиторий, а не размещённый лидерборд, и кратко изложен в исследовании Поркаро.
Для кого это
Преподаватели, решающие, позволять ли инструменту оценивания выставлять отметки без проверки, специалисты по оцениванию, составляющие требования к закупкам, и исследователи, которым нужна цель на уровне рубрики, а не корреляция с баллами за эссе.
Примечания и оговорки
GradeBench публикует Pensive, коммерческая платформа оценивания с ИИ, поэтому у бенчмарка и продукта один владелец; построение заданий документировано и обоснованно, но относитесь к подаче как к позиции поставщика. Он охватывает экзамены STEM с рубриками не менее чем из четырёх пунктов, что исключает эссе, короткие ответы и сообщения в дискуссиях — форматы, на которые приходится большая часть оценивания в гуманитарных науках. Точное совпадение с рубрикой — строгая метрика: два оценивающих могут разойтись по пункту и оба быть правы относительно студента. Баллы описывают версии моделей, доступные в ноябре 2026 года, и будут меняться.