На тази страница

Прочетете тази страница на английски

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

GradeBench задава тесен и полезен въпрос за автоматизираното оценяване: ако са дадени ръкописен отговор на студент, рубриката на преподавателя, референтно решение и елементите от рубриката, които преподавателят действително е избрал, избира ли водещ модел същите елементи? Златните етикети са реални избори на елементи от рубриката, направени от преподаватели и асистенти в изпити и тестове, а не преоценени изходи на модели.

Какво можете да правите с него

Прочетете класацията, преди да се доверите на твърдение за точност от който и да е доставчик на инструменти за оценяване, и прочетете как са конструирани задачите, преди да се доверите на класацията. Benchmark съдържа 464 задачи, извлечени от 125 въпроса в 45 университетски курса в повече от десет институции, ограничени до изпитни и тестови елементи със свободен отговор, които професор или асистент е прегледал ред по ред, и с превес към частичното оценяване — задачите с пълен брой точки и с нула точки са ограничени до по 5%, защото моделите ги намират за лесни.

Настоящата класация достига таван далеч под човешкото съгласие: най-добрият модел достига 57.3% точно съвпадение с рубриката, а сайтът изобразява точността спрямо цената на 1,000 отговора, като модел, изоставащ с 0.8 точки, струва около една седма от цената на по-добрия. Тази ос на цената е практическата полза, защото оценяването е операция с големи обеми.

За втори, независимо изграден инструмент вижте AI Grading Benchmark от Learning Design Alliance, който е опакован като отворено хранилище, а не като хоствана класация, и е обобщен в проучването на Porcaro.

За кого е предназначен

Преподаватели, които решават дали да позволят на инструмент за оценяване да публикува оценки без преглед, специалисти по оценяване, които пишат изисквания за обществени поръчки, и изследователи, които се нуждаят от цел на ниво елемент от рубриката, а не от корелация при оценяване на есета.

Бележки и уговорки

GradeBench се публикува от Pensive, търговска платформа за оценяване с AI, така че бенчмаркът и продуктът имат общ собственик; конструирането на задачите е документирано и защитимо, но третирайте рамкирането като това на доставчика. Обхваща STEM изпити с рубрики от поне четири елемента, което изключва есета, кратки отговори и дискусионни публикации — форматите, в които се случва по-голямата част от оценяването в хуманитарните науки. Точното съвпадение с рубриката е строг показател: двама оценители могат да не се съгласят по даден елемент и двамата да са прави за студента. Резултатите описват версии на модели, налични през November 2026, и ще се променят.

Свързани понятия

Вграждане на тази страница

Копирайте кода по-долу, за да вградите тази страница в система за управление на обучението или друг уебсайт. Вгражданата версия показва само съдържанието на страницата — скрива заглавната част, навигацията и долния колонтитул на сайта.