Ресурси
GradeBench
Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.
GradeBench ставить вузьке, корисне запитання про автоматизоване оцінювання: маючи рукописну відповідь студента, рубрику викладача, еталонний розв’язок і пункти рубрики, які викладач фактично обрав, чи обере передова модель ті самі пункти? Еталонні мітки — це реальні вибори пунктів рубрики викладачами та асистентами викладачів з екзаменів і тестів, а не переоцінені результати моделі.
Що можна з ним робити
Читайте рейтинг, перш ніж довіряти заяві про точність будь-якого постачальника оцінювання, і читайте побудову завдань, перш ніж довіряти рейтингу. Бенчмарк містить 464 завдання, укладені зі 125 запитань у 45 університетських курсах понад десяти закладів, обмежені завданнями екзаменів і тестів із вільною відповіддю, які професор або асистент викладача переглянув рядок за рядком, і зміщені в бік часткового зарахування — завдання з повним балом і нульовим балом обмежені 5% кожне, оскільки моделі вважають їх легкими.
Чинний рейтинг сягає значно нижче людської узгодженості: найкраща модель досягає 57.3% точного збігу за рубрикою, а сайт показує точність відносно вартості за 1,000 відповідей, де модель, що відстає на 0.8 бала, коштує приблизно сьому частину. Ця вісь вартості є практично корисною частиною, оскільки оцінювання — це масова операція.
Щодо другого, незалежно побудованого інструмента, див. AI Grading Benchmark від Learning Design Alliance, який упаковано як відкритий репозиторій, а не розміщений рейтинг, і узагальнено в дослідженні Поркаро.
Для кого це
Викладачі, які вирішують, чи дозволяти інструменту оцінювання виставляти бали без перевірки, фахівці з оцінювання, які пишуть вимоги до закупівель, і дослідники, яким потрібна ціль на рівні рубрики, а не кореляція оцінювання есе.
Примітки та застереження
GradeBench публікує Pensive, комерційна платформа оцінювання на базі ШІ, тож бенчмарк і продукт мають спільного власника; побудова завдань документована і обґрунтована, але сприймайте обрамлення як таке, що походить від постачальника. Він охоплює екзамени STEM із рубриками щонайменше з чотирьох пунктів, що виключає есе, короткі відповіді та дискусійні дописи — формати, де відбувається більшість оцінювання в гуманітарних науках. Точний збіг за рубрикою — сувора метрика: два оцінювачі можуть не погодитися щодо пункту, і обидва мати рацію щодо студента. Бали описують версії моделей, доступні у листопаді 2026 року, і зміняться.