На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

GradeBench ставить вузьке, корисне запитання про автоматизоване оцінювання: маючи рукописну відповідь студента, рубрику викладача, еталонний розв’язок і пункти рубрики, які викладач фактично обрав, чи обере передова модель ті самі пункти? Еталонні мітки — це реальні вибори пунктів рубрики викладачами та асистентами викладачів з екзаменів і тестів, а не переоцінені результати моделі.

Що можна з ним робити

Читайте рейтинг, перш ніж довіряти заяві про точність будь-якого постачальника оцінювання, і читайте побудову завдань, перш ніж довіряти рейтингу. Бенчмарк містить 464 завдання, укладені зі 125 запитань у 45 університетських курсах понад десяти закладів, обмежені завданнями екзаменів і тестів із вільною відповіддю, які професор або асистент викладача переглянув рядок за рядком, і зміщені в бік часткового зарахування — завдання з повним балом і нульовим балом обмежені 5% кожне, оскільки моделі вважають їх легкими.

Чинний рейтинг сягає значно нижче людської узгодженості: найкраща модель досягає 57.3% точного збігу за рубрикою, а сайт показує точність відносно вартості за 1,000 відповідей, де модель, що відстає на 0.8 бала, коштує приблизно сьому частину. Ця вісь вартості є практично корисною частиною, оскільки оцінювання — це масова операція.

Щодо другого, незалежно побудованого інструмента, див. AI Grading Benchmark від Learning Design Alliance, який упаковано як відкритий репозиторій, а не розміщений рейтинг, і узагальнено в дослідженні Поркаро.

Для кого це

Викладачі, які вирішують, чи дозволяти інструменту оцінювання виставляти бали без перевірки, фахівці з оцінювання, які пишуть вимоги до закупівель, і дослідники, яким потрібна ціль на рівні рубрики, а не кореляція оцінювання есе.

Примітки та застереження

GradeBench публікує Pensive, комерційна платформа оцінювання на базі ШІ, тож бенчмарк і продукт мають спільного власника; побудова завдань документована і обґрунтована, але сприймайте обрамлення як таке, що походить від постачальника. Він охоплює екзамени STEM із рубриками щонайменше з чотирьох пунктів, що виключає есе, короткі відповіді та дискусійні дописи — формати, де відбувається більшість оцінювання в гуманітарних науках. Точний збіг за рубрикою — сувора метрика: два оцінювачі можуть не погодитися щодо пункту, і обидва мати рацію щодо студента. Бали описують версії моделей, доступні у листопаді 2026 року, і зміняться.

Пов’язані поняття

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.