Zdroje
GradeBench
Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.
GradeBench kladie úzku, užitočnú otázku o automatizovanom hodnotení: keď dostane rukou písanú odpoveď študenta, rubriku vyučujúceho, referenčné riešenie a položky rubriky, ktoré vyučujúci skutočne vybral, vyberie frontier model tie isté položky? Zlaté štítky sú skutočné výbery položiek rubriky od učiteľov a asistentov výučby zo skúšok a kvízov, nie prehodnotené výstupy modelov.
Čo s tým môžete robiť
Prečítajte si rebríček skôr, než uveríte akémukoľvek tvrdeniu dodávateľa hodnotenia o presnosti, a prečítajte si konštrukciu úloh skôr, než uveríte rebríčku. Benchmark obsahuje 464 úloh z 125 otázok zo 45 univerzitných kurzov na viac ako desiatich inštitúciách, obmedzený na skúškové a kvízové položky s voľnou odpoveďou, ktoré profesor alebo asistent výučby skontroloval riadok po riadku, a s náklonom k čiastočnému bodovaniu — úlohy s plným počtom bodov a s nulovým počtom bodov majú každé strop 5 %, pretože modely ich zvládajú ľahko.
Aktuálny rebríček vrcholí hlboko pod ľudskou zhodou: najlepší model dosahuje 57,3 % presnej zhody s rubrikou a stránka vykresľuje presnosť oproti cene za 1 000 odpovedí, kde model o 0,8 bodu pozadu stojí približne sedminu ceny. Táto cenová os je prakticky užitočná časť, keďže hodnotenie je objemová operácia.
Druhý, nezávisle zostavený nástroj nájdete v AI Grading Benchmark od Learning Design Alliance, ktorý je zabalený ako otvorený repozitár namiesto hostovaného rebríčka a je zhrnutý v Porcarovej štúdii.
Pre koho je to určené
Vyučujúci, ktorí rozhodujú, či nechajú hodnotiaci nástroj zverejniť známky bez kontroly, odborníci na hodnotenie, ktorí píšu požiadavky obstarávania, a výskumníci, ktorí potrebujú cieľ na úrovni rubriky namiesto korelácie skórovania esejí.
Poznámky a výhrady
GradeBench vydáva Pensive, komerčná platforma na hodnotenie AI, takže benchmark a produkt majú spoločného vlastníka; konštrukcia úloh je zdokumentovaná a obhájiteľná, ale rámcovanie považujte za rámcovanie dodávateľa. Pokrýva STEM skúšky s rubrikami najmenej štyroch položiek, čo vylučuje eseje, krátke odpovede a diskusné príspevky — formáty, kde sa odohráva väčšina hodnotenia v humanitných vedách. Presná zhoda s rubrikou je prísna metrika: dvaja hodnotitelia sa môžu na položke nezhodnúť a obaja môžu mať pravdu o študentovi. Skóre opisujú verzie modelov dostupné v novembri 2026 a budú sa meniť.