Na této stránce

Přečtěte si tuto stránku v angličtině

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

GradeBench klade úzkou, užitečnou otázku o automatizovaném hodnocení: dostane-li frontier model studentovu ručně psanou odpověď, rubriku vyučujícího, referenční řešení a položky rubriky, které vyučující skutečně vybral, vybere stejné položky? Zlaté štítky tvoří skutečné výběry položek rubriky, které vyučující a TA provedli u zkoušek a kvízů, nikoli znovu ohodnocené výstupy modelů.

Co s tím můžete dělat

Než uvěříte jakémukoli tvrzení dodavatele hodnotících nástrojů o přesnosti, přečtěte si žebříček; a než uvěříte žebříčku, přečtěte si konstrukci úloh. Benchmark obsahuje 464 úloh odvozených ze 125 otázek ve 45 univerzitních kurzech na více než deseti institucích, omezených na volně zodpovídané položky zkoušek a kvízů, které profesor nebo TA prošel řádek po řádku, a nakloněných k částečnému hodnocení — úlohy s plným a nulovým počtem bodů jsou omezeny na 5% každé, protože modelům připadají snadné.

Současný žebříček vrcholí hluboko pod lidskou shodou: nejlepší model dosahuje 57.3% přesné shody s rubrikou a web vykresluje přesnost proti nákladům na 1,000 odpovědí, přičemž model o 0.8 bodu pozadu stojí zhruba sedminu. Prakticky užitečná je právě osa nákladů, protože hodnocení je objemová operace.

Druhý, nezávisle postavený nástroj najdete v AI Grading Benchmark od Learning Design Alliance, který je zabalen jako otevřený repozitář namísto hostovaného žebříčku a je shrnut v Porcarově studii.

Pro koho je určeno

Vyučující rozhodující, zda nechají hodnotící nástroj zveřejnit známky bez kontroly, odborníci na hodnocení píšící požadavky na veřejné zakázky a výzkumníci, kteří potřebují cíl na úrovni rubriky, nikoli korelaci skórování esejí.

Poznámky a upozornění

GradeBench vydává Pensive, komerční platforma pro hodnocení pomocí AI, takže benchmark i produkt mají společného vlastníka; konstrukce úloh je zdokumentovaná a obhajitelná, ale rámec berte jako dodavatelův. Pokrývá STEM zkoušky s rubrikami o alespoň čtyřech položkách, čímž vylučuje eseje, krátké odpovědi a diskusní příspěvky — formáty, kde probíhá většina hodnocení v humanitních předmětech. Přesná shoda s rubrikou je přísná metrika: dva hodnotitelé se mohou na položce neshodnout a oba mohou mít o studentovi pravdu. Skóre popisují verze modelů dostupné v listopadu 2026 a budou se měnit.

Související pojmy

Vložit tuto stránku

Zkopírujte níže uvedený kód a vložte tuto stránku do systému pro správu výuky nebo jiného webu. Vložená verze zobrazuje pouze obsah stránky — skrývá záhlaví, navigaci a zápatí webu.