Ezen az oldalon

Olvassa el ezt az oldalt angolul

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

A GradeBench szűk, hasznos kérdést tesz fel az automatizált értékelésről: adott egy diák kézzel írt válasza, az oktató rubrikája, egy referencia-megoldás és a rubrikának azok a tételei, amelyeket az oktató ténylegesen kiválasztott — vajon egy frontier modell ugyanazokat a tételeket választja ki? Az arany címkék valódi oktatói és tanársegédi rubrikaválasztások vizsgákról és kvízekekről, nem pedig újraértékelt modellkimenetek.

Mire használható

Olvassa el a ranglistát, mielőtt bármely osztályozószállító pontossági állításában megbízik, és olvassa el a feladatok összeállítását, mielőtt a ranglistában megbízik. A Benchmark 464 feladatot tartalmaz, amelyek 125 kérdésből származnak 45 egyetemi kurzusról, több mint tíz intézményből; kizárólag olyan szabad válaszos vizsga- és kvíztételekre korlátozódik, amelyeket professzor vagy tanársegéd sorról sorra átnézett, és a részleges pontozás felé torzít — a teljes pontszámú és a nulla pontszámú feladatok arányát egyenként 5%-ban maximálják, mert a modellek ezeket könnyűnek találják.

A jelenlegi ranglista csúcsa messze az emberi egyezés alatt marad: a legjobb modell 57.3% pontos rubrikaegyezést ér el, az oldal pedig a pontosságot az 1,000 válaszra jutó költség függvényében ábrázolja, ahol a 0.8 ponttal lemaradó modell körülbelül hetedannyiba kerül. A költség-tengely a gyakorlatilag hasznos rész, mivel az osztályozás nagy volumenű művelet.

Második, függetlenül épített eszközként tekintse meg a Learning Design Alliance AI Grading Benchmark projektjét, amely nyílt repóként van csomagolva, nem pedig hosztolt ranglistaként, és amelynek összefoglalója Porcaro tanulmányában olvasható.

Kinek szól

Oktatóknak, akik arról döntenek, hogy egy osztályozóeszköz felülvizsgálat nélkül adhat-e ki jegyeket; értékelési szakembereknek, akik beszerzési követelményeket írnak; és kutatóknak, akiknek rubrikaszintű célra van szükségük, nem esszé pontozási korrelációra.

Megjegyzések és fenntartások

A GradeBenchet a Pensive adja ki, egy kereskedelmi MI-osztályozó platform, így a benchmark és a termék tulajdonosa közös; a feladatok összeállítása dokumentált és védhető, de a keretezést kezelje a szállító keretezéseként. STEM-vizsgákat fed le legalább négy tételből álló rubrikákkal, ami kizárja az esszéket, a rövid válaszokat és a vitafórum-bejegyzéseket — azokat a formátumokat, ahol a humán tudományok értékelésének nagy része zajlik. A pontos rubrikaegyezés szigorú metrika: két értékelő nem érthet egyet egy tételben, és mindkettőnek igaza lehet a diákot illetően. A pontszámok a 2026 novemberében elérhető modellverziókat írják le, és változni fognak.

Kapcsolódó fogalmak

Oldal beágyazása

Másolja ki az alábbi kódot az oldal tanuláskezelő rendszerbe vagy más weboldalra történő beágyazásához. A beágyazott változat csak az oldal tartalmát mutatja — elrejti a weboldal fejlécét, a navigációt és a láblécet.