Na ovoj stranici

Pročitajte ovu stranicu na engleskom

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

GradeBench postavlja usko, korisno pitanje o automatiziranom ocjenjivanju: s obzirom na studentov rukom pisani odgovor, nastavnikovu rubriku, referentno rješenje i stavke rubrike koje je nastavnik doista odabrao, odabire li vrhunski model iste stavke? Zlatne oznake stvarni su odabiri nastavnika i asistenata u rubrikama s ispita i kvizova, a ne ponovno ocijenjeni izlaz modela.

Što možete raditi s tim

Pročitajte ljestvicu prije nego što povjerujete tvrdnji o točnosti bilo kojeg dobavljača alata za ocjenjivanje, i pročitajte konstrukciju zadataka prije nego što povjerujete ljestvici. Benchmark sadrži 464 zadatka izvučena iz 125 pitanja u 45 sveučilišnih kolegija na više od deset institucija, ograničen na ispitne i kvizovske stavke slobodnog odgovora koje je profesor ili asistent pregledao redak po redak, s naglaskom na djelomičnom bodovanju — zadatci s punim brojem bodova i zadatci s nula bodova ograničeni su na po 5% jer su modelima laki.

Trenutačna ljestvica doseže vrhunac daleko ispod slaganja među ljudima: najbolji model postiže 57.3% točnog podudaranja s rubrikom, a stranica prikazuje točnost u odnosu na cijenu po 1,000 odgovora, gdje model koji zaostaje 0.8 bodova košta otprilike sedminu te cijene. Ta je os cijene praktično koristan dio, budući da je ocjenjivanje operacija velikog obujma.

Za drugi, neovisno izgrađeni instrument pogledajte AI Grading Benchmark Learning Design Alliancea, koji je pakiran kao otvoreni repozitorij, a ne kao hostana ljestvica, i sažet je u Porcarovoj studiji.

Za koga je

Nastavnici koji odlučuju hoće li alatu za ocjenjivanje dopustiti da objavljuje ocjene bez pregleda, stručnjaci za procjenu koji pišu zahtjeve za nabavu, i istraživači kojima treba cilj na razini rubrike, a ne korelacija bodovanja eseja.

Napomene i upozorenja

GradeBench objavljuje Pensive, komercijalna platforma za AI ocjenjivanje, pa benchmark i proizvod dijele vlasnika; konstrukcija zadataka dokumentirana je i obranjiva, ali okvirivanje tretirajte kao dobavljačevo. Pokriva STEM ispite s rubrikama od najmanje četiri stavke, što isključuje eseje, kratke odgovore i objave u raspravama — formate u kojima se odvija većina ocjenjivanja u humanističkim znanostima. Točno podudaranje s rubrikom stroga je metrika: dva ocjenjivača mogu se ne slagati oko stavke, a obojica mogu biti u pravu o studentu. Rezultati opisuju verzije modela dostupne u studenom 2026. i mijenjat će se.

Povezani pojmovi

Ugradi ovu stranicu

Kopirajte kôd u nastavku kako biste ugradili ovu stranicu u sustav za upravljanje učenjem ili drugu web stranicu. Ugrađena verzija prikazuje samo sadržaj stranice — skriva zaglavlje stranice, navigaciju i podnožje.