Tällä sivulla

Lue tämä sivu englanniksi

Tämän englanninkielisen sivun automaattinen konekäännös, jota ei ole vielä tarkastanut äidinkielinen puhuja.

GradeBench esittää kapean, hyödyllisen kysymyksen automaattisesta arvioinnista: kun annetaan opiskelijan käsinkirjoitettu vastaus, opettajan rubriikki, referenssiratkaisu ja ne rubriikkikohdat, jotka opettaja todella valitsi, valitseeko huippumalli samat kohdat? Kultamerkinnät ovat opettajien ja opetusassistenttien todellisia rubriikkivalintoja kokeista ja testeistä, eivät uudelleenarvioitua mallin tuotosta.

Mitä sillä voi tehdä

Lue leaderboard ennen kuin luotat minkään arviointitoimittajan tarkkuusväitteeseen, ja lue tehtävien rakentaminen ennen kuin luotat leaderboardiin. Benchmark sisältää 464 tehtävää, jotka on koottu 125 kysymyksestä 45 yliopistokurssilta yli kymmenestä laitoksesta, ja se on rajattu avovastausmuotoisiin koe- ja testitehtäviin, jotka professori tai opetusassistentti on tarkistanut rivi riviltä, ja se painottuu osittaisiin pisteisiin — täysien pisteiden ja nollan pisteiden tehtäviä on kumpaakin enintään 5 %, koska mallit kokevat ne helpoiksi.

Nykyisen leaderboardin huippu jää selvästi ihmisten välisen yksimielisyyden alapuolelle: paras malli saavuttaa 57,3 %:n tarkan rubriikkivastaavuuden, ja sivusto esittää tarkkuuden suhteessa 1 000 vastauksen kustannukseen, missä 0,8 pistettä jäljessä oleva malli maksaa noin seitsemäsosan siitä. Juuri kustannusakseli on käytännössä hyödyllinen osa, sillä arviointi on volyymitoimintaa.

Toinen, itsenäisesti rakennettu mittari on Learning Design Alliancen AI Grading Benchmark, joka on pakattu avoimeksi repositorioksi ylläpidetyn leaderboardin sijaan ja joka on tiivistetty Porcaron tutkimuksessa.

Kenelle se on tarkoitettu

Opettajat, jotka päättävät, saako arviointityökalu julkaista arvosanoja ilman tarkistusta, arvioinnin ammattilaiset, jotka kirjoittavat hankintavaatimuksia, ja tutkijat, jotka tarvitsevat rubriikkatason kohteen esseen pisteytyksen korrelaation sijaan.

Huomioita ja varauksia

GradeBenchin julkaisee Pensive, kaupallinen tekoälyarviointialusta, joten benchmarkillä ja tuotteella on sama omistaja; tehtävien rakentaminen on dokumentoitu ja perusteltavissa, mutta pidä kehystystä toimittajan omana. Se kattaa STEM-kokeet, joiden rubriikeissa on vähintään neljä kohtaa, mikä sulkee pois esseet, lyhyet vastaukset ja keskustelupostaukset — muodot, joissa suurin osa humanististen aineiden arvioinnista tapahtuu. Tarkka rubriikkivastaavuus on tiukka mittari: kaksi arvioijaa voi olla eri mieltä yhdestä kohdasta ja olla molemmat oikeassa opiskelijasta. Pistemäärät kuvaavat marraskuussa 2026 saatavilla olevia malliversioita ja tulevat muuttumaan.

Liittyvät käsitteet

Upota tämä sivu

Kopioi alla oleva koodi upottaaksesi tämän sivun oppimisympäristöön tai muulle verkkosivustolle. Upotettu versio näyttää vain sivun sisällön — sivuston otsikko, navigointi ja alatunniste jäävät siitä pois.