På den här sidan

Läs den här sidan på engelska

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

GradeBench ställer en smal och användbar fråga om automatisk bedömning: givet en students handskrivna svar, lärarens bedömningsmatris, en referenslösning och de matrispunkter som läraren faktiskt valt – väljer en frontiermodell samma punkter? Guldetiketterna är faktiska val av matrispunkter gjorda av lärare och undervisningsassistenter på tentor och quiz, inte ombedömda modellutdata.

Vad du kan göra med den

Läs topplistan innan du litar på något betygsättningsföretags noggrannhetsanspråk, och läs uppgiftskonstruktionen innan du litar på topplistan. Benchmarket omfattar 464 uppgifter från 125 frågor fördelade på 45 universitetskurser vid mer än tio institutioner, begränsat till tentamens- och quizfrågor med fritt svar som en professor eller undervisningsassistent granskat rad för rad, med tyngdpunkt på delpoäng – uppgifter med full poäng och noll poäng är begränsade till 5 % vardera eftersom modeller tycker att de är lätta.

Den nuvarande topplistan når som bäst en bra bit under mänsklig överensstämmelse: den bästa modellen når 57,3 % exakt överensstämmelse med matrisen, och webbplatsen visar noggrannhet mot kostnad per 1 000 svar, där en modell som ligger 0,8 poäng efter kostar ungefär en sjundedel så mycket. Den kostnadsaxeln är den praktiskt användbara delen, eftersom betygsättning är en volymoperation.

För ett andra, oberoende konstruerat instrument, se AI Grading Benchmark från Learning Design Alliance, som är paketerat som ett öppet repositorium i stället för en hostad topplista och sammanfattas i Porcaros studie.

Vem den är för

Lärare som beslutar om ett betygsättningsverktyg ska få lämna ut betyg utan granskning, bedömningsexperter som skriver upphandlingskrav, och forskare som behöver ett mål på matrisnivå snarare än en korrelation för essäpoängsättning.

Anteckningar och förbehåll

GradeBench publiceras av Pensive, en kommersiell AI-betygsättningsplattform, så benchmarket och produkten har samma ägare; uppgiftskonstruktionen är dokumenterad och försvarbar, men behandla inramningen som leverantörens. Det täcker STEM-tentor med matriser på minst fyra punkter, vilket utesluter essäer, kortsvar och diskussionsinlägg – de format där merparten av bedömningen inom humaniora sker. Exakt överensstämmelse med matrisen är ett strikt mått: två bedömare kan vara oense om en punkt och båda ha rätt om studenten. Poängen beskriver modellversioner som var tillgängliga i november 2026 och kommer att ändras.

Anslutna begrepp

Bädda in den här sidan

Kopiera koden nedan för att bädda in den här sidan i ett lärplattformssystem eller på en annan webbplats. Den inbäddade versionen visar bara sidans innehåll — den döljer webbplatsens sidhuvud, navigering och sidfot.