På denne side

Læs denne side på engelsk

Automatisk maskinoversættelse af denne engelske side, der endnu ikke er blevet gennemgået af en modersmålstalere.

GradeBench stiller et snævert, nyttigt spørgsmål om automatiseret bedømmelse: givet en studerendes håndskrevne svar, underviserens rubric, en referenceløsning og de rubric-punkter, underviseren faktisk valgte, vælger en frontier-model så de samme punkter? Guldlabelsene er virkelige rubric-valg truffet af undervisere og undervisningsassistenter på eksamener og quizzes, ikke genbedømt modeloutput.

Hvad du kan gøre med det

Læs leaderboardet, før du stoler på nogen bedømmelsesleverandørs påstand om nøjagtighed, og læs opgavekonstruktionen, før du stoler på leaderboardet. Dette Benchmark rummer 464 opgaver trukket fra 125 spørgsmål på tværs af 45 kurser på universitetsniveau ved mere end ti institutioner, begrænset til eksamens- og quizopgaver med frie svar, som en professor eller undervisningsassistent har gennemgået linje for linje, og vægtet mod delvis point — opgaver med fuld point og nul point er loftet til 5 % hver, fordi modellerne finder dem lette.

Det nuværende leaderboard topper langt under menneskelig enighed: den bedste model når 57,3 % eksakt rubric-match, og siden plotter nøjagtighed mod pris pr. 1.000 svar, hvor en model, der ligger 0,8 point bagud, koster omkring en syvendedel så meget. Den omkostningsakse er den praktisk nyttige del, eftersom bedømmelse er en volumenoperation.

For et andet, uafhængigt bygget instrument, se AI Grading Benchmark fra Learning Design Alliance, som er pakket som et åbent repository snarere end et hostet leaderboard og er sammenfattet i Porcaros undersøgelse.

Hvem det er til

Undervisere, der beslutter, om et bedømmelsesværktøj må frigive karakterer uden gennemgang, evalueringsprofessionelle, der skriver indkøbskrav, og forskere, der har brug for et mål på rubric-niveau snarere end en korrelation med essay-scoring.

Noter og forbehold

GradeBench udgives af Pensive, en kommerciel AI-bedømmelsesplatform, så benchmarket og produktet deler ejer; opgavekonstruktionen er dokumenteret og forsvarlig, men behandl indramningen som leverandørens. Den dækker STEM-eksamener med rubrics på mindst fire punkter, hvilket udelukker essays, korte svar og diskussionsindlæg — de formater, hvor det meste bedømmelse i humaniora finder sted. Eksakt rubric-match er en streng metrik: to bedømmere kan være uenige om et punkt og begge have ret om den studerende. Scorerne beskriver modelversioner, der er tilgængelige i november 2026, og de vil flytte sig.

Relaterede begreper

Indlejr denne side

Kopiér koden nedenfor for at indlejre denne side i et læringsstyringssystem eller på en anden hjemmeside. Den indlejrede version viser kun sidens indhold — den skjuler sidens header, navigation og footer.