Ressourcen
GradeBench
Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.
GradeBench stellt eine enge, nützliche Frage zur automatisierten Bewertung: Wählt ein Frontier-Modell dieselben Bewertungskriterien aus, wenn es die handschriftliche Antwort eines Studierenden, das Bewertungsraster der Lehrperson, eine Musterlösung und die von der Lehrperson tatsächlich ausgewählten Kriterien erhält? Die Gold-Labels sind echte Rasterauswahlen von Lehrpersonen und TAs aus Klausuren und Quizzen, nicht nachträglich bewertete Modellausgaben.
Was Sie damit tun können
Lesen Sie das Leaderboard, bevor Sie der Genauigkeitsangabe eines Bewertungsanbieters vertrauen, und lesen Sie die Aufgabenkonstruktion, bevor Sie dem Leaderboard vertrauen. Der Benchmark (Vergleichsmaßstab) umfasst 464 Aufgaben aus 125 Fragen in 45 universitären Kursen an mehr als zehn Institutionen, beschränkt auf Freitextaufgaben aus Klausuren und Quizzen, die ein Professor oder ein TA Zeile für Zeile geprüft hat, und mit einem Übergewicht an Teilpunkten — Aufgaben mit voller Punktzahl und Aufgaben mit null Punkten sind jeweils auf 5 % gedeckelt, weil Modelle diese leicht bewältigen.
Das aktuelle Leaderboard endet deutlich unterhalb der menschlichen Übereinstimmung: Das beste Modell erreicht 57,3 % exakte Rasterübereinstimmung, und die Website trägt die Genauigkeit gegen die Kosten pro 1.000 Antworten auf, wobei ein Modell, das 0,8 Punkte zurückliegt, etwa ein Siebtel davon kostet. Diese Kostenachse ist der praktisch nützliche Teil, denn Bewerten ist ein Massengeschäft.
Ein zweites, unabhängig entwickeltes Instrument finden Sie im AI Grading Benchmark der Learning Design Alliance, der als offenes Repository statt als gehostetes Leaderboard bereitgestellt wird und in Porcaros Studie zusammengefasst ist.
Für wen es gedacht ist
Lehrende, die entscheiden, ob ein Bewertungswerkzeug Noten ungeprüft freigeben darf, Fachleute für Prüfungswesen, die Beschaffungsanforderungen formulieren, und Forschende, die ein Ziel auf Ebene der Bewertungskriterien brauchen statt einer Korrelation aus dem Aufsatz-Scoring.
Anmerkungen und Einschränkungen
GradeBench wird von Pensive veröffentlicht, einer kommerziellen KI-Bewertungsplattform, Benchmark und Produkt haben also denselben Eigentümer; die Aufgabenkonstruktion ist dokumentiert und vertretbar, aber betrachten Sie die Rahmung als die des Anbieters. Er deckt STEM-Klausuren mit Bewertungsrastern aus mindestens vier Kriterien ab, was Aufsätze, Kurzantworten und Diskussionsbeiträge ausschließt — die Formate, in denen der größte Teil der Bewertung in den Geisteswissenschaften stattfindet. Die exakte Rasterübereinstimmung ist eine strenge Metrik: Zwei Bewertende können bei einem Kriterium uneinig sein und beide Recht haben, was die Leistung des Studierenden betrifft. Die Werte beschreiben Modellversionen, die im November 2026 verfügbar waren, und werden sich verändern.