In questa pagina

Leggi questa pagina in inglese

Traduzione automatica della pagina in inglese, non ancora rivista da una persona di madrelingua.

GradeBench pone una domanda circoscritta e utile sulla valutazione automatizzata: data la risposta scritta a mano di uno studente, la rubrica del docente, una soluzione di riferimento e gli item della rubrica effettivamente selezionati dal docente, un modello frontier seleziona gli stessi item? Le etichette gold sono le selezioni di rubrica reali di docenti e assistenti didattici (TA) tratte da esami e quiz, non output di modelli ri-valutati.

Cosa puoi farci

Leggi la classifica prima di fidarti della dichiarazione di accuratezza di qualsiasi fornitore di correzione, e leggi la costruzione dei task prima di fidarti della classifica. Il Benchmark (riferimento di confronto) contiene 464 task tratti da 125 domande in 45 corsi universitari di oltre dieci istituzioni, limitati a item di esami e quiz a risposta libera revisionati riga per riga da un professore o da un TA, e sbilanciati verso il credito parziale — i task a punteggio pieno e a punteggio zero sono limitati al 5% ciascuno perché i modelli li trovano facili.

La classifica attuale si ferma ben al di sotto dell'accordo tra correttori umani: il modello migliore raggiunge il 57.3% di corrispondenza esatta con la rubrica, e il sito traccia l'accuratezza rispetto al costo per 1,000 risposte, dove un modello indietro di 0.8 punti costa circa un settimo. Quell'asse del costo è la parte praticamente utile, poiché la correzione è un'operazione di volume.

Per un secondo strumento, costruito in modo indipendente, vedi l'AI Grading Benchmark della Learning Design Alliance, impacchettato come repository aperto anziché come classifica ospitata e riassunto nello studio di Porcaro.

A chi è rivolto

Docenti che decidono se lasciare che uno strumento di correzione rilasci voti senza revisione, professionisti della valutazione che scrivono requisiti di approvvigionamento e ricercatori che hanno bisogno di un obiettivo a livello di rubrica anziché di una correlazione di punteggio dei saggi.

Note e avvertenze

GradeBench è pubblicato da Pensive, una piattaforma commerciale di correzione con IA, quindi il benchmark e il prodotto condividono lo stesso proprietario; la costruzione dei task è documentata e difendibile, ma considera l'inquadramento come quello del fornitore. Copre esami STEM con rubriche di almeno quattro item, il che esclude saggi, risposte brevi e post di discussione — i formati in cui avviene la maggior parte della correzione nelle discipline umanistiche. La corrispondenza esatta con la rubrica è una metrica severa: due correttori possono essere in disaccordo su un item ed entrambi avere ragione sullo studente. I punteggi descrivono versioni di modelli disponibili a novembre 2026 e cambieranno.

Concetti collegati

Incorpora questa pagina

Copia il codice qui sotto per incorporare questa pagina in un sistema di gestione dell’apprendimento o in un altro sito. La versione incorporata mostra solo il contenuto della pagina — nasconde header, navigazione e footer del sito.