Σε αυτή τη σελίδα

Διαβάστε αυτή τη σελίδα στα αγγλικά

Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.

Το GradeBench θέτει ένα στενό, χρήσιμο ερώτημα για την αυτοματοποιημένη βαθμολόγηση: δεδομένης μιας χειρόγραφης απάντησης φοιτητή, της ρουμπρίκας του διδάσκοντα, μιας λύσης αναφοράς και των στοιχείων ρουμπρίκας που επέλεξε πράγματι ο διδάσκων, επιλέγει ένα μοντέλο αιχμής τα ίδια στοιχεία; Οι ετικέτες αναφοράς είναι πραγματικές επιλογές ρουμπρίκας από διδάσκοντες και βοηθούς διδασκαλίας σε εξετάσεις και κουίζ, όχι επαναβαθμολογημένο αποτέλεσμα μοντέλου.

Τι μπορείτε να κάνετε με αυτό

Διαβάστε τον πίνακα κατάταξης πριν εμπιστευτείτε τον ισχυρισμό ακρίβειας οποιουδήποτε προμηθευτή βαθμολόγησης, και διαβάστε την κατασκευή των εργασιών πριν εμπιστευτείτε τον πίνακα κατάταξης. Το Benchmark περιλαμβάνει 464 εργασίες που αντλούνται από 125 ερωτήσεις σε 45 πανεπιστημιακά μαθήματα σε περισσότερα από δέκα ιδρύματα, περιορισμένες σε εξεταστικά στοιχεία και κουίζ ελεύθερης απόκρισης που ένας καθηγητής ή βοηθός διδασκαλίας έλεγξε γραμμή προς γραμμή, με κλίση προς τη μερική βαθμολογία — οι εργασίες πλήρους και μηδενικής βαθμολογίας περιορίζονται στο 5% η καθεμία, επειδή τα μοντέλα τις βρίσκουν εύκολες.

Ο τρέχων πίνακας κατάταξης κορυφώνεται πολύ κάτω από την ανθρώπινη συμφωνία: το καλύτερο μοντέλο φτάνει το 57,3% ακριβή ταύτιση ρουμπρίκας, και ο ιστότοπος σχεδιάζει την ακρίβεια έναντι του κόστους ανά 1.000 απαντήσεις, όπου ένα μοντέλο που υστερεί κατά 0,8 μονάδες κοστίζει περίπου το ένα έβδομο. Αυτός ο άξονας κόστους είναι το πρακτικά χρήσιμο κομμάτι, αφού η βαθμολόγηση είναι λειτουργία όγκου.

Για ένα δεύτερο, ανεξάρτητα κατασκευασμένο όργανο, δείτε το AI Grading Benchmark του Learning Design Alliance, που είναι πακεταρισμένο ως ανοιχτό αποθετήριο αντί για φιλοξενούμενο πίνακα κατάταξης και συνοψίζεται στη μελέτη του Porcaro.

Σε ποιους απευθύνεται

Σε διδάσκοντες που αποφασίζουν αν θα αφήσουν ένα εργαλείο βαθμολόγησης να δημοσιεύει βαθμούς χωρίς έλεγχο, σε επαγγελματίες αξιολόγησης που γράφουν απαιτήσεις προμηθειών και σε ερευνητές που χρειάζονται έναν στόχο σε επίπεδο ρουμπρίκας αντί για συσχέτιση βαθμολόγησης δοκιμίων.

Σημειώσεις και επιφυλάξεις

Το GradeBench δημοσιεύεται από την Pensive, μια εμπορική πλατφόρμα βαθμολόγησης ΤΝ, οπότε το σημείο αναφοράς και το προϊόν μοιράζονται ιδιοκτήτη· η κατασκευή των εργασιών είναι τεκμηριωμένη και υπερασπίσιμη, αλλά αντιμετωπίστε την πλαισίωση ως του προμηθευτή. Καλύπτει εξετάσεις STEM με ρουμπρίκες τουλάχιστον τεσσάρων στοιχείων, γεγονός που αποκλείει δοκίμια, σύντομες απαντήσεις και αναρτήσεις συζήτησης — τις μορφές όπου γίνεται το μεγαλύτερο μέρος της βαθμολόγησης στις ανθρωπιστικές επιστήμες. Η ακριβής ταύτιση ρουμπρίκας είναι αυστηρή μετρική: δύο βαθμολογητές μπορούν να διαφωνούν για ένα στοιχείο και να έχουν και οι δύο δίκιο για τον φοιτητή. Οι βαθμολογίες περιγράφουν εκδόσεις μοντέλων διαθέσιμες τον Νοέμβριο του 2026 και θα μετακινηθούν.

Συνδεδεμένες έννοιες

Ενσωμάτωση αυτής της σελίδας

Αντιγράψτε τον παρακάτω κώδικα για να ενσωματώσετε αυτή τη σελίδα σε σύστημα διαχείρισης μάθησης ή σε άλλον ιστότοπο. Η ενσωματωμένη έκδοση εμφανίζει μόνο το περιεχόμενο της σελίδας — αποκρύπτει την κεφαλίδα του ιστότοπου, την πλοήγηση και το υποσέλιδο.