Πώς ξέρουμε ότι μια εκπαιδευτική ΤΝ λειτουργεί σωστά και όχι απλώς βαθμολογεί καλά;

Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.

Μια έκθεση αξιολόγησης προμηθευτή φτάνει με έναν αριθμό στην κορυφή: συμφωνία με ανθρώπους βαθμολογητές, 0,84. Ή το πιλοτικό σας πρόγραμμα τελειώνει την Παρασκευή και τα τεκμήρια αποτελούνται από μια έρευνα ικανοποίησης και μια γραμμή benchmark αντιγραμμένη από τις σημειώσεις έκδοσης του μοντέλου. Στη σύσκεψη κάποιος ρωτά αν το σύστημα λειτουργεί, και έχετε ένα νούμερο που ακούγεται σαν απάντηση.

Η σύντομη απάντηση: οι βαθμολογίες που βλέπετε συχνότερα μετρούν ομοιότητα, και η ομοιότητα είναι ασθενέστερος ισχυρισμός από το «αυτό διδάσκει» ή ακόμη και από το «αυτή η ανατροφοδότηση είναι αναγνώσιμη». Αποφασίστε τι επιτρέπεται να αποδείξει κάθε αριθμός, βαθμολογήστε κάθε παραγωγή που παράγει το σύστημά σας, και μετατρέψτε την ακρίβεια σε κανόνα με κατώφλι, άνθρωπο και εξοικονόμηση προσαρτημένα. Ένας αριθμός πάνω στον οποίο κανείς δεν μπορεί να δράσει δεν είναι τεκμήριο.

Η σύντομη εκδοχή

1. Γράψτε μία πρόταση που ονομάζει τι σας νοιάζει, και μετά διαλέξτε ένα μέτρο που διαβάζει αυτό το πράγμα. Η επικάλυψη λέξεων δεν θα σας πει αν ο συλλογισμός είναι σωστός.

2. Αξιολογήστε κάθε παραγωγή ξεχωριστά. Μια ισχυρή βαθμολογία βαθμολόγησης δεν λέει τίποτα για τη μονάδα ανατροφοδότησης δίπλα της.

3. Βάλτε έναν άνθρωπο να αξιολογήσει περίπου πενήντα παραγωγές και συγκρίνετε αυτές τις αξιολογήσεις με τον αυτόματο ελεγκτή σας. Εκεί όπου οι δύο διαφωνούν, ο ελεγκτής είναι το πράγμα υπό δοκιμή.

4. Αντικαταστήστε το «ακρίβεια 0,84» με έναν κανόνα: κάτω από αυτή την εμπιστοσύνη, ένας άνθρωπος διαβάζει την απάντηση. Αναφέρετε το κατώφλι, το μερίδιο εργασίας που εξοικονομεί και τι έγινε η συμφωνία.

5. Δοκιμάστε την ασφάλεια σε ολόκληρες συζητήσεις, και ελέγξτε κάθε προσομοιωμένο μαθητή πριν πιστέψετε ό,τι λέει για τον διδάσκοντά σας.

Αποφασίστε τι επιτρέπεται να αποδείξει ο αριθμός

Δύο οικογένειες αριθμών κυριαρχούν σε αυτή τη βιβλιογραφία. Και οι δύο μετρούν πόσο στενά μοιάζει η παραγωγή σας με κάτι άλλο, που είναι ασθενέστερος ισχυρισμός από την ορθότητα.

Οι βαθμολογίες ομοιότητας (ROUGE και BLEU) συγκρίνουν τη διατύπωση της απάντησης του συστήματός σας με τη διατύπωση μιας απάντησης αναφοράς. Ένα μοντέλο που γράφει κάτι κοντά στο αναμενόμενο κείμενο βαθμολογείται καλά, ακόμη και όταν ο συλλογισμός του είναι λανθασμένος, ή όταν ένας μαθητής θα μπορούσε να φτάσει στη σωστή απάντηση με μια διαδρομή που δεν διδάσκει τίποτα.

Οι βαθμολογίες συμφωνίας (QWK, τετραγωνικά σταθμισμένο κάπα) μετρούν πόσο στενά ευθυγραμμίζονται οι βαθμοί του μοντέλου με ενός ανθρώπου. Ένα μοντέλο μπορεί να ταιριάξει με τον βαθμολογητή στον τελικό βαθμό ενώ κάνει λάθος στο γιατί, και το γιατί είναι το κομμάτι από το οποίο μαθαίνει ο μαθητής.

Ένας μαθητής μπορεί να φτάσει σε λάθος απάντηση με λάθος διαδρομή που μοιάζει σωστή, και καμία βαθμολογία ομοιότητας δεν το προσέχει. Αν ο συλλογισμός είναι αυτό που σας νοιάζει, το μέτρο πρέπει να τον διαβάζει: μια ρουμπρίκα που εφαρμόζει άνθρωπος, ή ένας έλεγχος γραμμένος για εκείνο το συγκεκριμένο βήμα.

Ο βοηθός του μαθήματος Γραμμικών Συστημάτων Ελέγχου το αναφέρει σωστά. Η καλύτερη διαμόρφωσή του έφτασε σε βαθμολογία ομοιότητας 0,4093 απέναντι σε απαντήσεις αναφοράς, με τη βελτίωση μετρημένη αξιόπιστα πάνω από το μηδέν, και οι συγγραφείς δηλώνουν καθαρά ότι οι αριθμοί μετρούν διατύπωση και μορφή (LoRA στο μάθημα συστημάτων ελέγχου). Η βαθμολογία δεν εντυπωσιάζει και η εργασία παραμένει χρήσιμη, γιατί λέει τι καλύπτει η βαθμολογία.

Βαθμολογήστε κάθε παραγωγή ξεχωριστά

Στο έργο WrAFT, ένα μοντέλο με προσαρμογή πέτυχε βαθμολογία συμφωνίας 0,84 με ανθρώπους βαθμολογητές σε 360 κρατημένα δοκίμια TOEFL. Αυτό είναι ισχυρό αποτέλεσμα για βαθμολόγηση. Το μοντέλο του ίδιου έργου, εκπαιδευμένο να γράφει ανατροφοδότηση, παρήγαγε παραγωγή κολοβή και μη αναλύσιμη, ενώ η απλή προτροπή σε διαφορετικό μοντέλο παρήγαγε ανατροφοδότηση που οι εκπαιδευτικοί προτίμησαν (WrAFT για την αυτοματοποιημένη αξιολόγηση γραπτού λόγου).

Η βάση γνώσης φέρει την ίδια αποτυχία σε δεύτερη μορφή: μια εφαρμογή της οποίας η μονάδα βαθμολόγησης σκόραρε καλά και της οποίας η ανατροφοδότηση έφτανε κομμένη στη μέση της πρότασης και μη αναγνώσιμη. Τίποτα στον αριθμό της κορυφής δεν το έλεγε.

Άρα καταγράψτε τις παραγωγές που παράγει το σύστημά σας, και μετά δώστε σε καθεμία το δικό της μέτρο και τη δική της συνθήκη επιτυχίας. Η βαθμολόγηση, το κείμενο ανατροφοδότησης, η επιλογή υπόδειξης και οι αρνήσεις ασφάλειας αποτυγχάνουν με διαφορετικούς τρόπους, και μια βαθμολογία σε επίπεδο μονάδας δεν μπορεί να δει πέρα από τη δική της μονάδα.

Βάλτε άνθρωπο εκεί όπου το μοντέλο δεν είναι σίγουρο

Μια συσχέτιση σας λέει ότι το μοντέλο είναι συνήθως σωστό. Δεν σας λέει τι να κάνετε στις περιπτώσεις που δεν είναι. Το αποτέλεσμα της δρομολόγησης με βάση την εμπιστοσύνη είναι το καθαρότερο πρότυπο στη βάση γνώσης, και είναι αρκετά σύντομο για αντιγραφή.

Η εμπιστοσύνη αποδείχθηκε αξιόπιστο προειδοποιητικό σημάδι: όταν το μοντέλο δεν ήταν σίγουρο, ήταν πιθανότερο να κάνει λάθος (β = -0,602, p < 0,001). Η ομάδα έστειλε το λιγότερο σίγουρο 20% των απαντήσεων σε άνθρωπο. Αυτός ο ένας κανόνας ανέβασε τη συμφωνία με τους ανθρώπινους βαθμούς από 0,78 σε 0,82 και έκοψε τη χειρωνακτική εργασία βαθμολόγησης κατά περίπου 80% (πότε να εμπιστεύεστε τη βαθμολόγηση από ΤΝ).

Κοιτάξτε τι περιέχει η έκθεση: ένα κατώφλι, έναν άνθρωπο και μια εξοικονόμηση. Το «συμφωνία 0,84» δεν περιέχει κανένα από αυτά, και γι' αυτό είναι δύσκολο να αξιοποιηθεί και εύκολο να αμφισβητηθεί.

Ελέγξτε τον αυτόματο ελεγκτή σας απέναντι σε άνθρωπο

Πολλές ομάδες χρησιμοποιούν τώρα ένα δεύτερο μοντέλο για να κρίνει το πρώτο. Η ρύθμιση είναι λογική και το δεύτερο μοντέλο δεν είναι αυτόματα σωστό.

Μια μελέτη που ζήτησε από μοντέλο αιχμής να συντάξει υποδείξεις για ένα σύστημα ευφυούς διδασκαλίας βρήκε ότι περίπου το 35% τους ήταν πολύ γενικά, λανθασμένα ή έδιναν την απάντηση, και ότι οι δικοί του αυτοματοποιημένοι έλεγχοι ποιότητας διαφωνούσαν με την ανθρώπινη κρίση για το ποια ήταν κακά (Reddig και MacLellan για εξατομικευμένη ανατροφοδότηση).

Πρακτική εκδοχή: πάρτε δείγμα περίπου πενήντα παραγωγών, βάλτε άνθρωπο να τις αξιολογήσει, και συγκρίνετε το με τις αξιολογήσεις του ελεγκτή σας. Εκεί όπου οι δύο αποκλίνουν, μάθατε κάτι για τον ελεγκτή. Κρατήστε το δείγμα και τον πίνακα διαφωνιών, γιατί είναι και το τεκμήριο που απαντά σε έναν κριτή που ρωτά πώς το ξέρετε.

Μετρήστε την ίδια την ποσότητα όταν το επιτρέπει η εργασία

Η καθαρότερη διόρθωση είναι να εκπαιδεύσετε το μοντέλο στην ίδια ποσότητα που σκοπεύετε να μετρήσετε. Ένα μοντέλο με προσαρμογή εκπαιδεύτηκε να αναπαράγει τις στατιστικές ιδιότητες των ερωτήσεων τεστ: πόσο δύσκολο είναι κάθε στοιχείο, πόσο καλά διαχωρίζει τους ισχυρότερους από τους ασθενέστερους μαθητές. Έμαθε αυτά τα μοτίβα αντί να του ειπωθούν (πολυτροπική εκτίμηση παραμέτρων στοιχείων). Επειδή ο στόχος ήταν ιδιότητα της ίδιας της αξιολόγησης, η αξιολόγηση μπορούσε να αφορά εκείνη την ιδιότητα αντί για τη διατύπωση.

Αναφέρετε την πρόοδο καθώς και το τελικό σημείο. Ο προσομοιωτής γραφής του SWIM δημοσίευσε τη βαθμολογία κάθε σταδίου δίπλα δίπλα: προτροπή με ρουμπρίκα 0,577, προσαρμογή 0,474 ± 0,023, ενισχυτική μάθηση 0,618 ± 0,005 (SWIM για την προσομοίωση γραφής μαθητών). Ένας αναγνώστης μπορεί να δει από εκείνον τον πίνακα αν η εκπαίδευση έκανε κάτι. Ένας μόνο τελικός αριθμός δεν μπορεί να του το πει, και κρύβει ένα στάδιο όπου το μοντέλο με προσαρμογή τα πήγε χειρότερα από την προτροπή.

Συγκρίνετε με κάτι έξω από το έργο σας

Πάρτε πρώτα μια βάση αναφοράς, ακόμη και φθηνή. Το μοντέλο του βοηθού μαθήματος χωρίς θεμελίωση σκόραρε κάτω από μια απλή αναζήτηση λέξεων-κλειδιών, που είναι το είδος αποτελέσματος που αλλάζει τον οδικό χάρτη και κοστίζει μια μέρα για να το βρεις.

Ένα εξωτερικό benchmark μετά σας λέει αν ο αριθμός σας αξίζει καθόλου. Στο benchmark παιδαγωγικής CDPK, το EduQwen έφτασε στο 96,52% έναντι του 90,55% του Gemini-3 Pro (EduQwen και παιδαγωγική ενισχυτική μάθηση). Το Pedagogy Benchmark, χτισμένο από πραγματικές εξετάσεις επαγγελματικής ανάπτυξης εκπαιδευτικών και καλύπτοντας 97 μοντέλα, βρήκε ακρίβεια που κυμαίνεται από 28% έως 89% (Lelièvre και συν., 2025).

Σε μια εργασία για τη διδασκαλία, τα μοντέλα κυμάνθηκαν από κακά έως καλά, άρα ένα αποτέλεσμα benchmark τοποθετεί το σύστημά σας κάπου μέσα σε ένα ευρύ φάσμα.

Δοκιμάστε την ασφάλεια σε ολόκληρη συζήτηση

Οι περισσότερες δοκιμές ασφάλειας ελέγχουν μία ανταλλαγή. Οι βλάβες που μετρούν στη διδασκαλία συσσωρεύονται. Το SafeTutors βρήκε ότι ακόμη και μοντέλα ειδικά κατασκευασμένα για διδασκαλία υποβαθμίζονται σε μια μεγάλη συζήτηση και μπορούν να αποκαλύψουν απαντήσεις που θα έπρεπε να κρατούν (SafeTutors για παιδαγωγική ασφάλεια).

Εκτελέστε τον έλεγχο σε ολοκληρωμένες συζητήσεις, και γράψτε τις δοκιμαστικές στροφές σκόπιμα: ο μαθητής που κάνει λάθος, εκείνος που πιέζει συνεχώς, εκείνος που προσπαθεί να πείσει το μοντέλο να βγει από τον ρόλο του. Ένας διδάσκων που αντέχει δέκα στροφές και λυγίζει στην ενδέκατη αποτυγχάνει στη δοκιμή που μετρά, και μια σουίτα ανά απάντηση θα τον βαθμολογήσει ως καθαρό.

Ελέγξτε τον προσομοιωμένο μαθητή πριν τον εμπιστευτείτε

Η παραγωγή προσομοιωμένων μαθητών αντί για στρατολόγηση πραγματικών κάνει την αξιολόγηση πολύ φθηνότερη. Ένας προσομοιωμένος μαθητής είναι επίσης ένα όργανο μέτρησης, και μπορεί να κάνει λάθος με τους τρόπους που κάνουν λάθος τα όργανα: πολύ συνεργάσιμος, πολύ ευφραδής, πολύ γρήγορος στο να δεχτεί μια υπόδειξη.

Η πιο άμεση δοκιμή στη βάση γνώσης συνέκρινε προσομοιωμένους και κατευθυνόμενους με προτροπή μαθητές απέναντι σε 382 κρατημένους διαλόγους από τη μεγαλύτερη δημόσια συλλογή πραγματικών διαλόγων μαθηματικών μαθητή και διδάσκοντα, χρησιμοποιώντας επτά μέτρα που καλύπτουν γλώσσα, συμπεριφορά και σκέψη (προσομοιωμένοι μαθητές σε διαλόγους διδασκαλίας). Άλλη εργασία πιέζει τον ρεαλισμό από διαφορετικές γωνίες: το INSIDE εκπαιδεύει μοντέλα να δρουν και να σκέφτονται σαν μαθητές, και τα προφίλ με επίγνωση ιστορικού εξαρτούν την προσομοίωση από το παρελθόν ενός μαθητή αντί για μια σταθερή περσόνα (προσομοίωση μαθητή με επίγνωση ιστορικού).

Αν ο μηχανισμός σας είναι ένας προσομοιωμένος μαθητής, επικυρώστε τον προσομοιωτή απέναντι σε πραγματικά απομαγνητοφωνημένα κείμενα πριν τον αφήσετε να βαθμολογήσει τον διδάσκοντά σας.

Τι κάνουν λάθος οι ομάδες αξιολόγησης

Μια υψηλή βαθμολογία συμφωνίας σημαίνει ότι το σύστημα είναι σωστό. Σημαίνει ότι το σύστημα βαθμολογεί όπως ο βαθμολογητής με τον οποίο το συγκρίνατε, στα δοκίμια με τα οποία συγκρίνατε. Το 0,84 του WrAFT ήρθε με ανατροφοδότηση που δεν αναλυόταν.

Ένας αριθμός μπορεί να σταθεί για το προϊόν. Οι ομάδες κυκλοφορούν έναν πίνακα ελέγχου με «ακρίβεια 0,84» στη γωνία και κανένα πεδίο για τη μονάδα ανατροφοδότησης, την πολιτική υποδείξεων ή τη συμπεριφορά άρνησης. Η βαθμολογία σε επίπεδο μονάδας είναι ο ευκολότερος αριθμός για υπολογισμό και το λιγότερο πληροφοριακό πράγμα για αναφορά.

Ένα εξωτερικό benchmark κρίνει αν το εργαλείο λειτουργεί. Το εύρος 28% έως 89% του Pedagogy Benchmark λέει ότι η οικογένεια εργασιών είναι δύσκολη και εξυπηρετείται άνισα. Η θέση σας σε εκείνο το εύρος είναι γεγονός για το μοντέλο σας. Το τι μπορούν να κάνουν οι μαθητές σας μετά είναι διαφορετικό γεγονός.

Ένα μοντέλο που κρίνει ένα μοντέλο είναι φθηνό υποκατάστατο για ανθρώπινες αξιολογήσεις. Είναι φθηνό. Το ποσοστό 35% και η διαφωνία για το ποιες υποδείξεις ήταν κακές περιγράφουν τι θα αφήσει να περάσει ένας κριτής που δεν ελέγχθηκε ποτέ.

Οι προσομοιωμένοι μαθητές κάνουν την αξιολόγηση δωρεάν. Την κάνουν φθηνή, και μετακινούν το κόστος στην επικύρωση. Η σύγκριση των 382 διαλόγων υπάρχει γιατί το όργανο χρειαζόταν βαθμονόμηση.

Τι θα σας αντιπαρατεθεί

«Δεν έχουμε επισημαντές γι' αυτό.» Πενήντα αξιολογημένες παραγωγές αρκούν για αρχή. Αξιολογήστε τις μόνοι σας αν δεν είναι κανείς άλλος διαθέσιμος, και κρατήστε το φύλλο.

«Η βαθμολογία μας στο benchmark ξεπερνά το Gemini.» Την ξεπερνά, στο CDPK, στις προτροπές που χρησιμοποιεί εκείνο το benchmark. Φέρτε δίπλα το μέτρο χωρίς βοήθεια.

«Ο αυτόματος κριτής μας συμφωνεί με τους ανθρώπινους αξιολογητές μας.» Τότε έχετε μία συσχέτιση σε ένα δείγμα. Ρωτήστε σε ποιες παραγωγές διαφώνησε και διαβάστε τις, γιατί εκεί ζει η αποτυχία.

«Δεν μπορούμε να κάνουμε πλήρη αξιολόγηση πριν από την κυκλοφορία.» Κάντε τις τρεις φθηνές: μία παραγωγή βαθμολογημένη ξεχωριστά, πενήντα παραγωγές αξιολογημένες από άνθρωπο, ένα πέρασμα ασφάλειας σε μήκος συζήτησης. Τα ακριβά στοιχεία μπορούν να ακολουθήσουν το πιλοτικό.

«Το σύστημα είναι μόνο επίδειξη, άρα η αξιολόγηση είναι πρόωρη.» Μια επίδειξη είναι το φθηνότερο μέρος για να ανακαλύψετε ότι ο αριθμός σας μετρά διατύπωση. Μόλις προσαρτηθεί ένας οδικός χάρτης σε αυτό, το ίδιο εύρημα κοστίζει περισσότερο για να αξιοποιηθεί.

Τι να κάνετε αυτή την εβδομάδα

1. Γράψτε τον ισχυρισμό της μίας πρότασης που η αξιολόγησή σας υποτίθεται ότι στηρίζει. Βάλτε τον στην κορυφή του εγγράφου αξιολόγησης.

2. Καταγράψτε κάθε παραγωγή που παράγει το σύστημα και δώστε σε καθεμία μια γραμμή, ένα μέτρο και μια συνθήκη επιτυχίας.

3. Τραβήξτε πενήντα παραγωγές, αξιολογήστε τις μόνοι σας, και βάλτε τις αξιολογήσεις σας δίπλα σε εκείνες του ελεγκτή.

4. Υπολογίστε την κατανομή εμπιστοσύνης και γράψτε τον κανόνα δρομολόγησης με έναν αριθμό μέσα του, μαζί με το όνομα του ανθρώπου που διαβάζει ό,τι πέφτει κάτω από αυτόν.

5. Εκτελέστε μία συζήτηση ασφάλειας όπου ο μαθητής κάνει λάθος, αντιστέκεται δύο φορές και ζητά την απάντηση.

Πού να πάτε μετά

Το πώς μπορούμε να κάνουμε την ΤΝ καλύτερη στη στήριξη της μάθησης στο δικό μας αντικείμενο καλύπτει τη σχεδιαστική πλευρά του ίδιου προβλήματος. Το θέμα για την εκπαίδευση διδασκόντων ώστε να καθοδηγούν αντί να απαντούν χειρίζεται τη διαδρομή εκπαίδευσης προς μια διδακτική συμπεριφορά, και το θέμα για την αξιολόγηση παρεμβάσεων είναι η εκδοχή αυτού του ερωτήματος για διδάσκοντες, με το θέμα για την αναφορά και ερμηνεία της έρευνας ως την εκδοχή για ερευνητές. Οι μέθοδοι βρίσκονται κάτω από το θέμα για την αξιολόγηση AIED και το θέμα για την εκπαίδευση και προσαρμογή LLM.