Πώς ανασχεδιάζω την αξιολόγηση ώστε ένας βαθμός να μου λέει ακόμη κάτι υπερασπίσιμο για το τι γνωρίζει ή μπορεί να κάνει ο φοιτητής;

Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.

Πιθανότατα κρατάτε μια εργασία που λειτουργούσε χρόνια και τώρα επιστρέφει δουλειά που δεν μπορείτε να υπερασπιστείτε. Ο βαθμός λέει Α· το προϊόν μπορεί να είναι κυρίως του εργαλείου. Ή ένας φοιτητής αμφισβητεί έναν χαμηλό βαθμό για λόγους που δεν μπορείτε να ελέγξετε, ή το πρόγραμμά σας ξαναγράφει την πολιτική αξιολόγησής του και σας ρωτά τι πρέπει να αλλάξει στο μάθημά σας μέχρι το επόμενο εξάμηνο.

Η σύντομη απάντηση: αποφασίστε για τι ακριβώς πρέπει ο βαθμός να αποτελεί απόδειξη, βάλτε τουλάχιστον ένα βήμα στην εργασία που ο φοιτητής ολοκληρώνει χωρίς το εργαλείο, και κάντε τη ρουμπρίκα να πληρώνει τον συλλογισμό και όχι μόνο το προϊόν. Ο ανασχεδιασμός που παραλείπει το δεύτερο και το τρίτο βήμα αλλάζει το πώς παράγεται η εργασία χωρίς να αλλάζει το τι μπορεί να στηρίξει ο βαθμός.

Η σύντομη εκδοχή

1. Γράψτε ποια ικανότητα αντιπροσωπεύει ο βαθμός. Η ανεξαρτησία, η κατάλληλη χρήση της ΤΝ και η ικανότητα να κατευθύνει και να κρίνει κανείς την ΤΝ είναι τρία διαφορετικά κατασκευάσματα, και ένα προϊόν δεν μπορεί να αποτελεί απόδειξη και για τα τρία.

2. Προσθέστε ένα πιστοποιημένο βήμα σε κάθε εργασία υψηλού ρίσκου: έναν σύντομο προφορικό έλεγχο, μια εφαρμογή στην τάξη, μια ζωντανή επίδειξη ή μια σχολιασμένη αιτιολόγηση. Ένα συνήθως αρκεί.

3. Ορίστε το όριο της ΤΝ ανά βήμα της εργασίας, όχι ανά μάθημα. Καταγράψτε τι κάνει ο φοιτητής σε κάθε βήμα και ρωτήστε τι ακριβώς αξιολογείτε εκεί.

4. Βάλτε τεκμήρια διαδικασίας στη ρουμπρίκα με πραγματικές μονάδες. Αν η ρουμπρίκα επιβραβεύει ακόμη μόνο το προϊόν, οι φοιτητές θα βελτιστοποιήσουν για το προϊόν.

5. Υποθέστε τον φοιτητή που είναι περισσότερο πειρασμένος να κρύψει, όχι τον πιο ευσυνείδητο, και ελέγξτε ποια επιλογή κάνουν ευκολότερη οι κανόνες σας.

Αποφασίστε τι αποδεικνύει ο βαθμός

Ξεκινήστε δηλώνοντας ρητά ποια ικανότητα υποτίθεται ότι αντιπροσωπεύει ο βαθμός. Αξιολογείτε τι μπορεί να κάνει ένας φοιτητής ανεξάρτητα, τι μπορεί να επιτύχει κατάλληλα με την ΤΝ, την ικανότητά του να αξιολογεί και να κατευθύνει την ΤΝ, ή κάποιο συνδυασμό αυτών; Η εγκυρότητα αξιολόγησης της βάσης γνώσης αντιμετωπίζει αυτό ως πρόβλημα εγκυρότητας: ένα γυαλισμένο προϊόν δεν είναι πλέον επαρκές τεκμήριο ότι ο φοιτητής κατέχει την ικανότητα που φαίνεται να δείχνει εκείνο το προϊόν. Αυτό είναι το μισό της αξιολόγησης στο ίδιο επιχείρημα· το μισό της επιβολής βρίσκεται στο θέμα για τη μείωση της απάτης με ΤΝ, και το γενικό πλαίσιο εγκυρότητας διατρέχει το θέμα για την αξιολόγηση παρεμβάσεων.

Πείτε την απάντηση στο πρόγραμμα σπουδών, στο φύλλο εργασίας και στη ρουμπρίκα. Οι φοιτητές διαβάζουν τρία έγγραφα και συμμορφώνονται με το πιο συγκεκριμένο. Το «η χρήση ΤΝ επιτρέπεται με αναφορά» δεν είναι δήλωση του τι μετράτε, και δεν δίνει στον φοιτητή κανέναν τρόπο να ξέρει αν η επιτρεπόμενη χρήση υπονομεύει αυτό που βαθμολογείτε.

Ο κίνδυνος της υποκατάστασης κατασκευάσματος

Το άρθρο Από αυθεντικά προϊόντα σε πιστοποιημένες διαδικασίες ονομάζει τον κίνδυνο που προκύπτει υποκατάσταση κατασκευάσματος: ο αξιολογητής αποδίδει ένα προϊόν με διαμεσολάβηση ΤΝ στον φοιτητή και μετρά άθελά του τις ικανότητες του εργαλείου και όχι του φοιτητή. Η συνιστώμενη απάντησή του είναι να κάνει ορατό τον συλλογισμό, την κρίση, την επαλήθευση, την επανάληψη και την ευθύνη του φοιτητή μέσω προσεγγίσεων όπως οι σταδιακές υποβολές, οι σχολιασμένες αιτιολογήσεις αποφάσεων, τα αρχεία διαδικασίας, οι δηλώσεις χρήσης ανατροφοδότησης, οι προφορικές υπερασπίσεις και άλλες μορφές τεκμηρίων πιστοποιημένης διαδικασίας.

Αυτός ο κατάλογος είναι μενού, και ποιο στοιχείο είναι φθηνότερο εξαρτάται από το μέγεθος της τάξης σας. Για τμήμα 25 ατόμων, ένας προφορικός έλεγχος πέντε λεπτών ανά φοιτητή ανά μεγάλη εργασία είναι περίπου δύο ώρες βαθμολόγησης που ίσως ήδη ξοδεύετε. Για αμφιθέατρο 300 ατόμων, οι σταδιακές υποβολές και οι σχολιασμένες αιτιολογήσεις κλιμακώνονται εκεί όπου οι προφορικές υπερασπίσεις δεν κλιμακώνονται, και ένας δειγματοληπτικός προφορικός έλεγχος στη δουλειά που φαίνεται ανώμαλη είναι αυτό που μένει πρακτικό. Διαλέξτε την επιλογή που μπορείτε να συνεχίσετε να τρέχετε και τη δέκατη εβδομάδα.

Βάλτε ένα πιστοποιημένο βήμα σε κάθε εργασία

Στην πράξη, μια ισχυρή αρχιτεκτονική αξιολόγησης συνδυάζει συχνά μια αυθεντική εργασία με υποστήριξη ΤΝ με κάποια μορφή ανεξάρτητης επαλήθευσης. Ανάλογα με τον κλάδο, αυτό μπορεί να περιλαμβάνει μια σύντομη προφορική εξήγηση, εφαρμογή στην τάξη, ζωντανή επίδειξη, σχολιασμένο χαρτοφυλάκιο, σύντομο στοιχείο χωρίς βοήθεια, ή ερωτήσεις για βασικές αποφάσεις.

Η έννοια της αυθεντικής αξιολόγησης τονίζει επίσης ρεαλιστική πνευματική εργασία, γνωστική πρόκληση, αυτονομία του φοιτητή, ανατροφοδότηση και κοινωνική ή επαγγελματική αυθεντικότητα. Το να θωρακίσετε μια εργασία απέναντι στην ΤΝ χωρίς να την κάνετε πιο άξια κόπου σας αφήνει με την ίδια αξιολόγηση και επιπλέον δουλειά.

Περπατήστε την εργασία βήμα βήμα και ορίστε εκεί το όριο

Η μέθοδος σε επίπεδο εργασίας που το κάνει διαχειρίσιμο είναι αυτή που τεκμηριώνει ο McCorkle: καταγράψτε κάθε βήμα που εκτελεί ένας φοιτητής, ρωτήστε για κάθε βήμα «τι ακριβώς αξιολογώ;», και παράγετε το όριο της ΤΝ από την απάντηση, που είναι και ο τρόπος με τον οποίο οι προσδοκίες πίσω από το θέμα για τη μείωση της απάτης με ΤΝ γίνονται ρητές και εφαρμόσιμες.

Τρέξτε τη μία φορά στην πιο αμφιλεγόμενη εργασία σας και γράψτε το αποτέλεσμα στο φύλλο εργασίας. Ένα τυπικό αποτέλεσμα χωρίζει καθαρά: τα πρώιμα βήματα ανάκτησης και σύνταξης είναι εκεί όπου ζει το κατασκεύασμα και όπου το εργαλείο κάνει τη ζημιά, ενώ η μορφοποίηση, ο έλεγχος αναφορών και η γλωσσική επιμέλεια είναι βήματα όπου η χρήση εργαλείου είναι αόρατη στο κατασκεύασμά σας και πιθανώς πρέπει να επιτρέπεται ανεπιφύλακτα. Οι γενικές άδειες και οι γενικές απαγορεύσεις αποτυγχάνουν και οι δύο γιατί η απάντηση διαφέρει γνήσια ανά βήμα.

Κάντε τη ρουμπρίκα να πληρώνει τη διαδικασία

Οι Mohamed και Temimi αναδιατυπώνουν το ίδιο πρόβλημα ως πρόβλημα ατελούς πληροφόρησης και όχι ηθικής: ο φοιτητής ξέρει πώς παρήχθη η εργασία και το ίδρυμα βλέπει μόνο το προϊόν μαζί με μερικά ίχνη, άρα το σχεδιαστικό ερώτημα γίνεται ποια απάντηση του φοιτητή κάνει πιο ελκυστική κάθε περιβάλλον αξιολόγησης. Το μοντέλο περιοχών απόκρισης συγκρίνει τρεις επιλογές, καμία χρήση ΤΝ, δηλωμένη χρήση και κρυφή χρήση, και δείχνει ότι κανόνες, παρακολούθηση, αποκάλυψη και ανασχεδιασμός λειτουργούν μέσω διαφορετικών διαύλων και πετυχαίνουν μόνο όταν η πιο ελκυστική απάντηση ευθυγραμμίζεται με τον σκοπό της αξιολόγησης.

Δύο αποτελέσματα αφορούν άμεσα την αρχιτεκτονική. Η αποτροπή περνά μέσα από τη διακριτική ικανότητα ενός ανιχνευτή ανάμεσα σε κρυφή χρήση και νόμιμη εργασία, και όχι από το ακατέργαστο ποσοστό σύλληψης, άρα όταν τα ψευδώς θετικά ανεβαίνουν γρηγορότερα από τα αληθώς θετικά, ισχυρότερη παρακολούθηση μπορεί να κάνει την απόκρυψη σχετικά πιο ελκυστική. Και ο ανασχεδιασμός κινεί τους φοιτητές προς υπεύθυνη χρήση μόνο όταν η ρουμπρίκα επιβραβεύει πραγματικά τεκμήρια διαδικασίας· αλλιώς μένει καλλωπιστικός. Ο πρακτικός τους κανόνας είναι να σχεδιάζετε για τον φοιτητή που είναι περισσότερο πειρασμένος να κρύψει και όχι για τον πιο ευσυνείδητο.

Αν μια παράγραφος αιτιολόγησης, ένα ημερολόγιο αναθεωρήσεων ή ένας στοχασμός πάνω σε μια απορριφθείσα πρόταση ΤΝ δεν φέρει μονάδες, θα γραφτεί σε πέντε λεπτά και δεν θα το διαβάσει κανείς. Δώστε στα τεκμήρια διαδικασίας αρκετό βάρος ώστε ένας φοιτητής που τα παραλείπει να χάνει περισσότερα από όσα κερδίζει παραλείποντάς τα, και περιγράψτε πώς μοιάζει ένα καλό τεκμήριο διαδικασίας με την ίδια ακρίβεια που χρησιμοποιείτε για το προϊόν.

Η διακύμανση εργασίας ανά φοιτητή εξαρτάται από την ικανότητα και δεν είναι δωρεάν

Μια δημοφιλής αρχιτεκτονική χωρίς παρακολούθηση είναι η διακύμανση εργασίας ανά φοιτητή, όπου κάθε εξεταζόμενος παίρνει μια επιφανειακά διακριτή αλλά ισοδύναμη ως προς το κατασκεύασμα εκδοχή της ίδιας εργασίας, ώστε οι απαντήσεις να μην μπορούν να μοιραστούν χρήσιμα. Το VARIA, ένα σημείο αναφοράς 600 παραγόμενων παραλλαγών σε 60 κελιά συνθηκών, βρήκε τα μοντέλα αιχμής να συγκεντρώνονται σφιχτά σε μια κοινή βαθμολογία ακεραιότητας (0,81-0,88) ενώ οι αναφορές εκτός αιχμής καταρρέουν στο 0,50-0,55, και ότι καμία μεμονωμένη στρατηγική προτροπής δεν βελτιστοποιεί ταυτόχρονα την επιφανειακή ποικιλομορφία και την ισοδυναμία κατασκευάσματος. Η διακύμανση σε κλίμακα δεν μπορεί να υποτεθεί μόνο από την προτροπή, άρα ένα ίδρυμα πρέπει να επικυρώσει το δικό του ζεύγος μοντέλου και προτροπής πριν θεωρήσει την εγγύηση πραγματική.

Για μια απόφαση σε επίπεδο μαθήματος αυτό σημαίνει μία δοκιμή πριν δεσμευτείτε: παράγετε ένα σύνολο παραλλαγών από μια δική σας εργασία, ζητήστε από συνάδελφο να βαθμολογήσει δύο από αυτές για την ίδια ικανότητα, και συγκρίνετε. Αν οι βαθμοί αποκλίνουν στις παραλλαγές, ο ισχυρισμός ισοδυναμίας δεν ισχύει για την εργασία σας και η προστασία από τις κοινές απαντήσεις πληρώνεται με αδικία.

Ο ανασχεδιασμός σπάνια γίνεται εργασία προς εργασία

Σε μια ποιοτική μελέτη 12 ακαδημαϊκών και 17 φοιτητών σε μεγάλο αυστραλιανό πανεπιστήμιο, οι Nicola-Richmond και συν. βρήκαν ότι και οι δύο ομάδες συμφωνούσαν πως η αξιολόγηση πρέπει να αλλάξει, αλλά τόνιζαν τη συστημική τριβή: μεγάλους χρόνους προετοιμασίας, περιορισμούς διαπίστευσης μεγάλων κοόρτων, φόρτο εργασίας και κόστος. Κατέληξαν ότι ο ανασχεδιασμός χρειάζεται ένα χωριό, δηλαδή μια ομάδα σε επίπεδο προγράμματος που συνδυάζει εμπειρία σχεδιασμού αξιολόγησης, παραγωγικής ΤΝ, γνωστικού αντικειμένου, βιομηχανίας και τεκμηρίων, με σημεία επάρκειας σε GenAI και διασφάλισης της μάθησης τοποθετημένα στρατηγικά σε όλη τη διάρκεια ενός τίτλου σπουδών. Αν είστε ένας διδάσκων με ένα μάθημα, αυτό το εύρημα είναι προειδοποίηση για το τι θα σας καθυστερήσει και λόγος να φέρετε τον υπεύθυνο του προγράμματος στην πρώτη συζήτηση και όχι στην τελευταία.

Ο σκοπός μετράει όσο και η μηχανική. Οι El Khoury και Ma υποστηρίζουν ότι η μεταρρύθμιση που οργανώνεται μόνο γύρω από την πρόληψη της παραβατικότητας είναι υπερβολικά αμυντική και προτείνουν τη χαρούμενη αξιολόγηση, ασφαλή, συναισθηματικά ανταποκρινόμενη, ενδυναμωτική και υποστηρικτική της αυτονομίας του φοιτητή, στην οποία η ακεραιότητα είναι συνέπεια του καλού σχεδιασμού και όχι αφετηρία του. Το επεξεργασμένο παράδειγμά τους χρησιμοποιεί έναν πράκτορα ΤΝ φτιαγμένο από τον διδάσκοντα για να εξασκήσει τους φοιτητές πριν από την κρίση και να παράγει έκθεση τεκμηρίων ευθυγραμμισμένη με τη ρουμπρίκα, αλλά ο καταμερισμός της εργασίας δηλώνεται καθαρά: η ΤΝ οργανώνει τα τεκμήρια, ο διδάσκων τα ερμηνεύει.

Τι θα σας αντιπαρατεθεί

«Δεν έχω τις ώρες για προφορικούς ελέγχους.» Τότε μην τους κάνετε σε όλα. Ένα πιστοποιημένο στοιχείο στην εργασία με το μεγαλύτερο ρίσκο, μαζί με έναν δειγματοληπτικό έλεγχο σε εργασίες που φαίνονται ασυνεπείς με προηγούμενες υποβολές, αντιμετωπίζει το μεγαλύτερο μέρος του κινδύνου με κλάσμα του κόστους. Τα κλιμακώσιμα στοιχεία είναι οι σταδιακές υποβολές και οι σχολιασμένες αιτιολογήσεις.

«Η διαπίστευση και η έγκριση προγράμματος δεν θα κινηθούν τόσο γρήγορα.» Η μελέτη παραπάνω ονομάζει τους μεγάλους χρόνους προετοιμασίας και τους περιορισμούς διαπίστευσης μεγάλων κοόρτων ως την κεντρική τριβή. Ένα μόνο μάθημα μπορεί να αλλάξει τι συμβαίνει μέσα σε μια υπάρχουσα αξιολόγηση χωρίς να αλλάξει το όνομά της, το βάρος της ή τα μαθησιακά της αποτελέσματα, και αυτό συνήθως αρκεί για να ξεκινήσετε.

«Αυτό τιμωρεί τους αγχώδεις φοιτητές και τους φοιτητές με αναπηρίες.» Μπορεί. Τα ζωντανά προφορικά στοιχεία χρειάζονται προσαρμογές σχεδιασμένες εκ των προτέρων, επιλογή μορφής όπου το επιτρέπει το κατασκεύασμα, και προσοχή στη γλωσσική διαφορά και την προκατάληψη του αξιολογητή. Επαληθεύστε την ικανότητα, όχι τις συνθήκες της επίδειξης.

«Απλώς να αγοράσουμε έναν ανιχνευτή.» Το αποτέλεσμα της διακριτικής ικανότητας λέει αντίθετα για τη χρήση του ως ραχοκοκαλιά του σχεδιασμού: αν τα ψευδώς θετικά ανεβαίνουν γρηγορότερα από τα αληθώς θετικά, ισχυρότερη παρακολούθηση κάνει την απόκρυψη σχετικά πιο ελκυστική. Η ανίχνευση μπορεί να έχει θέση σε μια απάντηση που ανασχεδιάζει και την εργασία, και το θέμα για το αν πρέπει να χρησιμοποιούμε ανιχνευτές ΤΝ καλύπτει αυτό το επιχείρημα.

«Οι φοιτητές θα χρησιμοποιήσουν ΤΝ ούτως ή άλλως.» Θα χρησιμοποιήσουν, και το σχεδιαστικό ερώτημα είναι ποια απάντηση κάνει ευκολότερη η εργασία σας. Αν η αποκάλυψη δεν κοστίζει τίποτα στον φοιτητή και η ρουμπρίκα πληρώνει τη διαδικασία, οι περισσότεροι τη δέχονται· αν η αποκάλυψη προκαλεί υποψία, η απόκρυψη γίνεται η ορθολογική επιλογή.

Τι να κάνετε αυτή την εβδομάδα

1. Γράψτε μία πρόταση που ονομάζει την ικανότητα που βαθμολογεί η επόμενη μεγάλη εργασία σας. Βάλτε τη στο φύλλο εργασίας.

2. Διαλέξτε το φθηνότερο πιστοποιημένο βήμα που μπορείτε να συντηρήσετε, και προσθέστε το σε εκείνη την εργασία.

3. Καταγράψτε τα βήματα της εργασίας και σημειώστε καθένα ως φέρον ή μη φέρον κατασκεύασμα. Επιτρέψτε την ΤΝ εκεί όπου δεν είναι, περιορίστε την εκεί όπου είναι.

4. Προσθέστε τεκμήρια διαδικασίας στη ρουμπρίκα με μονάδες, και πείτε πώς μοιάζει το καλό.

5. Πάρτε την αλλαγή στον υπεύθυνο του προγράμματος και σε όποιο γραφείο εγκρίνει προσαρμογές, πριν αρχίσει το εξάμηνο και όχι μετά την πρώτη ένσταση.

Πού να πάτε μετά

Το επιχείρημα εγκυρότητας πίσω από όλη τη σελίδα βρίσκεται στην εγκυρότητα αξιολόγησης· το συνοδευτικό από την πλευρά της επιβολής είναι το θέμα για τη μείωση της απάτης με ΤΝ, με την πολιτική ΤΝ για το μάθημα δίπλα του. Το θέμα για τις βέλτιστες πρακτικές διδασκαλίας της γραφής με ΤΝ καλύπτει τη διατύπωση που ακολουθούν πραγματικά οι φοιτητές, και το θέμα για την αξιολόγηση παρεμβάσεων καλύπτει αν το εργαλείο γύρω από το οποίο σχεδιάζετε λειτουργεί καθόλου.