Ποια είναι τα 10 κορυφαία ευρήματα της έρευνας για την ΤΝ στην εκπαίδευση που πρέπει να γνωρίζουν οι διδάσκοντες;

Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.

Είναι η εβδομάδα πριν από την έναρξη του εξαμήνου, ή η εβδομάδα μετά την πρώτη μεγάλη παράδοση, και κάποιος σας ρώτησε κάτι στο οποίο δεν μπορείτε να απαντήσετε από την εμπειρία σας: τι επιτρέπεται να κάνουν οι φοιτητές με την ΤΝ σε αυτή την εργασία, και τι αποδεικνύει τότε ο βαθμός. Ίσως μια εργασία που γράφτηκε στο σπίτι επέστρεψε τόσο γυαλισμένη που δεν ταιριάζει με την προηγούμενη δουλειά του φοιτητή. Ίσως το τμήμα σας συντάσσει πολιτική για την ΤΝ και θέλει το μάθημά σας να συμμορφωθεί μέχρι την Παρασκευή. Ίσως ένας φοιτητής αμφισβητεί έναν βαθμό και δεν μπορείτε να δείξετε τι αποδεικνύει η εργασία.

Το βασικό συμπέρασμα από την έρευνα που έχει συγκεντρώσει αυτή η βάση γνώσης: ο τρόπος με τον οποίο ενσωματώνετε την παραγωγική ΤΝ στη δραστηριότητα καθορίζει αν αυτή ενισχύει τη σκέψη ή την αντικαθιστά. Ο μοχλός που ελέγχετε είναι ο σχεδιασμός της εργασίας. Το κριτήριο κάθε σχεδιασμού είναι τι μπορούν ακόμη να κάνουν οι φοιτητές όταν το εργαλείο λείπει. Τα δέκα ευρήματα από τα οποία παίρνει τον τίτλο της η σελίδα βρίσκονται παρακάτω, ταξινομημένα κατά την απόφαση που ενημερώνει το καθένα.

Η σύντομη εκδοχή

1. Ονομάστε τη σκέψη που υπάρχει η εργασία για να παράγει, και μετά δώστε στην ΤΝ μια δουλειά που δεν εκτελεί αυτή τη σκέψη.

2. Ορίστε τον κανόνα για την ΤΝ ανά εργασία και όχι ανά μάθημα, και γράψτε τον λόγο δίπλα του, εκεί όπου θα τον διαβάσουν οι φοιτητές.

3. Βάλτε τουλάχιστον ένα βαθμολογούμενο βήμα σε κάθε ενότητα, το οποίο ο φοιτητής ολοκληρώνει χωρίς ΤΝ παρούσα.

4. Κρίνετε τη δραστηριότητα από το τι μπορούν να κάνουν οι φοιτητές εβδομάδες αργότερα, χωρίς βοήθεια, και όχι από την ποιότητα αυτού που παραδίδουν.

5. Ρωτήστε πώς χρησιμοποίησαν οι φοιτητές το εργαλείο, και βαθμολογήστε την επαλήθευση και όχι τις εισόδους στο σύστημα.

6. Δείτε ποιους φοιτητές βοηθά ο σχεδιασμός, γιατί ένας μέσος όρος κρύβει εκείνους που αφήνει πίσω.

Αποφασίστε για τι υπάρχει η εργασία

Γράψτε μία πρόταση που ονομάζει την ικανότητα πριν αγγίξετε το εργαλείο: τι θα πρέπει να μπορεί να κάνει ένας φοιτητής στο τέλος αυτής της ενότητας που δεν μπορούσε στην αρχή; Η απάντηση μπορεί να είναι: να συγκροτεί επιχείρημα από τεκμήρια, να γράφει μια απόδειξη, να καταλήγει σε μια διάγνωση, να παίρνει μια σχεδιαστική απόφαση υπό περιορισμούς. Αν δεν μπορείτε να την ονομάσετε, ο κανόνας για την ΤΝ θα είναι αυθαίρετος και οι φοιτητές θα το αντιληφθούν.

Δύο γραμμές εργασίας εξηγούν γιατί αυτό έρχεται πρώτο. Η παραγωγική αποτυχία είναι το εύρημα ότι οι εκπαιδευόμενοι συχνά συγκρατούν περισσότερα όταν επιχειρούν ένα πρόβλημα πριν τους δειχθεί πώς, άρα η τριβή είναι μερικές φορές ο μηχανισμός και όχι ένα εμπόδιο προς απομάκρυνση. Το πλαίσιο ICAP προβλέπει διαφορετική μάθηση από την παθητική, την ενεργητική, την εποικοδομητική και τη διαδραστική χρήση του ίδιου υλικού. Και τα δύο δείχνουν σε ένα σχεδιαστικό ερώτημα: τι κάνει ο φοιτητής όσο το εργαλείο είναι ανοιχτό;

Η πιο καθαρή απεικόνιση στο σώμα κειμένων προέρχεται από μια σύγκριση ενός chatbot με θεωρητική βάση, που παρείχε στηρικτική υποστήριξη στις εξηγήσεις των φοιτητών, με το συνηθισμένο ChatGPT και με τη συνήθη διδασκαλία. Οι άμεσες διαφορές δεν ήταν σημαντικές. Τέσσερις εβδομάδες αργότερα, η ομάδα με τη στηρικτική υποστήριξη συγκράτησε περισσότερη εννοιολογική γνώση. Πρόκειται για μία μελέτη και όχι για καθολικό αποτέλεσμα, και το χρήσιμο περιεχόμενό της είναι το σχήμα του αποτελέσματος: ο σχεδιασμός μπορεί να υπερβεί την ικανότητα του μοντέλου, γιατί αυτό που χώριζε τις συνθήκες ήταν το τι ζητούσε η δραστηριότητα από τους φοιτητές.

Η συστηματική ανασκόπηση 72 μελετών εκπαίδευσης στην πληροφορική με κρίση ομοτίμων καταλήγει στο ίδιο επίπεδο από την άλλη κατεύθυνση. Ονομάζει την κριτική ενασχόληση με την παραγωγή της ΤΝ «τον κοινό μηχανισμό που συνδέει κάθε αποτελεσματική παρέμβαση στο σώμα κειμένων» και συνιστά σταδιακή πρόσβαση, δηλαδή εισαγωγή της παραγωγικής ΤΝ μόνο αφού έχει αποδειχθεί θεμελιώδης επάρκεια. Καμία από τις δύο θέσεις δεν αφορά το ποιο προϊόν θα αδειοδοτήσετε.

Δώστε στην ΤΝ μια δουλειά που δεν είναι η σκέψη που βαθμολογείτε

Δεκαετίες έρευνας για την ευφυή διδασκαλία περιγράφουν το μοτίβο που λειτουργεί: διάγνωση του τι κατανοεί ο φοιτητής, ερωτήσεις, σταδιακές υποδείξεις, αίτημα για εξήγηση, ανατροφοδότηση. Όλα εκτός από την παράδοση της λύσης. Η τρέχουσα εργασία για παιδαγωγικούς πράκτορες χαράσσει την ίδια γραμμή ανάμεσα στη διδακτική συμπεριφορά και την παραγωγή απαντήσεων, και η αναλογία με τον Thermomix το κάνει συγκεκριμένο. Μια συσκευή μπορεί να μαγειρέψει για εσάς, οπότε χάνετε τη δεξιότητα, ή μπορεί να λειτουργήσει ως συνεργάτης δοκιμής για ιδέες που πρέπει ακόμη να κατανοήσετε. Αυτές οι λειτουργίες αντιστοιχούν στο ICAP: παθητική, ενεργητική, εποικοδομητική, διαδραστική.

Στενά εργαλεία δείχνουν την ίδια αρχή. Ένας διδάσκων που διαβάζει δομικά διαγράμματα μηχανικής έφτασε σε F1 93,0% στο επίπεδο των ακμών έναντι 89,3% ακρίβειας στο επίπεδο όλου του διαγράμματος, που σημαίνει ότι μπορεί να ονομάσει τις συγκεκριμένες συνδέσεις που λείπουν ή διαβάστηκαν λάθος, ακόμη και όταν όλο το διάγραμμα είναι λανθασμένο. Αυτή είναι ανατροφοδότηση πάνω στην οποία μπορεί να δράσει ο φοιτητής, αντί για επιτυχία ή αποτυχία.

Το δυσκολότερο ερώτημα είναι τι επιτρέπεται να προτείνει ο διδάσκων. Όταν μια συζήτηση πολλαπλών πρακτόρων αντικατέστησε το «να η απάντηση της ΤΝ» με μια συζήτηση της οποίας η δική της προτιμώμενη θέση κρατιόταν κρυφή, η επιζήμια μεταστροφή σε λανθασμένη θέση της ΤΝ έπεσε από 42-60,5% σε 5,7-8,2%. Η υιοθέτηση σωστής θέσης της ΤΝ επίσης έπεσε, από 61,1-72,3% σε 22,1-33,3%. Η απόκρυψη μιας σύστασης προστατεύει την αρχική κρίση του φοιτητή και αφήνει τη διόρθωση στη διαβούλευση, άρα ο σχεδιασμός ανταλλάσσει τη διόρθωση σφάλματος με λιγότερες σίγουρες λανθασμένες στροφές. Αποφασίστε ποιο από τα δύο θέλετε από την ανταλλαγή πριν γράψετε την προτροπή.

Στην τάξη αυτό είναι φθηνό στην εφαρμογή. Μια σωκρατική ακολουθία είναι το μοτίβο στο οποίο πρέπει να στοχεύετε, με το εργαλείο να ρωτά αντί να απαντά. Πείτε στους φοιτητές να ζητούν «μία υπόδειξη», «κάνε μου ερωτήσεις» ή «κρίνε τον συλλογισμό μου», και κάντε το «λύσε το» την ασυνήθιστη περίπτωση. Αλλάζετε το προεπιλεγμένο ρήμα της αλληλεπίδρασης, που είναι το κομμάτι που ελέγχουν πραγματικά οι φοιτητές.

Ένα όριο αξίζει να ειπωθεί καθαρά. Το μεγαλύτερο μέρος αυτών των τεκμηρίων προέρχεται από σύντομες εργασίες σε λίγα μαθήματα, και τίποτα από αυτά δεν υπόσχεται ότι ένας διδάσκων που δίνει υποδείξεις θα ανεβάσει τους βαθμούς στις εξετάσεις του τμήματός σας. Για εκείνο το ερώτημα χρειάζεστε την τυχαιοποιημένη δοκιμή που συζητείται παρακάτω, και το αποτέλεσμά της είναι νηφάλιο.

Ορίστε τον κανόνα στην εργασία και πείτε γιατί

Ένα χρήσιμο πλαίσιο ξεχωρίζει τρεις περιπτώσεις. Περιορίστε την ΤΝ όταν αυτό που μετράτε είναι η ανεξάρτητη επάρκεια. Δώστε στηρικτική υποστήριξη όταν η περιορισμένη βοήθεια δεν υπονομεύει αυτή την επάρκεια. Απαιτήστε την όταν η επιδέξια συνεργασία ανθρώπου και ΤΝ είναι αυτό που πρέπει να μάθουν οι φοιτητές. Τα περισσότερα μαθήματα περιέχουν και τις τρεις περιπτώσεις, σε διαφορετικές εβδομάδες, και γι' αυτό ένας ενιαίος κανόνας σε επίπεδο μαθήματος αποτυγχάνει συνεχώς στις άκρες.

Η μελέτη μεικτών μεθόδων 85 φοιτητών εκπαιδευτικών δείχνει τι παράγει ένας κανόνας χωρίς λόγο. Το 62,4% του δείγματος αρνήθηκε να χρησιμοποιήσει παραγωγική ΤΝ ακόμη και εκεί όπου επιτρεπόταν, και το 41,5% όσων αρνήθηκαν επικαλέστηκε φόβο κατηγορίας για λογοκλοπή. 9 από τους 11 συνεντευξιαζόμενους διάβασαν την επιτρεπτική πολιτική την ίδια ως παγίδα. Στην ίδια μελέτη μόνο το 37,6% χρησιμοποίησε καθόλου επιτρεπόμενη παραγωγική ΤΝ, οι επιλογές τους ακολουθούσαν την κουλτούρα του προγράμματος και τον σχεδιασμό αξιολόγησης περισσότερο από την άδεια οποιουδήποτε μαθήματος, και οι δικές τους δηλώσεις αποκάλυψης υποδήλωναν την πραγματική χρήση σε κάθε μάθημα.

Διαβάστε αυτούς τους αριθμούς ως προδιαγραφή σχεδιασμού. Μια άδεια χωρίς δηλωμένο σκοπό μοιάζει με στήσιμο, και μια απαγόρευση χωρίς δηλωμένο σκοπό μοιάζει με εμπόδιο για παράκαμψη. Αυτό στο οποίο ανταποκρίνονται οι φοιτητές είναι ο συλλογισμός που συνοδεύει αυτή τη συγκεκριμένη εργασία. Βάλτε τον κανόνα στο φύλλο εργασίας, μία γραμμή, και κάντε τη γραμμή αρκετά συγκεκριμένη ώστε ένας φοιτητής να μπορεί να καταλάβει αν η βοήθεια που πρόκειται να δεχτεί υπονομεύει αυτό που βαθμολογείτε.

Βαθμολογήστε κάτι που έφτιαξε ο φοιτητής χωρίς το εργαλείο

Αυτό είναι το βήμα που κάνει τη δουλειά, και τα τεκμήρια εδώ είναι τα λιγότερο αμφίσημα της σελίδας.

Η ανασκόπηση των 72 μελετών βρήκε ότι η παραγωγική ΤΝ αύξησε αξιόπιστα τη βραχυπρόθεσμη ολοκλήρωση και μείωσε τον χρόνο στην εργασία σε 36 μελέτες, κάτι που οι συγγραφείς θεωρούν το καλύτερα αναπαραγμένο αποτέλεσμα στο σώμα κειμένων, και ότι αυτά τα κέρδη αποδοτικότητας «δεν μεταφέρονται στην ανεξάρτητη επίδοση» σε 21 μελέτες. Μια μελέτη σκέψης φωναχτά με 38 προπτυχιακούς φοιτητές δείχνει πώς συμβαίνει αυτό στη συνηθισμένη περίπτωση. Η γνωστική εκφόρτωση βλάπτει περισσότερο τη μάθηση όταν η ΤΝ εκτελεί τον συλλογισμό που ο φοιτητής έπρεπε να εξασκήσει. Εκεί, το 76,32% έμεινε σε μοτίβο μίας στροφής, ρώτησε, πήρε απάντηση, σταμάτησε, και μόνο το 21,06% εναλλάσσει τη χρήση ΤΝ με ανεξάρτητη ανάγνωση και σύνταξη. Η μεγαλύτερη ομάδα, 31 από 38, περιέγραψε στόχους κυριαρχίας, δούλεψε σε κατακερματισμένες μεμονωμένες στροφές και μετά ανέφερε υπερεξάρτηση, νοητικό εφησυχασμό και γρήγορη λήθη. Ένας από αυτούς το διατύπωσε ως «η ταχύτητα με την οποία το ξεχνάς είναι επίσης πολύ μεγάλη». Μια εργασία πλαισίου του 2026 δίνει όνομα στο μοτίβο. Οι βαθμοί και τα προϊόντα ανεβαίνουν, ενώ η νοητική εργασία που παράγει διαρκή μάθηση πέφτει.

Η τυχαιοποιημένη δοκιμή κλείνει το επιχείρημα για τουλάχιστον ένα περιβάλλον. Μια δοκιμή τριών σκελών με 275 φοιτητές CS1 συνέκρινε έναν διδάσκοντα που δίνει υποδείξεις και κρατά τις πλήρεις λύσεις, το απεριόριστο ChatGPT και παραδοσιακούς διαδικτυακούς πόρους. Οι βαθμοί στις ασκήσεις χωρίστηκαν απότομα: 71,84% για το ChatGPT έναντι 29,85% για την ομάδα ελέγχου χωρίς ΤΝ, με τον διδάσκοντα που δίνει υποδείξεις στο 57,50%. Τα κέρδη εννοιολογικής γνώσης δεν διέφεραν καθόλου ανάμεσα στα τρία σκέλη, στα 0,83, 0,71 και 0,85 μονάδες (χρόνος × ομάδα p = 0,773). Και οι δύο συνθήκες ΤΝ μείωσαν την απογοήτευση και τον εξωτερικό φόρτο, και μόνο ο διδάσκων που δίνει υποδείξεις αύξησε τα εσωτερικά κίνητρα. Το εργαλείο που οι φοιτητές αξιολόγησαν ως πιο βοηθητικό και ευκολότερο ήταν επίσης εκείνο που περισσότερο μείωσε την επεξεργασία που παράγει μάθηση.

Προσέξτε τι δεν μπορεί να στηρίξει αυτός ο σχεδιασμός. Είναι ένα μάθημα, ένα εξάμηνο, μία γλώσσα, και οι βαθμοί στις ασκήσεις είναι επίδοση με υποβοήθηση εκ κατασκευής, ακριβώς το μέτρο κατά της εμπιστοσύνης στο οποίο προειδοποιεί η μελέτη. Δεν δείχνει ότι οι διδάσκοντες είναι άχρηστοι. Δείχνει ότι το αποτέλεσμα που επιλέγετε να μετρήσετε καθορίζει την απάντηση που παίρνετε, και ότι η προτίμηση των φοιτητών δεν είναι μέτρο μάθησης.

Άρα βαθμολογήστε την εκδοχή χωρίς βοήθεια. Μία εργασία ανά ενότητα όπου οι φοιτητές ανακαλούν, εξηγούν, λύνουν ή υπερασπίζονται ιδέες χωρίς ΤΝ παρούσα, και βάλτε πραγματικές μονάδες πάνω της. Το επιχείρημα εγκυρότητας πίσω από αυτό βρίσκεται στην εγκυρότητα αξιολόγησης: ένα γυαλισμένο προϊόν που φτιάχτηκε στο σπίτι δεν δείχνει πλέον ότι το πρόσωπο που το υπέβαλε έχει την επάρκεια που εμφανίζει το προϊόν. Η σελίδα για τον ανασχεδιασμό της αξιολόγησης στην εποχή της ΤΝ αναπτύσσει όλη την αρχιτεκτονική, συμπεριλαμβανομένου του φθηνού πιστοποιημένου βήματος για μεγάλα μαθήματα.

Αλλάξτε την εργασία που έχετε ήδη, όχι όλο το μάθημα

Οι περισσότεροι διδάσκοντες που κάνουν αυτό το ερώτημα δεν χτίζουν νέο μάθημα. Έχουν μια εξαμηνιαία εργασία, μια αναφορά εργαστηρίου ή ένα σύνολο ασκήσεων που λειτουργεί χρόνια, και θέλουν να ξέρουν πού να βάλουν τη ραφή. Πάρτε την εργασία βήμα βήμα, ρωτήστε για κάθε βήμα τι αξιολογείτε εκεί, και αφήστε την απάντηση να ορίσει το όριο. Αυτή είναι η μέθοδος σε επίπεδο εργασίας που τεκμηριώνεται στο έργο του McCorkle για ευθυγραμμισμένη πολιτική μαθήματος, και ένα πέρασμα από την πιο αμφιλεγόμενη εργασία σας συνήθως αρκεί για να δείτε το σχήμα της.

Μια εξαμηνιαία εργασία δέκα σελίδων συνήθως χωρίζεται έτσι. Η επιλογή θέματος και η ανάκτηση πηγών είναι εκεί όπου ζει η κρίση, άρα ένα εργαλείο που προτείνει μια θέση ή συναρμολογεί τη λίστα ανάγνωσης έχει εκτελέσει το κομμάτι που βαθμολογείτε. Η σύνθεση και το επιχείρημα είναι το ίδιο το κατασκεύασμα. Η μορφοποίηση παραπομπών, ο έλεγχος αναφορών και η γλωσσική επιμέλεια είναι βήματα όπου η χρήση εργαλείου είναι αόρατη στο κατασκεύασμά σας, και η απαγόρευσή της εκεί δεν σας αγοράζει τίποτα εκτός από δυσαρέσκεια. Πείτε το αυτό στο φύλλο εργασίας, βήμα βήμα, σε έναν σύντομο πίνακα αν θέλετε.

Μετά κάντε το μεσαίο βήμα ορατό. Ζητήστε μια σχολιασμένη αιτιολόγηση μίας σελίδας, που υποβάλλεται με την εργασία, η οποία ονομάζει δύο πηγές που ο φοιτητής απέρριψε και γιατί, έναν ισχυρισμό που αναθεώρησε αφού τον έλεγξε, και πού επέλεξε να μην ακολουθήσει μια πρόταση. Βαθμολογήστε τη με την ίδια ακρίβεια που χρησιμοποιείτε για το κείμενο. Μια αιτιολόγηση έχει βάρος μόνο αν ένας φοιτητής που την παραλείπει χάνει περισσότερα από όσα κερδίζει παραλείποντάς την, άρα δώστε της αρκετές μονάδες ώστε η αριθμητική να είναι προφανής.

Ένα σύνολο ασκήσεων είναι ευκολότερο και η ραφή βρίσκεται σε άλλο σημείο. Οι απαντήσεις δεν είναι το κατασκεύασμα· η επιλογή μεθόδου και η διάγνωση σφάλματος είναι. Απαιτήστε το πρώτο βήμα κάθε προβλήματος, με τα λόγια του φοιτητή, πριν ανοιχτεί οποιοδήποτε εργαλείο, και λύστε ένα πρόβλημα του συνόλου στην τάξη χωρίς τίποτα διαθέσιμο. Αυτή είναι μικρότερη αλλαγή από ό,τι ακούγεται, και μετατρέπει το σύνολο από προϊόν που δεν μπορείτε να επαληθεύσετε σε αρχείο του πώς σκέφτηκε ο φοιτητής.

Για μια αναφορά εργαστηρίου, η ραφή είναι συνήθως η ερμηνεία δεδομένων και η ανάλυση σφάλματος. Αφήστε το εργαλείο να μορφοποιήσει τον πίνακα και να ελέγξει τις μονάδες. Κρατήστε την ερμηνεία, την επιλογή του τι θεωρείται ανώμαλο και την εξήγηση της απόκλισης από το αναμενόμενο αποτέλεσμα στα χέρια του φοιτητή, και βαθμολογήστε τα με μονάδες.

Το μοτίβο γενικεύεται: εντοπίστε το βήμα όπου ζει η ικανότητα, προστατέψτε το βήμα, ελευθερώστε τα υπόλοιπα, και βάλτε τα τεκμήρια της διαδικασίας εκεί όπου είναι οι μονάδες. Αυτό που αποφεύγετε είναι ο ανασχεδιασμός που αλλάζει το πώς παράγεται η εργασία χωρίς να αλλάζει το τι μπορεί να στηρίξει ο βαθμός.

Κρίνετε τα εργαλεία ανατροφοδότησης και βαθμολόγησης από τη μεταγενέστερη επίδοση

Η ανατροφοδότηση από ΤΝ μπορεί να είναι έγκαιρη, συγκεκριμένη, κλιμακώσιμη και αποδεκτή από τους φοιτητές, και στην τριτοβάθμια εκπαίδευση. Το αν διδάσκει εξαρτάται από την ακρίβεια, την παιδαγωγική καταλληλότητα και την επάρκεια ανατροφοδότησης των φοιτητών, δηλαδή την ικανότητά τους να κρίνουν την ανατροφοδότηση και να δρουν βάσει αυτής. Αν τη ζυγίζετε για ανατροφοδότηση ή βαθμολόγηση, οι αριθμοί παρακάτω είναι αυτοί που πρέπει να φέρετε στη συζήτηση προμήθειας.

Μια κριτική ανάλυση 14 εγγράφων καθοδήγησης ιδρυμάτων βρήκε ότι οι γενικές προτροπές παράγουν μαθησιακά αποτελέσματα, δραστηριότητες και αξιολογήσεις απομονωμένα. Το εργαλείο δεν μπορεί να γνωρίζει πόσο διασυνδεδεμένο είναι ένα θέμα, άρα η ανατροφοδότησή του μένει γενική αντί για διαγνωστικά ακριβής.

Η διαμόρφωση ρυθμίσεων κινεί την ποιότητα, μετρήσιμα. Σε μια μελέτη ανατροφοδότησης από ΤΝ για μαθησιακούς στόχους, το μοντέλο μόνο του εξήγησε το 26,9% της διακύμανσης στην ποιότητα της ανατροφοδότησης και η προσθήκη της προτροπής το ανέβασε στο 42,8%, δηλαδή επιπλέον 15,9%. Το μόνο χαρακτηριστικό της προτροπής που είχε σημασία ήταν η ορολογία ειδική για το γνωστικό αντικείμενο· η αντικατάστασή της με καθημερινές παραφράσεις έκανε την ανατροφοδότηση σημαντικά χειρότερη. Η επιλογή μοντέλου είχε επίσης σημασία: το Claude 3 και το Gemini Advanced παρήγαγαν ανατροφοδότηση με σημαντικά χαμηλότερη αξιολόγηση από το ChatGPT-4.

Η βαθμολόγηση είναι ακόμη πιο επισφαλής. Μια σύγκριση 18 γλωσσικών μοντέλων που βαθμολόγησαν 6.081 υποβολές προγραμματισμού βρήκε μέσους βαθμούς από 0,290 έως 0,608 ανάλογα με το μοντέλο, με ποσοστά ακριβούς συμφωνίας έως και 0,20 για ορισμένα και 0,74 στην καλύτερη περίπτωση. Δύο φοιτητές με πανομοιότυπη εργασία μπορούν να βαθμολογηθούν διαφορετικά ανάλογα με το μοντέλο που αδειοδότησε το τμήμα.

Μετά υπάρχει το ερώτημα που νοιάζει τους φοιτητές, δηλαδή αν η ανατροφοδότηση αλλάζει αυτό που μπορούν να κάνουν αργότερα. Μια εφαρμογή ενός εξαμήνου σε προπτυχιακό μάθημα μαθηματικών με 343 φοιτητές αγγλόφωνους και 236 ολλανδόφωνους παρήγαγε εξατομικευμένα σχόλια και ασκήσεις εξάσκησης από φωτογραφημένα φύλλα απαντήσεων. Οι κριτές αξιολόγησαν τις ασκήσεις εξάσκησης ως το ισχυρότερο στοιχείο και τη διαγνωστική ακρίβεια και τη σαφήνεια ως τα ασθενέστερα. Η τυχαιοποιημένη διασταύρωση σε συνδεδεμένες ερωτήσεις εξέτασης δεν βρήκε στατιστικά σημαντική διαφορά μετά τη διόρθωση (pHolm = 0,104), και η παρακολούθηση ακολουθούσε τους βαθμούς εξέτασης πολύ καθαρότερα από την έκθεση στην ανατροφοδότηση (ρ = 0,49 και 0,54, και τα δύο p < 0,001). Η ανατροφοδότηση που οι φοιτητές εκτιμούν και αξιοποιούν δεν είναι η ίδια με την ανατροφοδότηση που παράγει μετρήσιμη μάθηση.

Υπάρχει ένα ακόμη εμπόδιο αν αφήσετε ένα μοντέλο να βαθμολογήσει. Σε μια μελέτη 1.426 διδακτορικών εργασιών ψυχολογίας που καλύπτουν δέκα ακαδημαϊκά έτη, και οι τέσσερις βαθμολογητές ΤΝ έδωσαν τη χαμηλότερη βαθμολογία σε κείμενα γραμμένα από φοιτητές και την υψηλότερη σε κείμενα γραμμένα από ΤΝ. 10 από τις 16 συγκρίσεις ήταν αρκετά μεγάλες ώστε διαφορές τέτοιου μεγέθους να είναι σπάνιες στην εκπαιδευτική έρευνα, μέχρι το μεγαλύτερο χάσμα που παρατηρήθηκε, και η προκατάληψη ήταν ισχυρότερη για κείμενο πλήρως παραγόμενο από ΤΝ. Ένας βαθμολογητής μπορεί να επιβραβεύσει ένα κείμενο επειδή μοιάζει με μηχανή, ακόμη και όταν οι οδηγίες του λένε να κρίνει το περιεχόμενο.

Ξεχωρίστε τους φοιτητές που βοηθά ο σχεδιασμός από εκείνους που αφήνει πίσω

Μια μέση βελτίωση μπορεί να κρύψει ένα μάθημα όπου οι δυνατοί γίνονται δυνατότεροι και οι αδύναμοι παίρνουν χειρότερη μεταχείριση. Το ψηφιακό χάσμα τρέχει τώρα σε τουλάχιστον τρεις γραμμές: πρόσβαση στα εργαλεία, δεξιότητα στη χρήση τους, και ποιος παίρνει πραγματικά ένα χρήσιμο αποτέλεσμα. Η δεξιότητα στην προτροπή μόνη της παράγει ένα «προνόμιο της προτροπής», όπου πιο έμπειροι χρήστες παίρνουν καλύτερη παραγωγή από το ίδιο σύστημα.

Η ανασκόπηση των 72 μελετών ξεχωρίζει δύο μηχανισμούς. Ένα χάσμα δεξιότητας εμφανίζεται όπου φοιτητές με ισχυρότερη προηγούμενη γνώση μετατρέπουν τη βοήθεια σε διαρκή κέρδη, ενώ λιγότερο προετοιμασμένοι φοιτητές την υποκαθιστούν για εξάσκηση. Ένα χάσμα πόρων εμφανίζεται όπου αξιόπιστο δίκτυο και πληρωμένη πρόσβαση στηρίζουν καλύτερη χρήση εργαλείων στα ιδρύματα. Μόνο έξι μελέτες στο σώμα κειμένων εξέτασαν άμεσα την ισότητα, κάτι που οι συγγραφείς θεωρούν το πρόβλημα και όχι μια υποσημείωση· η ισότητα στην εκπαίδευση με ΤΝ είναι εκεί όπου αναπτύσσεται αυτό το επιχείρημα.

Η βοήθεια μπορεί να κλείσει ένα χάσμα όταν οι φοιτητές που τη χρειάζονται είναι αυτοί που εμπλέκονται. Μια μελέτη τεσσάρων πειραμάτων με εκπαιδευόμενους που ανακαλύπτουν κρυφούς κανόνες με τη βοήθεια πράκτορα ΤΝ βρήκε ότι η βοήθεια μείωσε τις κινήσεις που χρειάζονταν κατά 33-52%, και το όφελος συγκεντρώθηκε στους ασθενέστερους, ενώ οι ισχυρότεροι εκπαιδευόμενοι έμειναν σε μεγάλο βαθμό ανεπηρέαστοι. Αυτή είναι η αισιόδοξη εκδοχή, και εξαρτάται από το ότι οι φοιτητές που χρειάζονται περισσότερο τη βοήθεια είναι αυτοί που τη χρησιμοποιούν καλά, κάτι που το χάσμα δεξιότητας υποδηλώνει ότι δεν θα καταφέρουν χωρίς διδασκαλία.

Κρατήστε τις αποφάσεις με συνέπειες σε έναν άνθρωπο

Η επάρκεια σε τεχνητή νοημοσύνη των διδασκόντων δεν βρίσκεται εκεί όπου η συζήτηση πολιτικής υποθέτει ότι βρίσκεται. Ανάμεσα σε εκπαιδευτικούς φυσικών επιστημών που είχαν ήδη ολοκληρώσει εκπαίδευση στην ΤΝ, η μέση επάρκεια σε τεχνητή νοημοσύνη ήταν 16,7 στα 30, κάτω από το 18,79 του δείγματος αναφοράς, και δεν σχετιζόταν με την ηλικία, το φύλο, τα έτη υπηρεσίας ή το πόσο είχαν χρησιμοποιήσει ΤΝ. Μια έρευνα σε 412 μελλοντικούς εκπαιδευτικούς μαθηματικών βρήκε ετοιμότητα σε πρώιμο στάδιο, με τις διδακτικές πεποιθήσεις υψηλότερες σε μέσο όρο 5,24 σε κλίμακα 7 σημείων και τη γνώση της τεχνολογίας ΤΝ χαμηλότερη στο 4,23.

Αυτό είναι επιχείρημα για περιορισμένα εργαλεία, όχι για αυτόνομα. Η ανάλυση των εγγράφων καθοδήγησης προτείνει έναν επαυξημένο με ανάκτηση πράκτορα διαμορφωμένο σε επίπεδο ιδρύματος, που καθοδηγεί τη σκέψη χωρίς να παρέχει απαντήσεις, επισημαίνει αναντιστοιχίες και κλιμακώνει σε άνθρωπο στις άκρες, με την εξουσία να περιγράφεται ως «παράγωγη και περιορισμένη». Υπάρχει άμεσο τεκμήριο για το να κρατάτε ανθρώπους μέσα στον βρόχο και όχι μπροστά του: ένα σύστημα παραγωγής υλικού μαθήματος βαθμολογήθηκε καλύτερα όταν οι άνθρωποι έμεναν παρόντες, με τη λειτουργία που έφερε τη μεγαλύτερη ανθρώπινη συμβολή να βελτιώνει τις βαθμολογίες των κριτών κατά 0,5-0,9 μονάδες έναντι της πλήρως αυτόνομης λειτουργίας. Οι αυτόνομοι κριτές του συγκεντρώθηκαν σφιχτά γύρω από το 2,9-3,1, ενώ οι ανθρώπινοι αξιολογητές απλώθηκαν και διαχώρισαν περισσότερο, άρα οι συγγραφείς κράτησαν την ανθρώπινη κρίση ως το κύριο σήμα ποιότητας.

Η πρακτική εκδοχή για ένα μάθημα: αφήστε την ΤΝ να συντάσσει, να ταξινομεί και να επισημαίνει. Κρατήστε την ακρίβεια, τη δικαιοσύνη, την ιδιωτικότητα και κάθε απόφαση για την πρόοδο ενός φοιτητή υπό ουσιαστική ανθρώπινη εποπτεία. Οι κίνδυνοι που το καθιστούν αναγκαίο είναι το γνωστό σύνολο: προκατάληψη, ιδιωτικότητα, διαφάνεια, αυτονομία του εκπαιδευόμενου, λογοδοσία και παιδαγωγική ασφάλεια. Αυτός ο κατάλογος εξηγεί γιατί η παιδαγωγική επάρκεια σε ΤΝ μετράει περισσότερο από την τεχνική εξοικείωση.

Τι κάνουν λάθος οι διδάσκοντες σε αυτό

«Η γυαλισμένη εργασία μπροστά μου είναι απόδειξη ότι ο φοιτητής μπορεί να την κάνει.» Είναι απόδειξη ότι η εργασία είναι γυαλισμένη. Το χάσμα 71,84% έναντι 29,85% στους βαθμούς ασκήσεων, με τα εννοιολογικά κέρδη επίπεδα στην ίδια δοκιμή, και οι 36 μελέτες της ανασκόπησης που βρήκαν αποδοτικότητα χωρίς μεταφορά, περιγράφουν όλα την απόσταση ανάμεσα στην επίδοση με υποβοήθηση και στην ικανότητα. Αν το προϊόν είναι το μόνο που βαθμολογείτε, το προϊόν είναι το μόνο που έχετε μετρήσει.

«Αν η ΤΝ είναι διδάσκων, είναι στη σωστή πλευρά της γραμμής.» Η ετικέτα δεν φέρει την εγγύηση. Στη δοκιμή CS1 ο διδάσκων που δίνει υποδείξεις απέφυγε τη ζημιά που προκάλεσε το απεριόριστο ChatGPT στις ασκήσεις, και παρόλα αυτά δεν παρήγαγε κανένα εννοιολογικό πλεονέκτημα έναντι της απουσίας ΤΝ. Η απόκρυψη της τελικής απάντησης δεν είναι το ίδιο με την απόκρυψη του συλλογισμού, και ένας διδάσκων μπορεί να κάνει το δεύτερο ενώ φαίνεται να κάνει μόνο το πρώτο.

«Ένας ανιχνευτής, ή ένας αυστηρότερος κανόνας, λύνει το πρόβλημα ακεραιότητας.» Η ανίχνευση αφορά μία απάντηση από τις πολλές. Η μελέτη με φοιτητές εκπαιδευτικούς βρήκε ότι ο φόβος κατηγορίας κατέστειλε την επιτρεπόμενη χρήση, ότι η κουλτούρα του προγράμματος προέβλεπε τη συμπεριφορά καλύτερα από οποιαδήποτε πολιτική μαθήματος, και ότι οι αυτοδηλώσεις υποδήλωναν τη χρήση σε κάθε μάθημα. Ένας αυστηρότερος κανόνας αλλάζει το τι κρύβουν οι φοιτητές, όχι το τι μαθαίνουν.

«Ένας ενιαίος κανόνας ΤΝ για όλο το μάθημα είναι δικαιότερος και απλούστερος.» Απλούστερος, ναι. Τα τεκμήρια ευνοούν κανόνες ανά εργασία, γιατί οι τρεις περιπτώσεις, περιορισμός, στηρικτική υποστήριξη και απαίτηση, συνυπάρχουν στα περισσότερα μαθήματα και η ίδια άδεια σημαίνει διαφορετικά πράγματα σε μια αναφορά εργαστηρίου και σε έναν στοχασμό. Οι γενικές θέσεις είναι επίσης αυτές που παρακάμπτουν ευκολότερα οι φοιτητές.

«Οι φοιτητές που λένε ότι το εργαλείο βοηθά μαθαίνουν από αυτό.» Η ικανοποίηση είναι μέτρο αυτοαναφοράς, και στη δοκιμή CS1 η συνθήκη με την υψηλότερη αξιολόγηση ήταν εκείνη που περισσότερο μείωσε την επεξεργασία πίσω από τη μάθηση. Η εφαρμογή στα μαθηματικά βρήκε τον ίδιο διαχωρισμό: ανατροφοδότηση που οι φοιτητές εκτιμούσαν, καμία σημαντική διαφορά στις εξετάσεις.

«Η επάρκεια σε τεχνητή νοημοσύνη είναι δεξιότητα προτροπής, και οι φοιτητές την αποκτούν χρησιμοποιώντας το εργαλείο.» Τα πλαίσια αντιμετωπίζουν την επάρκεια σε τεχνητή νοημοσύνη ως εννοιολογική κατανόηση, λειτουργική δεξιότητα, κριτική αξιολόγηση, ηθική κρίση και επίγνωση των ορίων. Η ανασκόπηση είναι ρητή ότι η μηχανική προτροπών, η επαλήθευση παραγωγής και η ανάλυση σφαλμάτων ΤΝ είναι διδάξιμες δεξιότητες που δεν αναπτύσσονται μέσω έκθεσης. Οι εκπαιδευμένοι εκπαιδευτικοί φυσικών επιστημών που βαθμολογήθηκαν 16,7 στα 30 είναι η εμπειρική εκδοχή αυτού του ισχυρισμού.

«Το πρόβλημα ισότητας είναι η πρόσβαση.» Η πρόσβαση είναι μία από τις τρεις γραμμές. Η δεξιότητα και το ποιος παίρνει χρήσιμο αποτέλεσμα είναι οι άλλες δύο, και μόνο έξι μελέτες στο σώμα κειμένων εξέτασαν άμεσα οποιαδήποτε από αυτές. Το να δώσετε σε κάθε φοιτητή μια άδεια χρήσης τακτοποιεί το ευκολότερο τρίτο.

Τι θα σας αντιπαρατεθεί

«Οι φοιτητές μου λένε ότι η ΤΝ τους βοηθά.» Συνήθως βοηθά με την εργασία που έχουν μπροστά τους, και το εύρημα αφορά το τι μένει μετά. Ρωτήστε τι μπορούν ακόμη να κάνουν χωρίς βοήθεια και παίρνετε διαφορετική απάντηση, και γι' αυτό υπάρχει το βαθμολογούμενο βήμα χωρίς βοήθεια.

«Διδάσκω σε 200 φοιτητές. Δεν μπορώ να διαβάζω προσχέδια ή να κάνω προφορικούς ελέγχους.» Δεν χρειάζεται να τα διαβάσετε όλα. Μια εφαρμογή στην τάξη ή μια σύντομη ηχογραφημένη εξήγηση στην εργασία με το μεγαλύτερο ρίσκο, μαζί με έναν δειγματοληπτικό έλεγχο σε εργασίες που φαίνονται ασυνεπείς με προηγούμενες υποβολές, καλύπτουν το μεγαλύτερο μέρος του κινδύνου. Οι σταδιακές υποβολές, οι σχολιασμένες αιτιολογήσεις και τα χαρτοφυλάκια διαδικασίας κλιμακώνονται· το ίδιο κάνει και η βαθμολόγηση της επαλήθευσης μιας σκόπιμα ελαττωματικής παραγωγής ΤΝ.

«Η ανίχνευση είναι το μόνο που έχουμε.» Οι ανιχνευτές έχουν τεκμηριωμένα προβλήματα αξιοπιστίας και δικαιοσύνης, και η εγκυρότητα είναι το δυσκολότερο πρόβλημα: ένα γυαλισμένο προϊόν που φτιάχτηκε στο σπίτι δεν δείχνει πλέον ότι το πρόσωπο που το υπέβαλε έχει την επάρκεια. Τα τεκμήρια διαδικασίας είναι φθηνότερα από έναν αγώνα εξοπλισμών και παράγουν κάτι που μπορείτε να υπερασπιστείτε σε μια ένσταση.

«Η απαγόρευση είναι απλούστερη.» Απλούστερη, και συνήθως αποτυγχάνει. Η υιοθέτηση στη μελέτη με φοιτητές εκπαιδευτικούς ακολουθούσε την κουλτούρα του προγράμματος και όχι την πολιτική ενός μεμονωμένου μαθήματος, και η αποκάλυψη υποδήλωνε την πραγματική χρήση σε κάθε μάθημα. Μια απαγόρευση αφαιρεί επίσης την ικανότητά σας να δείτε πώς θα χρησιμοποιούσαν οι φοιτητές το εργαλείο όταν φύγουν.

«Δεν διδάσκω ΤΝ. Δεν είναι το αντικείμενό μου.» Τα ευρήματα αφορούν το αντικείμενό σας. Όταν η ΤΝ εκτελεί την εξάσκηση που υπάρχει για να παρέχει το μάθημά σας, τότε ακριβώς παρεμβαίνει, και η παρέμβαση εμφανίζεται στις αξιολογήσεις σας είτε αναφέρετε το εργαλείο είτε όχι.

«Τα τεκμήρια είναι πολύ νέα για να δράσω.» Εν μέρει αληθές, και κόβει και προς τις δύο κατευθύνσεις. Μεγάλο μέρος του σώματος κειμένων είναι σύντομες παρεμβάσεις, μελέτες αυτοαναφοράς, μεμονωμένοι κλάδοι, ή εργασία του 2025 και του 2026, και οι ισχυρισμοί από ώριμη έρευνα ευφυούς διδασκαλίας είναι ισχυρότεροι από ισχυρισμούς για απεριόριστα γενικής χρήσης chatbot. Όπου ένας ισχυρισμός έχει τώρα πίσω του μια τυχαιοποιημένη δοκιμή, ο διαχωρισμός επίδοσης και μάθησης στη δοκιμή CS1 και το αποτέλεσμα ανατροφοδότησης στην εφαρμογή των μαθηματικών, εκείνη η δοκιμή παραπέμπεται εδώ. Όπου δεν έχει, αντιμετωπίστε το εύρημα ως την καλύτερη διαθέσιμη καθοδήγηση και όχι ως παγιωμένο νόμο, και να είστε πιο δύσπιστοι απέναντι σε αποτελέσματα που δείχνουν μόνο ικανοποίηση, ταχύτητα εργασίας, ποιότητα παραγωγής ή άμεση επίδοση με υποβοήθηση.

Τι να κάνετε αυτή την εβδομάδα

1. Διαλέξτε την εργασία που αισθάνεστε λιγότερο άνετα να υπερασπιστείτε. Γράψτε την πρόταση της ικανότητας στην κορυφή του φύλλου εργασίας.

2. Προσθέστε ένα βήμα που εκτελείται χωρίς ΤΝ παρούσα: μια εφαρμογή πέντε λεπτών στην τάξη, μια σύντομη ηχογραφημένη εξήγηση, ή μια παράγραφο γραμμένη στην αίθουσα. Δώστε του πραγματικές μονάδες.

3. Δηλώστε τη συνθήκη ΤΝ για εκείνη την εργασία και προσθέστε μία γραμμή λόγου. Αν η εργασία αναμειγνύει βήματα, πείτε ποια βήματα είναι ποια.

4. Ξαναγράψτε μία προτροπή που δίνετε στους φοιτητές, από «λύσε το» σε «δώσε μου μία υπόδειξη και κάνε μου μια ερώτηση», και πείτε τους γιατί.

5. Πριν αρχίσει το εξάμηνο, πάρτε την αλλαγή στον υπεύθυνο του προγράμματος και σε όποιον εγκρίνει προσαρμογές, ώστε η πρώτη ένσταση να μην είναι και η πρώτη συζήτηση.

Πού να πάτε μετά

Για την εκδοχή αυτών των παρεξηγήσεων ανά ενδιαφερόμενο μέρος, δείτε την αντιμετώπιση κοινών παρανοήσεων για την ΤΝ στην εκπαίδευση. Για τις σχεδιαστικές απαιτήσεις που υπονοούν τα ευρήματα για την ισότητα και την ανθρώπινη κρίση, δείτε την έρευνα για ισότητα, ηθική και παιδαγωγική ασφάλεια. Η σελίδα για τον ανασχεδιασμό της αξιολόγησης στην εποχή της ΤΝ προχωρά περισσότερο το μισό κομμάτι της αξιολόγησης, και το αν βοηθά η ΤΝ τους φοιτητές να μάθουν είναι η ανασκόπηση τεκμηρίων πίσω από τους ισχυρισμούς αυτής της σελίδας. Αν επιλέγετε ανάμεσα σε ανασχεδιασμό και επιβολή, το πός να μειώσετε την απάτη με ΤΝ και η πολιτική ΤΝ για το μάθημα είναι οι συνοδευτικές σελίδες.