Ποιες είναι οι βέλτιστες πρακτικές για την αναφορά και την ερμηνεία της έρευνας για την ΤΝ στην εκπαίδευση;

Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.

Το προσχέδιό σας έχει έναν αριθμό με τίτλο στην περίληψη, και ένας κριτής μόλις ρώτησε τι έκανε στην πραγματικότητα η ομάδα ελέγχου. Ή είστε εσείς ο κριτής, κρατώντας μια μετα-ανάλυση της οποίας το συγκεντρωμένο μέγεθος επίδρασης είναι 0,67 και της οποίας η ενότητα μεθόδων εκτείνεται σε μιάμιση σελίδα. Ή το τμήμα σας γράφει καθοδήγηση για το πώς πρέπει το προσωπικό να αναφέρει μελέτες ΤΝ και θέλει κάτι πιο συγκεκριμένο από το «ακολουθήστε τα πρότυπα».

Έξι παραλείψεις κρίνουν τις περισσότερες από αυτές τις περιπτώσεις: ποιο σύστημα ΤΝ χρησιμοποιήθηκε, σε τι είχε ρυθμιστεί να κάνει, ποιον παιδαγωγικό ρόλο έπαιξε, αν άνθρωποι σχεδίασαν ή εξέτασαν την παραγωγή του, τι κατέγραψε πραγματικά το μέτρο αποτελέσματος, και τι έκαναν οι συγγραφείς για τη μεροληψία, το κόστος και τους περιορισμούς. Το «μη αξιολογήσιμο» είναι η έντιμη ετυμηγορία όταν λείπουν, και είναι διαφορετική ετυμηγορία από το «διαψεύστηκε».

Η σύντομη εκδοχή

1. Περιγράψτε την ΤΝ ως παρέμβαση, όχι ως προμηθευτή. Μοντέλο, έκδοση, διαμόρφωση, προτροπές, ρόλος, και ποιος σχεδίασε ή εξέτασε την παραγωγή.

2. Ονομάστε το παιδαγωγικό σκεπτικό και τη δραστική σύγκριση. Ένα όνομα προϊόντος δεν είναι μέθοδος, και η συνήθης διδασκαλία δεν είναι δίκαιη ομάδα ελέγχου.

3. Κάντε το μέτρο να ταιριάζει με τον ισχυρισμό, συμπεριλαμβανομένου του αν το αποτέλεσμα ήταν καθυστερημένο και χωρίς βοήθεια.

4. Αναφέρετε την αβεβαιότητα που έχει πραγματικά η ανάλυσή σας: εξαρτημένες επιδράσεις, διακύμανση μεταξύ μελετών, διαστήματα πρόβλεψης, μεγέθη υποομάδων, μεροληψία δημοσίευσης.

5. Επικυρώστε κάθε αυτοματοποιημένη κρίση, με ονομασμένο χρυσό πρότυπο και ονομασμένο επιδιαιτητή.

6. Αναφέρετε τα αντίβαρα: διακυβέρνηση, υπολογιστικό κόστος, τη δική σας χρήση ΤΝ, μηδενικά αποτελέσματα, και μόνο παραπομπές που έχετε ελέγξει.

Περιγράψτε την ΤΝ ως παρέμβαση που κάποιος θα μπορούσε να ανακατασκευάσει

Αυτός είναι ο έλεγχος στον οποίο αποτυγχάνουν οι περισσότερες υποβολές. Το πλαίσιο RAISE (Reporting AI Studies in Education, Allison 2026) είναι ένας κατάλογος ελέγχου 30 σημείων σε δέκα θεματικούς τομείς, και ο διαγνωστικός του ισχυρισμός είναι συγκεκριμένος: οι υποβολές παραλείπουν συστηματικά ποιο μοντέλο χρησιμοποιήθηκε, πώς είχε διαμορφωθεί, ποιον ρόλο έπαιξε και αν ανθρώπινοι παράγοντες σχεδίασαν ή εξέτασαν την παραγωγή του. Στους κριτές μένουν τότε τέσσερα αναπάντητα ερωτήματα. Τι ακριβώς έκανε η ΤΝ; Ήταν αναγκαία; Είναι αναπαραγώγιμο; Είναι αξιόπιστοι οι ισχυρισμοί για τη μάθηση;

Το RAISE εκτείνεται από την εκπαιδευτική αιτιολόγηση έως την προδιαγραφή σε επίπεδο API, την αλληλεπίδραση εκπαιδευόμενου και ΤΝ, την προσβασιμότητα και την πολιτισμική καταλληλότητα, τους συμμετέχοντες και το περιβάλλον, την ανθρώπινη εμπλοκή, τον σχεδιασμό, την ηθική, τη διαφάνεια και την αναπαραγωγιμότητα, μέχρι τους περιορισμούς. Ο συνοδευτικός Πίνακας Ηθικής και Κινδύνου καλύπτει κινδύνους για την αυτονομία του εκπαιδευόμενου, την ισότητα, τη διακυβέρνηση των δεδομένων και την αλγοριθμική διαφάνεια. Οι Hwang, Xie, Wah και Gašević (2026) προσφέρουν μια απλοποιημένη εναλλακτική. Το TEP-AIED συνδυάζει τη Διαφάνεια, την Ηθική και την Παιδαγωγική σε μία αλληλοεξαρτώμενη δομή, παρέχει πίνακα κατευθυντήριων γραμμών αντιστοιχισμένο σε επτά ενότητες άρθρου, και ζητά από τους συγγραφείς να προσθέσουν υποενότητα Μεθόδων με τίτλο «Ζητήματα Διαφάνειας, Ηθικής και Παιδαγωγικής». Ο λόγος τους είναι πρακτικός: το RAISE είναι περιεκτικό και πολύ λεπτομερές για συνήθη εμπειρική χρήση. Η αποκάλυψη βρίσκεται κάτω από το θέμα της αποκάλυψης χρήσης ΤΝ και είναι αυτό που κάνει ελέγξιμους τους ισχυρισμούς για την ιδιωτικότητα και την ηθική.

Η εκπαιδευτική αιτιολόγηση έρχεται πρώτη στο RAISE γιατί η ΤΝ δεν είναι ουδέτερο εργαλείο. Η αξία εξαρτάται από την ευθυγράμμιση ανάμεσα στο μαθησιακό πρόβλημα, σε ένα θεωρητικό σκεπτικό και στην αντιστοίχιση των στόχων σε μέτρα αποτελέσματος. Ο O'Neill (2026) βρήκε ότι όλες εκτός από δύο από τις 14 ελεγμένες μετα-αναλύσεις όριζαν την παρέμβαση ως εργαλείο, ChatGPT ή GenAI ή «ΤΝ» γενικά. Ένα όνομα προϊόντος δεν είναι παιδαγωγική. Το να αντιμετωπίζετε την έκθεση στο ChatGPT ως μία κοινή παρέμβαση είναι συγκρίσιμο με το να κάνετε μετα-ανάλυση των επιδράσεων του «χαρτιού».

Οι Weidlich και συν. (2025) διατυπώνουν το ίδιο επιχείρημα για τις πρωτογενείς μελέτες. Ελέγχοντας ένα υποσύνολο των συγκρίσεων πίσω από μια προβεβλημένη μετα-ανάλυση, βρήκαν ότι μόνο το 21% είχε καλά ορισμένη παρέμβαση, ομάδα ελέγχου και έγκυρο μέτρο μάθησης. Το αναφερόμενο μέγεθος επίδρασης (g = 0,7) ξεπερνούσε επίσης εκείνο των ειδικά κατασκευασμένων συστημάτων ευφυούς διδασκαλίας (0,66), και αυτό το χάσμα είναι προειδοποιητικό σημάδι: μια παρέμβαση που ξεπερνά την ειδικά κατασκευασμένη διδασκαλία είναι πιθανώς μια δέσμη διαφορετικών πραγμάτων που φορούν μία ετικέτα.

Το κριτήριο είναι ένα ερώτημα: θα μπορούσε ένας ικανός αναγνώστης να ανακατασκευάσει την παρέμβασή σας μόνο από την ενότητα μεθόδων και να πάρει το ίδιο πράγμα;

Αποφασίστε τι σας επιτρέπει να ισχυριστείτε το μέτρο σας

Στον έλεγχο τεκμηρίων του O'Neill σε 46 τυχαία επιλεγμένες πρωτογενείς μελέτες, οι 28 (61%) παρουσίαζαν ζητήματα εγκυρότητας. Η αναντιστοιχία της εξαρτημένης μεταβλητής ήταν η συχνότερη (n = 15), ακολουθούμενη από την αναντιστοιχία της ανεξάρτητης μεταβλητής (n = 11), προβλήματα πειραματικού σχεδιασμού (n = 7), προβλήματα εξαγωγής δεδομένων (n = 6), απουσία ομάδας ελέγχου (n = 6) και μη τυχαία ανάθεση σε ομάδες (n = 6). Πολυδιάστατα αποτελέσματα συγκεντρώνονταν συστηματικά σαν να ήταν ανταλλάξιμα, με βαθμούς τεστ, ποιότητα εργασιών για το σπίτι, κίνητρα, αυτοαποτελεσματικότητα, στάσεις και ενασχόληση να συνθλίβονται σε έναν αριθμό «ακαδημαϊκής επίδοσης».

Δύο συνήθειες αναφοράς το αποτρέπουν. Δηλώστε τι κατασκεύασμα μετρά το όργανο και ότι επικυρώθηκε για εκείνον τον πληθυσμό· το θέμα για τα μέτρα αυτοαναφοράς δείχνει πού τα μέτρα που βασίζονται στην αντίληψη αποκλίνουν από τη συμπεριφορά, και η εγκυρότητα αξιολόγησης καλύπτει την εγκυρότητα κατασκευάσματος. Μετά αναφέρετε ένα αποτέλεσμα που δεν εξαρτάται από την πεποίθηση του εκπαιδευόμενου για τη βοήθεια. Η άμεση επίδοση σε εργασία με υποβοήθηση δεν είναι μαθησιακό κέρδος, και η γνωστική εκφόρτωση είναι ο μηχανισμός που πιθανότατα χωρίζει τα δύο. Η μίνι ανασκόπηση του 2026 με 493 εγγραφές και 14 μελέτες προτεραιότητας βρήκε ότι καμία δεν μέτρησε μαζί την επιτυχία της επαλήθευσης και την επόμενη απόφαση εξάρτησης απέναντι σε ένα ανεξάρτητα επιδικασμένο πρότυπο ποιότητας της παραγωγής, και λίγες κοίταξαν πέρα από την άμεση επίδοση προς την καθυστερημένη συγκράτηση ή τη μεταφορά.

Δηλώστε το ανώτατο όριο ρητά στη συζήτηση. Μια μελέτη που μέτρησε ένα κουίζ λυμένο με το εργαλείο ανοιχτό μπορεί να στηρίξει έναν ισχυρισμό για επίδοση με υποβοήθηση. Δεν μπορεί να στηρίξει ισχυρισμό για το τι έμαθαν οι μαθητές, και αυτή η πρόταση κοστίζει μία γραμμή.

Αναφέρετε την αβεβαιότητα που έχει πραγματικά η ανάλυσή σας

Για συνθέσεις, αναφέρετε τον χειρισμό των εξαρτημένων επιδράσεων, τη διακύμανση μεταξύ μελετών, τα διαστήματα πρόβλεψης και την αξιολόγηση της μεροληψίας δημοσίευσης. Το I² μόνο του δεν κάνει τη δουλειά. Ο O'Neill βρήκε την αναφερόμενη ετερογένεια σοβαρή όπου δινόταν, από 77,2% έως 94,4% σε 13 μετα-αναλύσεις, με 12 πάνω από 80%, και ποτέ μη επιλυμένη: καμία ανάλυση τροποποιητών δεν έφτασε το ελάχιστο μέγεθος υποομάδας των δέκα μελετών. Δώδεκα μετα-αναλύσεις αντιμετώπισαν εξαρτημένα μεγέθη επίδρασης από την ίδια μελέτη ως ανεξάρτητα, κάτι που διογκώνει τα φαινομενικά τεκμήρια. Μόνο τέσσερις ανέφεραν διακύμανση μεταξύ μελετών (τ²) και μόνο δύο ένα διάστημα πρόβλεψης, και τα δύο διαστήματα περιλάμβαναν το μηδέν. Η μεροληψία δημοσίευσης δεν αξιολογήθηκε έγκυρα πουθενά στο σύνολο.

Τα στοιχεία ετερογένειας χρειάζονται το μοντέλο τους, γιατί το I² εξαρτάται από την ακρίβεια. Το θέμα για τους περιορισμούς στην έρευνα AIED τεκμηριώνει μια σύνθεση στο I² = 82,98% υπό μοντέλο σταθερών επιδράσεων και 15,75% υπό τυχαίες επιδράσεις. Ένας αναγνώστης που παίρνει μόνο τον πρώτο αριθμό δεν μπορεί να καταλάβει πόσο ασυνεπές είναι το σώμα κειμένων. Αναφέρετε το τ² και ένα διάστημα πρόβλεψης δίπλα του, που είναι και η σύμβαση που ζητά η βιβλιογραφία των ανασκοπήσεων.

Μετά προεξοφλήστε τον δικό σας τίτλο. Οι Bartoš και συν. (2026) συγκέντρωσαν 1.840 μεγέθη επίδρασης από 67 μετα-αναλύσεις και βρήκαν ότι, μόλις μοντελοποιηθεί η μεροληψία δημοσίευσης, η μέση επίδραση πέφτει περίπου στο ένα τρίτο της δημοσιευμένης διάμεσης τιμής (SMD = 0,196 έναντι 0,67), με διάστημα πρόβλεψης από -1,521 έως +1,908. Αυτό το διάστημα καλύπτει από σοβαρή βλάβη έως σοβαρό όφελος για μια υποθετική νέα μελέτη. Είναι ο πιο χρήσιμος αριθμός της εργασίας και εκείνος που πιθανότατα θα πέσει από την περίληψη.

Πείτε πόσο μακριά ταξιδεύει ο ισχυρισμός

Η δικαιοσύνη και η εμβέλεια αποτυγχάνουν με τον ίδιο τρόπο: μια μεγάλη επίδραση που σημαίνει λιγότερα από όσα φαίνεται. Έντεκα από τις 14 ελεγμένες μετα-αναλύσεις δεν έθεσαν κανένα όριο πληθυσμού, άρα οι «μαθητές» κάλυπταν από παιδιά έως εκπαιδευόμενους ιατρικής. Ένα μάθημα, ένα ίδρυμα, ένας κλάδος ή μια χώρα δεν δικαιολογούν γενικό ισχυρισμό, και τα αποτελέσματα για ένα εργαλείο σπάνια μεταφέρονται σε άλλο.

Τρεις εξηγήσεις εξηγούν τις περισσότερες μεγάλες επιδράσεις, και καθεμία είναι αναφέρσιμη. Η καινοτομία είναι μία. Ο επιπλέον χρόνος στην εργασία είναι άλλη. Η τρίτη είναι μια συνθήκη σύγκρισης που δέχτηκε συνήθη διδασκαλία αντί για δραστικό έλεγχο. Αναφέρετε τι έκανε πραγματικά η ομάδα ελέγχου, πόσο χρόνο πέρασε κάθε σκέλος και πόσο καινοτόμο ήταν το εργαλείο. Δηλώστε και το όριο του πληθυσμού, γιατί οι επιδράσεις διαφέρουν ανάμεσα σε ομάδες εκπαιδευομένων και ένα αδήλωτο όριο είναι αυτό που επιτρέπει σε έναν συγκεντρωμένο αριθμό να σταθεί για όλες· το θέμα για τις διαφορικές επιδράσεις ανάμεσα σε ομάδες εκπαιδευομένων εκθέτει τη διακύμανση.

Αντιμετωπίστε το εργαλείο ως κινούμενο στόχο. Τα ιδιόκτητα συστήματα αλλάζουν χωρίς προειδοποίηση, άρα ένα εύρημα είναι δεσμευμένο σε μια έκδοση μοντέλου, και το σημείο αναφοράς που ενθουσίασε σε μια κυκλοφορία μπορεί να μην ισχύει στην επόμενη. Η έκδοση και η ημερομηνία πρόσβασης ανήκουν στην ενότητα μεθόδων γι' αυτόν τον λόγο, όχι μόνο για την αναπαραγωγιμότητα.

Επικυρώστε τις αυτοματοποιημένες κρίσεις

Η αξιολόγηση AIED αναθέτει όλο και περισσότερο τη βαθμολόγηση σε μοντέλα, κάτι που κάνει τη διαδικασία επικύρωσης μέρος του αποτελέσματος και όχι παράρτημα. Η περιγραφή του Khan Academy για τις μετρήσεις του διδάσκοντα ΤΝ αναφέρει ότι η γνωστική ενασχόληση βαθμολογείται από έναν κριτή LLM βαθμονομημένο απέναντι σε ανθρώπους ειδικούς της παιδαγωγικής σε F1 0,83, και ότι οι κινήσεις των μετρήσεων προήλθαν από περισσότερα από 40 ζωντανά πειράματα σε πέντε μήνες και όχι από αξιολόγηση εκτός σύνδεσης (Udeshi και συν. 2026). Οι Tseng και συν. (2026) δείχνουν ότι η διαφωνία ανθρώπου και μηχανής για την ποιότητα των ερωτήσεων προσδιορισμού είναι συστηματική και όχι τυχαία, και ότι η επιχειρησιακή διατύπωση της ρουμπρίκας μετράει περισσότερο από την προτροπή με πρώτο το σκεπτικό.

Η συμφωνία με ανθρώπινους κωδικοποιητές είναι διαφορετικό πράγμα από την ποιότητα, και το να την αναφέρετε σαν να ήταν ποιότητα είναι στόχος των κριτών. Οι Liu και συν. (2026) ζήτησαν από ανεξάρτητο ειδικό να κρίνει 855 ζεύγη συνόλων κώδικα χωρίς να γνωρίζει την πηγή. Η συμφωνία ανθρώπου και LLM έφτασε σε μέσο Jaccard 0,30 έναντι 0,52 για τη συμφωνία ανθρώπου με άνθρωπο, ενώ ο τυφλός επαληθευτής προτίμησε την ανθρώπινη και τη μηχανική κωδικοποίηση σε δυσδιάκριτα ποσοστά (51,5% έναντι 48,5%, p = 0,537). Αναφέρετε τον στόχο βαθμονόμησης, το χρυσό πρότυπο και ποιος επεδίκασε τη διαφωνία. Αυτά τα τρία στοιχεία είναι αυτό που επιτρέπει σε έναν αναγνώστη να αποφασίσει πόσο βάρος μπορεί να σηκώσει η αυτοματοποιημένη βαθμολογία.

Αποκαλύψτε τα κόστη και τη δική σας χρήση

Μια ανασκόπηση όλων των εργασιών του συνεδρίου AIED 2025 βρήκε μοτίβο υιοθέτησης LLM χωρίς αποκάλυψη: τα περισσότερα έργα χρησιμοποιούσαν LLM, και λιγότερα από μια χούφτα ανέφεραν κατανάλωση πόρων ή αποτύπωμα άνθρακα. Εκείνη η εργασία παρέχει ανοιχτή μέθοδο με εργαλεία μέτρησης για τοπικό υλικό και υλικό στο νέφος, καθώς και τύπο για την εκτίμηση του υπολογιστικού κόστους μοντέλων αιχμής με αδήλωτο αριθμό παραμέτρων. Το επιχείρημά της είναι ότι η μη αναφορά αυτών των κοστών είναι η ίδια ηθικό ζήτημα. Η διακυβέρνηση δεδομένων, η συναίνεση, η προσβασιμότητα και η πολιτισμική καταλληλότητα ανήκουν στην ίδια παράγραφο (σημεία RAISE· καθολικός σχεδιασμός για τη μάθηση, προσβασιμότητα). Το θέμα για ισότητα, ηθική και παιδαγωγική ασφάλεια φέρει την πληρέστερη πραγμάτευση.

Η δική σας χρήση ΤΝ στην ερευνητική διαδικασία χρειάζεται την ίδια αποκάλυψη. Η ανάλυση PRISMA-LLM των Zabaleta και Lin σε 888 εργασίες αυτοματοποίησης ανασκοπήσεων δείχνει πόσο άνιση είναι αυτή η αναφορά. Από το 2023, το 38,0% των εργασιών λογισμικού και προϊόντων δεν ανέφερε καμία αξιολόγηση, έναντι 9,3% των εργασιών για LLM. Ο μέσος πλούτος αναφοράς ήταν 6,3 για τις εργασίες LLM και 3,3 για τις εργασίες λογισμικού και προϊόντων. Το 84,1% της χρήσης LLM βασιζόταν σε ιδιόκτητα ή φιλοξενούμενα συστήματα, με μόνο 4,9% ανοιχτού βάρους. Το πλαίσιό τους χωρίζει την αποκάλυψη της υλοποίησης από την αξιολόγηση που είναι ευαίσθητη στις συνέπειες, σε πέντε επίπεδα αποκάλυψης, που είναι ένα εφαρμόσιμο πρότυπο για να περιγράψετε τι έκανε ένα εργαλείο μέσα σε μια ανασκόπηση.

Οι Dai και Chan (2026) προσθέτουν την εικόνα από την πλευρά των συγγραφέων. Από 28 μεταπτυχιακούς ερευνητές, οι 27 χρησιμοποιούσαν GenAI σε ιδεασμό, ανασκόπηση βιβλιογραφίας, εξήγηση, επεξεργασία δεδομένων, προγραμματισμό, ακαδημαϊκή γραφή, επιμέλεια και μετάφραση. Βαθμονομούσαν τη χρήση ανάλογα με το ρίσκο και τους κανόνες του κλάδου. Οι πολιτικές των ιδρυμάτων τους αφορούσαν τη διδασκαλία και την αξιολόγηση και όχι την ερευνητική πρακτική, κάτι που αφήνει την απόφαση της αναφοράς στον συγγραφέα.

Δημοσιεύστε το μηδενικό και ελέγξτε κάθε παραπομπή

Οι Denny και συν. (2026) επαλήθευσαν 30 κατασκευασμένες αναφορές σε 14 εργασίες, με τον αριθμό σε ένα τεχνικό συμπόσιο να ανεβαίνει από 3 το 2025 σε 17 το 2026, ή 2,3% των εργασιών των πρακτικών εκείνης της χρονιάς. Η σύνταξη με υποβοήθηση LLM κάνει μια εύλογα επινοημένη παραπομπή φθηνή στην παραγωγή, και γι' αυτό ο έλεγχος πρέπει να γίνεται πριν από την υποβολή και όχι μετά την αποδοχή.

Τα αντίβαρα εκείνου του ελέγχου μετρούν όταν το παραπέμπετε. Οι περισσότερες επισημασμένες αναφορές ήταν αβλαβείς: 229 ήταν αναντιστοιχίες μεταδεδομένων ACM όπου το PDF ήταν σωστό, και 188 ήταν έγκυρες βιβλιογραφικές παραλλαγές. Ο αριθμός των κατασκευασμένων είναι σκόπιμα κατώτερο όριο, και η αβλαβής πλειονότητα δεν είναι σφάλμα στρογγυλοποίησης. Επαληθεύστε κάθε καταχώριση που δεν μπορείτε να ελέγξετε προσωπικά.

Η αναφορά μηδενικών και αρνητικών ευρημάτων είναι το άλλο μισό μιας έντιμης βάσης τεκμηρίων. Οι Bartoš και συν. βρήκαν ισχυρά τεκμήρια κατασταλμένων μηδενικών αποτελεσμάτων (κάθε έλεγχος Egger p < 0,0001) και ακραία ετερογένεια (τ = 0,869), με κανένα αποτέλεσμα, πεδίο, επίπεδο ή υποομάδα ρόλου ΤΝ να μη δείχνει σταθερά κέρδη. Βρήκαν επίσης καμία διαφορά ανάμεσα σε μελέτες που δημοσιεύτηκαν πριν και μετά τον Ιανουάριο του 2023, κάτι που υπονομεύει τον ισχυρισμό ότι τα σύγχρονα παραγωγικά εργαλεία παράγουν ειδικά κέρδη.

Τι κάνουν λάθος οι ερευνητές σε αυτό

«Ένα μέγεθος επίδρασης είναι ιδιότητα του μέσου.» Δεν υπάρχει επίδραση της ΤΝ στην εκπαίδευση για να αναφερθεί. Όλες εκτός από δύο από τις ελεγμένες μετα-αναλύσεις όριζαν την παρέμβαση ως όνομα εργαλείου, μόνο το 21% των ελεγμένων συγκρίσεων είχε ορισμένη παρέμβαση, ομάδα ελέγχου και έγκυρο μέτρο, και το συγκεντρωμένο g = 0,7 καθόταν πάνω από την ειδικά κατασκευασμένη ευφυή διδασκαλία στο 0,66. Ένα μέγεθος επίδρασης ανήκει σε ένα σχεδιασμό, έναν πληθυσμό και μια περίσταση μέτρησης.

«Ο συγκεντρωμένος μέσος είναι αυτό που θα συμβεί στους μαθητές μου.» Ο μέσος περιγράφει το σύνολο των μελετών, και τίποτα μέσα του δεν καθορίζει καμία μεμονωμένη τάξη. Ο μέσος μετά τη διόρθωση μεροληψίας είναι SMD = 0,196 και το διάστημα πρόβλεψής του τρέχει από -1,521 έως +1,908. Η αναφερόμενη ετερογένεια βρίσκεται πάνω από 80% σε 12 από τις 13 μετα-αναλύσεις, και καμία υποομάδα στο μεγαλύτερο σύνολο δεν έδειξε σταθερά κέρδη. Μια αλλαγή σε επίπεδο μαθητή δεν είναι αναγνωρίσιμη από κανέναν από τους δύο αριθμούς.

«Ένα μηδενικό αποτέλεσμα σημαίνει ότι το εργαλείο δεν λειτουργεί.» Ένα μηδενικό είναι δήλωση για ένα σχεδιασμό σε δεδομένη ακρίβεια, και η απουσία ανιχνεύσιμης επίδρασης σε μία μελέτη είναι γεγονός για εκείνη τη μελέτη. Το SMD = 0,196 μετά τη διόρθωση μεροληψίας προήλθε από βιβλιογραφία στην οποία κάθε έλεγχος Egger ήταν σημαντικός, άρα η υπερασπίσιμη ανάγνωση του σώματος κειμένων είναι ένας μικρός και αβέβαιος μέσος. Ούτε κανένα αποτέλεσμα, πεδίο, επίπεδο ή υποομάδα ρόλου ΤΝ στο μεγαλύτερο σύνολο έδειξε σταθερά κέρδη. Το τεκμηριωμένο πρόβλημα σε αυτή τη βιβλιογραφία είναι η καταστολή.

«Μία μελέτη το κρίνει.» Τα ποσοστά βάσης λένε άλλα. Το 61% των ελεγμένων πρωτογενών μελετών είχε ζητήματα εγκυρότητας, ένα μάθημα ή ίδρυμα δεν δικαιολογεί γενικό ισχυρισμό, και ένα ιδιόκτητο σύστημα είναι κινούμενος στόχος δεσμευμένος σε μια έκδοση μοντέλου. Μία μελέτη είναι ένα σημείο δεδομένων με ένα σχεδιασμό προσαρτημένο.

«Υψηλή συμφωνία με ανθρώπινους κωδικοποιητές σημαίνει ότι το μοντέλο βαθμολογεί το σωστό πράγμα.» Η συμφωνία ανθρώπου και LLM ήταν 0,30 έναντι 0,52 για άνθρωπο με άνθρωπο, και ο τυφλός επαληθευτής δεν μπορούσε να ξεχωρίσει τα δύο σύνολα κωδικοποίησης στο 51,5% έναντι 48,5%. Η συμφωνία μετρά τη συνέπεια με έναν κωδικοποιητή, και η ποιότητα είναι ξεχωριστό ερώτημα που χρειάζεται χρυσό πρότυπο και επιδιαιτητή.

Οι αντιρρήσεις που θα ακούσετε

«Οι κριτές θέλουν καινοτομία, όχι λεπτομέρειες μεθόδου.» Τα περιοδικά κινούνται προς την άλλη κατεύθυνση. Το RAISE και το TEP-AIED δίνουν στους εκδότες ένα κατασκεύασμα που μπορούν να απαιτήσουν, και η υποενότητα Μεθόδων του TEP-AIED είναι ένα σημείο εισόδου με χαμηλή τριβή. Η λεπτομέρεια μεθόδου είναι αυτό που μετατρέπει μια μη αξιολογήσιμη εργασία σε εργασία με δυνατότητα παραπομπής.

«Δεν έχουμε τον χώρο.» Τα πέντε επίπεδα αποκάλυψης είναι επίπεδα αναφοράς και όχι επίπεδα κινδύνου, άρα το βάθος της αξιολόγησης μπορεί να είναι μία ή δύο προτάσεις. Η έκδοση, οι προτροπές και ο ρόλος χωρούν σε μια σύντομη παράγραφο. Το κόστος και η διακυβέρνηση χωρούν σε μια πρόταση περιορισμών.

«Όλοι το αναφέρουν έτσι.» Οι αριθμοί λένε ότι ο κανόνας είναι το πρόβλημα: 61% των ελεγμένων πρωτογενών μελετών με ζητήματα εγκυρότητας, 12 από τις 13 μετα-αναλύσεις πάνω από 80% ετερογένεια, 38,0% των εργασιών λογισμικού και προϊόντων χωρίς καμία αξιολόγηση.

«Το εργαλείο μας είναι ιδιόκτητο, άρα δεν μπορούμε να αναφέρουμε το μοντέλο.» Αναφέρετε έκδοση, ημερομηνία πρόσβασης, διαμόρφωση, τις προτροπές που δώσατε, ρόλο και προστατευτικά όρια. Αν ο προμηθευτής δεν το πει, αυτός ο περιορισμός ανήκει στους περιορισμούς ως φράγμα στον ισχυρισμό.

«Η αναφορά μηδενικών θα μας βλάψει.» Τα κατασταλμένα μηδενικά είναι ο τεκμηριωμένος μηχανισμός πίσω από τον μέσο SMD = 0,196 μετά τη διόρθωση μεροληψίας. Η δημοσίευσή τους είναι αυτό που κρατά το θετικό σας αποτέλεσμα αναγνώσιμο.

Τι να κάνετε αυτή την εβδομάδα

1. Διαβάστε την περίληψή σας δίπλα στην ενότητα μεθόδων και διαγράψτε κάθε ισχυρισμό που η μέθοδος δεν μπορεί να στηρίξει. Μία πρόταση για το ανώτατο όριο του μέτρου συνήθως αρκεί.

2. Προσθέστε την παράγραφο προδιαγραφής: μοντέλο, έκδοση, ημερομηνία πρόσβασης, διαμόρφωση, προτροπές, ρόλος, και ποιος σχεδίασε ή εξέτασε την παραγωγή.

3. Βγάλτε το τ², το διάστημα πρόβλεψης και την αξιολόγηση μεροληψίας δημοσίευσης από το παράρτημα στα αποτελέσματα, ή πείτε καθαρά ότι δεν τα υπολογίσατε.

4. Γράψτε το όριο του πληθυσμού και τη συνθήκη ελέγχου στη δήλωση σχεδιασμού, συμπεριλαμβανομένου του πόσο χρόνο πέρασε κάθε σκέλος.

5. Επαληθεύστε κάθε αναφορά που δεν διαβάσατε προσωπικά, και ελέγξτε πρώτα το πεδίο του συγγραφέα.

Πού να πάτε μετά

Οι ερευνητικές μέθοδοι στην ΤΝ στην εκπαίδευση καλύπτουν τις σχεδιαστικές επιλογές κάτω από αυτές τις αποφάσεις αναφοράς, και το θέμα για τους περιορισμούς στην έρευνα AIED είναι ο κατάλογος των τρόπων αποτυχίας με τους αριθμούς προσαρτημένους. Η ερμηνεία και εφαρμογή της έρευνας AIED είναι η πλευρά του αναγνώστη στο ίδιο πρόβλημα, το θέμα για τα τεκμήρια διαρκούς μάθησης είναι αυτό που τα περισσότερα από αυτά τα μέτρα προσπαθούν να φτάσουν, το θέμα για την αξιολόγηση παρεμβάσεων καλύπτει τα μέτρα και τους σχεδιασμούς σύγκρισης, και το αν λειτουργεί η εκπαιδευτική ΤΝ είναι η συντομότερη εκδοχή του ερωτήματος. Για τα κενά που δεν έχει καλύψει αυτή η βιβλιογραφία, δείτε το θέμα για τα ερευνητικά κενά στην AIED.