Apa Saja Kesenjangan Penting dalam Literatur Penelitian tentang AI dalam Pendidikan?

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Tenggat hibah tinggal delapan hari dan bagian latar belakang membutuhkan satu kalimat tentang apa yang belum diketahui bidang ini. Atau seorang kolega telah memberi tahu sebuah komite bahwa tutor AI meningkatkan capaian, dengan mengutip eksperimen dua tahun di 18 sekolah menengah, dan Anda adalah orang yang harus mengatakan apa yang dapat ditanggung studi itu. Atau Anda sedang memilih pertanyaan disertasi dan setiap versinya tampak sudah pernah dikerjakan.

Kesenjangan yang penting berkaitan dengan kekuatan, kekhususan, dan keterterapan. AI dapat mengerjakan tugas-tugas pendidikan; pertanyaan terbukanya adalah apakah suatu rancangan tertentu menghasilkan manfaat yang bertahan lama, untuk siapa, melalui mekanisme apa, dan dalam kondisi apa. Pembedaan itu menentukan dua hal di meja Anda: apa yang harus diteliti berikutnya, dan apa yang harus berhenti Anda klaim untuk sementara. Keterbatasan dalam Penelitian AIEd adalah katalog di balik halaman ini. Bukti tentang sistem tutor cerdas, analitik prediktif, AI generatif, dan agen otonom juga tidak dapat saling dipertukarkan, dan penelitian tentang penggunaan AI untuk mendukung pembelajaran berbeda dari penelitian tentang mengajari orang mengenai AI, sebagaimana dijelaskan dalam ikhtisar AI dalam Pendidikan.

Versi singkat

1. Bandingkan AI dengan alternatif non-AI yang kuat yang menahan kurikulum, latihan, dan dukungan tetap konstan, lalu nyatakan apa yang ditambahkan AI.

2. Ukur kinerja tertunda tanpa bantuan, dan nyatakan bahwa kinerja berbantuan bukanlah perolehan pembelajaran.

3. Laporkan komponen mana dari paket itu yang melakukan kerja, dan mekanisme mana yang Anda klaim.

4. Validasi setiap skor otomatis dan pembelajar simulasi terhadap pembelajar nyata, termasuk pembelajar di luar sampel pengembangan Anda.

5. Nyatakan batas populasi, karena rata-rata gabungan tidak menjawab pertanyaan ekuitas.

6. Jelaskan pengaturannya cukup rinci sehingga orang lain dapat membangunnya kembali.

Pilih pembanding yang mengisolasi AI

Eksperimen kelas yang ketat sudah ada, jadi "kita perlu uji acak" bukan lagi nama bagi kesenjangan itu. Pertanyaan yang lebih tajam adalah apakah komponen AI menambah nilai di luar latihan tambahan, materi yang lebih baik, umpan balik yang tepat waktu, atau dukungan instruksional yang lebih banyak.

One Click Away melaporkan perolehan capaian yang sederhana di 18 sekolah menengah disertai keterlibatan substantif yang terbatas dengan tutor, dan para penulis mencatat bahwa perolehan itu menyerupai hasil latihan terstruktur tanpa AI. Itu adalah bukti tentang paket yang telah diimplementasikan, dan tidak dapat mengisolasi apa yang ditambahkan AI di dalamnya.

Masalah di baliknya bersifat konseptual sekaligus empiris. "ChatGPT" menamai sebuah alat, bukan sebuah metode. Weidlich et al. (2025) mengaudit 19 perbandingan ChatGPT dalam pendidikan: hanya 4 (21%) yang menetapkan ketiga-tiganya, yaitu perlakuan yang dapat direplikasi, kontrol yang dioperasionalkan, dan ukuran pembelajaran yang valid (74% perlakuan terdefinisi baik, 42% kontrol terdefinisi baik, 53% hasil pembelajaran). Ketika AI baru datang bersamaan dengan aktivitas baru, umpan balik, atau rancangan antarmuka, medium dan metode tercampur dan tidak ada efek yang menjadi milik AI.

Apa yang akan menyelesaikannya: perbandingan terhadap alternatif non-AI yang realistis dengan kurikulum, kesempatan berlatih, dan dukungan yang sedapat mungkin ditahan konstan, ditambah replikasi independen lintas institusi, pengajar, mata pelajaran, dan model. Metode menjawab pertanyaan yang berbeda di sini. Karya kualitatif dan berbasis desain menjelaskan implementasi, sementara eksperimen yang dirancang dengan baiklah yang menanggung klaim kausal, sebagaimana diuraikan dalam Metode Penelitian Efikasi.

Ukur pembelajaran setelah alatnya tidak lagi dipakai

Pekerjaan yang membaik saat menggunakan AI bukan bukti pembelajaran yang bertahan setelah bantuan berakhir. Sintesis Perolehan Pembelajaran dan Offloading Kognitif terus menarik garis yang sama antara kinerja berbantuan, pengetahuan yang dipertahankan, penalaran mandiri, dan transfer.

Making AI Tutoring Productive menunjukkan masalah pengukuran itu dalam eksperimen acak dengan lebih dari 6.000 siswa sekolah menengah. Aturan penguasaan tiga benar berturut-turut menaikkan keberhasilan yang didefinisikan platform tanpa, dengan sendirinya, menghasilkan perolehan pembelajaran yang terdeteksi satu minggu kemudian. Bukti tes tertunda yang paling kuat muncul ketika AI berada di dalam alur kerja penguasaan dan terkonsentrasi pada materi yang dilatih.

Kesenjangan yang tersisa berkaitan dengan lintasan kemampuan, dan satu postes tambahan tidak menutupnya. Belum ada yang menetapkan retensi lintas bulan, transfer lintas tugas, kinerja setelah penarikan bantuan, atau ketepatan pembelajar dalam menilai apa yang mereka ketahui, dan bidang ini belum memisahkan kegagalan memperoleh suatu keterampilan dari kemunduran keterampilan yang sudah terbentuk. Penelitian offloading masih perlu menunjukkan kapan delegasi mendukung lintasan tersebut dan kapan ia menggusur latihan yang membangunnya.

Cari tahu bagian mana dari paket itu yang melakukan kerja

"Pembelajaran berbantuan AI" biasanya membungkus beberapa perubahan sekaligus: umpan balik baru, refleksi tambahan, diskusi teman sebaya, urutan tugas yang berbeda, insentif penilaian yang berubah. Paket yang berhasil tidak memberi tahu Anda komponen mana yang diperlukan.

Rancangan umpan balik GenAI yang berpusat pada manusia adalah kemajuan nyata atas pertanyaan itu. Di antara 1.176 mahasiswa tingkat pertama, rancangan reflektif dan hibrida mengungguli umpan balik AI langsung pada transfer tertunda tanpa AI. Kondisi hibrida menggabungkan evaluasi diri, umpan balik teman sebaya, dan kritik AI. Itu memisahkan bagaimana umpan balik diorganisasikan dan digunakan dari apakah siswa memiliki akses ke umpan balik sama sekali.

Yang masih terbuka: kontribusi dan waktu percobaan mandiri awal, penjelasan diri, masukan teman sebaya, umpan balik korektif, petunjuk, dan bantuan yang memudar, serta bagaimana masing-masing berinteraksi dengan pengetahuan awal dan kesulitan tugas.

Kesenjangan teoretis berjalan seiring. Menyebut sebuah teori pembelajaran bukan mengujinya. Sebuah studi membutuhkan prediksi teoretis yang terikat pada perilaku sistem tertentu dan proses pembelajaran yang dapat diukur, dan mediasi statistik memberi informasi bagi penjelasan itu tanpa menetapkan mekanisme kausal. Pengembangan Teori dalam AI dalam Pendidikan dan perancah membawa argumen itu lebih jauh.

Validasi ukurannya sebelum Anda menafsirkannya

Konstruk seperti keterlibatan, berpikir kritis, literasi AI, dan personalisasi diukur secara tidak konsisten di seluruh literatur ini. Laporan diri menggambarkan persepsi; ia tidak dapat menggantikan kompetensi yang ditunjukkan. Ketepatan teknis, kualitas keluaran yang dinilai ahli, dan pembelajaran siswa adalah tiga sasaran evaluasi yang berbeda. Pengukuran Pendidikan dan Evaluasi AI dalam Pendidikan memperlakukan pembedaan tersebut sebagai hal yang mendasar.

Satu kesenjangan berada di dalam masalah pengukuran: sistem AI yang dipakai untuk mengevaluasi sistem AI lain. Dalam Simulating Students or Sycophantic Problem Solving?, siswa simulasi sering kali meninggalkan miskonsepsi yang ditugaskan setelah umpan balik korektif, terlepas dari apakah umpan balik itu menangani miskonsepsi tersebut, sehingga respons mereka dapat membuat pengajaran yang tidak efektif tampak berhasil. Pelatihan bertarget memperbaiki ukuran kesetiaan dalam studi itu, dan perbaikan pada ukuran tersebut bukan validasi terhadap pembelajaran manusia.

Yang hilang adalah validasi seluruh rantai evaluasi, dari perilaku model ke pertimbangan pedagogis ke respons pembelajar ke hasil pendidikan, pada pembelajar dan latar yang tidak digunakan selama pengembangan. Pertimbangan manusia membutuhkan pengujian yang sama, karena kesepakatan antarpentilai bukan bukti bahwa konstruk yang tepat telah dinilai.

Putuskan apa yang masih dapat disertifikasi oleh suatu penilaian

AI menciptakan dua masalah penilaian yang saling terhubung: ia membantu menghasilkan pekerjaan yang dinilai, dan ia dapat memengaruhi bagaimana pekerjaan itu diberi skor.

Studi basis pengetahuan tentang agen AI yang menyelesaikan tugas penilaian di LMS mendokumentasikan agen yang menavigasi kursus sarjana yang berjalan langsung dan menyelesaikan aktivitas yang dinilai. Itu menunjukkan kemampuan yang menantang asumsi tentang bukti yang dihasilkan siswa. Itu tidak menetapkan seberapa umum penggunaan semacam itu, dan tidak membatalkan penilaian asinkron sebagai sebuah kategori.

Pertanyaan penelitiannya adalah rancangan mana yang masih mendukung kesimpulan yang dapat dipertahankan tentang pembelajar. Portofolio, refleksi, pengumpulan bertahap, dan log aktivitas perlu divalidasi sebagai bukti, bukan diasumsikan menetapkan kepengarangan atau pemahaman. Studi harus menguji kombinasi bukti terhadap kompetensi yang diamati secara independen sambil memperhitungkan aksesibilitas, beban kerja, privasi, dan kecemasan siswa. Validitas Penilaian memuat rinciannya.

Untuk penilaian otomatis, LLMs Do Not Grade Essays Like Humans melaporkan ketidaksepakatan sistematis antara model bawaan dan penilai manusia. Temuan itu spesifik pada konfigurasi, dan menunjukkan mengapa konsistensi internal tidak dapat menanggung klaim validitas.

A Human Capability Test for Learning Outcomes in the AI Era mengusulkan penilaian terpisah atas apa yang harus dilakukan pembelajar secara mandiri, apa yang boleh mereka capai dengan AI, dan apa yang harus mereka verifikasi dan pertanggungjawabkan. Itu adalah kerangka yang menunggu validasi empiris.

Deteksi adalah jalan buntu paling jelas di bidang ini. Karr et al. (2026) menjalankan dua detektor komersial pada τ = 0,50 atas 642 abstrak berbahasa Inggris yang telah terbit. Penyuntingan AI ringan yang sesuai pedoman ditandai pada 38-80%. Naskah asli 2023-25 yang tidak diubah ditandai pada 9-15%, dengan karya non-STEM jauh di atas STEM pada p < 0,001. Setelah humanisasi, alat itu menangkap kurang dari 4% tulisan ulang berlabel AI, tingkat negatif palsu di atas 96%. Skor yang menghukum bantuan jujur dan melewatkan penghindaran tidak dapat mendasari kesimpulan tentang seorang pembelajar.

Berhenti membaca skor literasi sebagai bukti perilaku

Penelitian intervensi literasi AI cukup banyak untuk disintesis. AI Literacy Interventions in Education mencakup 59 studi dan 7.211 peserta, melaporkan efek rata-rata yang positif, dan juga melaporkan variasi substansial dengan interval prediksi lebar yang melintasi nol. Hasil yang berfokus pada pengetahuan keluar lebih kuat daripada keterampilan, sikap, atau etika.

Kesenjangan yang lebih tajam adalah apakah pengajaran literasi mengubah apa yang orang lakukan ketika mereka menggunakan AI, dan kerangka kompetensi lain tidak akan menutupnya. Dapatkah pembelajar mengenali klaim yang tidak didukung, memverifikasi sumber, menolak saran yang menyesatkan, menyadari kesepakatan yang tidak tepat, dan memilih kapan tidak mendelegasikan? Apakah semua itu bertahan di bawah tekanan waktu, dan apakah itu bertransfer ke sistem dan disiplin yang tidak dikenal?

Menyelesaikannya membutuhkan penilaian berbasis kinerja yang digabungkan dengan pengamatan keputusan aktual dan tindak lanjut tertunda, dengan pengetahuan konseptual, kecakapan operasional, dan pertimbangan kritis dipisahkan alih-alih digabung. Literasi AI dan Kalibrasi Kepercayaan menyediakan pembedaannya.

Laporkan siapa yang ditinggalkan oleh temuan itu

Temuan dari satu kursus, institusi, bahasa, atau populasi pembelajar jarang dapat menjadi dasar keputusan di tempat lain, sebuah masalah yang diperlakukan sintesis Keterbatasan dalam Penelitian AIEd sebagai hal yang berulang. Bagaimana efek bervariasi menurut tahap perkembangan, disiplin, pengetahuan awal, disabilitas, bahasa, dan kondisi sumber daya sebagian besar masih belum terukur.

Penelitian ekuitas juga harus memisahkan akses, keterampilan, dan hasil. Sintesis Kesenjangan Digital jelas bahwa perangkat dan akses alat tidak menetapkan kapasitas yang setara untuk memperoleh manfaat. Does School-Based AI Education Narrow Readiness Gaps? mengikuti 752 siswa sekolah menengah pertama di Hong Kong: kesenjangan kesiapan psikologis menyempit sementara perbedaan pada tes literasi AI yang objektif tetap ada. Setiap kelompok membaik, dan ketidaksetaraan tidak menutup. Profil pembelajaran sebelumnya tidak ditetapkan secara acak, sehingga peran kausalnya tetap tidak diketahui.

Cakupannya tipis di tempat-tempat tertentu. Efek Diferensial Lintas Kelompok Pembelajar menghitung literatur menurut populasi: pembelajar bahasa kedua dan multibahasa serta siswa dengan disabilitas adalah untaian terdalam, gender dan neurodiversitas menyusul, siswa generasi pertama dan siswa internasional masing-masing memiliki satu studi dalam korpus ini, siswa berbakat dan berprestasi tinggi secara efektif belum diteliti, dan pembelajar pengungsi, imigran, serta yang terlantar tidak muncul sama sekali. Basis bukti dengan bentuk seperti itu tidak dapat menjawab pertanyaan ekuitas melalui agregasi.

Kapasitas juga bervariasi di dalam satu sistem nasional. Adeniranye et al. (2026) menilai integrasi AI di 45 universitas Nigeria dan menemukan adopsi keseluruhan yang moderat (M = 4,79, rentang 1,83-7,83 pada skala 10 poin), sementara jenis institusi tidak memprediksi integrasi setelah usia dan geografi dikendalikan (usia β = 0,43; lokasi South-West β = 0,31). Kapabilitas internal saling berkorelasi pada r = 0,79-0,80 dan kolaborasi internasional dengan kemitraan industri pada r = 0,74, sehingga institusi yang terhubung mengakumulasi keuntungan yang berlipat. Rancangan pembangunan kapasitas mana yang mengubah hasil di institusi yang lebih baru dan kurang terhubung belum diuji.

Prioritas penelitiannya adalah mengidentifikasi rancangan yang mengurangi perbedaan dalam kapabilitas yang ditunjukkan, partisipasi, dan agensi, dengan hasil dan beban subkelompok dilaporkan bersama perolehan rata-rata. Aksesibilitas membawa pertanyaan tak terselesaikannya sendiri: apakah suatu rancangan menghapus hambatan partisipasi atau menggantikan kapabilitas yang seharusnya dikembangkan pembelajar. Lihat Ekuitas dalam Pendidikan AI dan aksesibilitas.

Nyatakan siapa yang memegang kendali, dan kapan kendali itu berubah

Ketika sistem merencanakan, memulai tindakan, menyimpan memori, dan mengoordinasikan alat, pertanyaan pendidikannya menjadi siapa yang harus mengendalikan bagian mana dari proses pembelajaran, dan kapan kendali itu harus bergeser.

Agentic AI in Education: A Scoping Review memetakan 474 studi dan menemukan validasi longitudinal yang terbatas, konsentrasi di pendidikan tinggi dan STEM, serta integrasi teori pendidikan yang lemah: hanya 29% studi yang ditinjau secara eksplisit menggunakan teori pendidikan, sebuah temuan tentang korpus itu dan bukan tentang seluruh kerja AIED.

Pertanyaan terbuka menyusul. Apakah bantuan yang dimulai pembelajar menghasilkan hasil berbeda dari bantuan yang dimulai agen? Dapatkah dukungan ditarik saat kompetensi berkembang tanpa kehilangan? Apakah pembelajar tetap memiliki kemampuan menantang sistem? Sintesis AI Agentik dan Kolaborasi Manusia-AI menambahkan intervensi guru dan akuntabilitas dalam pengaturan multiagen, di mana belum ada yang menetapkan siapa yang bertanggung jawab atas keputusan agen. Otonomi yang lebih besar adalah pilihan rancangan pedagogis dengan basis bukti yang masih harus dibangun.

Uji kegagalan keselamatan pada pembelajar nyata

Keselamatan pendidikan melampaui ketepatan faktual dan permintaan yang dilarang. Seorang tutor dapat memberikan jawaban yang benar sambil menghapus kesempatan pembelajar untuk bernalar, memperkuat miskonsepsi, atau membangun ketergantungan. Keselamatan Pedagogis membahas konstruk itu.

SafeTutors mengidentifikasi kegagalan termasuk pengungkapan jawaban yang berlebihan dan pengabaian perancah, dengan jauh lebih banyak kegagalan pada pengujian multi-giliran. Itu adalah temuan tolok ukur dalam kondisi yang ditentukan, bukan perkiraan seberapa sering kerugian terjadi di kelas.

Apa yang terjadi ketika kegagalan itu bertemu pembelajar nyata selama penggunaan berkelanjutan belum diketahui. Kegagalan mana yang menghasilkan kebingungan sementara, mana yang menghasilkan miskonsepsi menetap, mana yang menurunkan motivasi, dan mana yang melemahkan kapabilitas mandiri belum diukur. Belum ada juga yang menetapkan pengaman mana yang memangkas risiko itu tanpa menghasilkan penolakan atau frustrasi berlebihan. Kerja jangka panjang juga membutuhkan kepercayaan, kesediaan mencari bantuan manusia, agensi pembelajar, dan hubungan dengan teman sebaya serta guru sebagai hasil. Untuk anak-anak, itu membutuhkan studi yang sesuai tahap perkembangan yang menghubungkan perilaku sistem dengan hasil pendidikan dan relasional.

Pisahkan adopsi dari implementasi

Kapabilitas teknis tidak menetapkan bahwa suatu alat digunakan dengan baik, dan pengembangan profesional tidak otomatis menjangkau siswa. Mata rantai yang hilang biasanya berjalan dari persiapan guru, melalui praktik kelas yang berubah, ke hasil siswa.

Pedagogy First, Technology Second adalah studi bertingkat atas 46 guru dan 2.832 siswa. Pengetahuan AI pedagogis berhubungan dengan persepsi dan niat siswa, dan tidak ada komponen pengetahuan guru yang diukur yang secara langsung berhubungan dengan perolehan pengetahuan AI siswa. Hubungan semacam itu tidak menetapkan bahwa intervensi pelatihan akan menyebabkan pembelajaran yang lebih baik.

Pertanyaan terbukanya adalah kombinasi pembinaan, keselarasan kurikulum, rutinitas tinjauan, penjadwalan, dan dukungan institusional mana yang menghasilkan perbaikan berkelanjutan, dan studi perlu mengamati pengajaran yang benar-benar dilaksanakan alih-alih keyakinan guru atau niat untuk mengadopsi. Kompetensi AI Guru dan Pengembangan Pendidikan membahas wilayah itu.

Efektivitas biaya komparatif adalah kesenjangan kedua. Evaluasi harus menghitung verifikasi, koreksi, pelatihan, supervisi, pemeliharaan, dan waktu implementasi bersama biaya langganan dan penggunaan model, dan membandingkan penyediaan berbantuan AI dengan alternatif yang realistis. Pertanyaan yang layak dijawab adalah manfaat pendidikan apa yang diberikan pengaturan lengkap itu dibandingkan sumber daya yang digunakannya.

Perlakukan dokumen tata kelola sebagai pernyataan niat

Prinsip etis dan kerangka tata kelola memang diperlukan, dan keberadaannya tidak menetapkan bahwa prinsip itu mengubah praktik atau melindungi pembelajar.

Agarwal et al. meninjau 25 artikel dan menemukan pengguna akhir sebagian besar pasif dalam literatur etika, dengan suara siswa praktis tidak ada, disertai ketegangan antarnilai dan asimetri kekuasaan antar pemangku kepentingan. Itu menggambarkan literatur yang ditinjau. Itu bukan klaim bahwa siswa tidak pernah ikut serta dalam rancangan AIED.

Yang hilang adalah bukti tentang pengaturan tata kelola mana yang membuat perbedaan terukur. Apakah partisipasi siswa dan guru mengubah pengadaan, rancangan alat, aturan penilaian, atau pemulihan setelah kesalahan? Apakah prosedur tinjauan manusia menangkap kesalahan yang berkonsekuensi? Apakah alternatif penggunaan AI benar-benar tersedia bagi orang-orang yang diminta menggunakannya? Penelitian privasi memiliki kesenjangan paralel: nilai pendidikan dari pengumpulan data tambahan biasanya diasumsikan, dan rancangan yang meminimalkan data jarang dibandingkan dengan rancangan yang lebih intrusif pada pembelajaran maupun otonomi pembelajar. Lihat Tata Kelola AI dan privasi.

Buat studi itu dapat dibangun kembali

AIED memiliki masalah reproduktibilitas yang luar biasa sulit. Studi menghilangkan prompt, versi model, pengaturan, kode, dan rincian instruksional, dan sistem berpemilik dapat berubah selama atau setelah intervensi. Keterbatasan dalam Penelitian AIEd mendokumentasikan pola itu.

Membangun kembali sebuah studi berarti menjelaskan pengaturan instruksional sekaligus modelnya: tugas belajar, sumber konten, tindakan yang diizinkan, antarmuka, dukungan guru, kondisi penilaian, dan apa pun yang berubah selama penerapan. Mereproduksi satu konfigurasi dan menguji apakah prinsip pedagogisnya bertransfer ke konfigurasi lain adalah dua pencapaian yang terpisah, dan panduan pelaporan dalam Metode Penelitian Efikasi menangani keduanya.

Sintesis membutuhkan kehati-hatian yang sama. Meta-Analisis dan Tinjauan Sistematis mencantumkan studi primer yang lemah, bias publikasi, intervensi yang heterogen, dan hasil yang tidak kompatibel sebagai batas kesimpulan gabungan, dan satu "efek AI" rata-rata menyembunyikan pembedaan yang dibutuhkan pendidik. Tinjauan harus memisahkan kinerja berbantuan dari pembelajaran mandiri, membedakan jenis intervensi dan kondisi pembanding, dan membuat keputusan pengodean dapat diaudit.

Literatur sintesis itu sendiri adalah sebuah kesenjangan. Audit forensik O'Neill (2026) atas 14 meta-analisis berdampak tinggi menemukan bahwa tidak satu pun memberikan dasar yang valid bagi klaimnya. Tidak ada konstruk yang koheren: sebuah alat diperlakukan sebagai satu intervensi, hasil multidimensi digabung. Bias publikasi dinilai secara tidak valid pada keempat belasnya. I² yang dilaporkan berkisar dari 77,2% sampai 94,4% pada setiap analisis yang melaporkannya, dengan 12 dari 13 di atas 80%. 61% studi primer yang diperiksa secara acak membawa kekhawatiran validitas. Keempat belas analisis itu mengumpulkan lebih dari 2.000 sitasi dalam sekitar 16 bulan, dan sebuah meta-analisis yang ditarik masih dikutip sebagai otoritatif pada 60% makalah pengutip pascapencabutan tanpa pengakuan. Dari 14 makalah yang mengutip meta-analisis lain yang diaudit, yang abstraknya mengiklankan efek besar "pendidikan AI" padahal sebenarnya mengukur pengajaran tentang AI kepada siswa, hanya 2 yang mengutipnya secara tepat, 8 membacanya sebagai bukti bahwa mengintegrasikan AI meningkatkan pembelajaran, dan 4 keliru dengan cara lain. Audit itu meminta jurnal mensyaratkan transparansi data penuh untuk meta-analisis (protokol pencarian, karakteristik studi yang dikodekan, statistik yang diekstrak, kode analitik), meminta editor tidak memperlakukan rekam jejak publikasi sebagai bukti kompetensi meninjau, dan meminta pencabutan terlihat di mana pun sebuah artikel ditemukan, diekspor, atau dikutip. Reproduktibilitas mencakup rantai sintesis, bukan hanya studi individual.

Pengajar yang menginginkan versi tingkat kelas dapat mengikuti Ukuran dan Metode Penelitian untuk Mengevaluasi Intervensi AI.

Apa yang salah dipahami peneliti dan pengajar tentang hal ini

Bidang ini kekurangan studi. Ia kekurangan studi yang terspesifikasi. Ada eksperimen multisitus, uji acak dengan ribuan siswa, dan 14 meta-analisis berdampak tinggi. Hanya 21% perbandingan yang diaudit mendefinisikan perlakuan, kontrol, dan hasil dengan cukup baik untuk mengatribusikan efek.

Menyebut sebuah teori berarti mengujinya. Sitasi pada teori pembelajaran adalah keputusan pembingkaian. Sebuah uji membutuhkan prediksi, perilaku sistem yang mengimplementasikannya, dan ukuran proses yang bisa saja keluar sebaliknya.

Skor otomatis yang tervalidasi adalah hasil yang tervalidasi. Kesepakatan dengan pemberi kode manusia menetapkan konsistensi dengan pemberi kode itu. Siswa simulasi membaik pada ukuran kesetiaan tanpa divalidasi terhadap pembelajaran manusia, dan rantai dari perilaku model ke hasil tetap belum terbangun.

Akses adalah ekuitas. Dalam studi Hong Kong, kesenjangan kesiapan psikologis menyempit sementara perbedaan tes objektif bertahan, dan setiap kelompok membaik tanpa ketidaksetaraan menutup. Perangkat dan lisensi mengubah siapa yang dapat menjangkau alat.

Otonomi yang lebih besar adalah kemajuan. Kemandirian agen yang lebih besar adalah pilihan rancangan. Dengan 29% dari 474 studi agentik yang menggunakan teori pendidikan dan validasi longitudinal yang terbatas, belum ada yang menunjukkan bahwa menggeser kendali ke sistem memperbaiki pembelajaran.

Keberatan yang akan Anda dengar

"Kesenjangannya hanya bahwa kita butuh lebih banyak uji acak." Sekarang sudah banyak, dan masalahnya berada di hulu label rancangan: uji atas paket yang membungkus umpan balik baru, tugas baru, dan antarmuka baru tidak dapat mengatribusikan apa pun kepada AI. Kondisi pembanding adalah tempat kerja sesungguhnya.

"Saya tidak dapat menjalankan tindak lanjut bertahun-tahun." Kalau begitu ukur satu kesempatan tertunda tanpa bantuan dan nyatakan interval yang dicakupnya. Satu minggu adalah temuan yang nyata, dan studi aturan penguasaan memperoleh hasilnya pada satu minggu dengan menanamkan AI dalam alur kerja dan memusatkan perhatian pada materi yang dilatih.

"Pengacakan tidak mungkin di kursus saya." Karya berbasis desain dan kualitatif menjawab pertanyaan implementasi yang tidak dapat dijawab uji acak, dan bidang ini membutuhkan keduanya. Di tempat penugasan acak mungkin dilakukan, itu tetap menanggung klaim kausal.

"Ukuran efek gabungan sudah memberi tahu saya apa yang berhasil." Keempat belas meta-analisis yang diaudit mendefinisikan perlakuan sebagai sebuah alat, menggabungkan hasil yang tidak kompatibel, dan melaporkan I² di atas 80% pada 12 dari 13 analisis yang menyebutkannya. Angka gabungan itu menggambarkan sekumpulan studi dengan masalah konstruk.

"Siswa simulasi lebih murah, jadi validasinya bisa menunggu." Dalam studi kesikofanan, siswa simulasi meninggalkan miskonsepsi terlepas dari apakah umpan balik menanganinya, dan itulah mode kegagalan yang membuat tutor tidak efektif tampak efektif.

Yang perlu dilakukan pekan ini

1. Tuliskan kondisi pembanding studi yang Anda rencanakan dalam satu kalimat. Jika kondisinya hanya praktik yang biasa berjalan, revisi itu sebelum merevisi apa pun yang lain.

2. Tambahkan satu ukuran tertunda tanpa bantuan ke rancangan dan sebutkan intervalnya di bagian metode.

3. Tuliskan batas populasi ke dalam pernyataan rancangan, lalu ke dalam abstrak, sehingga klaim tidak dapat berjalan lebih jauh daripada sampelnya.

4. Ambil klaim terkuat dalam draf Anda sekarang dan hapus versi yang tidak dapat ditanggung ukuran Anda. Pertahankan kalimat yang menyebut batasnya.

5. Untuk setiap skor otomatis atau pembelajar simulasi dalam studi, sebutkan standar manusia dan penilainya sebelum pengumpulan data dimulai.

Ke mana selanjutnya

Praktik Terbaik untuk Melaporkan dan Menafsirkan Penelitian AI dalam Pendidikan adalah padanan pelaporan bagi halaman ini, dan Metode Penelitian dalam AI dalam Pendidikan membahas pilihan rancangan di balik setiap kesenjangan. Ukuran dan Metode Penelitian untuk Mengevaluasi Intervensi AI menangani ukuran dan rancangan perbandingan, Memastikan AI Pendidikan Bekerja dengan Benar adalah versi lebih singkat dari pertanyaan efikasi, dan Apakah Penggunaan AI Benar-benar Membantu Siswa Belajar? mengumpulkan apa yang diketahui tentang pembelajaran yang bertahan. Pengembangan Teori dalam AI dalam Pendidikan dan kaitan ekuitas, aksesibilitas, privasi, etika, dan keselamatan pedagogis membawa untaian teori dan ekuitas lebih jauh.