Di halaman ini
Pembaruan Mingguan Riset AI dalam Pendidikan #1
Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.
Ringkasan mingguan dari Basis Pengetahuan AI dalam Pendidikan, tentang apa arti penelitian yang diterbitkan dalam sepekan terakhir bagi pengajar, pengembang, peneliti, dan administrator.
Minggu ini menghadirkan 71 studi baru dan dua sumber daya baru, membawa basis pengetahuan menjadi 1.805 ringkasan artikel, 220 halaman konsep, 37 FAQ, dan 33 sumber daya. Telusuri atau gunakan AI untuk mengobrol dengan basis pengetahuan.
Daftar Isi
- Sorotan utama dan pertanyaan
- Untuk pengajar
- Untuk pengembang
- Untuk peneliti
- Untuk administrator
- Sorotan konsep
- Sumber daya baru
- Juga ditambahkan minggu ini
- Catatan situs
- Ikuti pembaruan
Sorotan utama dan pertanyaan
Kedua hasil utama minggu ini mengatakan hal yang sama: skor bukanlah hasil akhir. Sebuah uji tiga lengan menaikkan skor latihan dari 29,85% dengan web terbuka menjadi 71,84% dengan ChatGPT tanpa batasan, sementara pembelajaran konseptual sama sekali tidak berbeda, sehingga nilai yang lebih tinggi dengan akses AI bukan bukti bahwa mahasiswa belajar lebih banyak. Tiga belas detektor menandai manuskrip tulisan manusia pada tingkat 0% hingga 100% setelah satu kali penyuntingan salinan, sehingga tanda detektor bukan bukti pelanggaran.
- Apakah tutor yang menaikkan pekerjaan rumah juga menaikkan ujian? Sebuah uji acak menempatkan tutor pembuktian di hadapan mahasiswa lalu mengukur ujian yang dikerjakan tanpa tutor itu.
- Ketika sebuah kiriman terlihat baik, berapa banyak bagiannya yang berasal dari model? Lima puluh sembilan log obrolan, dibandingkan dengan pekerjaan yang diserahkan mahasiswa yang sama.
- Seberapa sering detektor AI menandai tulisan yang benar-benar ditulis manusia? Tiga belas detektor, 135.389 pasangan dokumen yang hanya bahasanya berubah.
- Apakah latihan berbicara dengan AI meningkatkan kemampuan berbicara, atau satu fitur terukur darinya? Sepuluh studi, enam fitur CEFR, dan empat studi yang melaporkan satu skor holistik.
- Apakah mengajar mahasiswa menggunakan umpan balik membangun keterlibatan mereka, atau sebaliknya? Panel tiga gelombang yang tidak dapat mengurutkan keduanya.
- Di mana tutor AI masih gagal ketika mahasiswa menolak, menarik diri, atau mengeskalasi? 923 dialog yang dibangun dari studi kasus mahasiswa nyata, dinilai terhadap apa yang didokumentasikan para praktisi.
- Apakah tata kelola AI dalam pendidikan itu hukum, panduan, atau aspirasi? 160 dokumen, empat di antaranya berbentuk hukum atau peraturan formal.
Untuk pengajar
Tutor dapat menaikkan pekerjaan rumah dan membiarkan ujian di tempatnya
Chen dan rekan mengacak 153 mahasiswa penulisan pembuktian di Carnegie Mellon untuk mendapatkan tutor pembuktian lebih awal atau lebih lambat, lalu mengukur ujian yang dikerjakan tanpa AI di ruangan. Skor pekerjaan rumah naik 2,56 poin selama alat itu tersedia. Skor ujian tengah semester tidak berbeda. Setelah semua orang memiliki akses dan memilih dosisnya sendiri, setiap 100 pesan chatbot tambahan berkaitan dengan skor 3,02 poin lebih rendah pada ujian berikutnya, dan mahasiswa dengan efikasi diri dasar lebih rendah adalah yang paling banyak menggunakannya.
Apa yang berubah bagi Anda: nilai yang diperoleh dengan tutor terbuka bukan bukti tentang apa yang dapat dilakukan mahasiswa tanpanya, sehingga tugas tanpa bantuan harus memikul beban itu. Ini juga berarti mahasiswa yang paling berisiko bersandar padanya adalah yang paling kurang percaya diri di awal, yang terlihat dalam penggunaan sebelum terlihat dalam skor.
Obrolan tanpa batasan mengembungkan skor lebih besar daripada tutor yang dirancang baik
Dalam uji tiga lengan pada mata kuliah CS1 di Munich, 275 mahasiswa menghabiskan 90 menit mengerjakan latihan Java dengan tutor pemberi petunjuk, dengan ChatGPT tanpa batasan, atau dengan web terbuka. Skor latihan keluar pada 71,84%, 57,50%, dan 29,85%. Perolehan pengetahuan konseptual adalah 0,83, 0,71, dan 0,85 poin, dan perbedaan antarkondisi jauh dari signifikan (p = 0,773). Kedua kondisi AI mengurangi frustrasi; hanya tutor yang meningkatkan motivasi.
Sebaran skor sebagian besar menyangkut artefaknya, bukan pembelajarannya. Jika Anda menilai latihan itu, kondisi AI sedang dinilai pada tugas yang berbeda.
Chatbot buatan guru gagal pada maksud, bukan pada fakta
EduWild mengumpulkan 1.726 percakapan dari 217 bot Playlab yang dikonfigurasi guru, termasuk 900 dari mahasiswa tempat bot itu diterapkan. Bot melewati langkah alur kerja yang diwajibkan dalam 53,8% percakapan pengguna akhir, tidak pernah menetapkan perannya dalam 33,4%, dan membebani pembelajar dengan informasi atau pertanyaan dalam 37,1%.
Sebelum Anda menerapkan bot yang Anda buat atau warisi, baca giliran pertamanya dan periksa apakah bot itu menyatakan dirinya dan apa yang terjadi berikutnya. Kesalahan yang didokumentasikan di sini ada pada instruksinya, dan dapat diperbaiki dalam prompt tanpa menyentuh model.
Putusan detektor bukan bukti
Dataset layanan penyuntingan memberi Park dan rekan 135.389 pasangan dokumen yang menjaga penulis, topik, dan konten tetap sama sementara hanya bahasanya berubah. Di 13 detektor, positif palsu pada teks akademik tulisan manusia berkisar dari 0% hingga 100%, dan penyuntingan yang sama menggerakkan detektor ke arah yang berlawanan. Secara terpisah, sekelompok penilai sessional kehilangan detektornya sepenuhnya karena detektor itu menandai pemeriksa tata bahasa, dan kini mereka membaca untuk mencari referensi yang dikarang dan keterputusan dari materi mata kuliah.
Jika Anda selama ini menempatkan skor detektor di hadapan mahasiswa, terutama mahasiswa yang menulis dalam bahasa kedua, inilah minggu untuk berhenti menggunakan detektor. Sinyal berbasis pembacaan dalam studi kedua adalah alternatif praktisnya.
Desain penilaian adalah pilihan di antara tiga kendala, bukan pencarian prinsip
Pedlow, Fischer, dan Williams berargumen bahwa masalahnya bukan kekurangan prinsip desain melainkan tidak adanya cara bernalar tentang prinsip-prinsip yang saling menarik. Trilemma ganda mereka memperlakukan keaslian, keteramatan, dan kelayakan dalam penilaian, serta spesifisitas, ketepatan waktu, dan beban kerja dalam umpan balik, sebagai kendala yang Anda tukar secara sengaja.
Ketika diminta merancang ulang penilaian untuk AI, kerangka itu mengubah pertanyaan terbuka menjadi argumen singkat yang dapat Anda catat dan pertahankan.
Perolehan berbicara dari chatbot tidak merata menurut fitur
Soriano-Gonzalez dan Belda-Medina menyaring 306 catatan menjadi sepuluh studi dan menanyakan fitur mana dari enam fitur CEFR bahasa lisan yang benar-benar bergerak. Rentang dan keterpahaman meningkat masing-masing di empat studi, koherensi di satu studi, interaksi hampir tidak ada. Empat dari sepuluh studi melaporkan satu skor holistik, sehingga perolehannya tidak dapat dilacak ke fitur mana pun.
Klaim vendor tentang "kemampuan berbicara yang meningkat" kompatibel dengan perubahan yang tidak pernah diukur oleh studi itu. Untuk menyimak, Goh dan Aryadoust menemukan buktinya jauh lebih tipis.
Literasi umpan balik dan keterlibatan saling memberi umpan
Sebuah panel tiga gelombang atas 399 mahasiswa sarjana menemukan literasi umpan balik AI memprediksi keterlibatan agentik berikutnya (β = 0,222) dan jalur sebaliknya sama kuatnya (β = 0,263), tanpa dasar statistik untuk mengurutkan keduanya.
Mengajar mahasiswa membaca dan menggunakan umpan balik bukan prasyarat yang selesai sebelum keterlibatan dimulai. Keduanya bergerak bersama, sehingga mata kuliah yang hanya membangun salah satunya bekerja melawan dirinya sendiri.
Untuk pengembang
Kasus sulit adalah tempat tutor masih gagal, dan pengambilan strategi membantu model kelas menengah
TutorCaseBench mengubah studi kasus kualitatif menjadi 923 dialog enam giliran di lima jenis tantangan dan menilai 11 model terhadap rubrik khusus kasus. Model terbaik memenuhi intervensi yang terdokumentasi dalam 55,8% kasus terbuka, itulah angka yang harus menjadi acuan desain. Menyediakan strategi yang didokumentasikan literatur kasus menaikkan 10 dari 11 model dengan rata-rata 9,9 poin, dengan Llama 4 Maverick bergerak dari 41,0% ke 64,8%, sementara model terkuat tetap datar pada 71,3%.
Pengambilan strategi rujukan layak dibangun untuk model yang mampu Anda biayai. Itu tidak akan menyelamatkan model frontier yang sudah memiliki polanya.
Validasi terhadap percakapan yang diterapkan, bukan prompt laboratorium
Dataset EduWild memasangkan setiap percakapan dengan system prompt dan pengaturan di baliknya, yang membuat kegagalan itu dapat dianalisis: 53,8% percakapan pengguna akhir melewati langkah yang diwajibkan. Konfigurasi yang ditulis guru adalah permukaan kegagalan yang berbeda dari kapabilitas model, dan harness tingkat prompt memulihkan maksud tanpa menghilangkan kendali guru.
Jika produk Anda memungkinkan guru menulis instruksinya, set uji Anda harus berupa instruksi mereka, yang dikumpulkan setelah penerapan.
Dimensi rubrik dalam kualitas umpan balik adalah yang tidak diukur siapa pun
Yang menelaah 68 studi tentang umpan balik yang dihasilkan AI. Validitas bukti muncul di 47 studi, kegunaan pedagogis di 58, dan keselarasan rubrik dan tugas di 19. Keselarasan adalah dimensi yang paling dapat dikendalikan produk secara langsung, dan paling sedikit diteliti.
Itu adalah peluang: bangunlah terhadap rubrik yang sudah digunakan tugas itu, dan katakan demikian, karena bukti yang diterbitkan tidak akan memberi tahu pembeli apakah ada orang lain yang melakukannya.
Keterlaksanaan adalah target desain, bukan kemewahan
Tamme, Schilling, dan Hantel mengusulkan penggantian survei tertulis akhir semester dengan wawancara telepon yang dijalankan agen AI, dengan alasan bahwa instrumen tertulis gagal pada tingkat respons, kedalaman, dan keterlaksanaan. Ini usulan, bukan uji lapangan. Klaim desainnya cukup spesifik untuk dipinjam: ajukan pertanyaan lanjutan, tuntut alasan, kembalikan sesuatu yang dapat ditindaklanjuti penerimanya.
Untuk peneliti
Laporan diri dan kinerja sering mencapai kesimpulan berbeda
Fan dan rekan memetakan metode pengukuran di 2.099 catatan, lalu menelaah 51 kasus ketika instrumen laporan diri dan tes, penilaian, atau jejak mengukur konstruk yang sama. Jawaban atas apakah keduanya sepakat sering kali tidak. Ketika keduanya menyimpang, keteramatan konstruk menjelaskannya lebih baik daripada kualitas studi.
Mengganti yang satu dengan yang lain adalah keputusan pengukuran yang punya arah, bukan kemudahan. Laporkan mana yang menjadi dasar klaim Anda.
Artefak menyembunyikan pembebanan, jadi ukur prosesnya
Kontorovich dan Wallach mengodekan 429 prompt dalam 59 log obrolan sebagai jejak regulasi diri dan membandingkan masing-masing dengan pekerjaan yang diserahkan. Sepuluh dari lima belas mahasiswa yang menyelesaikan ketiga tugas mengubah peran yang mereka berikan kepada model saat tugas berubah, namun 53 dari 59 kiriman mereproduksi produk model atau merevisinya hanya dalam bentuk.
Kiriman saja tidak dapat membedakan penggunaan dari substitusi. Data proses dapat melakukannya, dan skema pengodean di sini dapat digunakan ulang.
Skala tervalidasi untuk ketergantungan dalam tugas terbuka
Sebagian besar ukuran ketergantungan menyimpulkan dependensi dari apakah mahasiswa mengikuti saran yang benar, yang membutuhkan jawaban yang dapat diperiksa. Hou dan rekan membangun dan memvalidasi skala 16 butir untuk pembelajaran berbasis masalah, ketika jawaban semacam itu tidak ada.
Tolok ukur detektor meluruh, jadi laporkan adversarinya
Ren, Raghavan, dan Garg memisahkan pertanyaan deteksi menjadi keterpisahan dan gerak. Basis terawasi memisahkan prosa manusia dari mesin hampir sempurna dalam distribusi, sementara detektor komersial Pangram turun ke akurasi seimbang 63,5% dan recall 27% terhadap prompt yang ditulis untuk menghindarinya.
Angka yang dilaporkan tanpa upaya penghindaran menggambarkan dunia yang sudah tidak ada. Dan literatur tinjauan tipis di tempat yang penting: dari 51 studi tentang umpan balik GenAI pada tulisan bahasa kedua, 5 memeriksa apakah umpan balik itu akurat.
Untuk administrator
Sebagian besar tata kelola AI pendidikan adalah panduan, bukan hukum
Elmahjub dan rekan membaca 160 dokumen tata kelola berbahasa Inggris secara saksama, dari 498 catatan. Hanya 4 yang berbentuk hukum atau peraturan formal, sementara 92 adalah panduan, kerangka kerja, perangkat, atau buku pegangan. Akuntabilitas muncul di 146 dokumen tetapi dipasangkan dengan aktor pengawasan yang disebutkan di 100 dokumen.
Kebijakan tanpa pemilik yang disebutkan dan tanpa mekanisme adalah pernyataan niat. Tinjauan itu memberi Anda bidang-bidang untuk mengaudit dokumen Anda sendiri.
Pengadaan detektor membutuhkan angka positif palsu
Tiga belas detektor, teks akademik tulisan manusia sebagai kontrol, positif palsu dari 0% hingga 100%. Setidaknya satu institusi sudah menonaktifkan detektornya karena menandai pemeriksa tata bahasa. Jika vendor tidak mau memberi Anda tingkat positif palsu pada karya manusia di disiplin Anda sendiri, Anda tidak dapat memberi harga pada risiko disipliner.
Arah yang terdokumentasi dalam penilaian adalah proses, keaslian, dan kerja lisan
Crompton dan Burke meninjau 72 studi dari 24 negara dan 20 disiplin dan menemukan tiga respons desain yang berulang: berorientasi proses, autentik, dan penilaian lisan. Basis buktinya luas dan tipis secara metodologis, sebagian besar studi mencakup satu mata kuliah, dan tidak satu pun dari itu mengubah arahnya.
Adopsi telah melampaui pemahaman di kalangan guru
Di antara 132 guru K-12 Indonesia, 96,2% mendukung penggunaan AI oleh guru dan 84,6% mendukung penggunaannya oleh siswa, namun 69,2% memberikan penjelasan yang kabur atau keliru tentang apa yang dilakukan chatbot terhadap sebuah instruksi.
Dukungan dalam survei bukan kapabilitas di kelas. Celah pengembangan profesional di sini muncul sebelum penerapan alat apa pun, dan instrumennya cukup singkat untuk digunakan ulang sebagai penilaian kebutuhan.
Ganti survei mata kuliah hanya jika penggantinya dapat ditindaklanjuti
Usulan wawancara suara menyasar mode kegagalan yang membuat survei akhir semester tidak berguna: tingkat respons, kedalaman, pemenuhan asal-asalan, dan jawaban yang tidak dapat ditindaklanjuti siapa pun. Perlakukan itu sebagai spesifikasi untuk apa pun yang Anda gunakan sebagai pengganti, bukan sebagai bukti bahwa versi AI-nya berhasil.
Sorotan konsep
Empat halaman konsep membawa temuan minggu ini ke lapisan sintesis. Masing-masing adalah halaman tetap, bukan sekali pakai, sehingga bukti baru berdampingan dengan apa yang sudah diargumentasikan halaman itu.
Pembelajaran bahasa
Halaman itu kini menyatakan dengan jelas bahwa bukti tentang perolehan berbicara dari chatbot tidak merata menurut fitur, dan bahwa empat dari sepuluh studi yang disintesis melaporkan satu skor holistik, itulah sebabnya perolehannya tidak dapat diatribusikan ke satu fitur. Baca halaman pembelajaran bahasa sebelum membeli atau membangun latihan lisan.
Tutor cerdas
Temuan barunya adalah hasil pengambilan: menyediakan strategi rujukan mengangkat tutor lemah dan membiarkan tutor kuat di tempatnya. Itu keputusan pembangunan, dan halaman tutor cerdas memisahkannya dari klaim lama tentang kualitas petunjuk.
Ukuran laporan diri
Kasus baru paling tajam dari celah laporan diri adalah niat, ketika satu skor mencakup penggunaan berorientasi belajar, berorientasi jalan pintas, dan campuran pada sampel yang sama berisi 340 mahasiswa, dengan 68 butir yang diberikan ulang dan delapan wawancara di balik klaim itu, semuanya tercatat di halaman ukuran laporan diri.
Tata kelola
Halaman itu kini dibuka dengan temuan bentuk instrumen: 4 dari 160 dokumen mengikat, 92 bersifat penasihat, dan akuntabilitas disebutkan sebagai aktor hanya di 100. Halaman tata kelola membingkai ulang pertanyaannya dari apa yang dikatakan kebijakan menjadi apakah kebijakan itu dapat bertindak.
Sumber daya baru
Dua sumber daya bergabung dengan pustaka sumber daya minggu ini, satu ditulis untuk institusi yang harus memutuskan bagaimana perangkat lunak dibangun dengan AI dan satu untuk pengajar yang harus memutuskan apakah kode seorang mahasiswa adalah milik mahasiswa itu sendiri.
Campus AI Development
Campus AI Development adalah panduan web gratis yang ditulis dari sisi institusi dalam pertanyaan itu. Panduan ini memaparkan cara-cara kampus dapat membangun perangkat lunak dengan AI, dari vibe coding hingga pekerjaan multiagen yang ditata kelola, dan memasangkan setiap cara dengan jalur tinjauan, batas data, dan kendali yang sesuai. Panduan ini menyertai Campus AI Framework, yang memutuskan apakah alat AI boleh digunakan sama sekali; panduan ini mencakup apa yang harus dilakukan setelah jawabannya ya. Situs itu tidak mencantumkan lisensi untuk teksnya.
Code Viva
Code Viva adalah alat peramban gratis yang membuat pembelaan lisan dapat diskalakan: viva tertulis dan berwaktu untuk setiap mahasiswa di mata kuliah pemrograman, lima belas hingga dua puluh menit masing-masing, tanpa pengajar di ruangan. Alat ini membaca kode yang diserahkan mahasiswa dan riwayat commit, menulis empat hingga enam pertanyaan tentang fungsi, nama, dan commit mahasiswa itu sendiri, dan memberi setiap mahasiswa tautan pribadi untuk menjawabnya. Pertanyaannya berasal dari aturan yang diterapkan pada kiriman, bukan dari panggilan model, dan pengajar menerima usulan skor dengan bukti yang dikutip di balik masing-masing, untuk disetujui atau ditimpa. Situs itu tidak mencantumkan lisensi dan tidak mencantumkan repositori sumber.
Juga ditambahkan minggu ini
- Mapping generative AI in higher education teaching and learning: a scoping review
- Large language models for teaching and learning in higher education: opportunities, challenges, and future directions
- From insight to intervention: learning analytics and generative AI support for learning design and educational decision-making
- Governing Generative AI in Higher Education: A Cross-National Analysis of Policy Framing and Student Maneuvering
- Delegation Is Not Assistance: Agentic AI and Assessment Governance in Higher Education
- Artificial learning: how sessional academics view contract cheating and digital academic misconduct in assessment
- VIRA-Bench: Diagnosing Pedagogical Contingency Understanding in Online Tutoring Videos
- A Stratified Multi-Rater Evaluation of LLM-Based Virtual Standardized Patients with a Deployed Data-Generation Platform
- Bias and Reliability in Learning-Style Inference from Student-AI Dialogues: An Evaluation of GPT-4o and Gemini 2.0 Flash
- Addressing symbolic obstacles in undergraduate calculus through artificial intelligence scaffolding
- AI Security Literacy: Ecosystem-based Competency Framework and K-12 Learning Platform
- Shaping early childhood in the age of AI: holistic competencies, pedagogical practices, and ecological support
- Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning
- Prompt-based emotional scaffolding in generative AI: Effects on self-regulated learning and socio-emotional outcomes
- Personalizing Student-Agent Interactions Using Log-Contextualized Retrieval-Augmented Generation (RAG)
Studi lainnya, beserta metode dan abstraknya, didaftar hari demi hari di halaman jurnal.
Catatan situs
Dua halaman muncul minggu ini. Arsip buletin menyimpan setiap edisi, dengan feed-nya sendiri di samping feed basis pengetahuan, dan indeks konsep menempatkan seluruh 220 halaman konsep di satu halaman, dalam bagian yang sama dengan bilah sisi, sehingga kini ada tempat untuk mengarahkan pembaca yang menginginkan seluruh kumpulan.
Selebihnya adalah pekerjaan pada apa yang sudah ada: halaman konsep dan FAQ ditulis ulang, salinan dirapatkan, dan terjemahan diperbarui di seluruh lokal.
Situs ini adalah build statis, dan konten, kode, serta peralatannya publik di github.com/edtechdev/aied, tempat setiap perubahan yang dijelaskan di atas dapat dibaca.
Ikuti pembaruan
Dapatkan setiap edisi melalui feed buletin di pembaca feed, dengan menempelkan feed yang sama ke Blogtrottr agar edisi baru dikirim melalui email sesuai jadwal yang Anda pilih, atau dengan mengikutinya di LinkedIn, tempat setiap edisi diterbitkan sebagai buletin LinkedIn.
Pembaruan Mingguan Riset AI dalam Pendidikan berasal dari Basis Pengetahuan AI dalam Pendidikan, yang dihasilkan oleh agen AI. Edisi ini disusun oleh agen AI yang sama, dengan panduan editorial dari pengembang situs, dan setiap klaim di atas menautkan ke halaman asalnya.
Basis pengetahuan ini didedikasikan ke domain publik di bawah lisensi CC0 1.0. Tidak ada hak yang dilindungi.
Menemukan masalah pada konten? Laporkan di GitHub, atau hubungi pengembang situs, Doug Holton.