Bagaimana AI Dapat Membantu Penelitian Pendidikan?

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Rekan penulis Anda menginginkan satu paragraf di bagian metode tentang alat AI yang digunakan tim. Atau tumpukan penyaringan lebih panjang daripada waktu yang diizinkan tenggat. Atau seorang peninjau bertanya, dengan sopan, apakah ada orang yang membaca transkripnya, dan Anda tidak yakin apa jawaban jujurnya.

Jawaban singkat untuk rapat itu: AI dapat mengambil alih pencarian, penyaringan putaran pertama, triase pengodean, dan penyusunan draf, dan AI tidak dapat memikul tanggung jawab atas apa yang disimpulkan proyek. Putuskan tugas mana yang terbuka bagi AI sebelum proyek dimulai, verifikasi keluarannya terhadap standar manusia dengan orang tertentu yang memutuskan, dan catat cukup banyak sehingga orang luar dapat merekonstruksi apa yang terjadi. Sebagian besar tim menemukan bahwa jam verifikasi dan pencatatan adalah pekerjaan yang bertambah, bukan berkurang.

Versi singkat

1. Tuliskan tugas penelitian mana yang boleh menggunakan AI dan mana yang tidak, sebelum pencarian pertama berjalan. Urutkan berdasarkan taruhannya, bukan berdasarkan alatnya.

2. Letakkan otomasi pada penyaringan. Biarkan ekstraksi data, rekonsiliasi, dan sintesis pada manusia.

3. Tetapkan buku kode dan rubrik sebelum proses otomatis menyentuh data.

4. Putuskan apa arti verifikasi dan siapa yang menandatanganinya. Kesepakatan antara model dan pengode adalah ukuran kemiripan, bukan hasil kualitas.

5. Verifikasi setiap referensi secara manual, mulai dari penulis, setiap kali AI menyentuh penulisannya.

6. Catat prompt, versi model, dan versi korpus, dan anggarkan jam untuk itu.

Putuskan apa yang boleh disentuh AI sebelum proyek dimulai

Keputusan cakupan berada di berkas proyek, bukan di ingatan seseorang. Dalam studi kelompok fokus Dai dan Chan (2026), para peneliti yang telah memikirkannya mengalibrasi penggunaan berdasarkan taruhan dan sentralitas intelektual: lebih berat pada pekerjaan prosedural berisiko rendah, hati-hati di tempat kontribusi ilmiahnya menjadi pusat. Dua puluh tujuh dari 28 peneliti pascasarjana dalam studi itu pernah menggunakan GenAI di suatu tempat dalam alur kerja, termasuk penulisan akademik dan penerjemahan, sehingga bagi sebagian besar tim pertanyaannya adalah di mana garisnya berada, bukan apakah garis itu ada.

Tulis garis itu sebagai daftar dengan putusan untuk setiap tugas: pencarian literatur, penyaringan abstrak, ekstraksi, pengodean kualitatif, analisis statistik, penyusunan draf, pemformatan referensi. Bacalah studi itu sebagai peta tentang apa yang dilaporkan dilakukan para peneliti. Itu catatan kelompok fokus, bukan hasil efektivitas.

Letakkan otomasi pada penyaringan dan pertahankan sintesis di dalam tim

Tinjauan sistematis adalah tempat otomasi paling maju. Alat seperti ASReview, SWIFT-Review, Covidence, AIScreenR, dan MetaMate memangkas beban prosedural terutama pada penyaringan abstrak, sementara ekstraksi data, rekonsiliasi, dan sintesis tetap pada peninjau manusia di satu-satunya tim yang melaporkan alur kerjanya (Wang dkk., 2026).

Sebagian besar manfaatnya datang dari dua keputusan desain. Tulis aturan keputusan untuk kasus abu-abu sebelum penyaringan dimulai, dan pertahankan kategori 'mungkin' dengan log putusan bersama agar pertimbangan yang sama diterapkan pada jenis rekaman yang sama. Tanpa log itu, aturan peninjau kedua dan aturan peninjau pertama menyimpang tanpa suara, dan daftar eksklusi tidak lagi dapat direproduksi.

Tetapkan buku kode sebelum model membaca apa pun

Analisis kualitatif adalah tahap di mana interpretasi adalah produknya. Konstruk, rubrik pengodean, dan data pelatihan adalah keputusan manusia, bukan keluaran model (Martin dkk., 2026), yang berarti buku kode harus ditetapkan sebelum proses otomatis berjalan atas korpus. Alternatifnya adalah skema pengodean yang ditulis mengikuti apa yang kebetulan dimunculkan model, dan temanya lalu menggambarkan pembacaan alat atas data Anda.

Delegasi dapat lebih terperinci daripada semua atau tidak sama sekali. Satu studi verifikasi buta menggolongkan 15 dari 72 butir buku kode sebagai jelas memerlukan keahlian manusia, 12 lebih baik dilayani model, dan 16 cocok untuk triase berbasis keyakinan. Urutkan butir Anda sendiri dengan cara itu dan penghematan tenaganya jatuh di tempat yang aman.

Putuskan apa arti verifikasi dan siapa yang menandatanganinya

Kesepakatan tinggi antara model dan pengode manusia dilaporkan seolah-olah itu menetapkan kebenaran. Tidak demikian. Liu dkk. (2026) meminta seorang ahli independen menilai 855 pasangan himpunan kode secara buta terhadap sumbernya. Kesepakatan manusia-LLM (Jaccard rata-rata 0,30) berada jauh di bawah kesepakatan manusia-manusia (0,52), namun verifikator buta lebih memilih pengodean manusia dan mesin pada tingkat yang tidak dapat ia bedakan (51,5% berbanding 48,5%, p = 0,537). Dalam beberapa kasus konsensus manusia memuat bias bersama yang ditolak verifikator demi model.

Jadi langkah verifikasi memerlukan standar emas yang bukan keluaran model dan bukan pula kesepakatan pengode dengannya, ditambah orang tertentu yang memutuskan perselisihannya. Laporkan keduanya. Statistik kemiripan menggambarkan seberapa dekat dua pembacaan cocok, dan tidak mengatakan apa pun tentang apakah salah satunya benar.

Cari dengan cepat, lalu periksa sendiri setiap sumber

Pencarian generatif merangkum, merekomendasikan, menyintesis, dan bercakap, yang mengganggu susunan lama di mana sistem menemukan dan pembaca menafsirkan (lokakarya pencarian akademik GenAI). Perlakukan sebagai alat penemuan. Laporan lokakarya itu membawa dua peringatan: kemampuannya tidak merata, dengan sarjana yang sangat banyak dikutip direkonstruksi sekitar dua kali lipat tingkat rekan yang kurang dikutip, dan seorang pustakawan menggambarkan kesenjangan kepercayaan di mana mahasiswa terlalu mempercayai pencarian generatif sementara dosen tidak mempercayainya.

Verifikasi referensi adalah tempat ini menjadi tidak dapat ditawar, dan kegagalannya mengelompok di bidang penulis, bidang yang membawa kredit. Denny dkk. (2026) mengaudit 723.930 publikasi dan 15.872.533 referensi dan memverifikasi 30 referensi yang direkayasa di 14 makalah pendidikan komputasi, semuanya dari 2025 dan 2026. Tujuh belas dari 30 itu hibrida: judul asli dilekatkan pada penulis yang direkayasa atau salah. Jumlah terverifikasi pada satu simposium teknis naik dari 3 pada 2025 menjadi 17 pada 2026, pada 2,3% makalah prosiding tahun itu. Total mereka adalah batas bawah yang disengaja, dan pemeriksa otomatis mewarisi cacat metadata yang mereka perlakukan sebagai kebenaran dasar. Periksa penulisnya lebih dulu.

Perlakukan skor otomatis sebagai hipotesis yang harus diuji

Fungsi pengukuran otomatis dapat tampak presisi dan prediktif sambil tetap buram. Martin dkk. membingkainya dengan masalah pengukuran nomik Chang: mengukur suatu kuantitas memerlukan hukum yang menghubungkannya dengan sesuatu yang dapat diamati, dan hukum itu tidak dapat diuji tanpa sudah mengetahui kuantitasnya. Fungsi pengukuran yang diturunkan AI muncul dari data pelatihan dan optimasi, bukan dari peneliti, sehingga kerja keterjelasan penting untuk menunjukkan apakah sebuah model melacak pemahaman semantik atau hanya kata kunci.

Kegagalannya konkret. Dalam evaluasi atas delapan agen pengajar AI, agen yang peringkat ketiga menurut skor platform itu sendiri menempati peringkat terakhir pada rubrik yang divalidasi ahli. Ketidaksepakatan manusia-mesin bersifat sistematis, bukan acak, dan operasionalisasi rubrik sering kali lebih penting daripada kepiawaian menulis prompt (Tseng dkk., 2026). Sebelum skor otomatis menjadi instrumen Anda, validasikan terhadap ukuran yang terkait dengan kemampuan yang ingin Anda teliti. Untuk ukurannya sendiri, lihat mengevaluasi intervensi AI.

Tulis bagian metode agar orang luar dapat mengauditnya

Adopsi telah berjalan lebih cepat daripada pelaporannya. Zabaleta dan Lin (2026) menganalisis 888 makalah otomasi tinjauan: sejak 2023, 38,0% makalah perangkat lunak dan produk sama sekali tidak melaporkan evaluasi, dibandingkan 9,3% makalah LLM, dan akses model secara sangat dominan bersifat kepemilikan (84,1%). Penilaian keseluruhan yang menguntungkan juga tidak menyiratkan kelayakan untuk didelegasikan, karena 52% dari 118 makalah LLM yang hanya positif masih melaporkan kekhawatiran bahwa alur kerjanya berada di bawah ambang yang dibutuhkan perannya. Kerangka PRISMA-LLM mereka memisahkan pengungkapan implementasi dari evaluasi yang peka konsekuensi dan memperlakukan kelima levelnya sebagai tingkatan pengungkapan, bukan tingkatan risiko.

Versi praktisnya: sebutkan sistemnya dan versinya, promptnya, versi korpusnya, apa yang diperiksa manusia, dan di mana ia gagal. Simpan log prompt dan respons, karena daftar tema buatan yang lancar tampak tak terhindarkan jauh sebelum kerja pembuktiannya dimulai (Holster, 2026).

Anggarkan jamnya juga. Studi kasus 115 hari dengan satu peneliti atas agen penelitian persisten menemukan pola terkuat adalah perluasan kapasitas, bukan substitusi tenaga kerja yang terbukti: seiring menumpuknya memori dan prosedur, cakupan pekerjaan yang didelegasikan tumbuh sementara masukan manusia tidak menyusut.

Jalankan inkuiri praktisi dengan aturan yang sama pada skala lebih kecil

Jika Anda seorang dosen yang meneliti kursus Anda sendiri, Anda bekerja di untaian tertipis dalam korpus. Penelitian Pendidikan Berbantuan AI menyatakan ini sebagai kesenjangan, bukan temuan: inkuiri praktisi berbantuan AI secara masuk akal tersebar luas dan hampir tidak terdokumentasi, dan bukti otomasi tinjauan serta bibliometrik tidak menetapkan bagaimana seorang dosen seharusnya meneliti pengajarannya sendiri.

Yang terbawa adalah seperangkat disposisi:

Gunakan AI di tempat di mana latar lokal Anda bukan variabelnya. Mencari literatur bidang Anda, mentranskripsikan dan merangkum rekaman Anda sendiri, serta menyusun draf instrumen atau bahasa persetujuan semuanya memenuhi syarat.

Pertahankan langkah interpretatifnya. Apa yang dianggap tema, apa arti komentar seorang mahasiswa, dan apa yang dibenarkan bukti kelas Anda adalah keputusan Anda, dan laporan tertulisnya harus menyebut langkah mana yang dibuat model dan mana yang Anda buat (Holster, 2026).

Tetapkan kriteria Anda lebih dulu dan jaga agar terlihat. Studi lokal kecil tidak dapat pulih dari konstruk yang didefinisikan setelah data datang.

Laporkan peran AI, verifikasi yang Anda lakukan, dan batas desain satu kursus dengan satu peneliti. Uraian alur kerja bukan hasil khasiat.

Perlakukan simulasi kohort sebagai opsi lanjutan, bukan bawaan. Pembelajar simulasi cenderung mencakup kuadran termudah dari perilaku mahasiswa nyata dan jarang divalidasi setelah digunakan (mensimulasikan mahasiswa). Baca membuat mahasiswa simulasi berperilaku seperti pembelajar sebelum Anda memercayai putusan sebuah simulator.

Apa yang salah dipahami peneliti tentang hal ini

Kesepakatan dengan pengode manusia berarti pengodeannya benar. Kesepakatan manusia-LLM dalam studi buta adalah 0,30 Jaccard berbanding 0,52 untuk manusia-manusia, dan verifikator buta tidak dapat membedakan kedua sumber pengodean itu pada 51,5% berbanding 48,5%. Kesepakatan mencatat bahwa dua pembaca bertemu, termasuk ketika mereka bertemu pada bias yang sama.

Pemeriksa referensi menggantikan pemeriksaan referensi. Ketiga puluh referensi yang direkayasa dalam audit Denny mencakup 17 hibrida di mana judulnya asli dan penulisnya tidak, yang justru merupakan kasus yang paling buruk ditangani pemeriksa yang dilatih pada metadata, karena metadatalah yang salah.

Evaluasi yang menguntungkan membuat alur kerja layak untuk peran Anda. Dari 118 makalah LLM yang hanya positif, 52% masih melaporkan kekhawatiran bahwa alur kerjanya berada di bawah ambang yang dibutuhkan perannya. Bacalah kedalaman evaluasinya terhadap pekerjaan yang Anda berikan.

Kepiawaian prompt adalah tuas utama kualitas. Operasionalisasi rubrik sering lebih penting daripada kepiawaian menulis prompt dalam kesepakatan manusia-mesin, dan evaluasi delapan agen menempatkan sistem yang sama di peringkat ketiga dan terakhir tergantung rubrik siapa yang diterapkan.

AI mengurangi pekerjaan dari proyek. Studi kasus 115 hari menemukan cakupan yang didelegasikan tumbuh seiring menumpuknya memori agen. Verifikasi, putusan, dan pencatatan adalah jam yang tumbuh bersamanya.

Apa yang akan kembali kepada Anda

'Rekan penulis saya sudah melakukan ini dan tidak ada yang mengeluh.' Tidak ada yang mengeluh bukan temuan tentang validitas. Pertanyaan pengungkapan terpisah dari pertanyaan kualitas, dan angka 38,0% untuk makalah perangkat lunak yang tidak dievaluasi menunjukkan bahwa kesunyian bidang ini tersebar luas.

'Dua model saling sepakat, jadi pengodeannya sudah tuntas.' Dua model yang berbagi data pelatihan berbagi kesalahannya. Verifikator buta dalam studi Liu lebih memilih pengodean mesin pada 48,5%, dan yang membuat angka itu dapat ditafsirkan adalah hakim independen, bukan kesepakatan itu sendiri.

'Kami tidak dapat mengaudit model kepemilikan, jadi tidak ada yang bisa dilaporkan.' PRISMA-LLM meminta pengungkapan implementasi sebagai tingkatan yang terpisah dari kedalaman evaluasi. Sistem, versi, prompt, apa yang diperiksa manusia, dan di mana ia gagal semuanya dapat dilaporkan untuk model tertutup.

'Komite etik tidak akan pernah menyetujui ini.' Akses model bersifat kepemilikan pada 84,1% makalah yang diperiksa, yang berarti teks mahasiswa biasanya meninggalkan institusi Anda. Kumpulkan hanya yang dibutuhkan tujuan pendidikan, periksa apakah data pembelajar melatih model vendor, dan utamakan data lokal atau sintetis di tempat sensitivitasnya tinggi. Ekuitas, etika, dan keamanan pedagogis dalam penelitian mencakup kewajibannya secara lengkap.

'Ini akan lebih lambat daripada mengerjakannya manual.' Untuk proyek kecil sering demikian. Argumen pendukungnya berpijak pada cakupan dalam skala besar, dan argumen menentang melebih-lebihkannya berpijak pada uraian 115 hari yang sama.

Yang perlu dilakukan pekan ini

1. Tulis daftar tugas dengan putusan di samping setiap butir, dan letakkan di tempat seluruh tim dapat melihatnya.

2. Tambahkan aturan keputusan kasus abu-abu dan log putusan ke protokol penyaringan Anda sebelum kelompok berikutnya dimulai.

3. Pilih satu keluaran otomatis yang sudah Anda andalkan dan validasikan terhadap pertimbangan manusia pada sampel yang belum Anda lihat.

4. Baca manuskrip terakhir yang Anda kirimkan dan periksa setiap nama penulis dalam daftar referensi secara manual.

5. Tambahkan baris 'di mana AI gagal' ke templat metode Anda, agar kebiasaan pengungkapannya tertulis satu kali.

Ke mana selanjutnya

Pertanyaan pendampingnya adalah mengevaluasi intervensi AI tentang cara mengukur sebuah intervensi, melaporkan dan menafsirkan penelitian AIEd tentang pelaporan sistem dan penggunaan AI Anda sendiri, dan kesenjangan penelitian AIEd tentang di mana literaturnya tipis. Ekuitas, etika, dan keamanan pedagogis dalam penelitian membahas data mahasiswa, dan penelitian pendidikan berbantuan AI adalah halaman konsep lengkap di balik halaman ini.