Evaluasi AI dalam Pendidikan

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Evaluasi AI-ed — kumpulan metode, tolok ukur, dan kriteria yang dipakai untuk menilai apakah alat pendidikan AI (tutor berbasis Model Bahasa Besar (LLM), penilai otomatis, sistem umpan balik, agen) benar-benar bekerja — bukan hanya pada akurasi di judul, tetapi pada keandalan, kualitas pedagogis, validitas, dan dampak pembelajaran yang nyata. Tema yang berulang di seluruh riset dalam basis pengetahuan ini adalah bahwa evaluasi harus spesifik domain, sadar keandalan, dan berjangkar pada pertimbangan manusia serta luaran pendidikan, bukan pada satu angka akurasi agregat.

Pertanyaan untuk Dipertimbangkan

• Bagaimana Anda memutuskan apakah sebuah alat tutor AI 'berhasil'? Bukti apa — di luar angka akurasi di judul — yang akan meyakinkan Anda bahwa alat itu benar-benar meningkatkan pembelajaran?
• Temuan kuncinya adalah bahwa keandalan tidak menjamin validitas: sebuah sistem dapat sangat konsisten tetapi salah menilai seperti apa pengajaran yang baik. Mengapa AI yang stabil dan dapat diulang masih bisa keliru?
• Evaluasi harus spesifik domain — tolok ukur yang berfungsi untuk satu mata pelajaran bisa menyesatkan untuk mata pelajaran lain. Ketika Anda melihat hasil tolok ukur yang cemerlang untuk sebuah alat AI, apa yang ingin Anda periksa tentang konteksnya?
• 'Kebenaran dasar' yang menjadi pembanding sistem sering diperdebatkan — apa yang dianggap jawaban atau nilai yang benar berbeda antar pakar dan disiplin. Bagaimana ketidakpastian itu mempersulit kepercayaan pada evaluasi apa pun?
• Riset menunjukkan evaluator LLM berbasis teks mengistimewakan perilaku yang dinyatakan eksplisit dan mengurangi bobot konteks implisit — sebuah 'bias isyarat eksplisit.' Jenis pengajaran baik apa yang mungkin secara sistematis terlewat oleh mesin karena ia hanya mencari yang tampak jelas?
• Evaluasi modern juga menimbang biaya lingkungan dan infrastruktur — energi, perangkat keras — bukan hanya kualitas keluaran. Haruskah Keberlanjutan diperhitungkan dalam cara Anda menilai nilai sebuah alat AI?

Pendahuluan

Evaluasi AI-ed mencakup beberapa objek penilaian yang berbeda. Ia dapat mengevaluasi keluaran (apakah jawaban, nilai, atau umpan balik AI benar dan andal?), proses (apakah alat itu mendukung penilaian dan pembelajaran yang valid dan dapat dipertahankan?), dan agen (apakah tutor atau agen AI mengajar secara efektif dan berperilaku semestinya?). Masing-masing menuntut metode berbeda dan memunculkan pertanyaan validitas yang berbeda.

Rentang satu dekade bidang ini sendiri merupakan sebuah kerangka: Xiong dan Li (2026) menelusuri tiga era — Formatif (2015–2018), Ekspansi (2019–2022), dan Generatif (2023–sekarang) — di 313 artikel, dan berargumen bahwa konstruk serta argumen validitas harus ditulis ulang untuk kolaborasi manusia–AI, sebab model IRT dan Teori Tes Klasik dibangun di atas kinerja manusia tanpa bantuan.

Bagaimana evaluasi AI-ed muncul dalam riset

• Keandalan keluaran dan kebenaran dasar: Memodernkan kebenaran dasar berargumen bahwa masalah keandalan dalam evaluasi AI-ed sering berakar pada data rujukan itu sendiri — label "kebenaran dasar" yang menjadi pembanding sistem — dan mengusulkan empat pergeseran untuk memperbaiki keandalan dan validitas. Mengkalibrasi keterpercayaan merancang metrik dan visualisasi evaluasi bersama pemangku kepentingan agar kepercayaan pada alat AI bersandar pada bukti yang terbukti dan dapat ditafsirkan.

• Penilaian dan penskoran otomatis: Penilaian jawaban singkat berbasis LLM, ASAG yang sadar keyakinan, rekayasa prompt human-in-the-loop CoTAL, dan diagnosis kognitif matematika tulisan tangan menunjukkan bahwa LLM dapat menilai dan mendiagnosis, tetapi keandalannya bergantung pada pengawasan manusia, landasan yang spesifik domain, dan kalibrasi keyakinan, bukan pada ukuran model mentah.

• Tolok ukur untuk pengetahuan pedagogis, bukan konten. Lelièvre et al. (2025) memberi skor 97 model pada butir ujian guru Chile (CDPK 28–89%), banyak yang melampaui perkiraan garis dasar manusia ~50%, namun butir pilihan ganda statis tidak dapat menguji perencanaan pembelajaran atau scaffolding dari giliran ke giliran.

• Mengenali bukan menghasilkan. Pada TutorCaseBench, model terbaik dari 11 model memilih strategi terdokumentasi pada 63.0% butir empat opsi tetapi memenuhi intervensi terdokumentasi hanya pada 55.8% kasus respons bebas, sehingga skor pemilihan strategi melebih-lebihkan kesiapan tutor (Park et al. (2026)).

• Memvalidasi butir yang dihasilkan terhadap tolok ukur psikometrik. Isley et al. (2025) menghasilkan ujian yang disesuaikan dengan mata kuliah untuk 71 kelas dan membandingkan 20 lainnya dengan butir AP Statistics karya manusia, mencocokkan model IRT 2PL hierarkis Bayes dengan jangkar pra-tes pada 1,686 siswa; butir AI lebih mudah tetapi lebih diskriminatif (ᾱ = 1.3 vs. 1.2).

• Kualitas dan keselarasan pedagogis: Mengapa mesin salah membaca kualitas pedagogis mendokumentasikan ketidakselarasan manusia–mesin dalam menilai apa yang membuat pengajaran baik, dan Indeks Efektivitas Tutoring memprediksi kualitas tutor dari perilaku mengajar. Penilaian yang bertanggung jawab di era AI dan proses yang terautentikasi berargumen bahwa evaluasi harus menjangkau melampaui jawaban benar ke pertanyaan apakah penilaian tetap autentik, valid, dan dapat dipertahankan ketika AI dapat menghasilkan "produk" pembelajaran.

• Pemantauan produksi dan kalibrasi juri: Rohlfs et al. (2026) melaporkan apa yang terjadi ketika evaluasi LLM-sebagai-juri berjalan pada skala produk, dengan bersandar pada rangkaian K-12 yang melayani jutaan pesan guru dan siswa setiap bulan. Ketika program itu matang, positif palsu mendominasi bendera para evaluator dan mengalihkan perhatian analis dari kegagalan yang menuntut perubahan produk. Tiga perubahan — panel yang gagal secara bulat dari putaran juri yang diulang, pilihan model juri per-evaluator, dan rubrik yang dilunakkan — memangkas positif palsu terkonfirmasi sebesar 99% dan menaikkan presisi per-bendera dari 0.6% ke 49% di 21 evaluator yang diterapkan, sementara himpunan kegagalan berat menjaga cakupan tetap 100%. Pelajaran bagi praktik evaluasi adalah bahwa titik operasi sebuah evaluator, bukan akurasi di judulnya, yang menentukan apakah sebuah bendera dapat ditindaklanjuti.

• Keberagaman juri sebagai protokol validitas. Sebuah tolok ukur untuk agen desain instruksional menarik jurinya dari penyedia model yang berbeda alih-alih satu penyedia, dan melaporkan keandalan antar-juri yang tinggi di 1,017 skenario yang dinilai (Jeon et al. (2026)).

• Audit sebuah penjelasan terhadap atribusi yang diklaimnya, bukan terhadap kelancarannya. Pan et al. (2026) menyaring narasi model berdasarkan ketertutupan aritmetika, kovariat yang dikutip, kesetiaan keputusan, dan laju perlakuan tidak aman, karena teks yang lancar sama rapi bentuknya apakah sinyalnya tepat atau bising — 98.8% narasi lolos sementara ekor negatifnya terpotong.

• Sensitivitas prompt adalah sifat orde pertama sebuah penilai LLM. Habibullah et al. (2026) menilai ujian visi komputer pada 570 siswa di 171 konfigurasi dan ujian pembelajaran mesin pada 1,038 siswa di 162 konfigurasi: prakata singkat "penilai ketat" mendorong 14 dari 17 model open-weights keluar dari pita nilai, sementara replikasinya mereproduksi kerentanan itu tetapi tidak arahnya, dan justru memperbaiki tujuh model yang prompt netralnya menilai berlebih. Akurasi satu prompt bukan bukti penilai yang dapat dipakai, dan bias bertanda seharusnya berdampingan dengan angka mean-absolute-error; penyetelan halus LoRA pada contoh berpasangan yang dinilai ganda membawa lima model kecil ke paritas manusia dan hampir menghapus sensitivitas persona.

• Bukti yang dapat dinilai adalah variabel desain, bukan sifat tugas. Globerson et al. (2026) membiarkan sebuah Executive LLM memegang rubrik dan mengarahkan percakapan menuju keterampilan yang dinilai, menaikkan bukti yang dapat dinilai menjadi 92.4% untuk manajemen proyek dan 85% untuk resolusi konflik, sementara meminta peserta memperhatikan keterampilan itu tidak mengubah apa pun.

Mengapa evaluasi sulit dalam AI-ed

Evaluasi AI-ed sulit karena beberapa alasan. Pertama, keandalan tidak cukup — sebuah sistem dapat setuju dengan rubrik namun salah menilai pedagogi, seperti ditunjukkan riset keselarasan manusia–mesin. Kedua, kebenaran dasar diperdebatkan — apa yang dihitung sebagai jawaban "benar", nilai, atau langkah mengajar itu sendiri adalah pertimbangan yang berbeda antar disiplin dan pakar, menurut modernisasi kebenaran dasar. Ketiga, validitas pendidikan bersifat multidimensi — Validitas Penilaian, Penilaian Formatif, dan Penilaian Autentik masing-masing menerapkan kriteria berbeda yang tidak dapat ditangkap oleh satu metrik akurasi. Terakhir, sasarannya terus bergerak — AI agentic dan model AI Multimodal menuntut kerangka evaluasi (AI Agensik, penilaian yang invarian terhadap alat) alih-alih penggunaan ulang tolok ukur model teks. Temuan evaluasi juga tunduk pada keterbatasan lintas-bidang yang memengaruhi semua riset AIED — temuan itu menua seiring AI membaik, bergantung pada reproduksibilitas dan praktik FAIR, dan mungkin bersandar pada sistem berpemilik — sehingga hasil evaluasi harus dibaca dengan kaveat dalam Keterbatasan dalam Penelitian AIEd. Satu dimensi lain yang sedang muncul adalah keberlanjutan sumber daya: penerapan on-premise makin banyak melaporkan konsumsi energi dan kebutuhan perangkat keras (mis., VRAM, mWh per kueri) berdampingan dengan akurasi — lihat asisten basis pengetahuan on-premise yang berkelanjutan — sehingga evaluasi yang lengkap menimbang biaya lingkungan dan infrastruktur, bukan hanya kualitas keluaran.

Keandalan tidak menjamin validitas. Validasi observasi kelas berbasis LLM menunjukkan bahwa sebuah model dapat sangat stabil di seluruh evaluasi berulang namun tetap tidak selaras dengan pertimbangan pakar, dan sebaliknya bahwa model yang selaras baik dengan pakar sering lebih bervariasi — keandalan dan akurasi terlepas satu sama lain, sehingga satu angka akurasi sekali-jalan dapat melebih-lebihkan keterandalan. Studi yang sama mendokumentasikan bias isyarat eksplisit: evaluator LLM berbasis teks mengistimewakan perilaku yang dinyatakan eksplisit dan mengurangi bobot bukti implisit atau kontekstual (mis., regulasi diri siswa yang berkelanjutan ketika rubrik mengizinkan nilai tinggi pada kriteria yang toleran terhadap ketiadaan), sehingga menghasilkan ketidaksepakatan yang sistematis, bukan acak. Ini menegaskan bahwa keandalan pengukuran adalah prasyarat bagi — bukan proksi bagi — interpretasi yang valid, dan bahwa evaluasi harus mencakup pemeriksaan stabilitas ukuran berulang berdampingan dengan akurasi yang berjangkar pada pakar.

Bahkan model wacana jangka panjang yang tervalidasi hanya melacak ukuran luaran independen secara lemah: skor Student Reasoning dan Teacher Uptake NSPA berkorelasi dengan model value-added efektivitas guru pada ρ = 0.10, sehingga konstruk otomatis memerlukan validasi luaran eksternal sebelum menginformasikan evaluasi (Fang dan Liu, 2026).

Evaluasi pembelajar simulasi menghadapi standar yang sama: sebuah simulator valid hanya jika perilakunya setia secara epistemik dan bukan sekadar lancar, sehingga ia harus dinilai terhadap tujuan perilaku dan lingkungan yang dinyatakannya, bukan terhadap kemanusiaan generik — dan juri otomatis cocok dengan preferensi pakar manusia sekitar 65% dari waktu (Yuan et al. (2026)).

Akurasi agregat menyembunyikan siapa yang kurang terlayani. Evaluasi model bahasa-visi pada DrawEduMath menunjukkan bahwa akurasi keseluruhan menutupi kelemahan sistematis: model tampil lebih buruk justru pada pekerjaan siswa yang paling membutuhkan bantuan pedagogis (pekerjaan siswa yang keliru dan sedang berjuang), sehingga pemecahan evaluasi menurut kemahiran siswa dan status kesalahan menjadi perlu agar kapabilitas tidak dilebih-lebihkan dan kesenjangan capaian tidak melebar.

Kebenaran biner menyembunyikan kegagalan yang penting. Pada tolok ukur diagnosis langkah tiga arah atas 10,836 pasangan simulasi, tujuh tutor LLM mengklasifikasikan langkah optimal hampir sempurna (F1 94–99%) tetapi alternatif yang valid hanya pada F1 0–76% dan langkah keliru pada 4–55% — penolakan berlebih dan validasi berlebih — dan diagnosis yang akurat tetap tidak menghasilkan umpan balik yang dapat ditindaklanjuti (Yasir et al. (2026)).

• Kontrol perturbasi menunjukkan bukti mana yang sebenarnya dipakai model. Dalam VIRA-Bench, model terbaik dari 11 model menjawab 61.3% pertanyaan video tutoring terhadap rujukan pakar 91.0%, dan menghapus video versus mengacak urutannya menurunkan lapisan pertanyaan yang berbeda — diagnostik yang lebih murah daripada skor agregat lain (Wang et al. (2026)).

• Menggunakan ulang instrumen manusia untuk mengevaluasi LLM menuntut pemeriksaan struktur laten. Strugatski et al. (2026) mencocokkan analisis faktor eksploratori secara terpisah untuk manusia dan enam LLM multimodal: kongruensi LLM–manusia tetap di bawah garis dasar manusia–manusia pada kedua instrumen, dan analisis paralel mempertahankan jumlah faktor yang berbeda (lima untuk manusia versus empat untuk LLM).

• Evaluasi bersama memunculkan trade-off yang disembunyikan satu skor. Jiang et al. (2026) memberi skor sembilan model berorientasi pendidikan pada kapabilitas, keselamatan, pendidikan dasar, dan pemupukan tingkat tinggi di bawah satu protokol: enam teratas secara statistik tidak dapat dibedakan secara keseluruhan namun berbeda 19.5 poin pada Keselamatan, dan Keselamatan berkorelasi negatif kuat dengan Pendidikan Dasar (r = −0.83).

• Kemiringan kelas dapat membuat metrik evaluasi menyesatkan. Csibi dan rekan (2026) mengklasifikasikan tingkat refleksi dalam 1,954 esai pendidikan guru Hungaria yang 68% berada pada satu tingkat: satu konfigurasi dangkal mencapai ROC-AUC 0.7131 dengan akurasi hanya 0.5162, dan penyeimbangan kelas menurunkan setiap metrik (akurasi 0.6672 tanpa penyeimbangan berbanding 0.6408 dengannya). Model dangkal memberi skor agregat terbaik sementara transformer menangani tingkat minoritas lebih baik, sehingga angka yang dilaporkan harus mengikuti kinerja yang benar-benar menjadi sandaran suatu keputusan.

• Kesalahan tolok ukur dan penilai disalahartikan sebagai kegagalan model. Penilaian ulang oleh pakar atas enam tolok ukur fisika yang banyak dipakai mengaudit 250 butir yang ditolak dan mengaitkan 143 (57.20%) dengan cacat tolok ukur dan 95 (38.00%) dengan kesalahan penilai, menyisakan hanya 12 (4.80%) kesalahan model yang sejati, sehingga 95.20% dari selisih yang terukur tidak dapat dikaitkan dengan model. Perbaikan butir menggeser mean@4 HLE-Physics dari 47.28% ke 78.66% dan mean@5 CritPt dari 32.29% ke 87.50% yang terkoreksi, mengubah kelemahan model frontier yang tampak menjadi nyaris saturasi. Audit itu berargumen bahwa skor yang dilaporkan adalah sifat bersama dari model, bank butir, dan penilai, dan bahwa adjudikasi pakar harus mendahului klaim kapabilitas apa pun yang ditarik dari tolok ukur. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

Kecepatan sistem yang dievaluasi merupakan kendala lebih lanjut. Harrison et al. (2026) menyatakan masalah temporal itu secara langsung: pada saat sebuah uji skala besar telah dirancang, dijalankan, dianalisis, dan diterbitkan, teknologi yang diteliti mungkin sudah berubah secara material, yang mendorong praktik ke data observasional atau data penggunaan yang lemah justru pada saat bukti yang lebih kuat dibutuhkan. Jawaban mereka bukan menerima desain yang lebih lemah tetapi memperpendek lingkarannya — uji acak mikro yang dipimpin praktisi yang mempertahankan kontras kausal dan mengulanginya seiring platform berkembang.

• Kesetiaan data adalah masalah evaluasi yang terpisah dari kualitas keluaran. Kohort pendidikan sintetis yang mereproduksi statistik ringkasan setiap variabel tetap dapat salah menyatakan struktur data: graf kedekatan mingguan atas pembelajar bervariasi 2.6 hingga 4.9 kali lebih sedikit sepanjang satu semester pada versi sintetis daripada pada kohort nyata, sehingga skor kesetiaan tidak memprediksi analisis mana yang bertahan pada data nyata (Inoue & Yasutake, 2026).

• Akurasi dalam-distribusi bukan kelayakan penerapan. Pengklasifikasi tingkat Bloom dengan makro F1 0.88 pada bank butir yang dikurasi turun ke 0.48 dan 0.20 pada dua himpunan pertanyaan hasil AI, penurunan yang mengikuti nyaris tidak adanya kata kerja pemicu Bloom eksplisit alih-alih ukuran model; LLM yang tidak dilatih adalah opsi paling tangguh di luar distribusi (0.79 dan 0.41–0.51) dan pelatihan ulang pada data luar-distribusi berlabel memulihkan keuntungan terbesar (hingga 0.82), sehingga transfer harus masuk laporan berdampingan dengan kecocokan dalam-distribusi (Castanares et al., 2026).

• Skala kesulitan AI adalah bantuan evaluasi, bukan nilai. Perkiraan kesulitan AI melacak laju lolos tingkat soal secara kuat (rho = −0.871 di 79 soal) tetapi melemah ke −0.552 pada sampel CS101 106 soal dan mendekati nol pada tingkat ujian, sehingga skala semacam itu masuk ke tinjauan butir, bukan ke evaluasi siswa (Yan et al. (2026)).

Koneksi ke konsep terkait

Evaluasi AI-ed berada di pusat metode dan risiko basis pengetahuan ini. Ia mengoperasionalkan Validitas Penilaian, Pengukuran Pendidikan, dan Tolok Ukur di dalam Penilaian dan Penilaian Otomatis. Seruannya akan pengawasan manusia terhubung ke Human-in-the-Loop dan Pengajaran, sementara fokusnya pada keandalan terhubung ke Risiko Halusinasi, Penilaian AI yang Sadar Keyakinan, dan Kalibrasi Kepercayaan. Pembeda antara mengevaluasi kinerja dan mengevaluasi pembelajaran terhubung ke kinerja vs. pembelajaran dan ke Pemodelan Pembelajar dan Pengajaran Adaptif; dan evaluasi agen pedagogis terhubung ke Tutoring Cerdas, Pelatihan dan Penyetelan Halus LLM, dan Keselamatan Pedagogis.

Mengevaluasi perolehan belajar

Objek sentral evaluasi AI-ed adalah perolehan belajar — peningkatan pengetahuan atau keterampilan yang terukur yang dihasilkan sebuah alat AI (lihat Perolehan Belajar). Mengevaluasi perolehan secara ketat menuntut pemilihan ukuran luaran yang tepat, karena kinerja dan pembelajaran menyimpang: AI dapat menggelembungkan kinerja tugas yang segera dan dibantu AI sementara pembelajaran yang tahan lama dan tanpa bantuan tetap tidak berubah atau menurun (lihat Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build, The Generative AI Learning Penalty: Evidence from Chinese Secondary Education). Evaluasi perolehan yang efektif karena itu:

• Menggunakan ukuran luaran tanpa bantuan yang tahan AI. Bukti pagar pengaman dan riset penilaian sumatif menunjukkan bahwa ukuran yang diawasi, buku tertutup, dan tanpa bantuan — bukan pekerjaan rumah atau tugas yang dibantu AI — mengungkap perolehan belajar yang sejati.
• Membedakan kinerja terbantu dari pembelajaran yang tahan lama. Meta-analisis menunjukkan AI dapat menghasilkan keuntungan produktivitas besar tanpa perolehan belajar yang berarti (g ≈ 0), sehingga evaluasi harus melaporkan keduanya.
• Generasi teknologi mungkin tidak berpengaruh, dan data biaya tidak ada. Burneo et al. (2026) menggabungkan 14 uji acak menjadi perolehan belajar rata-rata 0.125 sd, dengan AI generatif tidak menunjukkan keunggulan atas perangkat lunak adaptif sebelumnya (0.022 sd, SE 0.075) dan biaya per siswa yang sebanding dilaporkan hanya pada dua atau tiga studi.
• Memasangkan ukuran pra/pasca dengan pemeriksaan validitas. Validitas Penilaian dan Pengukuran Pendidikan menjadi landasan pengukuran perolehan; tinjauan meta-analitik menggabungkan ukuran efek antar studi untuk menetapkan bukti perolehan bidang ini.
• Memecah menurut pembelajar dan konteks. Karena Perolehan Belajar bervariasi menurut populasi, domain, dan konfigurasi AI, evaluasi harus melaporkan perolehan untuk subkelompok siswa yang berbeda (mis., menurut kemahiran awal, seperti yang diungkap evaluasi VLM untuk status kesalahan) alih-alih satu agregat, dan harus menghubungkan temuan perolehan ke Meta-Analisis dan Tinjauan Sistematis untuk menempatkannya dalam basis bukti yang lebih luas.

Tolok ukur yang terkondisi konteks diperlukan: Zhang et al. (2026) berargumen bahwa tolok ukur tutoring sebelumnya (MathTutorBench, MRBench, LearnLM) memberi ganjaran pada satu sisi dilema bantuan atau memberi panduan yang kurang spesifik. TutorMoments sebaliknya memutar ulang titik keputusan pedagogis yang diidentifikasi guru, mengevaluasi apakah bantuan tutor sesuai dengan momen belajar tertentu — Perancah versus ketelitian.

• Metrik yang Anda pilih dapat membalik kesimpulan Anda. Zhang et al. (2026), yang mengevaluasi agen pengajaran AI dalam pendidikan kedokteran, menemukan bahwa skor agregat tak-terbuka sebuah platform pendidikan memeringkat agen nyaris berlawanan dengan rubrik kualitas pengajaran 8 dimensi yang transparan dan tervalidasi pakar (akurasi pengetahuan medis, panduan pedagogis, cakupan pengetahuan, kualitas role-play, kesulitan adaptif, keselamatan medis, keterlibatan, umpan balik). Skor platform mengindeks kinerja siswa; rubrik mengindeks perilaku mengajar agen -- memilih metrik yang salah menentukan agen mana yang diadopsi atau diperbaiki. Mereka juga menemukan kelonggaran LLM-sebagai-evaluator berbeda antar model (sebagian terlalu longgar untuk membedakan), sehingga penskoran otomatis memerlukan kalibrasi manusia dan paling dapat dipercaya pada dimensi proses kognitif.
• Laju kesalahan dapat menyembunyikan kegagalan yang seharusnya ditangkapnya. Stanchev (2026) mengirim satu rekaman teks-ke-ucapan dari bacaan bahasa Inggris medis ke empat layanan ASR: dua layanan gratis mengembalikan 87.96% dan 88.34% dari rujukan, sementara dua layanan berbayar mengembalikan pratinjau 32.76% dan 55.35% sehingga mencatat laju kesalahan kata 73.21% dan 48.77%. Laju kesalahan yang tinggi berasal dari token yang tidak pernah dikembalikan, bukan token yang salah dengar, sehingga pemeringkatan berdasarkan laju kesalahan saja memperlakukan pembatasan ekspor sebagai kegagalan transkripsi. Cakupan harus berdampingan dengan laju kesalahan setiap kali metrik otomatis menggantikan artefak yang dilihat pembelajar.
• Jangkarkan rangkaian evaluasi pada pembelajaran yang terukur, bukan proksi. Tolok ukur kemampuan mengajar, rubrik pedagogi percakapan, dan latensi tutor harus divalidasi terhadap perolehan belajar yang sebenarnya alih-alih diperlakukan sebagai penggantinya, dan latensi itu sendiri adalah sumbu evaluasi karena ia membentuk apakah siswa terlibat sama sekali (Northcutt et al., 2026).
• Peta bibliometrik dapat menyingkap apa yang dihargai sebuah budaya evaluasi. Di 1,403 publikasi pendidikan kedokteran, karya yang paling banyak dikutip mengukur kapabilitas model — terutama kinerja ChatGPT pada ujian lisensi — sementara keilmuan Tata Kelola AI tertinggal, sehingga para penulis menyerukan evaluasi empiris atas kerangka tata kelola alih-alih lebih banyak uji kapabilitas (Sriram et al. (2026)).
• Evaluasi berdasarkan pertimbangan pakar memerlukan akuntansi keandalannya sendiri. Puech et al. (2026) meminta 25 pakar yang sesuai domain menilai 92 video kuliah yang dihasilkan terhadap rubrik yang berjangkar pada "kualitas kuliah MOOC standar," dan menilai 87% pada atau di atas ambang (rata-rata 3.42 dari 5). Setiap video dinilai sekali oleh satu peninjau (k = 1), sehingga desainnya menyebar panel ke seluruh korpus dengan mengorbankan statistik kesepakatan antar-penilai; model intersep acak mengaitkan sekitar 35% varians residual dengan peninjau (ICC = 0.35) dan makalah melaporkan interval terklaster-peninjau alih-alih satu angka presisi. Evaluasi yang dibangun atas pertimbangan pakar hanya sekuat analisis keandalan yang diterbitkannya.

Miskonsepsi Umum

• "Skor tinggi pada ujian guru berarti model kompeten secara pedagogis." 97 model diskor pada butir ujian guru Chile (CDPK 28-89%), banyak yang melampaui perkiraan garis dasar manusia ~50% — namun butir pilihan ganda statis tidak dapat menguji pertimbangan yang dijalankan. Skor baik pada ujian dibatasi oleh apa yang diukur ujian itu.
• "Kriteria penskoran hanyalah persoalan teknis." Pencocokan ketat memberi skor 42.1% pada 2,250 dialog tutoring yang sama, sedangkan LLM-sebagai-juri yang dikalibrasi manusia memberi 81.3% (Lee et al., 2026) — kriteria itu menggeser angka lebih jauh daripada yang dilakukan model tutor, strategi, atau pipeline.
• "Mengenali dan menghasilkan adalah kapabilitas yang sebanding." Mengenali bukan menghasilkan. Pada TutorCaseBench, model terbaik dari 11 model memilih strategi terdokumentasi pada 63.0% butir empat opsi tetapi memenuhi kriteria implementasi terdokumentasi jauh lebih jarang. Memilih jawaban yang benar di antara empat dan menghasilkannya adalah tugas yang berbeda.
• "Skor model bermakna tanpa instrumen yang tervalidasi." Ujian yang disesuaikan mata kuliah dihasilkan untuk 71 kelas dan dibandingkan dengan butir AP Statistics karya manusia dengan model 2PL hierarkis Bayes — instrumennya dicocokkan sebelum skornya ditafsirkan.

Konsep terkait

• Menafsirkan dan Menerapkan Penelitian AIEd
• Penelitian Pendidikan Berbantuan AI — Riset Pendidikan Berbantuan AI
• Validitas Penilaian — Validitas interpretasi dalam evaluasi AI-ed
• Pengukuran Pendidikan — Teori pengukuran untuk menilai pembelajaran
• AI yang Sadar Psikometri — Menerapkan psikometrika pada penilaian berbasis AI
• Tolok Ukur — Tolok ukur terstandardisasi untuk mengevaluasi sistem AI
• Penilaian Otomatis — Sistem penilaian dan penskoran berbasis AI
• Analitik Pembelajaran — Analisis perilaku belajar berbasis data
• Metode Penelitian dalam AIED — Metode riset untuk AI dalam pendidikan
• Perolehan Belajar — Mengukur perolehan belajar dari alat AI
• Penilaian Formatif — Penilaian berkelanjutan untuk memandu pengajaran
• Penilaian Sumatif — Penilaian sumatif: format yang tahan AI (ujian lisan, diawasi, buku tertutup)
• Penilaian Autentik — Penilaian atas kinerja dunia nyata yang dapat ditransfer
• Human-in-the-Loop — Pengawasan manusia atas evaluasi AI
• Kalibrasi Kepercayaan — Mengkalibrasi kepercayaan pada sistem AI
• Risiko Halusinasi — Risiko konten yang direkayasa dalam keluaran AI
• Tutoring Cerdas — Mengevaluasi sistem tutoring AI
• AI Agensik — Mengevaluasi perilaku agen AI otonom

Artikel terkait

• TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors — TutorCaseBench: mengevaluasi tutor LLM pada siswa dengan perilaku menantang (Park et al. 2026)
• VIRA-Bench: Diagnosing Pedagogical Contingency Understanding in Online Tutoring Videos — VIRA-Bench: Mendiagnosis Pemahaman Kontingensi Pedagogis dalam Video Tutoring Daring
• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — Apa yang terlewat oleh skor platform: evaluasi multidimensi agen pengajaran AI
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Apakah instrumen penilaian mengukur hal yang sama bagi manusia dan LLM? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Menilai kualitas ujian hasil AI: studi lapangan skala besar
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Keselarasan pedagogis neuro-simbolik (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Tolok ukur klasifikasi tiga arah untuk agen tutoring LLM (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Mengevaluasi VLM pada DrawEduMath: konten kesalahan paling sulit (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Tolok ukur pengetahuan pedagogis LLM (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — Validasi observasi kelas oleh LLM: keandalan versus akurasi (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — Asisten basis pengetahuan AI OER on-premise: evaluasi multidimensi
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Memodernkan Kebenaran Dasar: Empat Pergeseran Menuju Keandalan dan Validitas yang Lebih Baik
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Mengkalibrasi Keterpercayaan: Merancang Metrik dan Visualisasi Bersama
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: Mengevaluasi Kemampuan Mengajar LLM
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Mengapa Mesin Salah Membaca Kualitas Pedagogis: Keselarasan Manusia-Mesin
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Penilaian Jawaban Singkat Otomatis dengan LLM
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: Rekayasa Prompt Human-in-the-Loop untuk Penilaian Formatif
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Tolok ukur LLM untuk Mendiagnosis Keterampilan Kognitif Siswa
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — Indeks Efektivitas Tutoring: Memprediksi Kualitas Tutor Matematika LLM
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — Tolok Ukur Agen ISD
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — Kerangka Invarian-Alat untuk Mengajar dan Menilai Metode Komputasional
• Towards Valid Student Simulation with Large Language Models — Menuju Simulasi Siswa yang Valid dengan Model Bahasa Besar
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — Dari Model yang Dievaluasi ke Alat Bantu Evaluasi
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Landasan Teoretis Tes Sokratik
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Penilaian yang Bertanggung Jawab di Era AI
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — Dari Produk Autentik ke Proses Terautentikasi
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Meta-analisis luaran pendidikan AI generatif
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — Ketika Bantuan Tidak Membantu: mengevaluasi tutor AI untuk perjuangan produktif
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: tolok ukur LLM pendidikan
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Penilaian AI atas asesmen fisika tulisan tangan (Olimpiade)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Menyuling LM yang menjelaskan diri untuk analitik pembelajaran
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Evaluasi meta-analitik atas EdTech adaptif + AI
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — Peran AI di seluruh penskoran, psikometrika, penilaian
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Mengevaluasi Tutoring AI dengan Kecepatan Inovasi: Uji Acak Mikro yang Dipimpin Praktisi atas Platform Tutoring AI dalam Sains GCSE
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Penilaian Kualitas Butir Matematika Berbasis Proses
• Towards Scalable Measurement of Durable Skills — Menuju Pengukuran Keterampilan Tahan Lama yang Skalabel
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — Dari Generasi Konten ke Dukungan Belajar: Tutor Video Generatif Berpanduan Pedagogi untuk Pembelajaran STEM
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: tutoring AI dan manusia menghasilkan perolehan belajar GRE yang setara
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — Apa yang Terlewat oleh Metrik Kesetiaan: Pemeriksaan Struktural atas Data Pendidikan Sintetis
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluasi model pra-terlatih untuk penilaian pedagogis pertanyaan pendidikan baru yang dibantu AI
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — Ketika Evaluator Berteriak Serigala: Pelajaran dari Evaluasi LLM-sebagai-Juri dalam Produksi di Pendidikan AI
• Ethical and responsible use of artificial intelligence in medical education — Peta bibliometrik dapat menyingkap apa yang dihargai sebuah budaya evaluasi
• MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring — MisconceptDialogue: Kriteria Evaluasi Membentuk Keberhasilan yang Terukur dalam Tutoring Matematika LLM (Lee et al. 2026)