Basis Pengetahuan AIEdAIEd KB
Di halaman ini

Baca halaman ini dalam bahasa Inggris

Konsep

Pengukuran Pendidikan

Dibuat 2026-07-28 · Diperbarui 2026-11-04

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Pengukuran pendidikan — teori dan metode psikometrik untuk mengukur dan memvalidasi pembelajaran serta konstruk-konstruknya — berjalan melalui halaman Teori Respons Butir, Pelacakan Pengetahuan, dan Validitas Penilaian di basis pengetahuan ini. Era Model Bahasa Besar (LLM) memaksa pengukuran mendamaikan psikometrika klasik dengan arus respons baru yang dihasilkan AI: penskoran otomatis, kesulitan yang diprediksi AI, dan jejak AI Multimodal harus divalidasi terhadap prinsip pengukuran yang mapan agar reliabilitas dan validitasnya terjaga.

Pertanyaan yang Perlu Dipertimbangkan

  • Sebuah LLM memprediksi bahwa suatu butir ujian itu mudah, tetapi data uji empiris mengatakan siswa merasa sulit. Mana yang Anda Kepercayaan, dan apa yang akan meyakinkan Anda untuk memercayai estimasi mesin itu?
  • Pengukuran pendidikan adalah tentang mengubah pengamatan atas pembelajaran menjadi klaim kuantitatif yang dapat dipertahankan. Ketika AI menilai esai atau memberi skor suatu respons, apakah 'skor' otomatis merupakan pengukuran — atau ada sesuatu yang harus divalidasi lebih dulu? Apa?
  • Sebagian penelitian menunjukkan bahwa instrumen penilaian mungkin tidak mengukur hal yang sama bagi manusia seperti bagi LLM — struktur latennya menyimpang. Jika konstruknya benar-benar berbeda antara manusia dan AI, apa implikasinya bagi nilai atau peringkat kesulitan yang dihasilkan AI?
  • AI dapat memberi skor, menghasilkan butir, dan memprediksi kesulitan dalam skala yang belum pernah ada sebelumnya. Apakah 'lebih banyak pengukuran' sama dengan 'pengukuran yang lebih baik'? Apa yang membuat suatu skor reliabel dan valid, dan dapatkah standar itu dipertahankan ketika pengukurannya dilakukan oleh model generatif?
  • Tolok ukur dan skor yang dihasilkan AI kini ada di mana-mana. Apa yang perlu Anda lihat sebelum memperlakukan penilaian berbasis AI sebagai bukti tentang pemahaman aktual seorang pembelajar, alih-alih sekadar angka?

Pendahuluan

Pengukuran pendidikan adalah disiplin yang mengubah pengamatan tentang pembelajaran — respons, perilaku, skor — menjadi klaim kuantitatif yang dapat dipertahankan. Disiplin ini mencakup definisi konstruk, desain butir/tes, penskalaan, reliabilitas, dan validitas. Dalam AI dalam pendidikan, pertanyaan pengukuran ada di mana-mana: apakah skor tolok ukur mengukur apa yang kita kira? Apakah nilai yang dihasilkan AI reliabel dan valid? Apakah kesulitan butir yang diprediksi AI sepakat dengan yang diestimasi secara empiris?

Bagaimana pengukuran pendidikan muncul dalam penelitian

  • Pembentukan ulang bidang ini oleh AI selama satu dekade: Xiong dan Li (2026) memetakan dampak AI di tiga era (Formatif 2015–2018, Ekspansi 2019–2022, Generatif 2023–sekarang) melalui kerangka Efisiensi–Peningkatan–Transformasi, mencakup AI pada penskoran dan pembangkitan butir, pemodelan psikometrik, inovasi penilaian dan data proses, serta keadilan/etika/kesetaraan. Mereka mengargumentasikan paradigma baru yang mengintegrasikan teori pengukuran dengan metode AI dan mengonseptualisasi ulang konstruk dalam konteks interaksi manusia–AI — batas yang sama yang diuji secara empiris oleh perbandingan struktur laten.

  • Kesulitan yang diprediksi AI dan kalibrasi: Kalibrasi kesulitan LLM dan prediksi kesulitan butir menggunakan LLM untuk mengestimasi kesulitan butir, yang harus divalidasi terhadap estimasi psikometrik (lihat Teori Respons Butir). Razavi dan Powers (2026) menambahkan uji berskala besar pada tingkat K-5 atas premis ini: pada 5,170 butir matematika dan membaca yang dikalibrasi dengan model IRT Rasch, peringkat kesulitan zero-shot GPT-4o berkorelasi moderat hingga kuat dengan kesulitan sebenarnya (r = 0.83 matematika, r = 0.81 membaca), tetapi tidak merata antar kelas dan tidak lebih baik daripada regresor dummy rata-rata kelas untuk kelas K dan 1. Pendekatan berbasis fitur — fitur kognitif dan linguistik hasil ekstraksi LLM yang dimasukkan ke model berbasis pohon — mencapai korelasi hingga r = 0.87, dengan tingkat kelas dan jumlah kata sebagai prediktor teratas. Studi ini mengilustrasikan janji sekaligus batas kesulitan yang diprediksi AI sebagai masukan pengukuran, dan menawarkan alur kerja tujuh langkah yang praktis bagi para profesional pengujian.

  • Kesulitan tanpa daya diskriminasi. Worden dkk. (2026) memberi skor pada empat model terdepan terhadap kebenaran dasar IRT pada 2,548 butir matematika: model-model itu mencapai 68.6 persen pada kesulitan relatif tetapi jatuh di bawah tingkat kebetulan dalam menilai daya diskriminasi, tampak mencampuradukkan keduanya, dan memprediksi ketepatan 85.4 persen pada jawaban benar berbanding hanya 12.6 persen pada jawaban salah.

  • Ketika label kesulitan yang dihasilkan tidak mengukur kesulitan. Audit validitas konstruk atas 311 pertanyaan yang dihasilkan LLM dan telah dipakai menemukan bahwa label kesulitan yang dihasilkan berkorelasi dengan tingkat Bloom yang dihasilkan bersamanya pada ρ=0.90, tetapi dengan kesulitan empiris (indeks 1−p Teori Tes Klasik) hanya pada ρ=0.06, sementara panjang opsi berjalan terbalik (ρ=−0.18) - hasil label-sebagai-bentuk-permukaan yang membatasi pembacaan optimistis atas kesulitan yang diprediksi AI di atas (An & Wang (2026)).

  • Kualitas pengukuran sebuah tolok ukur sintetis bergantung pada alur pembangkitannya. Himpunan yang dibangun dengan panel LLM tiga juri dan tanpa pengawasan manusia selama pembangkitan butir menunjukkan kualitas tingkat butir yang lemah, dan karena butirnya sepenuhnya sintetis, penulisnya menyerukan perbandingan butir yang dikurasi manusia sebelum skornya dibaca sebagai pengukuran (Schroeder dkk. (2026)).

  • Label taksonomi tidak memprediksi perilaku butir. Pada 265 butir matematika, tingkat Bloom yang dimaksudkan menjelaskan kurang dari 5% varians kesulitan (ε² = .043) dan tidak sama sekali daya diskriminasi (Kruskal–Wallis H = 0.54, p = .77), sementara klasifikasi LLM hanya cukup sepakat dengan pengode ahli (Cohen's κ = .22) dan menarik butir ke pita menerapkan/menganalisis (Altaweel & Moussa (2026)).

  • Nilai butir yang dihasilkan dari jalur penyelesaiannya, bukan dari redaksinya. Mengodekan pohon penalaran terverifikasi setiap butir mengangkat kinerja di atas metode terbaik kedua sebesar 7.5% pada penilaian konsep, 6.3% pada estimasi kesulitan, dan 19.5% pada penilaian kompetensi, ketika garis dasar zero-shot salah melabeli butir yang mengikuti templat sebagai "Reasoning" dan butir geometri sebagai "Knowing" (Tong dkk. (2026)).

  • Kesadaran psikometrik dalam penilaian AI: AI yang sadar psikometrik adalah standar bahwa penilaian berbasis AI harus selaras dengan teori pengukuran — terkalibrasi, sadar ketidakpastian, dan menjaga validitas (lihat Penilaian AI yang Sadar Keyakinan).

  • Label penguasaan itu dikonstruksi, bukan diamati. Ketika diagnosis membutuhkan kebenaran dasar, Jia dan Dong (2026) membangunnya melalui prosedur kendali validitas — grafik konsep kurikulum, pemetaan titik pengetahuan yang ditinjau instruktur, dan bukti penilaian konvergen — alih-alih mengonversi jejak perilaku secara langsung, dan diagnosis mereka menyamai psikolog pendidikan pada Cohen's kappa 0.78 berbanding 0.65 untuk IRT.

  • Penskoran otomatis dan validitas: Penskoran AI dan bias bahasa serta estimasi parameter butir multimodal menelaah bagaimana penskoran otomatis dan data multimodal memengaruhi kualitas pengukuran.

  • Kerangka validitas: Validitas Penilaian dan NLP Pendidikan menyediakan standar dan alat untuk memvalidasi pengukuran berbasis LLM.

  • Perbandingan struktur laten: Strugatski dkk. (2026) memperluas pengukuran pendidikan ke latar LLM dengan menguji apakah instrumen penilaian menunjukkan struktur faktor yang sama bagi manusia dan LLM. Dengan EFA, kongruensi faktor, dan resampling, mereka menunjukkan bahwa struktur laten LLM–manusia secara sistematis menyimpang pada instrumen kimia dan penalaran kuantitatif, yang menyiratkan bahwa konstruk yang diukur berbeda antar populasi — pemeriksaan yang perlu sebelum bukti validitas manusia diasumsikan dapat dipindahkan ke AI.

  • AI sebagai penilai dengan galat yang terukur: Cvengros & Kortemeyer memperlakukan poin yang diberikan AI sebagai pengamatan yang dapat keliru dengan berbagai sumber galat (butir, pengulangan, tugas) di bawah teori generalizabilitas dan validitas berbasis argumen Kane. Analisis reliabilitas atas ujian kimia umum tulisan tangan dari 296 siswa menunjukkan stabilitas tinggi pada skor total lintas lima pengulangan AI (ICC(A,1) = 0.967, Kendall's W = 0.959, koefisien keterulangan 95% 5.33 dari 60 poin) dengan stabilitas tingkat butir yang lebih rendah (ICC(A,1) = 0.836) — galat tak sistematis sebagian saling meniadakan saat dijumlahkan (efek agregasi Spearman–Brown yang mengangkat kesepakatan skor total ke R² = 0.91), sementara intersep positif kecil dengan kemiringan < 1 mengungkap bias pemadatan skor "penilai yang ragu". Ini membingkai perataan lintas pengulangan dan agregasi sebagai keputusan desain pengukuran, dan memotivasi filter keyakinan yang dikalibrasi terhadap risiko IRT sebagai pengaman validitas sebelum ukuran otomatis dipercaya.

  • Versi model adalah kondisi pengukuran. Hao (2026) menemukan bahwa kemiripan balasan dalam model yang sama (0.715–0.795) secara konsisten melebihi kemiripan antar model (0.443–0.604) pada empat LLM, sehingga argumen penskoran yang mapan untuk satu penerapan tidak otomatis berpindah ke penerusnya.

  • Hasil nol bukan bukti kesetaraan kecuali dibatasi. StudentBench menguji apakah tutoring AI yang digabungkan menyamai tutoring manusia ahli dengan dua uji satu sisi terhadap ±0.25 simpangan baku gabungan alih-alih uji perbedaan, dan melaporkan selisih teradjustasi −0.58 poin persentase (CI 90% [−2.18, 1.03]) - pilihan yang mengubah hasil nol berkekuatan rendah menjadi klaim kesetaraan (Northcutt dkk. (2026)).

  • Kalibrasi yang berskala dengan data baru alih-alih seluruh riwayat: Jewsbury dkk. (2026) menghadapi konsekuensi operasional pembangkitan butir AI — bank butir yang lebih besar, lebih jarang, dan lebih sering diperbarui daripada bank konvensional, ketika melatih ulang seluruh data respons yang terakumulasi pada setiap pembaruan mahal dan dapat melampaui memori yang tersedia. Kalibrasi konsensus mereka menggabungkan periode triwulanan yang dikalibrasi secara independen dengan memetakan sampel posterior tiap periode ke metrik bersama menggunakan penghubung Haebara robust per-sampel (sehingga ketidakpastian penghubungan merambat alih-alih diperlakukan sebagai transformasi tetap), lalu mengagregasinya sebagai produk posterior Gaussian, yang darinya prior terestimasi dan hierarkis tiap periode dikurangkan dan prior konsensus dipulihkan. Pada data operasional Duolingo English Test lintas empat periode, agregat tersebut menyamai tolok ukur gabungan satu kali jalan pada rata-rata posterior (r = .998 untuk kesulitan, .991 untuk log-diskriminasi) dan simpangan baku (r = .970 dan .920), dengan under-dispersi residual 0.91–0.98 pada rasio SD konsensus/gabungan lintas tertil eksposur — terkonsentrasi pada tertil butir paling jarang, tempat penghitungan berlebih prior paling menggigit. Pelajaran pengukurannya ganda: prior terestimasi tidak dapat ditangani oleh peranti prior-subset standar dalam komputasi Bayesian paralel, dan dispersi posterior — ketidakpastian yang dikonsumsi seleksi adaptif dan penskoran — sama-sama menjadi sasaran koreksi seperti rata-rata posterior.

  • Mengidentifikasi dispersi suatu sistem dari dua angka terbitan: Restrepo Morales dkk. (2026) menunjukkan bahwa simpangan baku distribusi capaian dapat dipulihkan hanya dari statistik ringkas yang diterbitkan — rata-rata dan proporsi siswa pada atau di atas skor ambang kemahiran tertentu — karena di bawah asumsi distribusi σ = (c − μ) / z(1 − p). Diterapkan pada PISA 2025 El Salvador (rata-rata matematika 346, 12.28% pada atau di atas ambang level-2 sebesar 420.07), σ yang tersirat adalah 63.8 (membaca 76.8, sains 63.8), jauh di bawah tolok ukur internasional 100, seperti yang diharapkan untuk distribusi yang tertekan ke dasar skala; ketiga estimasi diperoleh dari pasangan angka yang independen dan berada dalam sekitar 13 poin satu sama lain, pemeriksaan konsistensi internal yang ringan. Proporsi pada Level 2 dilaporkan untuk setiap sistem PISA dan menjadi dasar indikator SDG 4.1.1, sehingga identifikasinya tidak memerlukan data mikro, dan makalah yang sama mendemonstrasikan masalah penyebut dalam ukuran efek dengan melaporkan satu kesenjangan matematika dalam tiga cara — 129 poin, 1.29 simpangan baku internasional, atau 2.02 simpangan baku distribusi El Salvador itu sendiri — dengan argumen bahwa ukuran efek terstandardisasi yang dibagi dengan dispersi sampelnya sendiri tidak sah dibandingkan lintas studi.

Instrumen pengukuran dalam basis pengetahuan

Fungsi sentral pengukuran pendidikan adalah pengembangan, validasi, dan penggunaan instrumen — skala, tes, dan skema pengodean konkret yang mengoperasionalkan konstruk. Artikel-artikel dalam basis pengetahuan ini mendokumentasikan beragam instrumen untuk konstruk AI-dalam-pendidikan, yang dapat dikategorikan menurut apa yang diukurnya dan menurut pendekatan pengukurannya.

Instrumen literasi AI / GenAI

Literasi AI adalah konstruk dengan cakupan instrumen terkaya dalam basis pengetahuan ini. Ada dua keluarga besar: tes berbasis kinerja (objektif, kurang rentan terhadap bias laporan diri) dan skala laporan diri (subjektif, menangkap kompetensi yang dipersepsikan). Trade-off keluarga kedua itu menjadi pokok bahasan Ukuran Laporan Diri: laporan diri menjangkau sikap dan persepsi dengan murah, tetapi tidak dapat menopang klaim tentang kompetensi atau perilaku, dan basis pengetahuan ini mendokumentasikan celah estimasi berlebih sebesar 40% ketika ukuran laporan diri dan ukuran kinerja yang paralel dibandingkan.

Instrumen sikap, penerimaan, dan motivasi

Instrumen kualitas penilaian dan validitas

Pendekatan pengukuran itu penting

Bukti dalam basis pengetahuan ini berulang kali menunjukkan bahwa bagaimana suatu konstruk diukur mengubah kesimpulannya. Literasi AI yang dilaporkan sendiri menyimpang tajam dari ukuran berbasis kinerja (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures); anotasi LLM atas keterlibatan menyimpang dari pengodean manusia terlatih (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents); dan struktur laten berbeda antara manusia dan LLM (Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis). Validasi instrumen yang ketat — reliabilitas, validitas struktural, validitas eksternal/prediktif — karena itu bukan formalitas melainkan fondasi bukti AI-dalam-pendidikan yang dapat dipercaya, terhubung ke Validitas Penilaian dan AI yang Sadar Psikometri. Sebuah studi tingkat materi yang baru menunjukkan berapa banyak kerja validasi yang berdiri di belakang klaim penerimaan yang sederhana: Wang, Chuang dan Wu (2026) menggunakan desain belah-dua (EFA pada sampel pengembangan, CFA pada separuh yang disisihkan) untuk dua buku panduan literasi AI bertingkat usia, melaporkan KMO = .820, 67.3% varians dijelaskan, kecocokan siswa yang dapat diterima (CFI = .943, RMSEA = .059, SRMR = .059), reliabilitas komposit .84 sampai .90, dan invariansi pengukuran lintas edisi — lalu mendokumentasikan di mana instrumen itu meregang, dengan nilai HTMT hingga .950 dan korelasi keceriaan-niat terbatas yang harus diuji kesatuannya. Pemeriksaan tambahan mereka untuk fungsi butir diferensial adalah model kejujuran yang diperjuangkan halaman ini: invariansi bertahan, tetapi pola respons bervariasi rendah di kalangan siswa lebih muda membuat satu perbedaan kelompok melemah setelah responden tersebut dikeluarkan, dan makalah itu melaporkannya bersama hasil utama alih-alih sebagai gantinya.

Oliveira dkk. (2025) menunjukkan urutan validasi untuk ukuran proses yang baru: memberi skor pada log interaksi GenAI siswa terhadap taksonomi 35 subkategori hanya mencapai kesepakatan antar-penilai yang moderat (Cohen's κ = 0.44), namun berkorelasi r = 0.54 dengan skor esai, sehingga ukuran baru itu memperoleh dukungan konvergen.

  • Koefisien kesepakatan adalah sifat korpus, dan skor adalah produk bersama. Validasi penskoran otomatis atas 60 unggahan pemasaran melaporkan kesepakatan absolut ICC(2,1) .435 untuk sebuah LLM, .266 untuk hibrida aturan-plus-LLM, dan .091 untuk aturan deterministik, dengan ketidakpastian diestimasi dari 2,000 sampel bootstrap klaster penulis dan MAE 6.28-17.22 poin; penambahan jangkar yang ditulis peneliti menggerakkan kesepakatan antar-penilai dari .338 ke .902, menunjukkan betapa kuatnya estimasi ini bergantung pada himpunan rujukan (Agreement and error in automated scoring of student marketing posts). Audit penilaian ulang oleh ahli atas tolok ukur fisika menyampaikan poin pelengkap pada tingkat instrumen: 95.20% penolakan yang diaudit adalah kesalahan tolok ukur atau penilai alih-alih kegagalan model, sehingga skor terukur harus dilaporkan sebagai sifat bank butir, rubrik, dan penilai secara bersama (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks).

Reliabilitas sebagian dapat dipulihkan dari model itu sendiri. Organisciak dan Acar (2026) mengevaluasi tiga peningkatan murah pada penskoran berbasis LLM atas lebih dari 20,000 respons pada Alternative Uses Test: membaca keyakinan tingkat token model itu sendiri, mengambil rata-rata berbobot probabilitas atas n skor prediksi teratasnya alih-alih satu tebakan terbaik, dan melakukan ensembel lintas model. Masing-masing meningkatkan kesepakatan dengan skor manusia (korelasi naik dari r = 0.781 ke 0.823 dan RMSE turun dari 0.599 ke 0.498 pada konfigurasi terbaik), dan diagnostik mereka menemukan kegagalan spesifik penskoran satu lintasan: keyakinan yang diungkapkan model berhubungan negatif dengan akurasinya (β = −0.602). Ini hasil pendekatan pengukuran, bukan hasil model — model yang sama, diskor dengan cara berbeda, adalah instrumen yang lebih reliabel — dan hasil ini berdampingan dengan bukti kesepakatan tingkat korpus di atas.

Penilaian 2026 atas 33 instrumen literasi AI guru menunjukkan di mana pengembangan instrumen sudah matang dan di mana belum. Zainal, Mohd Matore dan Maat (2026) menilai instrumen-instrumen itu terhadap matriks keputusan yang diadaptasi dari COSMIN dan Terwee dkk. (2007) dan menemukan konsistensi internal sebagai domain terkuat (28 dari 33 pada Grade A, 84.8%) dan keadilan sebagai yang terlemah, dengan hanya lima instrumen (15.2%) melaporkan invariansi pengukuran atau bukti fungsi butir diferensial. Validitas struktural kuat, dengan 24 instrumen (72.7%) pada Grade A melalui CFA, PLS-SEM, atau pemodelan IRT, namun validitas isi sebagian besar bersandar pada tinjauan kualitatif, dengan 21 instrumen (63.6%) pada Grade B karena tidak memiliki statistik kesepakatan ahli yang kuantitatif.

Seleksi butir otomatis dapat memendekkan instrumen tanpa membentuknya ulang: optimasi koloni semut atas sampel gabungan dua gelombang (N = 305, 342) menghasilkan bentuk pendek 12 butir yang berkorelasi r = 0.910–0.944 dengan skala penuh pada setiap dimensi, meskipun dua butir per dimensi mencakup rentang isi yang lebih sempit (Wang, Zhang dan Zhang (2026)).

Masalah dan keterbatasan: apa yang bisa terlewat atau keliru dalam pengukuran

Pengukuran pendidikan itu ampuh tetapi dapat keliru. Memahami mode kegagalannya penting untuk membaca bukti AI-dalam-pendidikan secara kritis — dan untuk mengenali ketika suatu perolehan pembelajaran atau klaim konstruk yang tampak nyata sebenarnya artefak pengukuran alih-alih efek sungguhan.

  • Batas reliabilitas. Pengukuran tidak pernah sepenuhnya reliabel; varians galat selalu ada. Ketika instrumen memiliki konsistensi internal atau stabilitas tes–ulang-tes yang rendah, perbedaan yang teramati mungkin hanya derau. Dalam konteks AI, mode kegagalan baru memperparahnya: respons yang dihasilkan LLM dapat diskor dengan kesepakatan mesin yang tinggi namun menyimpang dari penskoran manusia (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents), dan penskoran otomatis dapat konsisten secara internal sambil salah secara sistematis — presisi tanpa validitas. Keterbatasan pengukuran dalam penelitian AIEd mendokumentasikan instrumen yang tidak reliabel sebagai kelemahan lintas bidang.

  • Ketidakpastian pengodean sebagai galat mencampuradukkan dua kegagalan. Dalam tes pengetahuan kesehatan mental 30 pernyataan, penskoran akurasi menghitung tidak tahu sebagai tidak akurat, padahal 67.3% siswa memilihnya pada satu fakta sementara 60.6% respons model salah secara positif — format benar/salah yang dipaksakan tidak dapat memisahkan ketidakpastian dari keyakinan yang keliru (Richter dkk., 2026).

  • Kesepakatan penilai menetapkan batas atas praktis. Validasi berskala besar pada Acredita EB di Uruguay menemukan bahwa kesepakatan penilai manusia itu sendiri menetapkan batas atas praktis bagi penskoran AI: di antara sepuluh ahli yang menilai 50 teks secara independen, tidak ada butir rubrik yang mencapai kesepakatan bulat dengan konsensus, penilai paling divergen biasanya berada di bawah 80% kesepakatan sementara yang terbaik melewati 90%, dan Cohen's Kappa hanya sedikit atau cukup untuk beberapa butir miring yang hampir semua respons memenuhinya. Karena itu para penulis menilai skor otomatis terhadap standar rujukan yang sendirinya tidak sempurna — sepuluh penilai, satu skor operasional untuk sebagian besar respons, dan beberapa butir di zona keberterimaan konvensional 70% — peringatan bagi klaim pengukuran apa pun yang dibangun di atas label operasional penilai tunggal.

  • Ukuran non-laporan-diri bukanlah ukuran yang benar. Tinjauan dua fase atas 51 pasangan konstruk-sama menemukan 41.2% mencapai kesimpulan yang diskordan atau campuran, dan berargumen bahwa tes, peringkat, dan jejak bersifat heterogen alih-alih menjadi standar kriteria, masing-masing menuntut argumen validitasnya sendiri (Fan dkk. (2026)).

  • Validitas — mengukur hal yang salah. Validitas menanyakan apakah suatu instrumen mengukur konstruk yang diklaimnya diukur. Kegagalan yang umum meliputi representasi konstruk yang kurang (tes literasi AI yang hanya menyampel pengetahuan teknis, melewatkan etika) dan varians yang tidak relevan dengan konstruk (butir yang menghargai kelancaran membaca alih-alih keterampilan sasarannya). Penskoran AI dan bias bahasa menunjukkan bagaimana fitur permukaan — bahasa, diksi, gaya — dapat menggerakkan skor otomatis dengan cara yang tidak terkait konstruk yang dimaksud. Validitas Penilaian adalah pagar pengaman terhadap ancaman-ancaman ini.

  • Skala dapat mengembalikan jumlah faktor yang dimaksud tanpa mengukur konstruk yang dimaksud. Kang, Lee dan Kang (2026) mempertahankan enam faktor dari skala empati AI 42 butir, tetapi butir-butirnya tidak memulihkan enam subfaktor yang dimaksud — Niat Prososial tidak membentuk faktor — sehingga strukturnya disajikan sebagai sementara.

  • Celah laporan diri. Ukuran laporan diri menangkap kompetensi yang dipersepsikan, bukan kompetensi aktual. Basis pengetahuan ini berulang kali menunjukkan literasi AI yang dilaporkan sendiri menyimpang tajam dari ukuran berbasis kinerja (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures, estimasi berlebih sekitar 40% oleh guru) dan bahwa laporan diri gagal memprediksi kinerja berbantuan AI yang nyata ketika tes kinerja berhasil (GLAT). Ukuran yang mengandalkan laporan diri dapat secara sistematis melebih-lebihkan konstruk dan menyembunyikan celah keterampilan yang sebenarnya.

  • Estimasi gabungan itu rapuh. Tinjauan terstruktur 2026 yang menggabungkan hanya korelasi literasi AI subjektif–objektif dari sampel yang sama (N = 2,765) memberi r = .055 (CI 95% Hartung-Knapp [−.047, .156]); pada k = 3, dengan para pengestimasi heterogenitas yang tidak sepakat dan satu studi membawa 77.2% bobot, hasil itu tidak dapat menetapkan ambang kemahiran (Verí (2026)).

  • Konstruk yang tidak berpindah antar populasi. Strugatski dkk. menunjukkan instrumen penilaian dapat memiliki struktur faktor yang berbeda bagi manusia dan LLM — artinya butir yang sama mungkin tidak mengukur konstruk laten yang sama lintas populasi. Bahkan di antara manusia, instrumen yang divalidasi pada satu kelompok (mis., pendidikan tinggi Barat yang berdaya sumber) mungkin tidak digeneralisasi ke kelompok lain (Global South), kekhawatiran bagi generalizabilitas ukuran AI-dalam-pendidikan.

  • Apa yang bisa terlewat oleh pengukuran. Sebagian konstruk yang paling sentral bagi pembelajaran AI-dalam-pendidikan adalah yang paling sulit diukur dengan baik — dan karena itu paling mudah terlewat atau terdistorsi oleh instrumen:

    • Proses dan strategi. Ukuran luaran standar menangkap produk pembelajaran, bukan prosesnya. Ukuran-ukuran itu dapat melewatkan bagaimana siswa sebenarnya terlibat dengan AI — ketergantungan berlebih, penerimaan tanpa refleksi, atau verifikasi kritis. Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing menggunakan jejak interaksi justru karena laporan diri dan tes luaran melewatkan dinamika ini. Ukuran proses neural memperluasnya: Su dkk. (2026) merekonstruksi bingkai video dari EEG dan menemukan kemiripan semantik lebih tinggi untuk butir yang dijawab benar (M = 71.43, SD = 4.61) daripada yang salah (M = 62.30, SD = 5.91, p < .001).
    • Pembelajaran longitudinal dan tahan lama. Satu pascates dapat menunjukkan kinerja yang menggelembung karena bantuan AI sambil melewatkan erosi pengetahuan tahan lama yang tanpa bantuan (celah kinerja–pembelajaran). Pengukuran pada satu titik waktu dapat secara aktif menyesatkan tentang pembelajaran.
    • Keadilan dan akses. Instrumen yang mengasumsikan akses perangkat/konektivitas yang seragam, atau yang dinormakan pada sampel istimewa, dapat melewatkan — atau secara sistematis mengukur terlalu rendah — kapabilitas kurang berdaya sumber Pembelajar, salah mengatribusikan celah akses sebagai celah kemampuan.
    • Keadaan afektif dan motivasional. Keterlibatan, motivasi, dan efikasi diri sering diukur dengan laporan diri, mewarisi celah laporan diri di atas; ukuran-ukuran itu mungkin tidak menangkap dinamika tersituasi dan sesaat yang menggerakkan pembelajaran.

  • Pengukuran otomatis dapat keliru dengan penuh keyakinan. Kombinasi keyakinan mesin yang tinggi dan penskoran yang buram adalah risiko khas era AI: penilai atau anotator LLM dapat menghasilkan skor yang sangat konsisten secara internal namun bias secara sistematis, dan tampilan rigor (N besar, kesepakatan antar-LLM tinggi) dapat menutupi ketidakvalidan. Kerangka Evaluasi AI dalam Pendidikan dan AI yang Sadar Psikometri adalah penawarnya — menuntut kalibrasi, kesadaran ketidakpastian, dan bukti validitas sebelum ukuran otomatis dipercaya.

Singkatnya, pengukuran pendidikan dapat melewatkan apa yang tidak disampelnya (proses, ketahanan, akses, afek) dan dapat keliru pada apa yang disampelnya dengan buruk (persepsi diri, fitur permukaan, konstruk lintas populasi). Membaca temuan AI-dalam-pendidikan karena itu menuntut bertanya bukan hanya apa yang diukur tetapi bagaimana — dan apa yang mungkin gagal ditangkap oleh instrumennya.

  • Pengodean yang dapat diaudit memisahkan galat definisional dari galat model. EduBehaviors menguraikan suatu konstruk menjadi perilaku teramati yang dianotasi terpisah plus aturan agregasi eksplisit, sehingga peninjau dapat melihat bukti mana yang menghasilkan suatu label dan menurunkan ulang label setelah perubahan aturan tanpa panggilan model baru; ia mencapai makro-F1 0.673 pada Teacher TalkMoves, bersaing dengan LLM yang diprompt langsung (Bernado dkk., 2026).

Koneksi

Pengukuran pendidikan adalah fondasi bagi Teori Respons Butir, Validitas Penilaian, Pelacakan Pengetahuan, dan Pemodelan Pembelajar dan Pengajaran Adaptif. Ia terhubung ke Analitik Pembelajaran (pengukuran data pembelajaran), NLP Pendidikan (mengukur bahasa), dan AI yang Sadar Psikometri (AI yang selaras dengan teori pengukuran). Kekhawatiran validitas dan reliabilitasnya menopang Evaluasi AI dalam Pendidikan dan keterbatasan pengukuran di bidang ini. Untuk konstruk yang diukurnya, ia bersinggungan dengan Literasi AI, Model Adopsi Teknologi, Efikasi Diri, Motivasi, dan Keterlibatan Siswa.

  • Pemodelan kausal atas intervensi dukungan (2026): protokol pemodelan kausal struktural menggerakkan penilaian pendidikan melampaui pembaruan keyakinan teori respons butir yang asosiatif menuju penalaran intervensional dan kontrafaktual (mis., efek dari petunjuk), dengan persamaan struktural yang diturunkan dari ahli menggunakan informasi yang murni logis — diilustrasikan pada tugas keterampilan algoritmik sekolah wajib (Causal Modelling of Support Interventions for Student Competency Assessment).

Miskonsepsi Umum

  • "Model dapat mengestimasi kesulitan butir." Empat model terdepan diskor terhadap kebenaran dasar IRT pada 2,548 butir matematika: model-model itu mencapai 68.6% pada kesulitan relatif tetapi jatuh di bawah tingkat kebetulan pada kalibrasi absolut. Pemeringkatan dan kalibrasi adalah kemampuan yang terpisah, dan yang kedua itulah yang dibutuhkan desain penilaian.
  • "Label taksonomi memprediksi seberapa sulit suatu butir." Pada 265 butir matematika, tingkat Bloom yang dimaksudkan menjelaskan kurang dari 5% varians kesulitan. Melabeli butir menurut tingkat Bloom hampir tidak memberi tahu apa pun tentang kesulitan empirisnya.
  • "Kualitas butir dinilai dari redaksinya." Nilai butir yang dihasilkan dari jalur penyelesaiannya, bukan dari redaksinya: mengodekan pohon penalaran terverifikasi setiap butir mengangkat kinerja di atas metode terbaik kedua dengan selisih tertentu. Struktur penalaranlah yang membawa sinyalnya, bukan teks permukaan.

Konsep terkait

Artikel terkait

FAQ terkait

Metadata

Teknologi dan teknikNLP Pendidikan, Pelacakan Pengetahuan, Analitik Pembelajaran
Asesmen dan pengukuranValiditas Penilaian, Teori Respons Butir, AI yang Sadar Psikometri
Dasar-dasar AI dalam pendidikanLiterasi AI
SumberRiwayatSuntingObrolan

Sematkan halaman ini

Salin kode di bawah untuk menyematkan halaman ini di sistem manajemen pembelajaran atau situs web lain. Versi yang disematkan hanya menampilkan konten halaman — header, navigasi, dan footer situs disembunyikan.