Konsep
Validitas Penilaian
Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.
Validitas penilaian — apakah penilaian mengukur apa yang diklaimnya diukur. AI dalam Pendidikan memunculkan pertanyaan validitas yang mendasar: apakah penilaian yang dinilai AI mengukur pembelajaran siswa atau keterampilan menyusun prompt AI? Apakah penggunaan AI membatalkan asumsi penilaian tradisional?
Pertanyaan yang Perlu Dipertimbangkan
- Validitas menanyakan apakah suatu penilaian mengukur apa yang diklaimnya diukur. Sebelum membaca, jika Anda melihat seorang siswa menyerahkan esai yang rapi dan Anda curiga dibantu AI, apakah Anda akan menganggap masalah yang lebih besar adalah kecurangan, atau bahwa tugas itu tidak lagi mengukur apa yang Anda kira sedang diukurnya?
- Halaman ini mengajukan pertanyaan tajam: ketika siswa menggunakan AI, apakah skor mencerminkan pengetahuan siswa atau keterampilan menyusun prompt AI? Dapatkah Anda memikirkan penilaian yang pernah Anda rancang atau ikuti di mana skor kini mungkin lebih banyak memberi tahu Anda tentang alatnya daripada tentang pembelajarnya?
- Temuan kunci adalah bahwa masukan pembelajar yang sama dapat menerima balasan yang berbeda secara semantik bergantung pada LLM mana yang mendasarinya — sehingga memunculkan 'variasi yang tidak relevan dengan konstruk' yang mengancam reliabilitas dan keadilan. Jika dua siswa mendapat dukungan AI yang berbeda semata-mata karena model di baliknya, seberapa adil perbandingan yang dihasilkan?
- Halaman ini berargumen bahwa bahkan ketika LLM memberi skor dengan baik, pemindahan interpretasi skor manusia menuntut kesamaan dalam struktur laten respons — dan LLM menyimpang dari manusia di sini. Apa implikasinya bagi kepercayaan pada AI yang 'lulus' ujian yang dirancang untuk manusia?
- Alih-alih mencoba mendeteksi penggunaan AI, basis pengetahuan berargumen untuk mendesain ulang penilaian agar tetap valid bagi siswa yang mampu menggunakan AI. Mengapa mendesain ulang tugas mungkin menjadi strategi yang lebih menjaga validitas daripada mengawasi apakah AI digunakan?
- AI kini berperan sebagai peserta ujian, pembuat soal, penilai, dan analis — sehingga rantai interpretatif menjadi buram. Ketika setiap peran dalam suatu penilaian diisi oleh AI, apa artinya mengatakan suatu penilaian 'valid' bagi pembelajar manusia yang berada di tengahnya?
Pendahuluan
Tantangan validitas
-
Validitas konstruk: Ketika siswa menggunakan AI dalam penilaian, apakah skor mencerminkan pengetahuan siswa atau kemampuan AI? Kinerja vs. pembelajaran penelitian membahas ini secara langsung. Ukuran rekonstruksi dapat peka terhadap kebenaran tanpa menjadi skor kebenaran: Su dkk. (2026) menemukan kemiripan rekonstruksi EEG yang lebih tinggi untuk butir benar (M = 71.43, SD = 4.61) daripada butir salah (M = 62.30, SD = 5.91), namun rekonstruksi berkualitas tinggi dari satu pembelajar menyertai jawaban yang salah.
-
Variasi lintas LLM yang tidak relevan dengan konstruk dalam penilaian berbasis percakapan: Hao (2026) menunjukkan bahwa bahkan untuk satu giliran percakapan, isi semantik balasan yang dihasilkan Model Bahasa Besar (LLM) bervariasi antar model dan antar kondisi konteks percakapan. Kemiripan dalam model yang sama secara konsisten melebihi kemiripan antar model (0.715–0.795 vs. 0.443–0.604), dan penambahan riwayat obrolan mengubah isi respons secara berarti (median kemiripan lintas riwayat ~0.40–0.45). Karena masukan pembelajar yang sama dapat menerima balasan yang berbeda secara semantik bergantung pada model yang mendasarinya, prompting dan konteks saja tidak dapat menjaga konsistensi respons — sehingga memunculkan potensi variasi yang tidak relevan dengan konstruk yang mengancam validitas, reliabilitas, dan keadilan. Menjaga kondisi penilaian yang konsisten saat LLM berkembang karena itu merupakan tantangan infrastruktur (aturan simbolik, templat respons, lapisan validasi), bukan semata tantangan Rekayasa Prompt.
-
Bukti yang hadir tetapi tidak pernah sampai ke penilai: Abreu, Stari dan Martí (2026) menyebut ancaman yang tidak relevan dengan konstruk yang mendahului penalaran apa pun: dalam tinjauan AI atas laporan laboratorium fisika eksperimental, sebuah persamaan, grafik, tabel, atau satuan dapat tercantum dengan benar dalam laporan namun tidak terambil dari konten terproses yang menjadi dasar kerja model, dan karena perubahan tanda, nilai, atau satuan mengubah interpretasi fisiknya, ketidaksepakatan dengan instruktur tidak harus menandakan kesalahan penalaran. Obat mereka bersifat prosedural — PDF beresolusi tinggi alih-alih pindaian hasil foto, persamaan yang ditulis di editor persamaan, sumbu dan satuan yang terbaca di dalam gambar, serta instruksi yang menuntut sitasi konkret untuk setiap skor — karena kualitas dokumen menetapkan batas atas bagi klaim validitas apa pun yang didukung skor yang dihasilkan.
-
Validitas struktur laten antara manusia dan LLM: Strugatski dkk. (2026) menambahkan syarat validitas yang lebih dalam: bahkan ketika LLM memberi skor dengan baik, pemindahan interpretasi skor manusia menuntut kesamaan dalam struktur laten respons. Membandingkan enam LLM AI Multimodal dengan kohort manusia pada instrumen kimia dan penalaran kuantitatif, mereka menemukan struktur faktor LLM–manusia secara konsisten menyimpang (kongrueansi LLM–manusia di bawah garis dasar manusia–manusia), sehingga kinerja pada ujian yang dinormakan pada manusia merupakan bukti lemah tentang kemampuan LLM pada konstruk yang hendak diukur butir-butirnya.
-
Validitas konsekuensial: Apakah penilaian yang dimediasi AI memiliki konsekuensi yang adil? Studi bias bahasa menunjukkan bahwa penskoran AI dapat merugikan penutur non-asli.
-
Sasaran yang bergeser dalam pengujian bahasa. Tes berisiko tinggi seperti TOEFL iBT, IELTS, PTE Academic, dan Duolingo English Test masih menuntut membaca dan menulis secara mandiri dalam waktu terbatas, sementara siswa kini menggunakan GenAI untuk tugas-tugas itu dalam kehidupan akademik, sehingga inferensi ekstrapolasi — dari skor tanpa bantuan ke kinerja akademik nyata — adalah langkah yang paling terdampak (Gonulal (2026)).
-
Cakupan aturan itu sendiri merupakan sifat validitas: Wright (2026) berargumen bahwa larangan yang tertulis di seluruh pendidikan tinggi sejak 2023 melarang "AI generatif" tanpa presisi teknis untuk memisahkan pembangkitan konten yang dinilai dari konversi format, karena pengenalan karakter optik, pengenalan teks tulisan tangan, dan ucapan-ke-teks adalah teknologi pengenalan yang menyimpulkan apa yang sudah ada alih-alih menghasilkan konten baru. Ketika suatu aturan melekat pada identitas platform alih-alih fungsinya, aturan itu terlalu inklusif karena kecelakaan definisi: aturan menangkap penggunaan alat multifungsi hanya untuk transkripsi dan menjatuhkan sanksi pada siswa yang tidak melakukan hal yang hendak dicegah aturan itu, dan paling keras menghantam Pembelajar yang bergantung pada alat tersebut untuk aksesibilitas — sebuah inferensi yang tidak dapat didukung penilaian tentang konstruk yang diklaimnya diukur. Ia mengusulkan perumusan berbasis fungsi plus empat kriteria operasional (kesetiaan, non-augmentasi, ketertelusuran, atestasi) untuk kasus batas, dan memperlakukan ketergantungan pada keluaran detektor dan heuristik gaya sebagai bukti betapa lemahnya dasar evidensial aturan itu sendiri.
-
Penyelesaian agentik menghapus asumsi produksi manusia: Hadjisolomou & El-Haddad (2026) memperluas analisis validitas dari bantuan generatif ke penyelesaian agentik: agen AI otonom kini dapat masuk ke LMS, membaca materi, dan menyelesaikan pekerjaan asinkron tanpa pengawasan dari awal sampai akhir (didemonstrasikan pada kursus langsung — kuis bernilai 10/10 dalam waktu kurang dari 5 menit, dan refleksi papan diskusi yang direkayasa tetapi tampak kredibel). Dengan menempatkan "asumsi produksi manusia" di dasar rantai inferensi berbasis argumen Kane, mereka menunjukkan bahwa penyelesaian oleh agen secara diam-diam menghapus penopang bagi inferensi penskoran yang menjadi landasan inferensi generalisasi, ekstrapolasi, dan keputusan — sehingga setiap skor asinkron tanpa pengawasan, termasuk yang diperoleh dengan jujur, kehilangan dukungan interpretatifnya karena kepengarangan tidak dapat diverifikasi. Langkah penentu mereka adalah mengklasifikasikan ini sebagai kegagalan validitas, bukan kegagalan integritas: institusi dapat menghukum pelanggaran dan tetap tidak memiliki dasar bagi skor yang dilaporkannya. Deteksi secara struktural tidak memadai (pengklasifikasi tidak andal dan berbias; pemantauan LMS melihat klik yang sama dengan yang dilakukan siswa), sehingga obatnya adalah desain ulang penilaian untuk kehadiran manusia yang terverifikasi (komponen lisan singkat, draf yang prosesnya terlihat, rujukan khusus sesi kelas), dengan menu opsi yang menjaga keadilan alih-alih mandat pengawasan.
-
Variasi yang tidak relevan dengan konstruk dalam penilaian manusia atas karya berbantuan GenAI: Luo & Dawson (2026) memberikan demonstrasi empiris langsung bahwa penilaian manusia atas karya berbantuan GenAI sarat dengan variasi yang tidak relevan dengan konstruk. Dalam wawancara berbasis skenario dengan 33 guru universitas, keputusan penilaian didorong oleh nilai yang berorientasi pada orang (kejujuran dan ketekunan siswa), berorientasi pada kemampuan (kemandirian dari AI, keterampilan GenAI, penguasaan disiplin), berorientasi pada relasi (kepercayaan yang dibangun dengan siswa), dan berorientasi pada keadilan (keadilan, kebajikan) — semuanya dapat mengubah nilai berdasarkan faktor yang tidak terkait dengan capaian yang dinilai. Menurunkan nilai karya berbantuan GenAI dibenarkan, menurut mereka, jika dan hanya jika penggunaan AI menghalangi siswa menunjukkan capaian yang dinilai; jika tidak, penilaian yang digerakkan nilai mengancam validitas. Studi ini mendasarkan kerangka validitas pada praktik guru nyata dan menyerukan "transparansi dua arah" — guru menjelaskan bagaimana penggunaan GenAI akan memengaruhi nilai, bukan hanya siswa yang mendeklarasikan penggunaan.
-
Variasi dalam skala besar menuntut pembangkitan varian yang setara konstruk: VARIA (Lee 2026) menguji premis "variasi dalam skala besar" pada AI-Integrated Authentic Assessment (AIAA) — mengganti pengawasan ujian dengan variasi tugas per siswa — melalui pemeriksaan empiris yang dapat difalsifikasi. Karena setiap peserta menerima tugas kinerja yang unik tetapi setara, jaminan integritas bergantung pada kemampuan LLM menghasilkan varian yang sekaligus berbeda di permukaan, setara konstruk, dapat diterapkan rubrik, dan sepadan kesulitannya. Dengan menjadikan tolok ukur tiga keluarga model terdepan di empat strategi prompting pada 600 varian, VARIA menemukan bahwa generator terdepan hanya memenuhi kriteria integritas gabungan secara marginal (skor gabungan 0.81–0.88) sementara rujukan non-terdepan runtuh (0.50–0.55), dan tidak ada satu strategi prompting pun yang unggul pada keempat sifat — sehingga "variasi dalam skala besar tidak dapat diselesaikan hanya dengan prompting" jika ambang keragamannya ditetapkan secara agresif, dan institusi harus memvalidasi pasangan model-prompt spesifik mereka.
-
Bias menurunkan nilai dalam penskoran AI HITL adalah fitur validitas, bukan cacat: Curi dkk. (2026) menunjukkan bahwa dalam penilaian menulis nasional berskala besar, bias konservatif sistematis (menurunkan nilai) dari penskor LLM, meski bermasalah sebagai keputusan akhir, justru memungkinkan delegasi yang aman: respons "lulus" yang ditandai AI dapat diterima dengan yakin sementara respons "gagal" yang ditandai AI (15.3–16.5% kasus) dialihkan ke tinjauan ahli — sehingga ancaman validitas dari kesalahan AI tidak menyentuh hasil akhir. Pipa IRT-dan-Bookmark mereka membuat dampak penskoran AI pada tingkat kemahiran terbaca, alih-alih memperlakukan kesepakatan skor mentah sebagai satu-satunya sinyal validitas.
-
Inflasi nilai yang didorong AI sebagai ancaman validitas: Chirikov (2026) mengidentifikasi mekanisme inflasi nilai yang digerakkan teknologi dan baru, yang beroperasi di hulu penilaian — pada produksi karya yang dinilai. Dalam studi difference-in-differences atas lebih dari 500,000 nilai di 319 mata kuliah (2018–2025), mata kuliah dengan lebih banyak tugas terpapar AI (menulis, coding) mengalami kenaikan porsi nilai A sebesar 13 poin persentase setelah rilis ChatGPT, disertai pemadatan distribusi nilai. Analisis triple-differences menunjukkan efeknya terkonsentrasi pada mata kuliah yang padat pekerjaan rumah — bukti bahwa pergeseran tugas oleh AI (AI mengerjakan tugas yang dinilai sebelum instruktur melihatnya) menggelembungkan nilai tanpa kenaikan keterampilan yang sepadan. Ini menurunkan keterbandingan nilai antar mata kuliah dan mengikis nilai informasional transkrip dengan cara yang sulit dideteksi hanya dari distribusi nilai.
-
Kerentanan lulus/gagal di tingkat program, dan kriteria penilaian yang menetapkannya: Ivory dkk. (2026) menilai keluaran ChatGPT untuk setiap tugas dalam gelar psikologi tiga tahun (40 penilaian, 16 jenis) dengan lulus/gagal biner, keputusan yang sebenarnya diambil penilai pada bacaan pertama: 36 dari 40 lulus. Dua implikasi validitas menyusul. Pertama, variabel operatifnya adalah batas kelulusan, bukan deteksi — penilaian yang menghargai kelancaran struktural dan pilihan analisis yang tepat sambil memaafkan nilai yang salah membiarkan statistik yang direkayasa dan rujukan halusinatif melewati ambang lulus, sehingga penilaian mensertifikasi keluaran alat sebagai pemahaman siswa karena cara penilaiannya, bukan karena ada yang tertipu. Kedua, butir pilihan ganda membocorkan jawabannya sendiri: ChatGPT menjawab pertanyaan statistik dengan benar tanpa gambar atau tabel keluaran yang ditunjukkan kepada siswa, karena batang butir dan opsinya mengisyaratkan jawaban, sehingga desain opsi jawaban merupakan sifat validitas butir, bukan sifat AI.
-
Akurasi vs. kesepakatan sebagai sinyal validitas yang berbeda: Falahat, Das, Bhaumik & Thambi (2026) menilai ujian farmasi 21 butir dengan ChatGPT-5 dan menemukan bahwa akurasi persentase yang moderat sering hidup berdampingan dengan koefisien korelasi konkordansi yang rendah — perbedaan metodologis antara akurasi penskoran dan kesepakatan yang membatasi keandalan AI sebagai pengganti penilaian bahkan ketika akurasi mentah tampak dapat diterima. Kesepakatan kuat pada butir objektif (CCC 0.935–1.000) tetapi mendekati nol pada jawaban singkat dan moderat pada esai (0.341–0.854), dan penyediaan rubrik tidak secara konsisten menutup celah itu.
-
Validitas butir yang dihasilkan AI: Menilai Ujian yang Dihasilkan AI menunjukkan bahwa pertanyaan yang dihasilkan AI, divalidasi melalui IRT Bayesian, mencapai kesulitan dan daya diskriminasi setara butir ujian standar yang ditulis ahli (reliabilitas 0.79 vs. 0.72) — mendukung validitas penilaian yang dihasilkan AI dan disesuaikan dengan mata kuliah bila didukung evaluasi psikometrik.
-
Penilaian autentik: Penilaian Autentik dan Skala Penilaian AI mengusulkan desain ulang penilaian yang menjaga validitas.
-
Keyakinan dan kalibrasi: Sistem yang sadar keyakinan meningkatkan validitas dengan menandai penilaian yang tidak pasti.
-
Bukti terwujud dan multimodal: penilaian hanya-lisan dapat mengira kelancaran verbal sebagai pengetahuan konseptual; Morphew dkk. menunjukkan bahwa analisis gestur berbasis computer vision yang digabungkan dengan analisis ucapan LLM meningkatkan validitas konstruk dan Keadilan dengan menangkap pemahaman yang diungkapkan melalui gestur, bukan hanya kata-kata — mengurangi bias terhadap pembelajar yang mengungkapkan pemahaman secara nonverbal.
-
Pekerjaan rumah berhenti mensertifikasi kemampuan ketika model dapat menyelesaikan tugasnya: Mikhasenko dkk. (2026) mendokumentasikan pembatalan konkret pekerjaan rumah sebagai ukuran kemampuan di sebuah mata kuliah fisika partikel di Bochum: begitu model generatif dapat menghasilkan solusi yang benar, derivasi yang diserahkan tidak lagi membuktikan bahwa siswa mampu menyelesaikan masalah itu secara mandiri. Respons mereka memisahkan dua fungsi — pekerjaan rumah berbentuk riset yang mengizinkan AI dipertahankan sebagai kerja eksploratif berbonus, dan ujian tertulis tanpa alat dijadikan satu-satunya penentu nilai akhir — pembagian kerja yang digerakkan validitas, bukan rezim deteksi.
-
Validitas berorientasi keputusan untuk penskoran AI dalam skala besar: Curi dkk. (2026) menggambarkan pandangan validitas berorientasi keputusan dalam penilaian menulis nasional Acredita EB: alih-alih hanya bertanya apakah skor AI sepakat dengan manusia, mereka bertanya apakah kesalahan AI dapat mengubah keputusan sertifikasi. Skor batas IRT/Bookmark otomatis mereproduksi skor batas operasional dengan dekat, dan bias sistematis AI yang menurunkan nilai dinetralkan dengan mengalihkan hasil AI yang gagal ke tinjauan manusia — secara mencolok terhadap standar rujukan yang sendirinya diperdebatkan, karena sepuluh penilai ahli yang menilai 50 teks yang sama tidak pernah mencapai kata sepakat pada butir rubrik mana pun.
-
Kekhawatiran validitas dari sisi siswa tentang AI sebagai penilai: AlGhamdi (2026) menambahkan suara pembelajar ke pertanyaan validitas: 13 mahasiswa komputasi yang tugas menulis tangan mereka dinilai ChatGPT mempertanyakan apakah penilai AI dapat secara valid menafsirkan niat, usaha, dan norma penilaian institusional — salah satunya bertanya dengan tajam, "Jika ChatGPT [yang] memeriksa ujian, mengapa kita masih kuliah?"
-
Izin tidak dengan sendirinya melemahkan tugas, dan tingkat penggunaan adalah sinyal validitas yang salah: Zou dkk. (2026) mensurvei 85 calon guru yang penilaiannya secara eksplisit mengizinkan AI generatif dan menemukan keterlibatan penilaian tinggi serta secara statistik tidak terpengaruh oleh apakah siswa menggunakannya (rata-rata 4.21/5, SD 0.46; Mann–Whitney U = 781.5, r = 0.07, p = 0.536). Dengan 62.4% (53) memilih tidak menggunakan AI generatif sama sekali dan penggunaan adopter terbatas terutama pada penyuntingan (43.8%) dan pemeriksaan kejelasan (34.4%), tingkat adopsi membawa sedikit informasi tentang apakah penilaian masih menjustifikasi inferensi tentang pembelajaran — dan non-penggunaan yang didorong ketakutan akan tuduhan plagiarisme yang salah (41.5% non-adopter) juga bukan bukti validitas.
-
Validitas kerangka sampling ketika tes tingkat sekolah dibaca sebagai bukti sistem: Restrepo Morales dkk. (2026) memberikan perlakuan kuantitatif pada inferensi dari skor ke klaim tentang sebuah sistem. Penilaian percontohan terhadap 1,198 siswa sukarela di 171 sekolah El Salvador dengan Test for Schools berbasis PISA menghasilkan hasil yang diumumkan sebagai setara dengan Jerman dan Swedia, tetapi instrumen itu menghasilkan estimasi untuk sebuah sekolah dan tidak diadministrasikan di bawah kerangka sampling nasional dengan standar tingkat respons, batas eksklusi, dan pembobotannya — sehingga perbandingan antara estimasi tingkat sekolah dan rata-rata negara membawa setidaknya tiga sumber ketidakpastian yang tidak dilaporkan (galat sampling tingkat sekolah, galat sampling rata-rata negara, dan galat penghubung dari penyetaraan skala). Alih-alih menguji klaim pembelajaran, penulis membatasinya: dengan 5,5% teratas distribusi matematika El Salvador menyamai rata-rata Jerman pada pembelajaran nol, dan partisipasi sukarela dipahami membiaskan pengujian capaian ke atas, bukti yang diterbitkan tidak dapat memisahkan efek nyata dari sampel yang terseleksi. Ini kegagalan inferensi validitas perbandingan, bukan kegagalan siswa atau instrumen.
Sebuah usulan konseptual memunculkan batas validitas yang berlaku bagi setiap penilaian yang dimediasi AI di halaman ini: El Khoury dan Ma (2026) berargumen bahwa kecepatan bukan validitas, dan bahwa prompt, contoh, serta laporan berbasis transkrip yang dihasilkan AI tetap harus diuji akurasinya, daya tanggap kulturalnya, Aksesibilitas, keterjelasannya, dan keselarasannya dengan capaian mata kuliah. Mereka juga memperluas apa yang dihitung sebagai bukti: ketika dialog menjadi artefak yang dinilai, transkrip adalah catatan proses di mana pertimbangan, empati, klarifikasi, dan pengambilan keputusan bersama terungkap dalam konteks, dan pertanyaan desainnya menjadi apakah bukti itu mendukung inferensi yang ditarik darinya — pertanyaan yang sama yang dihadapi penskoran otomatis, yang dijawab oleh keselarasan antara tugas, umpan balik, dan bukti pembelajaran alih-alih oleh kebaruan teknologi.
-
Metadata butir yang ditetapkan AI bukan bukti psikometrik. Dalam studi ilmu data selama 10 minggu atas 311 butir pilihan ganda yang digunakan, peringkat kesulitan dari LLM mengikuti label Bloom milik model itu sendiri (rho = 0.90) tetapi tidak mengikuti kesulitan butir empiris (rho = 0.06), sehingga kesulitan butir harus ditetapkan dari data respons, bukan dari label model pembangkitnya (An & Wang, 2026).
-
Penilaian siswa tentang keselarasan kurikuler mengikuti kesulitan, bukan isi. Vogt dkk. (2026) meminta siswa menilai apakah setiap butir dalam ujian 60 butir yang dinilai selaras dengan kurikulum mata kuliah dan menemukan bahwa penilaian itu berkorelasi dengan kesulitan butir pada ρ = 0.762 (butir lebih mudah dinilai selaras, butir lebih sulit tidak selaras, ρ = −0.762, p < 0.001), sementara penilaian tidak berbeda menurut sumber butir. Ketika suatu instrumen meminta siswa menilai kesesuaian kurikuler suatu penilaian, skor yang dihasilkan sebagian merupakan peringkat kesulitan dan tidak dapat dibaca sebagai bukti keselarasan yang independen.
-
Selaraskan kembali segitiga penilaian alih-alih menambal satu titik sudutnya. Koretsky dkk. (2026) membingkai masalah GenAI melalui segitiga penilaian — kognisi (apa yang dinilai), observasi (bagaimana bukti pembelajaran diperoleh), dan interpretasi (inferensi yang ditarik) — dan berargumen bahwa ketiga titik sudutnya harus diselaraskan bersama, karena mendesain ulang tugas tanpa memperbaiki interpretasi membuat inferensinya tidak terdukung. Tinjauan cakupan mereka juga menjadikan kesetiaan materi penilaian yang dihasilkan AI sebagai sifat validitas tersendiri, dengan mengatalogkan dimensi isi, linguistik, kognitif, perilaku, struktural, dan pedagogis serta menuntut evaluasi human-in-the-loop sebelum tugas semacam itu menjadi dasar penilaian.
Desain ulang alih-alih deteksi
Basis pengetahuan berargumen bahwa menjaga validitas penilaian menuntut mendesain ulang penilaian untuk siswa yang mampu menggunakan AI, bukan mendeteksi penggunaan AI. Masalah validitas yang sejajar juga berjalan melalui pengukuran penelitian: banyak klaim pendidikan-AI bersandar pada data laporan diri, yang tidak dapat mendukung inferensi tentang pembelajaran atau kompetensi sebaik apa pun instrumennya divalidasi. Pendekatan melampaui deteksi dan Penilaian mewakili pemikiran yang mengedepankan validitas.
Produk tugas bawa pulang dan pemisahan kualitatif/kuantitatif. Brunnström dan Palmqvist (2026) memberi argumen desain ulang sebuah usulan spesifik yang berakar pada taksonomi SOLO. Saat mengerjakan soal ujian bawa pulang ilmu kognitif dengan chatbot, mereka menemukan GenAI paling kuat justru di tempat taksonomi itu paling rendah — menghasilkan konten yang komprehensif, lancar, dan bertipe fakta pada tingkat kuantitatif (multistruktural) — sementara tingkat kualitatif (menghubungkan, mengevaluasi, menggeneralisasi) hanya muncul melalui kalibrasi berulang yang digerakkan pembelajar. Rekomendasi mereka karena itu dibedakan menurut konstruk: penilaian bawa pulang sebaiknya menekankan bukti pemahaman kualitatif, sementara pengetahuan hafalan kuantitatif lebih baik dinilai di kelas ketika GenAI tidak tersedia. Demonstrasi itu juga menegaskan bahwa artefak yang diserahkan dengan rapi merupakan bukti lemah ke dua arah, dan bahwa desain ulang yang valid harus memperhitungkan betapa menuntutnya pembelajaran sah yang didukung AI ternyata (Penilaian Sumatif, Integritas Akademik).
Sebuah padanan di tingkat desain datang dari populasi yang sama yang biasanya diabaikan argumen desain ulang. Zou dkk. (2026) menemukan bahwa tugas reflektif dan personal secara luas dinilai terlalu pribadi untuk dibantu AI, sementara penilaian yang padat pengetahuan di mata kuliah lain memunculkan niat kuat menggunakan AI generatif untuk rujukan — sehingga apa yang dilakukan siswa dengan AI mengikuti konstruk yang diminta dibuktikan oleh tugas. Pelajarannya bagi validitas bersifat presisi, bukan perayaan: desain dapat menghapus imbalan dari substitusi generik, tetapi studi yang sama memperingatkan agar tidak membaca kohort yang memilih tidak menggunakan sebagai bukti hal itu terjadi, karena sebagian besar non-penggunaan dikaitkan dengan ketakutan akan tuduhan plagiarisme yang salah, bukan dengan tugas yang menolak AI.
Sharma (2026) menyediakan argumen desain ulang di sisi integritas yang mengubah bukti integritas menjadi bukti validitas. Dengan memperluas kerangka pascaplagiarisme Eaton (2023) ke dalam desain penilaian, ia berargumen bahwa model integritas berbasis deteksi dan verifikasi tidak selaras dengan karya di mana pertimbangan manusia dan pembangkitan mesin saling terpaut, dan membingkai ulang integritas sebagai praktik pedagogis yang diwujudkan melalui Pertimbangan Evaluatif — kapasitas menimbang opsi, membenarkan pilihan akademik, dan memikul tanggung jawab di bawah ketidakpastian epistemik. Konsekuensi desainnya adalah integritas sebaiknya dibuktikan, bukan disimpulkan: jejak keputusan beranotasi, verifikasi klaim yang disumbangkan GenAI, pertahanan lisan, dan riwayat versi ditawarkan sebagai artefak integritas, dan ia menyatakan secara eksplisit bahwa perbedaannya dengan Penilaian Autentik bersifat epistemik — autentisitas menanyakan apakah tugas mencerminkan praktik dunia nyata, desain berorientasi integritas menanyakan apakah pembelajar dapat membenarkan keputusan dan memikul tanggung jawab terhadap standar disipliner, sehingga integritas menjadi kriteria yang dapat dinilai yang tertanam dalam arsitektur tugas. Ia menyebut risiko validitas dari usulannya sendiri alih-alih membiarkannya implisit: menuntut penalaran yang terdokumentasi memihak pembelajar yang fasih dalam wacana reflektif dan berisiko "menggantikan satu rezim kepatuhan dengan rezim lain", karena pertimbangan sebagai bukti "tetap relasional dan terletak dalam situasi alih-alih dapat diverifikasi secara mekanis" — masalah keandalan interpretatif yang sama yang dicatat halaman ini untuk setiap penilaian yang dimediasi AI.
Weidlich (2026) membingkai ulang desain ulang sebagai pertanyaan tentang inferensi mana yang hendak dilindungi oleh suatu perubahan. Bekerja dari validitas berbasis argumen Kane, ia memisahkan lima tekanan yang cenderung dilebur menjadi satu dalam debat: keterwakilan konstruk yang kurang, variasi yang tidak relevan dengan konstruk, atribusi kinerja, ekstrapolasi bersyarat, dan penggunaan skor yang tidak terdukung. Penggunaan AI tidak otomatis menjadi ancaman, karena penggunaan alat relevan ketika konstruk yang dimaksud adalah pertimbangan profesional yang didukung AI dan melewati kinerja sasaran ketika yang dimaksud adalah penalaran tanpa bantuan, sehingga kondisi konstruk dan kondisi AI harus ditetapkan bersama. Peringatannya untuk desain ulang menyusul, karena intervensi menukar satu tekanan dengan yang lain: pertahanan lisan dapat memperkuat atribusi sekaligus menurunkan reliabilitas atau aksesibilitas.
Tugasnya, bukan detektornya, yang menetapkan apa yang dapat dibuktikan sebuah artefak. Liu dan Liu (2026) meminta sebuah model menulis 148 teks dalam tiga format tugas dan tiga skenario penggunaan AI: memorandum integrasi bukti (3.16) dan pertahanan tindak lanjut-dan-revisi (3.10) memperoleh skor di atas esai posisi (2.63), karena format itu menuntut penjelasan sumber atau tanggapan terhadap keberatan. Mereka mengusulkan simulasi model sebagai prates tugas sebelum tugas dijalankan bersama siswa.
Konstruk hasil juga menggeser estimasinya: dalam meta-analisis tiga tingkat atas pembelajaran berbasis masalah dan berbasis proyek yang didukung GenAI, Chen dkk. (2026) menemukan hasil internal pembelajar terkumpul pada g = 0.819 sementara ukuran produk bersama manusia–AI menghasilkan g = 1.958 dengan interval prediksi yang melewati nol, dimodelkan terpisah justru karena produk itu bukan pembelajaran yang terinternalisasi.
Penilaian yang sadar AI mengambil jalur ketiga antara desain ulang dan deteksi. AICG mengestimasi probabilitas penggunaan AI per respons dan mendiskon bukti kognitif dengan max(δ, 1 − pAI) alih-alih memotong nilai, menurunkan MAE sebesar 4.2% atas model kognitif tanpa pembobotan dan menjaga respons berbantuan AI tetap dapat diskor (Guo dkk., 2026).
Kebijakan telah bergerak ke izin bertingkat, dan ke jaminan alih-alih gesekan. Dengan mengodekan 55 dokumen institusional, Ansari (2026) menemukan 4 yang melarang AI secara default dan 31 yang mendefinisikan kategori penggunaan yang dinamai, dan dari 23 yang mengambil posisi tentang deteksi, 16 menolak detektor. Desain ulang, dalam pembacaan itu, adalah desain ulang plus mekanisme jaminan alih-alih gesekan semata.
Keterkaitan
Validitas penilaian terhubung ke Penilaian Autentik, Penilaian Otomatis, Penilaian AI yang Sadar Keyakinan, Penilaian Formatif, Integritas Akademik, dan Uji Coba Terkendali Acak (RCT) (yang bergantung pada ukuran hasil yang valid).
AI menantang validitas pada tingkat epistemik: Hathcoat, Slotnick & Miller (2026) berargumen bahwa ketika LLM berperan sebagai peserta ujian, pembuat soal, penilai, dan analis, rantai interpretatif menjadi buram dan objek pengukuran kehilangan definisi — sehingga validitas dibingkai ulang sebagai menuntut pertimbangan "cyborg" yang fasih AI, dan Green dkk. (2026) menunjukkan skor AI dapat selaras dengan penilai manusia (87% daftar periksa) sementara rasionalnya menyimpang, terutama pada kualitas pengukuran dan laporan yang lemah.
Ketika AI menghasilkan artefak yang dapat dinilai. Kumar, Wongsirichot dan Nanthaamornphong (2026) memberikan masalah validitas kasus disipliner yang paling tajam: dalam pendidikan komputasi AI menghasilkan artefak yang dinilai — kode sumber — sehingga penggunaan alat, pembelajaran, dan penilaian menyatu dalam satu interaksi, dan basis kode yang diserahkan tidak lagi memisahkan pembelajaran dari delegasi. Di 72 studi mereka menemukan keuntungan efisiensi yang tidak beralih ke kinerja tanpa bantuan (21 studi), Pengetahuan Awal yang memoderasi apakah bantuan AI menjadi keterampilan (6 studi), dan penelitian deteksi yang secara efektif absen dari basis bukti (3 studi) sementara desain ulang penilaian relatif terbukti baik (25 studi). Kesimpulan mereka untuk praktik bersifat spesifik-konstruk dan berteknologi rendah: tambahkan komponen lisan atau unsur lain yang memperlihatkan proses pada setidaknya satu penilaian berisiko tinggi per mata kuliah — intervensi dengan daya angkat tertinggi dalam tinjauan itu — dan tuntut keterlibatan kritis dengan keluaran AI sebagai komponen yang dinilai dan teramati, bukan disposisi opsional (Integritas Akademik, Penilaian).
Correnti dkk. (2026) mereplikasi dan memperluas argumen validitas untuk eRevise, sistem evaluasi menulis otomatis untuk tulisan argumentatif di kelas atas sekolah dasar, pada 34 guru dan 609 siswa di delapan paroki Louisiana, menguji apakah mekanisme sosiokultural yang sama berlaku pada tiga hasil menulis yang berbeda alih-alih satu.
Validitas dalam informasi yang tidak sempurna
Pembingkaian ulang terbaru yang paling tajam memperlakukan masalah AI generatif sebagai masalah evidensial. Siswa mengetahui bagaimana sebuah karya dihasilkan; institusi mengamati artefaknya dan, paling jauh, jejak proses yang parsial — celah produk–proses yang diformalkan Mohamed dan Temimi (2026) sebagai validitas penilaian dalam informasi yang tidak sempurna. Dalam kerangka ini pertanyaannya bukan apakah suatu aturan dilanggar, melainkan apakah penilaian masih menghasilkan bukti yang kredibel tentang penalaran, usaha, dan pertimbangan siswa, dan setiap mekanisme institusional — larangan, pemantauan, pengungkapan, desain ulang — dievaluasi berdasarkan respons siswa mana yang paling dibuatnya menarik. Lensa validitas juga melarutkan pemisahan yang palsu: integritas dan validitas adalah masalah yang sama dilihat dari dua ujung, karena temuan pelanggaran itu sendiri merupakan klaim validitas tentang apa yang dibuktikan karya tersebut.
AI yang dapat dikenakan menutup celah evidensial terakhir alih-alih melebarkannya: Corbin dkk. (2026) berargumen bahwa kacamata dan earbud AI memberikan bantuan tanpa sinyal eksternal, sehingga seorang kandidat dapat hadir, diawasi, dan tetap tidak menunjukkan kemampuan tanpa bantuan, melarutkan keterpisahan dan keteramatan yang diasumsikan format berpengawas.
Sebuah kerangka dari sisi pembelajar menyebut sasaran inferensi yang tidak dapat diputuskan sendiri oleh sebuah artefak. Sak (2026) mengusulkan validitas atribusional untuk pertimbangan potensi berbakat dari karya berbantuan AI: relasi dari kemampuan ke produk bersifat banyak-ke-satu, karena kompetensi pembelajar, kemampuan model, arahan pembelajar, kesesuaian manusia–AI, dan konteks berpadu secara berbeda untuk menghasilkan artefak yang setara, sehingga produk tidak dapat mengidentifikasi kapasitas di baliknya. Kerangka itu memisahkan empat sasaran inferensi — kompetensi mandiri, agensi intelektual, kemampuan hibrida, dan kelanjutan perkembangan — dan menyebut tiga kesalahan yang menyusul ketika bukti satu sasaran dibaca sebagai sasaran lain: atribusi berlebih, ilusi perkembangan, dan kesetaraan kemampuan yang dianggap. Tuntutannya pada catatan mencerminkan disiplin evidensial yang diambil bagian ini dari literatur pelanggaran: sebutkan kemampuan yang menjadi pokok pertimbangan, dokumentasikan bagaimana karya dihasilkan (model dan versinya, antarmuka, fungsi yang diizinkan, mediasi orang dewasa, kondisi akses), dan tuntut bukti transfer di kemudian hari sebelum membaca kinerja berbantuan sebagai perubahan pada pembelajar.
Teichmann (2026) menarik konsekuensi proseduralnya: ketika penggunaan yang dilarang tidak dapat dideteksi, rezim yang tetap menuduh berdasarkan skor detektor tidak dapat menjamin inferensi yang ditariknya, sehingga menghasilkan ketidakadilan tanpa efektivitas. Ia berargumen untuk mengganti pertanyaan forensik — apakah siswa menggunakan AI? — dengan pertanyaan validitas — apakah siswa menunjukkan kemampuan yang hendak disertifikasi tugas itu? — yang memindahkan upaya institusional ke penilaian tingkat program lintas tugas yang terhubung, unsur lisan dan berpengawasan pada titik sertifikasi, serta Pertimbangan Evaluatif sebagai objek penilaian yang eksplisit.
Bagian basis bukti yang sama menyediakan padanan berkas kasusnya, dan itu lebih tidak nyaman daripada literatur deteksi semata. Munoz dkk. (2026) mengodekan setiap kasus pelanggaran AI generatif di satu universitas regional Australia selama tiga tahun — 1,162 kasus yang membawa 1,855 butir bukti terpisah — dan menilai setiap butir untuk nilai probatif pada relevansi, kredibilitas, dan daya inferensial. Kategori terkuat adalah yang tidak bergantung pada klasifikasi teks secara probabilistik (pengakuan siswa, perilaku ujian terlarang yang teramati, dan rujukan fabrikasi yang diverifikasi secara independen), sementara keluaran detektor memperoleh penilaian terlemah dari semua kategori: laporan kemiripan atau Turnitin sepenuhnya lemah dalam daya inferensial dan keluaran detektor tunggal sepenuhnya rendah dalam kredibilitas, turun dari 8,8% butir pada 2024 menjadi 0,5% pada 2025. Kegagalan validitasnya bersifat prosedural sama seperti instrumental — tidak ada tahap dalam pipa yang menetapkan ambang bukti minimum atau mewajibkan penyidik menimbang nilai probatif sebelum meneruskan tuduhan, sehingga kualitas bukti tidak menunjukkan hubungan yang andal dengan hasil kasus, yang persis merupakan masalah standar evidensial yang dikatalogkan pada Isu dan Risiko Hukum. Usulan mereka untuk menerapkan kerangka kredensial pada titik tuduhan alih-alih hanya pada penetapan adalah tuntutan validitas: tuduhan adalah klaim tentang apa yang dibuktikan karya, dan itu semestinya dijamin oleh materi yang mampu mendukungnya. Hadra, Cambridge dan Mesbah (2026) menunjukkan betapa jauh instrumen itu dari standar tersebut, dengan akurasi makro 0.69 (Originality) berbanding 0.61 (Turnitin) pada 192 teks, kegagalan nyaris total pada tulisan hibrida manusia–AI (sensitivitas 0.02 dan 0.31), akurasi menurun seiring panjang teks dan pada tulisan ilmiah, serta kecenderungan batas untuk salah mengklasifikasikan tulisan siswa EFL sebagai AI — sehingga skor detektor tidak dapat menetapkan fakta yang ditegaskan temuan pelanggaran.
Tolok ukur penilaian manusia dan batas atasnya
Perbandingan OpRaise atas tiga model terdepan dengan 761 esai autentik di tiga universitas Inggris menjadikan tolok ukur bagian dari argumen validitas. Nilai manusia digunakan sebagai kebenaran dasar dengan alasan eksplisit bahwa pertimbangan akademik adalah standar yang diterima secara sosial, sementara penulis mengakui bahwa penilai manusia hanya sepakat secara moderat satu sama lain — yang membatasi kesepakatan AI–manusia yang wajar dituntut, dan berarti korelasi tidak dapat dibaca sebagai siap-atau-tidak tanpa titik rujukan. Dalam kerangka itu kegagalannya muncul sebagai struktur sistematis alih-alih galat acak: nilai terkompresi ke tengah skala, sehingga esai terbaik dan terburuk paling banyak salah dinilai; kesepakatan paling lemah pada batas nilai; dan nilai AI mengikuti rentang kosakata, konjungsi, dan kompleksitas kalimat sementara nilai manusia secara luas tidak peka terhadapnya. Pelajaran praktisnya bermata dua, karena studi yang sama menemukan reliabilitas sangat baik — penilaian ulang yang identik lintas waktu dan kesepakatan tinggi antar model. Argumen validitas untuk penilaian otomatis karena itu tidak dapat bersandar pada stabilitas atau kesepakatan rata-rata; ia harus menunjukkan tidak adanya penyimpangan sistematis, yang justru tidak ditemukan bukti ini.
Stabilitas antar-jalan tidak dijamin, bagaimanapun: mengulang penilaian yang sama pada kiriman identik dengan selang lima hari menghasilkan alpha Krippendorff 0.625, dengan variasi terkonsentrasi pada nilai tengah dan A serta F absen dari hitungan sesi berulang (Brevik dkk. (2026)).
-
Ukuran model bukan proksi validitas penilaian. Pada delapan konfigurasi dari empat keluarga model atas 114 esai yang dinilai, kesepakatan band eksak berkisar 18.4% sampai 54.4% dan mengikuti keluarga model alih-alih jumlah parameter — model terbesar, GPT-OSS 120B, menurunkan nilai sebesar 1.316 band, dan suhu tidak memperbaikinya (Kerwat dkk. (2026)).
-
Kesepakatan dan galat tolok ukur menyamar sebagai pembelajaran. Dua studi 2026 menunjukkan jalur berbeda yang membuat skor tampak valid sementara menetapkan hal lain. Studi menulis pemasaran terbuka menemukan kesepakatan absolut LLM-manusia hanya ICC(2,1) .435 dan hibrida yang secara signifikan lebih buruk daripada LLM saja, dengan komposisi jangkar menggerakkan kesepakatan dari .338 ke .902 (Agreement and error in automated scoring of student marketing posts). Audit ahli atas enam tolok ukur fisika mengaitkan 95.20% penolakan yang diaudit dengan butir atau penilai yang cacat alih-alih galat model, menggerakkan CritPt mean@5 dari 32.29% ke 87.50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Dalam kedua kasus ancamannya adalah variasi yang tidak relevan dengan konstruk di luar model yang sedang diskor.
-
Kesepakatan antar pengode LLM adalah konsistensi, bukan validitas. Pada korpus dialog pendidikan berlabel ahli, filter kesepakatan lintas model hanya mempertahankan 33 dari 74 asersi perilaku yang diturunkan dari korpus dan 11 dari 48 yang diturunkan dari konstruk, dan kesalahan model yang sama bertahan melewati filter, sehingga kesepakatan antar model tidak dapat menggantikan validitas konstruk (Bernado dkk., 2026).
-
Label sentimen otomatis adalah klaim pengukuran, bukan deskripsi. Pada 1,220 respons survei siswa terbuka, alat sentimen siap pakai terbaik (BERT-nlptown) hanya mencapai kesepakatan moderat dengan pengodean manusia (κ = .42), dan alat leksikon salah mengklasifikasikan sekitar 20% respons karena cakupan kosakatanya kurang (You & Horissian, 2026). Label sentimen adalah hasil pengukuran, sehingga galat klasifikasi merupakan ancaman validitas, bukan masalah penyetelan.
-
Kontaminasi adalah ancaman validitas yang disembunyikan data agregat. Ketika siswa menggunakan AI untuk mengerjakan tugas yang dinilai, kenaikan rata-rata skor rubrik adalah bukti tentang alatnya, bukan pembelajarannya, dan model yang menilai keluaran model adalah "rumah cermin" alih-alih penilaian (Jenkins & de Mello-e-Souza Wildermuth, 2026). Penulis mencatat bahwa kontaminasi tidak terlihat dalam data agregat yang biasa digunakan program.
-
Paparan dapat diukur, dan obatnya adalah bukti yang memadai alih-alih keamanan maksimal. Villanueva (2026) memberi skor pada 53,915 butir penilaian menurut format, pengawasan, dan bobot nilai yang dipublikasikan dan menemukan sebagian besar nilai yang dinilai bersandar pada karya yang kepengarangannya tidak dapat diverifikasi setelah pengumpulan; ia berargumen program memerlukan bukti pembelajaran yang cukup pada tahap-tahap kunci, bukan setiap unit dibuat aman.
-
Model dapat mengujiawal butir dan menyingkap cacat yang terlewat oleh tinjauan fakultas. Satu institusi meminta platform AI perusahaan menjawab butir ujian sebelum pelaksanaannya, lalu membandingkan penalarannya dengan konstruk yang dimaksud dan kunci jawaban (Ford, Helms & Moseley, 2026). Latihan itu menyingkap rumusan ambigu, jawaban yang masuk akal lebih dari satu, petunjuk yang tidak dimaksudkan, dan butir yang jawaban kuncinya tidak dapat dipertahankan dengan jelas. Penulis memperlakukan balasan itu sebagai dorongan untuk meninjau ulang butir, bukan bukti bahwa butir itu cacat.
-
Ukuran yang valid tetap bisa tidak aman untuk dioptimalkan. Penyetelan halus tutor LLM terhadap metrik adaptivitas bergaya rubrik menaikkan metrik (+0.05 sampai +0.42) sementara penilaian ahli secara tersamar menurun (4.46 ke 3.03), karena metrik yang menilai keputusan secara independen dimaksimalkan dengan mengulang satu keputusan terbaik (Domínguez Figaredo & Fernández De la Cruz, 2026).
-
Geometri sebuah embedding bukanlah pembedaan sebuah rubrik. Terhadap 992 solusi fisika tulisan tangan dalam lima representasi tekstual dan sembilan mekanisme embedding, Tauschhuber & Kortemeyer (2026) melaporkan korelasi Spearman berbobot terbaik dengan skor manusia sebesar 0.198, dengan klaster yang diperkaya skor alih-alih setara skor.
-
"Lulus pemeriksaan standar berarti penilai sudah beres." Pada tolok ukur yang sama tidak ada model yang lulus ketiganya pada tugas mana pun: QWK minimal 0.70, tidak lebih dari 0.10 di bawah kesepakatan penilai itu sendiri, dan perbedaan rata-rata terstandar dalam 0.15. Pada kode, delapan model melewati dua syarat pertama lalu menilai lebih rendah daripada penilai, dan pada jawaban singkat 21 dari 22 menilai lebih rendah, sehingga arah penyimpangannya sama pentingnya dengan besarnya.
-
"Kesepakatan mendeteksi penilai yang berbias." Tidak demikian dalam ablasi dalam-butir. Menambahkan hanya label capaian yang benar atau yang ditukar ke prompt menggeser nilai sebesar 0.28 sampai 0.75 poin pada skala sepuluh poin di setiap model yang diuji, sementara label yang benar hanya menaikkan QWK sebesar 0.029 sampai 0.046. Penskalaan ulang yang difit tanpa label menyamai kenaikan itu. Invariansi harus dilaporkan di samping kesepakatan, karena penilai dapat memberi skor lebih dekat ke guru sambil membaca siswanya alih-alih karyanya.
Miskonsepsi Umum
- "Bias penilaian LLM adalah alasan untuk meninggalkannya." Dalam penilaian menulis nasional berskala besar, penskor LLM menunjukkan bias konservatif sistematis (menurunkan nilai) — bermasalah sebagai nilai akhir dan berpotensi berguna sebagai sinyal penyaringan. Bias dengan arah yang diketahui adalah instrumen yang berbeda dari bias yang tidak dapat diprediksi.
- "Inflasi nilai setelah AI hanyalah spekulasi." Dalam studi difference-in-differences atas lebih dari 500,000 nilai di 319 mata kuliah (2018-2025), mata kuliah dengan lebih banyak tugas terpapar AI (menulis, coding) mengalami kenaikan porsi nilai A. Efeknya terkonsentrasi di tempat tugas terpapar.
- "Fakultas telah mengadopsi AI secara luas." 62.4% (53) memilih tidak menggunakan AI generatif sama sekali, dan penggunaan adopter terbatas terutama pada penyuntingan (43.8%) dan pemeriksaan kejelasan (34.4%). Pola adopsinya hati-hati dan sempit, yang mengubah cakupan yang perlu ditangani argumen validitas.
Konsep terkait
- Pola Pedagogis — Mengapa bukti proses diusulkan ketika keluaran tidak lagi mengidentifikasi penulis
- Menafsirkan dan Menerapkan Penelitian AIEd
- Penilaian Autentik
- Penilaian Otomatis
- Penilaian Formatif
- Integritas Akademik
- Uji Coba Terkendali Acak (RCT)
- Mitigasi Bias
- Keadilan
- Evaluasi AI dalam Pendidikan
- Pengukuran Pendidikan
- Isu dan Risiko Hukum
- Model Bahasa Besar (LLM)
- Umpan Balik
- Ukuran Laporan Diri
- Pengetahuan Awal
- Keterlibatan Siswa
- Penilaian
Artikel terkait
-
From Policing Provenance to Designing for Evidence: Testing Four Propositions on Generative AI Against Research and Institutional Policy — Dari mengawasi provenans menjadi mendesain untuk bukti: empat proposisi yang diuji terhadap penelitian dan kebijakan (Ansari 2026)
-
Testing the validity of embedding-based similarity and clustering for handwritten physics solutions — Kemiripan embedding berkorelasi dengan skor manusia paling tinggi 0.198
-
On AI glasses and wearable AI in assessment — AI yang dapat dikenakan melarutkan keterpisahan dan keteramatan, sehingga kandidat yang diawasi tetap tidak dapat menunjukkan kemampuan tanpa bantuan (Corbin, Sharpe & Dawson 2026)
-
The Integrity of Psychology Assessments in the AI Age: A Critical Examination — Kerentanan lulus/gagal di tingkat program dan kriteria penilaian yang membiarkan nilai fabrikasi lulus (Ivory dkk. 2026)
-
"Is this a trap?": Student teachers' perceptions and adoption of GenAI in assessments in three teacher education courses — Izin semata tidak menurunkan validitas: keterlibatan tidak terpengaruh penggunaan GenAI; refleksi menolak substitusi generik
-
AI Agents, Joyful Assessment, and Third Space: Rethinking Assessment in the GenAI Era — Agen AI, penilaian yang menyenangkan, dan ruang ketiga
-
AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — Laporan OpRaise: penilaian AI atas 761 esai universitas di tiga universitas Inggris
-
Generative AI in computing education: A systematic review and a framework for responsible integration — Ketika AI menghasilkan artefak yang dinilai: masalah validitas pendidikan komputasi dan bukti desain ulang
-
AI-interaction literacy: reflections on how generative AI might be used to support self-regulated learning in higher education — Ujian bawa pulang: nilai fase kualitatif, pindahkan hafalan ke kelas (Brunnström & Palmqvist 2026)
-
A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — Penskoran berbantuan AI HITL dalam penilaian menulis nasional berskala besar (Curi dkk. 2026)
-
VARIA: Benchmarking Frontier LLMs on Construct-Equivalent Assessment Variant Generation — Pembangkitan varian penilaian yang setara konstruk (Lee 2026)
-
Artificial Intelligence and Grade Inflation — Pergeseran tugas oleh AI sebagai mekanisme inflasi nilai (Chirikov 2026)
-
AI Agents Can Now Navigate and Complete LMS Tasks: A Call for Pedagogical Innovation — Agen AI menyelesaikan tugas LMS; asumsi produksi manusia & validitas agentik (Hadjisolomou & El-Haddad 2026)
-
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Apakah instrumen penilaian mengukur hal yang sama bagi manusia dan LLM? (Strugatski dkk. 2026)
-
A Multimodal Framework for Embodied Cognition in Oral Explanations — Kerangka Multimodal untuk Kognisi Terwujud dalam Penjelasan Lisan
-
Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Menilai kualitas ujian yang dihasilkan AI: studi lapangan berskala besar
-
Distinguishing performance gains from learning when using generative AI
-
The End of Assessment? Disruption and Transformation in the Age of AI
-
Can AI Evaluate Assessment? A Study of Large Language Model Meta-Assessment Performance
-
Exploring value judgements in grading: will teachers mark down student work assisted by GenAI, and should they? — Pertimbangan nilai dalam menilai karya berbantuan GenAI: kejujuran, kepercayaan, validitas, dan transparansi dua arah (Luo & Dawson 2026)
-
Bridging technology and education: The use of ChatGPT in grading pharmacy student exams
-
Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI — Prosedur pelanggaran sebagai masalah validitas
-
Assessment Design Under Imperfect Information: Generative AI, Disclosure, and Student Response in Higher Education — Validitas penilaian dalam informasi yang tidak sempurna: model wilayah respons
-
Which inference is at risk? Assessment validity reasoning and generative AI — Inferensi mana yang berisiko? Memisahkan lima tekanan validitas dan memeriksa apa yang dilemahkan desain ulang (Weidlich 2026)
-
The shifting landscape of assessment in STEM education in the age of generative AI — Penilaian STEM sebagai masalah validitas, desain, dan definisi kemampuan, bukan masalah kecurangan: bukti proses, ujian lisan, dan kesetiaan tugas yang dihasilkan AI (Koretsky dkk. 2026)
-
AI in Particle Physics Education: Research Problems and Foundational Skills — AI dalam Pendidikan Fisika Partikel: Masalah Penelitian dan Keterampilan Fondasional
-
Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — Siapa yang Seharusnya Menilai Karya Saya? Perspektif Mahasiswa tentang Penilaian Menulis Berbantuan AI yang Transparan di Pendidikan Tinggi
-
How much selection would be enough? Bounding the learning claim of El Salvador's artificial intelligence tutoring pilot — Membatasi klaim pembelajaran dari percontohan tutor AI El Salvador (Restrepo Morales dkk. 2026)
-
How strong is the evidence in generative AI-related academic misconduct allegations? A mixed-methods analysis — Apa yang sebenarnya dikandung berkas tuduhan pelanggaran sebagai bukti, dan mengapa kualitas bukti tidak memprediksi hasil (Munoz dkk. 2026)
-
Evaluating the accuracy and reliability of AI content detectors in academic contexts — Akurasi detektor 0.69 dan 0.61 pada 192 teks; kegagalan tulisan hibrida dan risiko salah klasifikasi EFL (Hadra dkk. 2026)
-
Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment — Larangan yang terlalu inklusif: transkripsi bukan pembangkitan, sehingga aturan menghukum hal yang tidak dirancang untuk dicegahnya (Wright 2026)
-
Educational integrity in GenAI-augmented assessment: making judgment visible — Integritas yang dibuat terlihat melalui pertimbangan evaluatif alih-alih deteksi (Sharma 2026)
-
Can large language models reproduce higher education grade bands? Cross-model study of calibration and grading bias in authentic student writing — Dapatkah model bahasa besar mereproduksi band nilai pendidikan tinggi? Studi lintas model tentang kalibrasi dan bias penilaian pada tulisan siswa autentik
-
AI-Assisted Assessment of Experimental Physics Laboratory Reports: Potential, Limitations, and Support for Teaching Practice — Penilaian Berbantuan AI atas Laporan Laboratorium Fisika Eksperimental: Potensi, Keterbatasan, dan Dukungan bagi Praktik Pengajaran
-
Inferring Gifted Potential from AI-Assisted Work: An Attributional Validity Framework for Gifted Education — Empat sasaran inferensi dan tiga kesalahan atribusi ketika produk dibaca sebagai bukti kapasitas pembelajar (Sak 2026)
-
Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Penggunaan LLM oleh Siswa dan Batas Kesulitan Soal yang Dihasilkan AI di Mata Kuliah Ilmu Data
-
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues — EduBehaviors: Skema Berbasis Asersi untuk Pengodean Dialog Pendidikan yang Dapat Diaudit
-
Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — Penilaian siswa atas keselarasan kurikuler mengikuti kesulitan butir (rho = 0.762) alih-alih isi (Vogt dkk. 2026)
-
Large language models as grading assistants in public health education: a method-comparison study of essay-style exam assessment — Penilaian ulang lima hari atas kiriman identik menghasilkan alpha Krippendorff 0.625
-
How AI-vulnerable is Australian higher education assessment? A computational audit of Group of Eight Arts and Humanities units, 2022–2026 — Indeks Kerentanan AI: sebagian besar nilai yang dinilai bersandar pada kepengarangan yang tidak dapat diverifikasi, sehingga validitas bersandar pada bukti yang memadai pada tahap kunci alih-alih keamanan maksimal
-
The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — Metrik adaptivitas pedagogis naik sementara penilaian ahli tersamar turun: validitas pengukuran tidak menyiratkan validitas optimasi (Domínguez Figaredo & Fernández De la Cruz 2026)
-
Has the Target Moved Again? GenAI and the Validity of English Proficiency Scores — Apakah Sasaran Bergeser Lagi? GenAI dan Validitas Skor Kemahiran Bahasa Inggris
-
Problem-based and project-based learning as promising frameworks for generative AI-supported education: Emerging evidence from a systematic review and three-level meta-analysis — Konstruk hasil menggeser estimasi: g = 1.958 untuk produk bersama manusia–AI
-
Beyond agreement: a benchmark of how language models grade student work, and how they fail — Melampaui kesepakatan: 22 penilai berprompt menghadapi uji yang jawabannya diketahui, dan sebagian besar dapat dibujuk naik (Porcaro 2026)
-
Learner context changes an LLM grader's marks on identical work: a within-item ablation on six models — Konteks pembelajar mengubah nilai penilai LLM pada karya identik, dan kesepakatan dengan guru tidak mencatatnya (Porcaro 2026, Makalah VI)
-
Task Structure and AI-Use Instructions Decide What a GenAI-Era Assignment Can Show — Format tugas dan instruksi penggunaan AI sebagai apa yang dapat dibuktikan artefak (Liu & Liu 2026)
-
Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading — Melampaui Penskoran Respons: Kerangka Supervisi Kognitif Sadar AI untuk Penilaian Jawaban Singkat Matematika Otomatis
FAQ terkait
- Bagaimana Saya Mendesain Ulang Penilaian agar Nilai Masih Memberi Bukti yang Dapat Dipertahankan tentang Apa yang Diketahui atau Dapat Dilakukan Siswa?
- Bagaimana Praktik Terbaik Melaporkan dan Menafsirkan Penelitian AI dalam Pendidikan?
- Bagaimana Merancang dan Memfasilitasi Kursus Daring Asinkron Saat AI Bisa Mengerjakan Tugasnya?
- Bagaimana Kita Tahu bahwa AI Pendidikan Bekerja dengan Benar, Bukan Hanya Memberi Skor yang Baik?