Basis Pengetahuan AIEdAIEd KB
Di halaman ini

Baca halaman ini dalam bahasa Inggris

Konsep

Penilaian Otomatis

Dibuat 2026-08-09 · Diperbarui 2026-11-04

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Penilaian otomatis — penggunaan AI untuk mengevaluasi pekerjaan siswa, dari kuis formatif hingga ujian berisiko tinggi. Penilaian otomatis mencakup beberapa modalitas — pilihan ganda, jawaban singkat, esai, kode, dan evaluasi berbasis kinerja — dan berkisar dari penilaian otomatis langsung hingga sistem berbasis keyakinan yang melaporkan ketidakpastian terkalibrasi bersama skornya.

Pertanyaan untuk Dipertimbangkan

  • Penilaian otomatis berkisar dari penilaian pilihan ganda hingga esai, kode, dan evaluasi berbasis kinerja. Apa perbedaan terbesar yang Anda perkirakan antara seberapa andal AI dapat menilai kuis pilihan ganda versus esai bebas — dan mengapa?
  • Gagasan desain inti di sini adalah 'kesadaran keyakinan': penilai AI yang melaporkan seberapa yakin mereka, menandai kasus berkeyakinan rendah untuk tinjauan manusia alih-alih mengeluarkan satu skor tanpa kualifikasi. Bagaimana nilai yang menyatakan 'Saya 70% yakin tentang ini' akan mengubah cara Anda memakai atau memercayai skor otomatis?
  • Penelitian menunjukkan penilaian otomatis dapat secara sistematis merugikan penutur non-asli — AI menilai bahasanya, bukan pemahamannya. Mengapa penilai otomatis sangat rentan terhadap ketidakadilan semacam ini, bahkan ketika ia mencapai kesepakatan tinggi dengan penilai manusia secara keseluruhan?
  • Satu studi menemukan bahwa cara validasi dilakukan dapat menggelembungkan kinerja yang dilaporkan: metode validasi silang naif melaporkan hasil nyaris sempurna yang turun drastis di bawah validasi independen-percobaan yang lebih ketat. Apa yang disiratkan pelajaran peringatan ini tentang cara Anda membaca klaim apa pun bahwa sistem penilaian AI 'berfungsi'?
  • Halaman ini berargumen bahwa keyakinan terkalibrasi memungkinkan alur kerja human-in-the-loop, mendukung kalibrasi kepercayaan, dan memperkuat validitas pengukuran. Jika sistem otomatis mengarahkan kasus-kasus yang paling tidak yakin ke peninjau manusia, apa yang ingin Anda ketahui tentang bagaimana kasus itu dipilih sebelum Anda memercayai pemisahan tersebut?
  • Penilaian otomatis digambarkan sebagai salah satu aplikasi AIED paling matang, namun menilai tanpa umpan balik yang berguna memiliki nilai pendidikan yang terbatas. Bagaimana fokus semata pada menghasilkan skor — alih-alih umpan balik yang dapat digunakan — mengubah apa yang sebenarnya diperoleh siswa dari penilaian bernilai AI?

Pendahuluan

Modalitas penilaian

Penilaian otomatis

Penilaian otomatis adalah salah satu aplikasi AI dalam pendidikan yang paling matang dan paling luas diterapkan — sistem AI yang mengevaluasi pekerjaan siswa, dari penilaian pilihan ganda hingga penilaian esai dan tinjauan kode. Modalitas penilaiannya meliputi:

  • Siswa memisahkan kegunaan umpan balik dari otoritas evaluatif: AlGhamdi (2026) mendokumentasikan kasus di mana skor AI diperhitungkan dalam nilai dan siswa mengetahuinya — 13 mahasiswa komputasi yang pekerjaan tulisan tangannya dipindai dinilai oleh ChatGPT terhadap rubrik yang mencakup kejelasan, organisasi, kebenaran kalimat, dan keringkasan. Setiap partisipan menilai umpan balik itu berguna, namun semuanya memisahkan kegunaan itu dari otoritas, dan beberapa menolak sifat satu arah dan non-dialogis penilaian otomatis — "ChatGPT tidak seperti manusia. Anda berbicara dengan mereka dan menjelaskan alasan... Saya suka guru biasa [untuk] menilai pekerjaan saya." Studi ini memosisikan evaluasi otomatis sebagai dapat diterima untuk revisi permukaan tetapi bukan sebagai penilai akhir, dengan kepercayaan bersyarat yang dimediasi pengawasan instruktur.
  • Penilaian jawaban singkat: ASAG berbasis keyakinan mengevaluasi respons teks bebas, dengan kalibrasi keyakinan yang krusial — sistem harus tahu kapan penilaiannya andal. Sebuah tinjauan cakupan atas penandaan otomatis jawaban singkat di sains (2017–awal 2024) mendokumentasikan sejarah bidang ini: Morley dkk. menemukan model keluarga BERT (base, RoBERTa, DistilBERT, SciBERT) mendominasi — dipakai di 20 dari 21 studi, memuncak pada 2021 — sebelum pendekatan berbasis GPT diadopsi melalui Rekayasa Prompt alih-alih penyetelan halus sejak sekitar 2022. Model yang diperkaya data domain (buku teks, rubrik, pra-pelatihan lanjutan) secara konsisten mengungguli model tanpanya, namun hanya sedikit yang dapat membenarkan nilai dalam istilah yang dapat dipahami manusia dan bias lintas kelompok demografis dan linguistik jarang diperiksa — sehingga penulis berargumen bahwa penanda otomatis harus mendukung alih-alih menggantikan pemeriksa manusia. Sebuah tinjauan sistematis terpandu PRISMA atas 42 studi penilaian dan umpan balik empiris (2023–2025) menggeneralisasi kehati-hatian ini ke seluruh bidang: LLM setara dengan penilai manusia pada tugas tertutup dan pertanyaan jawaban singkat tetapi tidak dapat sepenuhnya menggantikan penilaian manusia pada pekerjaan kompleks, terbuka, atau subjektif yang memerlukan analisis mendalam atau Kreativitas, dan efektivitas penilaian tertinggi dicapai dalam sistem hibrida yang memadukan penilaian berbasis AI dengan pengawasan dan verifikasi guru (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Penilaian esai: sistem Penskoran Esai Otomatis seperti AES berbasis jangkar menggunakan strategi prompting untuk mendekati keandalan tingkat manusia. RACES, penilai esai selaras-reward, melaporkan Quadratic Weighted Kappa dan kemiripan SimCSE yang lebih tinggi daripada baseline praterlatih dan tersetel-halus yang dievaluasi pada ASAP 2.0 tanpa uji signifikansi, dan umpan balik pemodelan reward-nya adalah proksi hasil LLM, sehingga hanya skor referensi yang ditetapkan manusia (Li dkk. (2026)). AIAWE memperluas evaluasi otomatis ke penilaian tulisan yang lebih luas.
  • Tinjauan kode: Penilaian Linux Bash dan tinjauan kode CS1 mendemonstrasikan penilaian otomatis dalam pendidikan komputasi.
  • Persona prompt dapat meruntuhkan penilai, dan penyetelan halus dapat memperbaikinya: Habibullah dkk. (2026) menilai ujian computer vision praktis (570 siswa dinilai ganda) dalam 171 konfigurasi dan ujian machine learning kedua (1.038 siswa) dalam 162 konfigurasi lagi. Pengantar singkat "strict grader" mendorong 14 dari 17 model berbobot terbuka keluar dari pita nilai (MAE ≥ 8), tiga berhenti menilai sama sekali; kerusakannya terlacak pada dua kalimat penahan kredit alih-alih nada atau skala model, dan arahnya spesifik per ujian, meningkatkan tujuh model pada ujian kedua. Penyetelan halus LoRA ringan pada sekitar 3.900 contoh bernilai yang digabungkan membawa lima model terbuka kecil ke setara atau lebih baik daripada penilai manusia, sehingga kerentanannya adalah artefak prompting alih-alih plafon kemampuan.
  • Integrasi formatif: otomatisasi sains A-level dan CoTAL menunjukkan bagaimana penilaian otomatis memasok siklus Penilaian Formatif.
  • Cakupan jenis umpan balik bukan keselarasan dengan guru. Almousa dkk. (2026) menganotasi umpan balik tingkat paragraf dari tiga mata kuliah menulis universitas ke dalam tujuh jenis fokus; sebagian besar model mengeluarkan hampir semua jenis, namun distribusinya menyimpang dari rujukan guru, dengan LearnLM yang disetel pendidikan paling dekat (divergensi Jensen–Shannon 0.1344) dan Mistral-7B terjauh (0.2695). Prompting dengan definisi kategori atau contoh yang dikerjakan meningkatkan divergensi pada sebagian besar model.
  • Bias dan keadilan: Bias bahasa dalam penilaian fisika mendokumentasikan bagaimana penilaian otomatis dapat merugikan penutur non-asli — terhubung ke Mitigasi Bias dan Keadilan.
  • Tolok ukur model GenAI untuk penilaian terbuka: Pecuchova, Benko & Drlik (2025) menilai sebelas model GenAI dan penyematan kalimat terhadap dua penilai manusia pakar pada 1.885 respons terbuka untuk 24 pertanyaan rekayasa perangkat lunak. Hanya GPTo1 yang mencapai kesepakatan nyaris sempurna (Fleiss' Kappa 0.82, positif dan negatif palsu rendah di seluruh kategori nilai), dengan Claude3 dan PaLM2 menyusul dekat; model GenAI yang peka konteks menangani jawaban siswa yang singkat dan beragam frasa secara kokoh, sementara model penyematan berbasis referensi (mis., 345 positif palsu BERT) secara sistematis menghukum respons yang benar tetapi dirumuskan berbeda — bukti bahwa pilihan model, bukan hanya format penilaian, membentuk keandalan untuk penilaian terbuka teks bebas.
  • Contoh prompt menentukan kesepakatan penilaian: Takahashi dkk. (2026) mengotomatiskan penalaran diagnostik hierarkis (HDR), tugas kompetensi terapan di mana siswa menemukan dan menjelaskan kesalahan yang sengaja disisipkan dalam sebuah kasus singkat. Menggunakan GPT-4o tanpa penyetelan halus, tim menghasilkan soal baru dan menilai deskripsi siswa: soal yang dihasilkan dan yang ditulis manusia memiliki konsistensi internal yang sama (Cronbach's α = 0.78) dan tidak menunjukkan perbedaan distribusi skor yang signifikan di 100 partisipan, dan korelasi format itu dengan kontrol pemahaman bacaan tetap rendah (α = 0.36 dan 0.41). Akurasi penilaian bergantung pada prompt alih-alih model — tanpa contoh yang dikerjakan presisi Q2 turun ke 0.42, sementara penambahan contoh benar dan salah yang dinilai manusia menaikkan kesepakatan ke 98% atau lebih pada setiap pertanyaan (Q1 dan Q2 pada 100%) — dibanding biaya manusia terukur 138 menit penilaian pakar untuk 117 respons plus 30 menit konsensus.

Mode penalaran model itu sendiri adalah tuas konfigurasi kedua: pada 32 kiriman ujian magister kesehatan publik yang dianonimkan, ChatGPT yang sama bergerak dari kappa berbobot 0.269 dalam mode cepat ke 0.718 dalam mode berpikir, sementara Kimi mencapai 0.571 (Brevik dkk. (2026)).

  • Pengodean multiagen atas respons terbuka guru, di mana kerangka alih-alih model yang menanggung keandalan: Copur-Gencturk dkk. (2026) memperluas penilaian otomatis melampaui pekerjaan siswa ke pengodean pengetahuan konten (CK) dan pengetahuan konten pedagogis (PCK) guru sendiri, menanyakan apakah AI dapat mereproduksi pengodean manusia terlatih atas respons tertulis 268 guru matematika sekolah menengah AS tentang rasio dan hubungan proporsional. LLM multiagen yang dibangun khusus, GradeOpt, menetapkan tiga peran berbasis GPT-4o — Grader yang menerapkan manual pengodean manusia, Reflector yang mendiagnosis setiap ketidaksepakatan dengan kode manusia, dan Refiner yang melipat titik klarifikasi kembali ke manual selama hingga enam putaran — dan sangat dekat dengan pengode manusia terlatih pada CK (κ = .88 dan .85) sementara mencapai kesepakatan substansial pada butir PCK yang jauh lebih interpretatif secara keseluruhan (κ = .68; κ berbobot = .79). Dua baseline NLP dan model GPT-4o prompt tunggal tidak pernah melewati κ = .39 atau κ berbobot = .55 pada PCK, sehingga penulis mengatribusikan keandalan pada penghalusan instruksi terhadap manual pengodean alih-alih skala model, dan merekomendasikan tinjauan pakar di mana pun tingkat pengodean yang berdekatan kabur, karena kesalahan sisa GradeOpt biasanya berupa kode yang berdekatan alih-alih luput jauh.

  • Penilaian ujian format campuran (2026): Falahat, Das, Bhaumik & Thambi (2026) mengevaluasi ChatGPT-5 terhadap penilaian fakultas manusia atas ujian farmasi 21 butir (16 siswa) yang mencakup butir pilihan ganda, pilih-semua-yang-berlaku, isian, daftar, jawaban singkat, dan esai. Kesepakatan substansial-hingga-nyaris-sempurna untuk jenis butir objektif (CCC 0.935–1.000 — dibantu jawaban benar yang disediakan saat penilaian) tetapi runtuh untuk butir daftar (0.621–0.708), jawaban singkat (≈0 hingga negatif), dan esai (0.341–0.854); penyediaan rubrik terstruktur tidak secara konsisten meningkatkan kesepakatan ujian penuh (71.1% tanpa vs 68.2% dengan). Studi ini mempertajam poin metodologis yang berulang di seluruh penilaian otomatis — akurasi persentase sedang sering hidup berdampingan dengan kesepakatan rendah — sehingga akurasi semata melebih-lebihkan keandalan, dan merekomendasikan penilaian hibrida untuk butir kompleks, subjektif, atau berisiko tinggi.

  • Kalibrasi pita nilai lintas keluarga pada esai bertanda asli (2026): Kerwat, Donaldson & Mahomed (2026) menjalankan delapan konfigurasi yang ditetapkan sebelumnya dari empat keluarga model (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B, dan Llama 3.1 8B, masing-masing pada dua suhu) atas kohort terkunci yang sama berisi 114 esai BAWE/Coventry yang membawa label institusional Merit dan Distinction, dengan satu prompt bersama yang mengizinkan empat pita. Kesepakatan pita eksak berkisar 18.4% hingga 54.4%: Llama 3.1 8B pada suhu 0.5 memimpin (54.4% eksak, 98.2% dalam satu pita, MAE 0.474, bias nyaris nol) sementara GPT-OSS 120B terlemah (18.4%) dan secara sistematis menilai terlalu rendah, rata-rata 1.316 pita pada suhu 0.5, dengan akurasi Distinction tertinggal dari akurasi Merit sepanjang waktu. Kohort terkunci tidak memuat rujukan Pass atau Fail, sehingga ini adalah diskriminasi Merit–Distinction dan bukan keandalan di seluruh rentang nilai, dan suhu bukan obat — ia membantu satu keluarga secara deskriptif, membiarkan keluarga lain tak berubah, dan secara signifikan memperburuk GPT-OSS 20B (39.5% ke 29.8% eksak). Dua pelajaran bertransfer melampaui studi ini: jarak nilai dan bias arah mengungkap apa yang disembunyikan statistik kesepakatan, dan ukuran model bukan proksi bagi validitas penilaian.

  • Rekayasa rubrik untuk penilaian terbuka di pendidikan kedokteran: Olvet dkk. (2026) menanyakan apakah GPT-4 dapat menilai pertanyaan terbuka secara andal pada ujian kedokteran pra-klerkship. Setelah tiga iterasi penghalusan rubrik yang digerakkan manusia di dua sekolah AS, reliabilitas antar-penilai dengan fakultas mencapai kesepakatan substansial-hingga-nyaris-sempurna untuk tiga dari empat pertanyaan menggunakan rubrik analitik dan holistik (kappa berbobot hingga 0.94), sementara butir rubrik holistik tertahan pada moderat (κw = 0.54). Analisis pola kesalahan menunjukkan ketidaksesuaian dapat dilacak pada kedua penilai — GPT-4 menilai terlalu tinggi ketika siswa menawarkan beberapa jawaban atau memakai kosakata yang tidak ada di rubrik, sedangkan fakultas sering menjadi penilai yang "terlalu murah hati" — sehingga penulis merekomendasikan mempertahankan manusia dalam lingkar (mis., fakultas menilai sebagian untuk mengonfirmasi akurasi). Karena sekitar 82% sekolah kedokteran AS menilai pekerjaan pra-klerkship lulus/tidak lulus, kesepakatan skor AI yang eksak sering tidak diperlukan untuk penggunaan operasional.

  • Penilaian HITL untuk penilaian tulisan nasional skala besar (2026): Curi dkk. (2026) menskalakan penilaian Model Bahasa Besar (LLM) berbasis prompt ke ujian tulisan Spanyol berisiko tinggi yang nyata (~5.000–6.000 respons/tahun), mencapai akurasi butir 60–80% dan konsistensi keluaran 90%+ di seluruh rubrik analitik 15 butir, dengan pemeriksa NLP deterministik menggantikan LLM pada butir ejaan (konsistensi 100%). Kontribusi khasnya adalah validasi berorientasi keputusan alih-alih metrik berpusat model: bias penilaian terlalu rendah yang sistematis dari AI, dikonversi melalui IRT-dan-Bookmark menjadi tingkat kemahiran, menghasilkan ketidaksesuaian lulus/tidak lulus pada 15.3–16.5% kasus — yang semuanya dialihkan alur kerja human-in-the-loop ke tinjauan pakar, memangkas respons yang memerlukan penilaian manusia penuh setidaknya 50% sambil mempertahankan kualitas keputusan. Ini mendasarkan penilaian hibrida pada penilaian operasional alih-alih kumpulan data proof-of-concept.

  • Kesepakatan per dimensi menunjukkan di mana penilai tidak dapat mendeteksi perubahan: SOPHIE 2.0 (Hasan dkk., 2026) memvalidasi juri LLM terhadap konsensus semua sumber penilaian manusia — pasien terstandar dan penilai pihak ketiga — pada rubrik komunikasi klinis tiga dimensi, mencapai Pearson 0.759 dan ICC(A,1) 0.746 hanya dari transkrip, di dalam sebaran penilai manusia individual alih-alih di luarnya. Dimensi terlemahnya adalah Be Explicit (korelasi 0.414–0.598 lintas calon juri), dan itu juga satu-satunya dimensi yang skornya tidak bergerak terukur di antara dua pertemuan (Δ = 0.014, p = 0.1204) — sehingga kesepakatan per dimensi dapat menunjukkan lebih awal dimensi mana yang tidak mampu ditunjukkan perbaikannya oleh penilai otomatis.

Penilaian berbasis keyakinan

Tujuan desain sentral dalam penilaian otomatis adalah kesadaran keyakinan: sistem penilaian AI yang melaporkan ketidakpastian terkalibrasi bersama skornya, alih-alih mengeluarkan satu prediksi tanpa kualifikasi. Penilai berbasis keyakinan tidak hanya menghasilkan nilai atau klasifikasi tetapi juga menandakan seberapa yakin ia, sehingga kasus berkeyakinan rendah dapat ditandai untuk tinjauan manusia dan pengguna dapat mengkalibrasi Kepercayaan mereka pada sistem. Ini sentral bagi penilaian otomatis yang bertanggung jawab dan terhubung erat dengan AI yang Sadar Psikometri dan Kalibrasi Kepercayaan.

Bagaimana keyakinan dimodelkan dalam penelitian basis pengetahuan ini:

  • Sinyal keyakinan yang digabungkan untuk penilaian jawaban singkat: ASAG Berbasis Keyakinan menggabungkan sinyal keyakinan berbasis model (terverbalisasi, laten, dan berbasis konsistensi) dengan ketidakpastian aleatorik turunan kumpulan data melalui regresi Random Forest.
  • Keyakinan dalam pekerjaan siswa multimodal: Penilaian berbasis keyakinan atas gambar ilmiah buatan siswa memperluas pemodelan keyakinan ke respons siswa multimodal.
  • Kalibrasi psikometrik LLM: AI yang sadar psikometrik memajukan standar menyelaraskan penilaian Model Bahasa Besar (LLM) dengan teori pengukuran, dengan kalibrasi sebagai persyaratan inti bersama keselarasan Teori Respons Butir.
  • Kalibrasi kesulitan dan waktu respons: Kalibrasi kesulitan ujian pemrograman memosisikan ulang LLM sebagai sumber bukti tambahan yang estimasi kesulitannya berkorelasi dengan tingkat kelulusan siswa.
  • Penilaian esai adaptif sifat: PsyScore menunjukkan kerangka yang sadar psikometrik dapat menyesuaikan umpan balik esai dengan sifat siswa.
  • Mengevaluasi pekerjaan visual siswa: DiagramIR menerjemahkan balik diagram matematika hasil LLM (TikZ) ke representasi antara dengan pemeriksaan deterministik, mengalahkan LLM-as-a-Judge pada kesepakatan dengan penilai manusia dan memungkinkan model kecil menyamai model besar dengan biaya ~10× lebih rendah — jalur yang dapat diskalakan untuk menilai keluaran siswa non-teks yang bersifat diagram.
  • Inferensi terpagar-kepercayaan dalam penilaian guru otomatis: Li, Yang & Fang (2025) menempatkan kalibrasi Monte Carlo dropout langsung di jalur penilaian, sehingga varians dropout di atas ambang yang dipelajari memicu keluaran tolak-dan-rujuk alih-alih skor, bersama debiasing adversarial yang menahan celah keadilan pada 1.8% sementara baseline berada di rentang 6.4–8.2% dan expected calibration error 0.032 pada TeacherEval-2023. Ablasi mereka adalah argumen kalibrasi dalam bentuk mini: menghapus modul terpagar-kepercayaan menurunkan konsistensi antar-penilai ke 78.6%, dan penulis mengatribusikan penurunan beban tinjauan manusia sebesar 41% pada pagar itu — penanganan ketidakpastian sebagai arsitektur alih-alih pelaporan pasca-hoc.
  • Keterjelaskan penilaian berbasis rubrik: Bueno dkk. menunjukkan bahwa atribusi SHAP yang agnostik-model lebih setia dan dapat ditransfer daripada rasional hasil LLM untuk menjelaskan skor berbasis rubrik (mis., kualitas umpan balik kelas), dan mengusulkan uji berbasis penghapusan plus lintas model sebagai cara berprinsip untuk mengevaluasi penjelasan model penilaian mana pun.

Mengapa keyakinan terkalibrasi penting:

  • Memungkinkan delegasi human-in-the-loop: kasus berkeyakinan rendah dialihkan ke peninjau manusia — mendukung alur kerja human-in-the-loop alih-alih otomatisasi buta.

  • Mendukung kalibrasi kepercayaan: keyakinan terkalibrasi memungkinkan pengguna menyesuaikan kepercayaan mereka dengan keandalan aktual sistem, menghindari kepercayaan berlebih dan kurang.

  • Meningkatkan validitas pengukuran: penilaian berbasis keyakinan memperkuat Pengukuran Pendidikan dan Validitas Penilaian dengan membuat ketidakpastian eksplisit.

  • Keadilan dan dapat dipertahankan: menandai kasus berkeyakinan rendah untuk tinjauan mengurangi risiko skor yang salah dengan percaya diri, terutama untuk respons atipikal atau kurang terwakili.

  • Generasi rubrik dan pipeline penilaian terawasi instruktur: Mendonça dkk. (2026) menunjukkan bahwa rubrik penilaian hasil LLM (HARMOGEN-R) dapat menyamai rubrik buatan manusia untuk konten teknis dalam margin kesetaraan ±5 poin, dengan generasi terstruktur memberi konsistensi lintas model yang lebih besar. Cruz dkk. (2026) mengevaluasi pipeline penilaian GPT-4o ujung-ke-ujung di mana nilai AI berada dalam 0.5 poin dari instruktur pada 83% dari 362 kiriman (MAE 0.31) — paling tepat dibingkai sebagai suplemen yang dapat diskalakan bagi, bukan pengganti, penilaian instruktur.

Kualitas dan keadilan

Kualitas penilaian otomatis bergantung pada Validitas Penilaian dan Mitigasi Bias. Penelitian bias bahasa menunjukkan bahwa penilaian otomatis dapat secara sistematis merugikan populasi siswa tertentu. Kriterianya sendiri dapat keliru. Bozdag dan Qiu (2026) menandai naskah fisika GCSE dengan sistem AI dan membandingkannya dengan nilai resmi dewan ujian sekaligus penilaian guru berpengalaman, memperlakukan kesepakatan dengan dewan sebagai proksi akurasi alih-alih akurasi itu sendiri.

Skenario penerapan dan apa yang dituntut masing-masing

Seberapa banyak keselarasan yang harus dituntut institusi bergantung pada apa yang diizinkan untuk diputuskan sistem. Dalam studi metode campuran atas 761 esai sarjana asli di tiga universitas Inggris, tiga model frontier dengan masing-masing 27 konfigurasi prompt hanya mencapai kesepakatan 35–65 persen dengan penanda manusia pada pita gelar, dan akurasi tidak bertransfer antar institusi — sehingga laporan itu memperlakukan calon penggunaan sebagai skenario yang berbeda alih-alih satu keputusan. Jaminan mutu penandaan manusia, di mana AI menandai secara paralel dan perbedaan signifikan memicu tinjauan manusia, adalah yang paling konservatif. Asisten penandaan, yang memeringkat atau mengategorikan kiriman berdasarkan kualitas atau ketidakpastian yang diprediksi, memilah kasus kompleks, atau memperluas komentar manusia yang singkat menjadi umpan balik lebih lengkap, adalah jalan tengah yang sesungguhnya. AI sebagai penanda utama, dengan tinjauan manusia atas sampel atau atas distribusi nilai, dinilai dapat diterima hanya jika kinerja sistem meningkat, dan tidak ada kelompok pemangku kepentingan yang mendukung AI sebagai penanda tunggal.

Tiga persyaratan mengikuti untuk semua itu. Karena keselarasan bersifat spesifik-model dan spesifik-institusi, validasi harus lokal dan berkelanjutan — akurasi utama dari tempat lain bukan bukti kesiapan. Karena nilai terkompresi ke tengah, AI paling tidak akurat pada batas nilai dan untuk kiriman terkuat dan terlemah, yang justru di situlah keputusan penilaian paling berkonsekuensi. Dan karena ketidaksesuaian antara nilai AI dan manusia mencerminkan penilaian yang berbeda alih-alih sekadar kesalahan, ketidaksesuaian harus memicu interpretasi manusia alih-alih penggantian algoritmik, dengan otoritas akhir atas nilai dipertahankan oleh manusia. Adopsi juga membawa kewajiban Tata Kelola AI yang tidak tertangkap metrik teknis: hak atas penjelasan berdasarkan Pasal 22 GDPR di mana keputusan otomatis memengaruhi siswa, kewajiban Equality Act begitu tingkat capaian dan penggunaan bahasa terbukti memengaruhi nilai, proses banding yang direvisi untuk kesalahan yang tidak mudah tertangkap, dan risiko ireversibilitas — begitu staf dan investasi bergeser, institusi mungkin kesulitan terus mengumpulkan penandaan manusia yang diperlukan untuk kembali.

Menggabungkan ketiga model tidak menghilangkan kesalahan itu: karena kesalahan mereka berkorelasi — arah yang sama pada 63.4% tugas — ansambel Corsi dkk. (2026) secara statistik tidak dapat dibedakan dari model tunggal terbaik, membiarkan kompresi kecenderungan-memusat bersama tetap ada.

Venetsanos (2026) menyediakan kriteria yang diprasyaratkan oleh persyaratan itu, berargumen bahwa yang membuat otomatisasi dapat dipertahankan adalah status epistemik tugas alih-alih apa yang secara teknis dapat dilakukan teknologi. Kerangkanya membatasi AI pada verifikasi terbatas atas klaim faktual dan prosedural — keempatnya harus berlaku serentak: kriteria terdokumentasi yang tidak ambigu, perbandingan langsung terhadap pengetahuan mapan, tanpa penilaian pendekatan alternatif yang valid, dan satu jawaban benar tunggal atau himpunan jawaban yang dapat diterima yang ditetapkan sebelumnya, dengan ambiguitas dieskalasi ke manusia secara bawaan — dan membuat keterlibatan AI pada tingkat itu bersyarat pada lima prinsip yang tidak dapat dinegosiasikan yang harus berlaku semua sekaligus: basis pengetahuan harus dikurasi penilai dan berdasar pengambilan pada materi modul alih-alih pengetahuan parametrik model; penilai manusia meninjau setiap keluaran AI sebelum mencapai siswa dan memegang hak veto absolut dengan akuntabilitas yang tidak dibagi; umpan balik harus membawa provenans dan atribusi yang jelas; dan keamanan harus dirancang terhadap penggunaan adversarial sejak awal, dengan sanitasi masukan untuk instruksi yang tersembunyi dalam teks putih atau kecil, pengodean, gambar, atau metadata dokumen, karena penghindaran yang berhasil atas sistem otomatis menyebar melalui kohort siswa. Makalah yang sama menegaskan bahwa prinsipnya belum diuji untuk kelayakan simultan dan bahwa waktu penilai untuk kurasi, infrastruktur keamanan, dan pengawasan frekuensi tinggi dapat menggeser upaya staf alih-alih menguranginya — kehati-hatian yang berdampingan dengan persyaratan validasi lokal di atas.

Keamanan penilaian yang dimediasi AI

Evaluasi red-team atas alur kerja penilaian sehari-hari menunjukkan permukaan serangan yang harus dicakup perencanaan penggunaan adversarial. Humble (2026) menyisipkan lima injeksi prompt tidak langsung di dalam esai sintetis yang dinilai gagal oleh Microsoft Copilot (GPT-5.2) pada enam dari enam jalankan baseline, mengiterasi masing-masing melintas berkas docx, pdf, dan htm. Dua strategi mengubah nilai tanpa peringatan yang terlihat — paragraf manipulasi instruksi dan bermain peran pada 9 dari 9 iterasi (100%) dan paragraf yang sama disembunyikan di balik lapisan gambar pada 17 dari 18 (94%) — sementara paragraf dalam teks putih kecil di akhir dokumen gagal pada semua sembilan iterasi, dan injeksi metadata berkas tidak pernah berhasil, yang diatribusikan penulis pada akses metadata yang dinonaktifkan pada versi yang diuji. Masalah kepercayaan bertahan lebih lama daripada eksploitasinya: setelah satu jalankan pdf mendeteksi instruksi tersisip dan menyatakan hanya akan menilai terhadap tugas resmi, menjalankan ulang berkas yang sama menaikkan nilai enam kali lagi tanpa peringatan, dan obrolan yang diblokir oleh serangan terdeteksi dinonaktifkan secara diam-diam alih-alih dilaporkan kepada pengguna. Penulis berargumen bahwa nilai yang dihasilkan tidak membawa klaim validitas ke arah mana pun, bahwa penyerang hanya perlu satu kombinasi yang berhasil terhadap Pagar Pengaman berlapis, dan bahwa guru tetap menjadi satu-satunya pemeriksa keluaran yang nyata sementara manipulasi dirancang agar tidak terlihat — terhubung langsung ke kewajiban sanitasi masukan dan keamanan adversarial yang ditetapkan Venetsanos di atas.

Koneksi

Penilaian otomatis terhubung ke Validitas Penilaian (jaminan mutu), Penilaian Formatif (konteks penggunaan), Mitigasi Bias dan Keadilan (keadilan), Pengajaran (bagaimana otomatisasi mengubah kerja instruktur), dan Kualitas Umpan Balik AI (menilai tanpa umpan balik yang berguna memiliki nilai pendidikan yang terbatas). Penilaian berbasis keyakinan adalah mekanisme spesifik dalam agenda yang lebih luas AI yang Sadar Psikometri dan kontributor bagi kepercayaan terkalibrasi.

  • Penilaian AI skala besar atas fisika tulisan tangan (2026): Model multimodal (GPT-5.5) menilai 10.364 halaman pindaian pada ujian teori Olimpiade Fisika nasional, kamp seleksi, dan ujian mekanika kuantum universitas, mencapai korelasi skor total 0.91–0.97 dengan nilai resmi dan memulihkan lima tim Olimpiade teratas yang sama. Direvisi halaman-per-halaman, instruksi lokasi bukti meningkatkan kesepakatan — bukti bahwa AI multimodal dapat mendukung penilaian sumatif berisiko tinggi dengan rekayasa rubrik dan prompt yang cermat (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Otomatisasi selektif untuk kimia tulisan tangan (2026): Cvengros & Kortemeyer menilai ujian akhir kimia umum tulisan tangan 296 siswa halaman-per-halaman terhadap gambar rubrik dengan LLM multimodal yang bernalar, mencapai reliabilitas antar-jalankan tinggi pada skor total (ICC(A,1) = 0.967) dan kesepakatan skor total yang kuat dengan penilaian asisten pengajar (R² = 0.91). Karena reliabilitas tingkat butir sangat bervariasi menurut format — jawaban tekstual dan reaksi kimia dinilai andal sementara gambar dan grafik bernilai lebih buruk daripada acak — kesepakatan mentah dinilai tidak memadai untuk penggunaan berisiko tinggi. Mereka mengoperasionalkan penyerahan ke manusia melalui filter keyakinan (ambang kredit parsial, ambang risiko berbasis IRT, dan pengecualian jenis soal) yang mengubah skor AI mentah menjadi kebijakan terima/serahkan, dan menunjukkan bahwa positif palsu (AI mengkreditkan jawaban yang benar-benar salah) cenderung tak terdeteksi karena siswa jarang membantahnya — jalur konkret yang berdasar psikometrik menuju otomatisasi selektif (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Matematika tulisan tangan semi-terbuka dalam ujian universitas (2026): Liu dkk. menilai ujian matematika sarjana Jerman dengan GPT-4 melintas dua jalur ekstraksi (kotak jawaban yang dipotong lebih dulu versus halaman penuh), dua jalur pengenalan karakter optik, dan dua format rubrik, melaporkan alpha Krippendorff terhadap nilai manusia 0.22-0.44 dengan akurasi 0.59-0.62 pada alur kerja terbaik dan akurasi per soal berkisar 0.27-0.91 - tidak dapat diterima untuk penggunaan sumatif berisiko tinggi. Merinci aturan penilaian multi-kriteria umumnya tidak meningkatkan kesepakatan (ia membantu soal kredit parsial), penilaian bebas tanpa rubrik jauh lebih buruk (akurasi 0.50-0.51), dan filter keyakinan probabilistik yang dimaksudkan menandai nilai untuk pemeriksaan ulang manusia tidak secara signifikan meningkatkan akurasi sementara keliru menandai 7-41 persen respons sebagai andal. Pelajaran yang dapat ditransfer dari studi ini bersifat prosedural: pindai dan transkripsikan seluruh lembar ujian dengan penanda alih-alih memotong kotak jawaban, karena siswa menulis melintasi batas kotak; tulis ulang aturan penilaian yang ditulis untuk asisten pengajar, karena model mencoba derivasi yang tidak diminta dari aturan yang dimaksudkan bagi manusia; dan catat bahwa aturan penilaian manusia sendiri berparafrasa pada alpha 0.88 di antara lima varian, sehingga ketahanan prompt bukan hambatan utamanya.

  • Penilaian komparatif LLM untuk penyaringan tulisan (2026): Mercer & Reed menggunakan tujuh LLM sebagai juri komparatif berpasangan untuk menilai tulisan informasional dari 1.208 siswa kelas 3–6 pada tiga kesempatan penyaringan. Skor LLM-CJ berkorelasi kuat dengan skor rubrik analitik (r = .67–.73, terkuat untuk Gemini-3.1 Pro) dengan AUC .82–.86 untuk kemahiran; temuan stabil lintas model, dengan sedikit keuntungan validitas dari model yang lebih mahal dan lebih mampu, sementara perata-rataan tiga sampel tulisan meningkatkan akurasi — keluasan pengambilan sampel lebih penting daripada pilihan model. Pola bias prediktif untuk pelajar multibahasa sesuai dengan penilaian rubrik manusia, mendukung LLM-CJ sebagai pendekatan penyaringan yang efisien dan berbiaya rendah (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Keselarasan yang bergantung kualitas dengan penilaian instruktur (2026): Membandingkan ChatGPT, rekan sebaya, dan seorang instruktur yang menilai proyek kelompok sarjana yang sama, Usher & Faraon menemukan keselarasan ChatGPT dengan instruktur meningkat seiring meningkatnya kualitas proyek — estimasi berlebih terbesarnya untuk pekerjaan berkualitas rendah (≈ +14 poin), menyusut ke ≈ +2.5 poin untuk proyek berkualitas tinggi. ChatGPT juga menilai lebih tinggi rata-rata daripada rekan sebaya dan instruktur, kecenderungan inflasi nilai yang melemahkan keandalannya sebagai penilai sumatif tunggal, terutama untuk kiriman yang lebih lemah.

  • Statistik kesepakatan korpus kecil dapat menyesatkan keputusan penerapan. Menilai 60 unggahan pemasaran (15 siswa plus 15 jangkar berkualitas rendah tulisan peneliti) terhadap dua penilai manusia independen memberi kesepakatan absolut ICC(2,1) .435 untuk LLM, .266 untuk hibrida aturan-plus-LLM berbobot sama, dan .091 untuk aturan deterministik, dengan MAE 6.28, 10.53, dan 17.22 poin pada skala 0-100; hibrida secara signifikan lebih buruk daripada LLM saja (selisih ICC berpasangan -.169, 95% CI [-.260, -.106]). Menambahkan jangkar menaikkan ICC antar-penilai dari .338 ke .902 dan kesepakatan LLM dari .435 ke .846, dan unggahan yang nyaris kosong diberi 75 terhadap rata-rata manusia 30.5, menunjukkan bahwa satu respons degenerat dapat mendominasi evaluasi kecil. (Agreement and error in automated scoring of student marketing posts)

  • Penilaian LLM terstruktur dapat tampak analitik tanpa diagnostik (2026): Menilai 3.041 respons atas 50 pertanyaan ilmu komputer, tiga LLM komersial menghasilkan sub-dimensi rubrik yang nyaris redundan (r = 0.82–0.99, VIF hingga 45) dan menamai miskonsepsi hanya pada 4.8–7.4% komentar, dibanding 15.0% untuk instruktur (Zhao dkk., 2026).

  • "Satu kappa adalah kasus bagi seorang penilai." Itu satu pemeriksaan, dan tolok ukur 22 model ber-prompt pada tiga korpus publik menunjukkan mengapa. Setiap model memenuhi uji yang jawaban benarnya diketahui: permintaan sopan untuk nilai penuh, instruksi penilaian palsu, jawaban kosong, kata tanpa makna, keberatan telanjang. Empat belas ditandai karena memperoleh lebih dari 5% skala dari sebuah catatan, hingga 83.2% pada kode, dan tujuh mengkreditkan jawaban kosong atau tak bermakna, sehingga angka kesepakatan dan uji kegagalan harus dibaca bersama. Sistem penilaian yang diterapkan memiliki satu masukan lagi untuk diuji: membagikan estimasi model pelajar kepada penilai menggeser nilai sebesar 0.28 hingga 0.75 poin pada pekerjaan yang identik, dan ablasi yang menemukannya membiarkan kesepakatan penilai nyaris tak berubah.

Miskonsepsi Umum

  • "Skor otomatis adalah satu angka yang andal." Ujian computer vision praktis (570 siswa dinilai ganda) dinilai dalam 171 konfigurasi, dan ujian machine learning kedua dalam konfigurasi lebih lanjut — konfigurasi itulah yang menggerakkan skor. Nilai yang disajikan sebagai angka menyembunyikan konfigurasi yang menghasilkannya.
  • "Juri adalah sumber ketidakandalan." Pada 378 putusan dadu tetap, menjalankan ulang mengubah 2.9 hingga 6.1 persen hasil di bawah metode semi-kaku dan 13.5 hingga 15.9 persen di bawah adjudikasi bebas, sementara mengganti AI juri hanya menambah sekitar 3 poin (Epstein, 2026) — prosedurnya, bukan jurinya, yang menetapkan reproduksibilitas.
  • "Pelaporan keyakinan hanya kemewahan." Skor yang menyatakan dirinya 70% yakin akan mengubah cara ia dipakai, dan ketiadaan informasi itu memaksa pembaca memperlakukan semua skor sebagai sama pastinya.
  • "Penandaan otomatis jawaban singkat adalah bidang yang sudah selesai." Tinjauan cakupan atas penandaan otomatis jawaban singkat di sains (2017 hingga awal 2024) mendokumentasikan sejarah bidang ini, yang merupakan catatan tentang apa yang telah dicoba alih-alih apa yang telah divalidasi.

Konsep terkait

Artikel terkait

FAQ terkait

Metadata

Audiensi sasaranInstructors
Teknologi dan teknikModel Bahasa Besar (LLM)
Asesmen dan pengukuranPenilaian, Validitas Penilaian, Penilaian Otomatis, Penskoran Esai Otomatis, Penilaian Formatif
Kesetaraan, etika, dan penggunaan yang bertanggung jawabMitigasi Bias
Dasar-dasar AI dalam pendidikanPengajaran
SumberRiwayatSuntingObrolan

Sematkan halaman ini

Salin kode di bawah untuk menyematkan halaman ini di sistem manajemen pembelajaran atau situs web lain. Versi yang disematkan hanya menampilkan konten halaman — header, navigasi, dan footer situs disembunyikan.