Pembuatan Soal Otomatis

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Pembuatan soal otomatis (AQG) — penggunaan AI, khususnya NLP dan model bahasa besar (LLM), untuk menghasilkan butir penilaian pendidikan (soal pilihan ganda, jawaban singkat, isian rumpang, pengkodean, dan soal kinerja) secara otomatis dari materi sumber atau tujuan pembelajaran. AQG memungkinkan penilaian dalam skala besar — menghasilkan kuis formatif, latihan adaptif, dan butir latihan — tetapi kualitasnya sangat bervariasi antartipe butir dan memerlukan validasi untuk menghindari soal yang terhalusinasi atau terkalibrasi dengan buruk. Ini merupakan komponen inti Penilaian Otomatis dan pemungkin utama Pembelajaran Adaptif dan Pembelajaran yang Dipersonalisasi.

Pertanyaan untuk Dipertimbangkan

• Pembuatan soal otomatis menghasilkan butir penilaian dari materi sumber dalam skala besar — tetapi halaman ini memperingatkan bahwa kualitasnya sangat bervariasi antartipe butir. Sebelum membaca, tipe butir mana yang Anda duga paling andal dihasilkan AI: pilihan ganda, jawaban singkat, atau kode — dan mengapa?
• Tantangan utamanya adalah kendali mutu: LLM dapat menghasilkan soal yang salah secara faktual. Salah satu pipeline menurunkan halusinasi sebesar 62% dengan menambahkan loop hasilkan-lalu-validasi-perbaiki. Menurut Anda mengapa meminta AI memvalidasi soalnya sendiri akan benar-benar memperbaikinya, bukan sekadar menyetujui keluarannya sendiri?
• Penelitian menunjukkan soal yang dihasilkan dapat condong ke pemikiran tingkat rendah (mengingat) kecuali dirancang secara eksplisit untuk hasil tingkat tinggi. Jika Anda memakai AI untuk menyusun butir latihan, bagaimana Anda tahu apakah butir itu melatih pemahaman atau hanya hafalan?
• Kalibrasi kesulitan itu penting: perkiraan kesulitan AI berkorelasi kuat dengan kinerja siswa, tetapi halaman ini memperingatkan agar tidak disalahgunakan untuk keperluan berisiko tinggi. Kapan soal yang menurut penilaian AI memiliki "kesulitan tepat" tetap merupakan soal yang salah untuk diajukan kepada siswa tertentu?
• Pembuatan yang memperhatikan Aksesibilitas menyusun soal yang disesuaikan untuk siswa Tuli dan Gangguan Pendengaran, yang disempurnakan bersama komunitas sasaran. Apa yang disarankan contoh ini tentang mengapa pembuatan soal bukan semata masalah teknis atau konten?

Pendahuluan

Pembuatan soal otomatis penting karena butir penilaian mahal dibuat manual, sementara AI dapat menghasilkannya cepat dan dalam skala besar. Namun, penelitian dalam basis pengetahuan ini menunjukkan bahwa butir yang dihasilkan harus divalidasi untuk kebenaran, relevansi, dan kesulitannya, dan bahwa tipe butir yang berbeda (PG, jawaban singkat, kode) berbeda dalam seberapa andal butir itu dapat dihasilkan. Karena itu AQG berada di persimpangan AI generatif, NLP pendidikan, dan Pengukuran Pendidikan.

Pendekatan pembuatan soal

Penelitian basis pengetahuan ini menggambarkan beberapa pendekatan:

• Pipeline hasilkan-lalu-validasi: Generate-Then-Validate memperkenalkan loop generasi → validasi → penyempurnaan yang menurunkan halusinasi LLM sebesar 62% dibandingkan generasi langsung, mencapai akurasi 89% pada kumpulan data STEM dan peningkatan relevansi 23%. Langkah validasi menyaring butir yang tidak valid atau berkualitas rendah, dan butir yang gagal memicu generasi ulang dengan prompt korektif.
• Generasi berbasis penelusuran pengetahuan: KT4EQG menghasilkan soal latihan yang dipersonalisasi dengan panduan penelusuran pengetahuan, menyesuaikan butir dengan keadaan pengetahuan setiap siswa alih-alih menghasilkan soal generik.
• Distraktor terikat miskonsepsi sebagai label diagnostik: CoLearn (He et al., 2026) mengaitkan setiap distraktor dengan satu miskonsepsi hasil penambangan dan menandai tepat satu opsi benar, sehingga sebuah butir dihasilkan dengan target diagnostiknya sudah terpasang dan kemudian dapat dinilai secara deterministik tanpa panggilan Model Bahasa Besar (LLM) — sekitar 7.6 detik dan kira-kira $0.005 per putaran pada penerapan langsung para penulis, dibandingkan sekitar 32 detik dan $0.015 untuk putaran jawaban singkat yang dinilai LLM. Keterikatan itu hanya sebaik label miskonsepsi di baliknya, karena Miskonsepsi tentang AI hasil penambangan cocok dengan miskonsepsi sasaran pada F1 ≈ 0.56, dan pilihan butirnya melayani keterampilan yang benar-benar lemah 0.72 dari waktu.
• Generasi yang peka kedalaman kognitif: Mengevaluasi kedalaman kognitif soal yang dihasilkan LLM mengkaji apakah butir yang dihasilkan menyentuh pemikiran tingkat tinggi (mencipta, mengevaluasi) atau hanya hafalan, dengan menghubungkannya ke taksonomi Bloom dan Pengukuran Pendidikan.
• Soal kasus dengan kesalahan tertanam untuk penilaian berulang: Takahashi et al. (2026) menghasilkan soal penalaran diagnostik hierarkis (HDR) baru — kasus singkat yang membawa kesalahan yang sengaja ditanamkan dan harus ditemukan serta dijelaskan siswa — dan menemukan bahwa butir yang ditulis GPT-4o setara dengan butir yang ditulis manusia pada konsistensi internal (α Cronbach = 0.78 untuk keduanya) dan kesulitan, dengan uji eksak Fisher tidak menemukan perbedaan distribusi skor yang signifikan pada 100 peserta. Format ini memadukan tuntutan pemikiran tingkat tinggi dengan respons yang terbatas, sehingga jawaban menyatu dan penilaian menjadi dapat direproduksi. Motivasi generatifnya adalah penggunaan ulang butir: menggunakan ulang satu kasus mengundang penggunaan ulang ingatan dan jawaban, sedangkan kasus yang dihasilkan secara struktural setara tetapi berbeda konteks menekan bias butir dalam pengukuran ulang.
• Pipeline pedagogis: Pembuatan tanya-jawab dari dek slide menggunakan pipeline bertahap untuk pembuatan soal yang sehat secara pedagogis dari materi kuliah.
• Generasi yang memperhatikan aksesibilitas: Chen et al. merancang sistem pembuatan soal berbasis LLM untuk siswa Tuli dan Gangguan Pendengaran, memperkenalkan strategi pertanyaan Visual dan Emosi yang menyasar momen kesulitan visual atau emosional dalam video, dan menyempurnakan soal secara iteratif bersama komunitas sasaran untuk memastikan aksesibilitas linguistik.
• Sistem berbasis RAG dengan manusia dalam loop: CODE-GEN menggabungkan retrieval-augmented generation dengan tinjauan manusia dalam loop untuk menghasilkan penilaian pilihan ganda.
• Tolok ukur dan evaluasi: NSMQ Riddles menyediakan tolok ukur teka-teki ilmiah/matematis untuk mengevaluasi sistem pembuatan soal dan penalaran.

Validasi dan kualitas

Tantangan utama dalam AQG adalah kendali mutu:

• Nilai proses penyelesaian, bukan batang soal: ProIQA berargumen bahwa tinjauan kualitas butir harus mengikuti langkah ahli — mensimulasikan penyelesaian — dan membangun pohon penalaran LLM per butir, diverifikasi benar secara matematis pada 90.38–97.80%, lalu mengodekan struktur dependensinya dengan jaringan saraf graf di samping pandangan batang soal saja. Ia melaporkan keuntungan rata-rata dibanding metode terbaik berikutnya sebesar 7.5% dalam penilaian konsep, 6.3% dalam estimasi kesulitan, dan 19.5% dalam penilaian kompetensi, dan analisis kesalahannya menyebut satu mode kegagalan: pohon penalaran yang benar secara logis tetapi dangkal secara struktural membuat soal sulit tampak mudah.

• Risiko halusinasi: LLM dapat menghasilkan soal yang salah secara faktual. Generate-Then-Validate menunjukkan fase validasi khusus sangat menekan hal ini, dan risiko halusinasi diakui sebagai kekhawatiran di seluruh pembahasan.

• Kalibrasi kesulitan: soal yang dihasilkan harus dikalibrasi ke tingkat kesulitan yang sesuai. Penelitian kalibrasi kesulitan menunjukkan perkiraan kesulitan AI berkorelasi kuat dengan kinerja siswa (mis., rho ≈ −0.87), memungkinkan pemilihan butir yang lebih baik — sekaligus memperingatkan terhadap penyalahgunaan untuk keperluan berisiko tinggi. Razavi dan Powers (2026) memperluas ini ke butir matematika dan membaca kelas K-5 (N = 5170) yang dikalibrasi dengan model IRT Rasch: peringkat kesulitan zero-shot GPT-4o berkorelasi sedang hingga kuat dengan kesulitan sebenarnya (r = 0.83 matematika, r = 0.81 membaca) tetapi bervariasi menurut kelas, sedangkan pendekatan berbasis fitur — fitur kognitif dan linguistik yang diekstrak LLM yang dimasukkan ke model berbasis pohon — mencapai korelasi hingga r = 0.87. Ekstraksi fitur terstruktur studi ini (mis., kompleksitas sintaksis, beban kognitif, kelicikan distraktor) dan alur kerja tujuh langkahnya menawarkan templat untuk mengalibrasi butir yang dihasilkan, sementara temuan pembatasan rentang pada kelas awal dan peringatan generalisasinya menyarankan kehati-hatian untuk penggunaan berisiko tinggi.

• Label kesulitan yang dihasilkan dapat merupakan kegagalan validitas konstruk, bukan kesalahan kalibrasi. Pada 378 butir yang dihasilkan, label Mudah/Sedang/Sulit model mengikuti level Bloom yang dihasilkan bersamanya (ρ=0.90) dan bentuk permukaan - panjang batang soal rata-rata naik dari 15.9 ke 22.1 ke 30.2 kata - tetapi berkorelasi dengan kesulitan butir empiris hanya pada ρ=0.06 atas 7,888 respons dari 54 siswa, sehingga lebih masuk akal mengalibrasi metadata yang dihasilkan terhadap data respons daripada mempercayai tag yang dihasilkan bersamaan (An & Wang (2026)).

• Validasi lapangan psikometrik berskala besar: Assessing AI-Generated Exams memvalidasi pipeline AQG penyempurnaan iteratif (hasilkan→adili→revisi, gaya Self-Refine) di 91 kelas kuliah nyata (~1,686 siswa). Analisis IRT 2PL hierarkis Bayesian menunjukkan soal yang dihasilkan AI berkinerja setara dengan butir ujian standar yang ditulis ahli — agak lebih mudah (β̄ = −0.45 vs. 0.35) tetapi sedikit lebih diskriminatif (ᾱ = 1.3 vs. 1.2), dengan informasi tes puncak lebih tinggi (reliabilitas 0.79 vs. 0.72) — menunjukkan bahwa AQG dapat menghasilkan penilaian yang disesuaikan dengan mata kuliah dan sehat secara psikometrik dalam skala besar.

• Paritas psikometrik rata-rata dapat menutupi kekurangan di tingkat butir: tinjauan cakupan atas 153 laporan pendidikan kedokteran menemukan pembuatan butir AI kadang menyamai kesulitan dan daya diskriminasi manusia, namun dalam satu perbandingan fisiologi hanya 9 dari 40 butir ChatGPT yang memenuhi semua kriteria ideal berbanding 19 dari 40 butir dosen (Zhao et al. (2026)).

• Dapat dikenali dalam ujian langsung, dan apa yang sebenarnya dihapus oleh tinjauan: Vogt et al. (2026) memasukkan 30 PG hasil AI dan 30 PG Ujian Lisensi Nasional ke dalam ujian berbasis tablet yang dinilai, diikuti 119 mahasiswa kedokteran tahun kelima, dengan butir AI disusun dari materi kuliah itu sendiri oleh ChatGPT-4o dan Gemini 1.5 Pro melalui panel ahli yang menerima 82% di antaranya dan mengeliminasi 18.2% sebagai tidak dapat digunakan. Atribusi sumber oleh siswa tidak berbeda antara kedua jenis butir, dan kesulitan butir, distribusi distraktor, serta keselarasan kurikuler yang dipersepsikan secara statistik tidak dapat dibedakan — hasil pengenalan dan bukan hasil kualitas, dan inilah alasan para penulis menggambarkan manfaat alur kerja ini sebagai menggeser upaya pendidik dari penyusunan ke peninjauan, bukan menghapusnya. Satu perbedaan eksploratif tetap ada: butir Gemini lebih sulit daripada butir ujian lisensi (p = 0.028), sedangkan butir ChatGPT tidak (p = 0.984).

• Ketergantungan pada tugas: keandalan generasi bervariasi menurut tipe butir. Penilaian jawaban singkat dan penilaian tulisan analitis menunjukkan bahwa butir respons terbuka dan tulisan lebih sulit dihasilkan dan dinilai secara andal daripada butir terstruktur.

• Kualitas kognitif: evaluasi kedalaman kognitif menunjukkan butir yang dihasilkan dapat condong ke pemikiran tingkat rendah kecuali dirancang secara eksplisit untuk hasil tingkat tinggi.

• Pelabelan otomatis tingkat kognitif tidak beralih ke butir yang dihasilkan. Pengklasifikasi taksonomi Bloom yang dilatih pada bank butir terkurasi runtuh pada soal yang dihasilkan AI — F1 makro dari 0.88 dalam distribusi menjadi 0.48 dan 0.20 di luarnya — karena butir yang dihasilkan rata-rata jauh lebih banyak kata (18.2 versus 9.3) dan hanya berbagi median 10.5% kata kerja pemicu Bloom dengan korpus terkurasi, berbanding 35.1% untuk kumpulan yang lebih dekat; pelatihan ulang pada data berlabel di luar distribusi merupakan keuntungan tunggal terbesar, pada ambang sekitar N > 1,000 sampel berlabel (Castanares et al., 2026).

Peran dalam pembelajaran adaptif dan personal

AQG merupakan pemungkin utama pembelajaran adaptif dan yang dipersonalisasi: ia menghasilkan bank butir besar tempat tutor adaptif mengambil soal, dan — bila digabungkan dengan penelusuran pengetahuan atau pemodelan siswa — dapat menghasilkan butir yang disesuaikan dengan keadaan pengetahuan siswa individual (KT4EQG). Personalisasi berbasis minat menunjukkan AQG juga dapat menyesuaikan soal dengan minat siswa, bukan hanya kesulitannya.

Implikasi bagi AI dalam pendidikan

• Hasilkan lalu validasi: selalu pasangkan generasi dengan tahap validasi/penyempurnaan untuk mengendalikan halusinasi dan memastikan relevansi.
• Cocokkan tipe butir dengan keandalan: gunakan AQG untuk tipe butir terstruktur (PG, isian rumpang, kode) yang paling andal, dan terapkan validasi cermat pada butir respons terbuka dan tulisan.
• Rancang untuk kedalaman kognitif: prompt dan pipeline harus menyasar pemikiran tingkat tinggi, bukan sekadar mengingat, untuk mendukung pembelajaran yang sebenarnya.
• Kalibrasi kesulitan: gunakan perkiraan kesulitan AI untuk memilih butir yang menantang secara tepat, dengan validasi kuat sebelum penggunaan berisiko tinggi.
• Personalisasi melalui model siswa: gabungkan AQG dengan penelusuran pengetahuan dan model minat untuk menghasilkan butir adaptif dan individual.

Miskonsepsi Umum

"Soal yang dihasilkan dapat digunakan pada skala sebagaimana ia dapat diproduksi." Volume bukan kendalanya; kalibrasi kendalanya. Kualitas sangat bervariasi antartipe butir dan perlu divalidasi agar tidak terhalusinasi atau terkalibrasi buruk, itulah sebabnya pipeline yang berhasil menghabiskan upayanya pada verifikasi, bukan generasi — salah satunya menurunkan halusinasi sebesar 62% dengan menambahkan loop hasilkan-lalu-validasi-perbaiki.

"Loop penyempurnaan membuat butir yang dihasilkan dapat dipercaya." Loop itu membuatnya kurang salah. Penurunan halusinasi sebesar 62% menyisakan sisa yang besar, dan tidak ada loop yang menyelesaikan masalah yang lebih sulit: apakah kesulitan yang dinyatakan sebuah butir sesuai dengan yang sebenarnya dilakukan siswa — pertanyaan validitas yang gagal dijawab metadata hasil generasi menurut bukti label kesulitan. Validasi mengurangi konten rekaan; kalibrasi menuntut data respons siswa.

"Pembuatan soal secara alami mempersonalisasi latihan." Ia menghasilkan pasokan, sedangkan personalisasi adalah masalah pencocokan. Menghasilkan lebih banyak butir tidak memberi tahu butir mana yang harus dilihat siswa tertentu berikutnya, dan pemilihan adaptif adalah mekanisme terpisah dengan buktinya sendiri.

"Generasi menskalakan penilaian tanpa mengubah apa yang diukur oleh penilaian." Ia mengubah komposisi apa yang diukur, karena butir yang mudah dihasilkan bukan sampel representatif dari butir yang menilai dengan baik. Format yang mudah dihasilkan akan secara progresif mendesak keluar format yang lebih sulit dihasilkan, yang diam-diam membentuk ulang konstruknya.

Konsep terkait

• Model Bahasa Besar (LLM)
• AI Generatif
• NLP Pendidikan
• Penilaian Otomatis
• Penskoran Esai Otomatis
• Penilaian
• Penilaian Formatif
• Pembelajaran Adaptif
• Pembelajaran yang Dipersonalisasi
• Pelacakan Pengetahuan
• Pemodelan Pembelajar dan Pengajaran Adaptif
• RAG (Pembangkitan yang Diperkaya dengan Pengambilan)
• Human-in-the-Loop
• Pengukuran Pendidikan
• Teori Respons Butir
• Risiko Halusinasi
• Evaluasi AI dalam Pendidikan
• Tolok Ukur
• Perancah
• Tutoring Cerdas
• AI dalam Pendidikan

Artikel terkait

• Generative artificial intelligence and the transformation of medical education: a scoping review — Tinjauan cakupan atas 153 laporan pendidikan kedokteran tentang pembuatan butir AI versus kualitas butir dosen

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Validasi lapangan berskala besar atas kualitas ujian yang dihasilkan AI melalui IRT

• Generate-Then-Validate: Question Generation for Education — Pembuatan soal Generate-Then-Validate

• KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing — Pembuatan soal yang dipersonalisasi melalui penelusuran pengetahuan

• Exploring the Design of LLM-Powered Question Generation for Deaf and Hard of Hearing Learners — Pembuatan soal berbasis LLM untuk siswa Tuli dan Gangguan Pendengaran

• From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions — Kedalaman kognitif soal yang dihasilkan LLM

• Slide Deck Q&A Quality Assurance App: A Multi-Stage Pipeline for Pedagogical Question Generation — Pembuatan soal pedagogis tanya-jawab dari dek slide

• CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation — CODE-GEN: pembuatan soal berbasis RAG dengan manusia dalam loop

• NSMQ Riddles: A Benchmark of Scientific and Mathematical Riddles for Quizzing Large Language Models — Tolok ukur NSMQ Riddles

• Taklif.AI: LLM-Powered Platform for Interest-Based Personalized College Assignments — Tugas personal berbasis minat

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — Kalibrasi kesulitan berbasis LLM

• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs — Penilaian tulisan analitis yang mengacu pada diri sendiri

• Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs — Klasifikasi soal Bloom lintas kumpulan data

• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — Chatbot LLM dan butir pilihan ganda CS

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Tes Sokratik: penilaian konversasional

• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries — Uji Turing LLM dalam ujian hukum

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimasi kesulitan butir menggunakan LLM dan ML berbasis pohon

• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Penilaian Kualitas Butir Matematika Berbasis Proses

• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: Tutor Agen yang Mempelajari Siswanya dalam Loop Ko-Pembelajaran Manusia-AI

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — Mengotomatiskan Penilaian Konstruktif dengan Model Bahasa Besar: Menuju Evaluasi Kompetensi Praktis yang Terukur dan Berulang

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Penggunaan LLM oleh Siswa dan Batas Kesulitan Soal yang Dihasilkan AI dalam Mata Kuliah Ilmu Data

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluasi model terlatih untuk penilaian pedagogis soal pendidikan baru yang dibantu AI

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — Siswa tidak dapat membedakan PG yang dihasilkan AI dari butir ujian lisensi dalam ujian yang dinilai, dan 18.2% butir yang dihasilkan dieliminasi dalam tinjauan (Vogt et al. 2026)