Otomatik Soru Üretimi

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Otomatik soru üretimi (AQG) — özellikle NLP ve büyük dil modelleri (LLM’ler) olmak üzere yapay zekânın, kaynak materyalden veya öğrenme hedeflerinden eğitim değerlendirme maddelerini (çoktan seçmeli, kısa cevaplı, boşluk doldurma, kodlama ve performans soruları) otomatik olarak üretmek için kullanılması. AQG, ölçekte değerlendirmeyi mümkün kılar — biçimlendirici sınavlar, uyarlamalı alıştırmalar ve pratik maddeleri üretir — ancak kalite madde türlerine göre büyük ölçüde değişir ve uydurma ya da kötü kalibre edilmiş sorulardan kaçınmak için doğrulama gerektirir. Otomatik Değerlendirme’ın temel bir bileşenidir ve Uyarlanabilir Öğrenme ile Kişiselleştirilmiş Öğrenme’in önemli bir olanak sağlayıcısıdır.

Düşünülmesi Gerekenler

• Otomatik soru üretimi, kaynak materyalden ölçekte değerlendirme maddeleri üretir — ancak bu sayfa, kalitenin madde türlerine göre büyük ölçüde değiştiği konusunda uyarıyor. Okumaya başlamadan önce, YZ’nin en güvenilir biçimde ürettiğini hangi madde türünü tahmin ederdiniz: çoktan seçmeli, kısa cevaplı mı yoksa kod mu — ve neden?
• Merkezi zorluk kalite kontrolüdür: LLM’ler gerçekte yanlış sorular üretebilir. Bir işlem hattı, üret-sonra doğrula-geliştir döngüsü ekleyerek uydurma oranını %62 azalttı. YZ’nin kendi sorularını doğrulamasını istemenin, neden yalnızca kendi çıktısını onaylamak yerine soruları anlamlı biçimde iyileştireceğini düşünüyorsunuz?
• Araştırmalar, üretilen soruların açıkça üst düzey çıktılar için tasarlanmadığı sürece daha düşük düzeyli düşünmeye (hatırlama) yöneldiğini göstermektedir. Pratik maddeleri oluşturmak için YZ kullansaydınız, bunların gerçek anlayışı mı yoksa yalnızca ezberi mi eğittiğini nasıl anlardınız?
• Zorluk kalibrasyonu önemlidir: YZ zorluk tahminleri öğrenci performansıyla güçlü biçimde ilişkilidir, ancak sayfa yüksek riskli yanlış kullanıma karşı uyarıyor. YZ’nin "doğru zorlukta" bulduğu bir soru, hangi durumda belirli bir öğrenciye sorulması yine de yanlış olurdu?
• Erişilebilirlik duyarlı üretim, İşitme Engelli ve Ağır İşitme Engelli öğrenenler için uyarlanmış sorular oluşturur ve hedef toplulukla işbirliği içinde iyileştirilir. Bu örnek, soru üretiminin neden tamamen teknik ya da yalnızca içerikle sınırlı bir sorun olarak ele alınamayacağına dair ne gösteriyor?

Giriş

Otomatik soru üretimi önemlidir, çünkü değerlendirme maddelerini elle oluşturmak maliyetlidir ve YZ bunları hızlı ve ölçekte üretebilir. Ancak bilgi tabanının araştırmaları, üretilen maddelerin doğruluk, alaka düzeyi ve zorluk açısından doğrulanması gerektiğini; farklı madde türlerinin (çoktan seçmeli, kısa cevaplı, kod) güvenilir biçimde üretilebilirliğinin değiştiğini göstermektedir. AQG bu nedenle üretken YZ, eğitsel NLP ve Eğitimde Ölçme’ın kesişiminde yer alır.

Soru üretimine yaklaşımlar

Bilgi tabanının araştırmaları birkaç yaklaşımı örneklendirmektedir:

• Üret-sonra doğrula işlem hatları: Generate-Then-Validate (Üret-Sonra Doğrula), doğrudan üretime kıyasla LLM uydurmasını %62 azaltan bir üretim → doğrulama → iyileştirme döngüsü sunar; STEM veri kümelerinde %89 doğruluk ve alaka düzeyinde %23’lük bir iyileşme elde eder. Doğrulama adımı geçersiz veya düşük kaliteli maddeleri süzer ve başarısız olan maddeler düzeltici istek metinleriyle yeniden üretimi tetikler.
• Bilgi izleme tabanlı üretim: KT4EQG, bilgi izleme rehberliğinde kişiselleştirilmiş alıştırma soruları üretir; maddeleri her öğrenenin bilgi durumuna göre uyarlar, jenerik sorular üretmek yerine.
• Yanlış kanı bağlı çeldiriciler teşhis etiketleri olarak: CoLearn (He vd., 2026), her çeldiriciyi tek bir madenden çıkarılmış yanlış kaniye bağlar ve yalnızca bir seçeneği doğru olarak işaretler; böylece bir madde, teşhis hedefleri yerleşik biçimde üretilir ve hiçbir Büyük Dil Modelleri (LLM) çağrısı olmadan belirleyici biçimde notlandırılabilir — yazarların canlı dağıtımında tur başına yaklaşık 7,6 saniye ve yaklaşık $0,005; LLM ile notlandırılan bir kısa cevaplı tur için yaklaşık 32 saniye ve $0,015 karşılığında. Bu bağ, arkasındaki yanlış kanı etiketleri kadar iyi olabilir, çünkü madenden çıkarılan YZ Hakkında Yanlış Kanılar, hedef yanlış kanılarla yalnızca F1 ≈ 0,56 oranında eşleşmiş ve madde seçimleri zamanın %0,72’sinde gerçekten zayıf bir beceriyi hedeflemiştir.
• Bilişsel derinlik duyarlı üretim: LLM tarafından üretilen soruların bilişsel derinliğinin değerlendirilmesi, üretilen maddelerin üst düzey düşünmeyi (yaratma, değerlendirme) mi yoksa yalnızca ezberi mi hedeflediğini inceleyerek Bloom’un taksonomisi ve Eğitimde Ölçme ile bağlantı kurar.
• Yinelenen değerlendirme için hataya gömülü vaka problemleri: Takahashi vd. (2026), öğrencilerin bulup açıklaması gereken kasıtlı olarak gömülü hatalar taşıyan kısa vakalar biçiminde yeni hiyerarşik teşhis muhakemesi (HDR) problemleri üretti; GPT-4o tarafından kaleme alınan maddelerin insan kaleme alınanlarla iç tutarlılıkta (her ikisi için de Cronbach’ın α = 0,78) ve zorlukta eşleştiğini, Fisher’ın kesin testlerinin 100 katılımcı arasında puan dağılımında anlamlı bir fark bulamadığını gördü. Bu biçim, bir üst düzey düşünme talebini kısıtlı bir yanıtla eşleştirir; böylece cevaplar yakınsar ve notlandırma yeniden üretilebilir hale gelir. Üretken motivasyon madde yeniden kullanımıdır: bir vakayı yeniden kullanmak belleği ve cevap yeniden kullanımını davet ederken, yapısal olarak eşdeğer ancak bağlamsal olarak farklı üretilmiş vakalar yeniden ölçümde madde yanlılığını baskılar.
• Pedagojik işlem hatları: Slayt destesi soru-cevap üretimi, kurs materyallerinden pedagojik olarak sağlam soru üretimi için çok aşamalı bir işlem hattı kullanır.
• Erişilebilirlik duyarlı üretim: Chen vd., İşitme Engelli ve Ağır İşitme Engelli öğrenenler için LLM destekli bir soru üretim sistemi tasarlar; videoda görsel veya duygusal zorluk anlarını hedefleyen Görsel ve Duygusal soru stratejileri sunar ve dilsel erişilebilirliği güvence altına almak için soruları hedef toplulukla yinelemeli biçimde iyileştirir.
• RAG tabanlı, insan-devriginde sistemler: CODE-GEN, çoktan seçmeli değerlendirmeler üretmek için geri getirme destekli üretim’i insan-devriginde incelemeyle birleştirir.
• Kıyaslamalar ve değerlendirme: NSMQ Riddles, soru üretimi ve muhakeme sistemlerini değerlendirmek için bilimsel/matematiksel bilmecelerden oluşan bir kıyaslama sunar.

Doğrulama ve kalite

AQG’de merkezi zorluk kalite kontrolüdür:

• Çözüm sürecini değerlendirin, madde gövdesini değil: ProIQA, madde kalitesi incelemesinin bir uzmanın yaptığını — çözümü simüle etmeyi — izlemesi gerektiğini savunur; her madde için LLM tarafından üretilen bir muhakeme ağacı oluşturur, bunu matematiksel doğruluk açısından %90,38–97,80 aralığında doğrular, ardından yalnızca madde gövdesine dayalı bir görünümün yanı sıra bağımlılık yapısını bir graf sinir ağı ile kodlar. İkinci en iyi yönteme kıyasla ortalama kazanımları, kavram değerlendirmesinde %7,5, zorluk tahmininde %6,3 ve yetkinlik değerlendirmesinde %19,5 olarak bildirir; hata analizi, izlenmeye değer bir başarısızlık kipini adlandırır: mantıksal olarak doğru ancak yapısal olarak yüzeysel bir muhakeme ağacı, zor bir madde kolay görünmesine yol açar.

• Uydurma riski: LLM’ler gerçekte yanlış sorular üretebilir. Generate-Then-Validate, ayrı bir doğrulama aşamasının bunu keskin biçimde azalttığını göstermekte ve uydurma riski genel olarak tanınan bir kaygıdır.

• Zorluk kalibrasyonu: üretilen sorular uygun zorlukta kalibre edilmelidir. Zorluk kalibrasyonu araştırması, YZ zorluk tahminlerinin öğrenci performansıyla güçlü biçimde ilişkili olduğunu (örneğin rho ≈ −0,87) ve daha iyi madde seçimini mümkün kıldığını göstermekte; yüksek riskli yanlış kullanıma karşı uyarıda bulunmaktadır. Razavi ve Powers (2026), bunu K-5 matematik ve okuma maddelerine (N = 5170) Rasch IRT modeli altında kalibre edilmiş biçimde genişletir: GPT-4o’nun sıfır atımlı zorluk derecelendirmeleri gerçek zorluklarla orta-düzeyde ila güçlü biçimde ilişkiliydi (matematikte r = 0,83, okumada r = 0,81) ancak sınıf düzeyine göre değişti; LLM ile çıkarılan bilişsel ve dilsel özelliklerin ağaç tabanlı modellere beslendiği özellik tabanlı bir yaklaşım ise r = 0,87’ye varan korelasyonlara ulaştı. Çalışmanın yapılandırılmış özellik çıkarımı (örneğin sözdizimi karmaşıklığı, bilişsel yük, çeldirici kurnazlığı) ve pratik yedi adımlı iş akışı, üretilen maddelerin kalibrasyonu için bir şablon sunarken; erken sınıf aralığı kısıtlama bulgusu ve genellenebilirlik kaygıları yüksek riskli kullanıma karşı uyarı niteliğindedir.

• Üretilen zorluk etiketleri bir yapı geçerliliği hatası olabilir, kalibrasyon hatası değil. 378 üretilen madde boyunca modelin Kolay/Orta/Zor etiketleri, kendisiyle birlikte üretilen Bloom düzeyini izledi (ρ=0,90) ve yüzey biçimi — ortalama madde uzunluğunun 15,9’dan 22,1’e ve 30,2 kelimeye yükselmesi — ancak 54 öğrenciden gelen 7.888 yanıtta deneysel madde zorluğuyla yalnızca ρ=0,06 oranında ilişkiliydi; bu durum, üretilen üst verinin birlikte üretilen etiketlere güvenmek yerine yanıt verilerine karşı kalibre edilmesi gerektiğini gösterir (An & Wang (2026)).

• Ölçekli psikometrik alan doğrulaması: YZ Tarafından Üretilen Sınavların Değerlendirilmesi, yinelemeli iyileştirmeli bir AQG işlem hattını (üret→yargıla→revize et, Self-Refine tarzı) 91 gerçek üniversite sınıfında (~1.686 öğrenci) doğrular. Bayes hiyerarşik 2PL IRT analizi, YZ tarafından üretilen soruların uzman kaleme alınmış standart sınav maddeleriyle eşit performans gösterdiğini göstermektedir — biraz daha kolay (β̄ = −0,45’e karşı 0,35) ancak biraz daha ayırt edici (ᾱ = 1,3’e karşı 1,2), daha yüksek tepe sınav bilgisine sahip (güvenilirlik 0,79’a karşı 0,72) — bu da AQG’nin ölçekte kursa özel, psikometrik olarak sağlam değerlendirmeler üretebileceğini göstermektedir.

• Ortalama psikometrik eşitlik, madde düzeyindeki yetersizlikleri maskeleyebilir: 153 tıp eğitimi raporunu kapsayan bir derleme, YZ madde üretiminin bazen insan zorluk ve ayırt ediciliğiyle eşleştiğini; ancak bir fizyoloji karşılaştırmasında ChatGPT maddelerinden yalnızca 40’ta 9’unun tüm ideal ölçütleri karşıladığını, fakülte maddelerinde ise 40’ta 19’unun karşıladığını bulmuştur (Zhao vd. (2026)).

• Canlı bir sınavda tanınabilirlik ve incelemenin gerçekte neyi ortadan kaldırdığı: Vogt vd. (2026), 30 YZ üretimli ve 30 Ulusal Lisans Sınavı çoktan seçmeli sorusunu, 119 beşinci sınıf tıp öğrencisi tarafından çözülen notlandırılmış tablete dayalı bir sınavda yerleştirdi; YZ maddeleri, ChatGPT-4o ve Gemini 1.5 Pro tarafından kursun kendi materyallerinden kaleme alındı, bunların %82’sini kabul eden ve %18,2’sini kullanılamaz olarak eliyen bir uzman panosu aracılığıyla geçirildi. Öğrencilerin kaynak atfı iki madde türü arasında farklılık göstermedi; madde zorluğu, çeldirici dağılımı ve algılanan müfredat uyumu istatistiksel olarak ayırt edilemez düzeydeydi — bu bir kalite sonucundan ziyade bir tanıma sonucudur ve yazarların iş akışının faydasını taslak hazırlamayı ortadan kaldırmak yerine eğitimci çabasını taslaktan incelemeye kaydırmak olarak tanımlamasının nedeni budur. Tek keşfedici fark ayakta kaldı: Gemini maddeleri lisans sınavı maddelerinden daha zordu (p = 0,028), ChatGPT maddeleri ise değildi (p = 0,984).

• Göreve bağımlılık: üretim güvenilirliği madde türüne göre değişir. Kısa cevaplı notlandırma ve analitik yazma değerlendirmesi, açık uçlu ve yazma maddelerinin yapılandırılmış maddelerden daha güçlü üretilip notlandırılmasının zor olduğunu göstermektedir.

• Bilişsel kalite: bilişsel derinlik değerlendirmesi, üretilen maddelerin açıkça üst düzey çıktılar için tasarlanmadığı sürece daha düşük düzeyli düşünmeye yönelebileceğini göstermektedir.

• Bilişsel düzeyin otomatik etiketlenmesi üretilen maddelere aktarılmaz. Küratörlüğü yapılmış bir madde bankası üzerinde eğitilmiş bir Bloom taksonomisi sınıflandırıcısı, YZ tarafından üretilen sorularda çöktü — dağılım içinde makro F1 0,88’den dağılım dışında 0,48 ve 0,20’ye düştü — çünkü üretilen maddeler ortalama çok daha fazla kelime içeriyordu (9,3’e karşı 18,2) ve küratörlüğü yapılmış korpusla yalnızca ortalama %10,5 Bloom tetikleyici fiili paylaşıyordu; daha yakın bir kümede bu oran %35,1’di; etiketlenmiş dağılım dışı veri üzerinde yeniden eğitim yaklaşık N > 1.000 etiketli örnek eşiğinde tek en büyük kazançtı (Castanares vd., 2026).

Uyarlamalı ve kişiselleştirilmiş öğrenmedeki rolü

AQG, uyarlamalı ve kişiselleştirilmiş öğrenmenin önemli bir olanak sağlayıcısıdır: uyarlamalı öğretmenlerin yararlandığı büyük madde havuzlarını üretir ve — bilgi izleme veya öğrenci modellemesi ile birleştiğinde — bireysel öğrenenlerin bilgi durumlarına göre uyarlanmış maddeler üretebilir (KT4EQG). İlgi temelli kişiselleştirme, AQG’nin soruları yalnızca zorluğa değil öğrenci ilgi alanlarına da uyarlayabileceğini göstermektedir.

Eğitimde yapay zekâ için çıkarımlar

• Üretin, sonra doğrulayın: üretimi her zaman uydurmayı kontrol etmek ve alaka düzeyini güvence altına almak için bir doğrulama/iyileştirme aşamasıyla eşleştirin.
• Madde türünü güvenilirliğe uyarlayın: en güvenilir olduğu yapılandırılmış madde türlerinde (çoktan seçmeli, boşluk doldurma, kod) AQG kullanın ve açık uçlu ile yazma maddelerine dikkatli doğrulama uygulayın.
• Bilişsel derinlik için tasarlayın: istek metinleri ve işlem hatları, gerçek öğrenmeyi desteklemek için yalnızca hatırlamayı değil üst düzey düşünmeyi hedeflemelidir.
• Zorluğu kalibre edin: uygun biçimde zorlayıcı maddeleri seçmek için YZ zorluk tahminlerini kullanın; yüksek riskli kullanımdan önce güçlü doğrulama yapın.
• Öğrenen modelleri aracılığıyla kişiselleştirin: uyarlamalı, bireyselleştirilmiş maddeler üretmek için AQG’yi bilgi izleme ve ilgi modelleriyle birleştirin.

Bağlı kavramlar

• Büyük Dil Modelleri (LLM)
• Üretici YZ
• Eğitimde NLP
• Otomatik Değerlendirme
• Otomatik Kompozisyon Puanlama
• Değerlendirme
• Biçimlendirici Değerlendirme
• Uyarlanabilir Öğrenme
• Kişiselleştirilmiş Öğrenme
• Bilgi İzleme
• Öğrenen Modellemesi ve Uyarlanabilir Öğretim
• RAG (Alım Artırımlı Üretim)
• İnsan-Denetiminde Yapay Zeka
• Eğitimde Ölçme
• Madde Tepki Kuramı
• Halüsinasyon Riski
• AIEd Değerlendirmesi
• Karşılaştırma testi (Benchmark)
• İskeleleme (Scaffolding)
• Akıllı Özel Öğretim
• Eğitimde Yapay Zeka

Bağlı makaleler

• Generative artificial intelligence and the transformation of medical education: a scoping review — Madde üretiminde YZ’ye karşı fakülte madde kalitesine ilişkin 153 tıp eğitimi raporunun kapsam derlemesi

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — IRT aracılığıyla YZ tarafından üretilen sınav kalitesinin ölçekli alan doğrulaması

• Generate-Then-Validate: Question Generation for Education — Generate-Then-Validate soru üretimi

• KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing — Bilgi izleme aracılığıyla kişiselleştirilmiş soru üretimi

• Exploring the Design of LLM-Powered Question Generation for Deaf and Hard of Hearing Learners — İşitme Engelli ve Ağır İşitme Engelli öğrenenler için LLM destekli soru üretimi

• From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions — LLM tarafından üretilen soruların bilişsel derinliği

• Slide Deck Q&A Quality Assurance App: A Multi-Stage Pipeline for Pedagogical Question Generation — Slayt destesi soru-cevap pedagojik soru üretimi

• CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation — CODE-GEN: RAG tabanlı insan-devriginde soru üretimi

• NSMQ Riddles: A Benchmark of Scientific and Mathematical Riddles for Quizzing Large Language Models — NSMQ Riddles kıyaslaması

• Taklif.AI: LLM-Powered Platform for Interest-Based Personalized College Assignments — İlgi temelli kişiselleştirilmiş ödevler

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — LLM tabanlı zorluk kalibrasyonu

• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs — Öz başvurulu analitik yazma değerlendirmesi

• Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs — Çapraz veri kümesi Bloom soru sınıflandırması

• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — LLM sohbot robotları ve BS çoktan seçmeli maddeleri

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Sokratik testler: konuşma tabanlı değerlendirme

• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries — Hukuk sınavlarında LLM Turing testi

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — LLM’ler ve ağaç tabanlı ML kullanarak madde zorluğunun tahmin edilmesi

• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Süreç Tabanlı Matematik Maddesi Kalite Değerlendirmesi

• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: İnsan-YZ Ortak Öğrenme Döngüsünde Öğrenenini Öğrenen Etken Bir Öğretmen

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — Büyük Dil Modelleriyle Yapıcı Değerlendirmenin Otomasyonu: Pratik Yetkinliğin Ölçeklenebilir ve Yinelenen Değerlendirmesine Doğru

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Veri Bilimi Kurslarında Öğrencilerin LLM Kullanımı ve YZ Tarafından Üretilen Soru Zorluğunun Sınırları

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Yeni YZ destekli eğitim sorularının pedagojik değerlendirmesi için ön eğitimli modellerin değerlendirilmesi

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — Öğrenciler notlandırılmış bir sınavda YZ tarafından üretilen çoktan seçmeli soruları lisans sınavı maddelerinden ayırt edemedi ve üretilen maddelerin %18,2’si incelemede elendi (Vogt vd. 2026)