AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

Otomatik Değerlendirme

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Otomatik değerlendirme — biçimlendirici sınavlardan yüksek riskli sınavlara kadar öğrenci çalışmalarını değerlendirmek için yapay zekânın kullanılması. Otomatik değerlendirme, çoktan seçmeli, kısa cevaplı, kompozisyon, kod ve performans temelli değerlendirme gibi birden fazla modaliteyi kapsar; doğrudan otomatik notlandırmadan, puanlarının yanı sıra kalibre edilmiş belirsizliği bildiren güven duyarlı sistemlere kadar uzanır.

Düşünülmesi Gerekenler

  • Otomatik değerlendirme, çoktan seçmeli puanlamadan kompozisyonlara, koda ve performans temelli değerlendirmeye kadar uzanır. Bir çoktan seçmeli sınavı notlandırmada YZ’nin güvenilirliği ile serbest biçimli bir kompozisyonu notlandırmadaki güvenilirliği arasında bekleyeceğiniz en büyük fark nedir — ve neden?
  • Buradaki temel bir tasarım fikri "güven duyarlılığı"dır: ne kadar kesin olduklarını bildiren, tek bir niteliksiz puan yerine düşük güvenli vakaları insan incelemesi için işaretleyen YZ değerlendiricileri. "Bu konuda %70 eminim" diyen bir not, otomatik bir puanı nasıl kullanmanızı veya ona güvenmenizi nasıl değiştirirdi?
  • Araştırmalar, otomatik puanlamanın ana dili olmayan konuşmacıları sistematik biçimde dezavantajlı duruma düşürebileceğini göstermektedir — YZ anlayışı değil dili puanlar. Bir otomatik değerlendirici, genel olarak insan değerlendiricilerle yüksek uyum elde etse bile neden bu tür bir adaletsizliğe özellikle yatkın olabilir?
  • Bir çalışma, doğrulamanın nasıl yapıldığının bildirilen performansı şişirebileceğini buldu: saf bir çapraz doğrulama yöntemi, neredeyse mükemmel sonuçlar bildirdi ve bunlar daha titiz, denemeye bağımsız doğrulama altında şiddetle düştü. Bu ihtiyatlı ders, bir YZ değerlendirme sisteminin "işe yaradığına" dair herhangi bir iddiayı nasıl okumanız gerektiğine dair ne öneriyor?
  • Sayfa, kalibre edilmiş güvenin insan-devriginde iş akışlarını olanaklandırdığını, güven kalibrasyonunu desteklediğini ve ölçüm geçerliliğini güçlendirdiğini savunuyor. Bir otomatik sistem en belirsiz vakalarını bir insan incelemecisine yönlendirseydi, bölüşüme güvenmeden önce bu vakaların nasıl seçildiğini bilmek ister miydiniz?
  • Otomatik notlandırma, en olgun AIED uygulamalarından biri olarak tanımlanır; ancak yararlı geri bildirim olmadan notlandırmanın eğitimsel değeri sınırlıdır. Yalnızca puan üretmeye — kullanılabilir geri bildirimden ziyade — odaklanmak, öğrencilerin YZ ile notlanmış bir değerlendirmeden fiilen ne aldığını nasıl değiştirirdi?

Giriş

Değerlendirme modaliteleri

Otomatik notlandırma

Otomatik notlandırma, en olgun ve en yaygın dağıtılmış eğitimde yapay zeka uygulamalarından biridir — çoktan seçmeli puanlamadan kompozisyon değerlendirmesine ve kod incelemesine kadar öğrenci çalışmalarını değerlendiren YZ sistemleri. Notlandırma modaliteleri şunları içerir:

  • Öğrenciler geri bildirim yararlılığını değerlendirici otoriteden ayırır: AlGhamdi (2026), bir YZ puanının notlara yollandığı ve öğrencilerin bunu bildiği bir vakayı belgeler — taranmış el yazısı çalışmaları, açıklık, örgütlenme, cümle doğruluğu ve özlülüğü kapsayan bir rubriğe göre ChatGPT tarafından değerlendirilen 13 bilişim öğrencisi. Her katılımcı geri bildirimi yararlı buldu, ancak tümü bu yararlılığı otoriteden ayırdı ve birkaçı otomatik notlandırmanın tek yönlü, diyalojik olmayan karakterini reddetti — "ChatGPT insanlar gibi değil. Onlarla konuşur, bahanelerini açıklarsın... Çalışmamı normal öğretmenin notlamasını severim." Çalışma, otomatik değerlendirmeyi yüzeysel revizyon için kabul edilebilir, ancak nihai bir değerlendirici olarak değil olarak konumlandırır; koşullu güven, eğitmen gözetimiyle aracılanır.
  • Kısa cevaplı notlandırma: güven duyarlı ASAG, serbest metin yanıtlarını değerlendirir; güven kalibrasyonu kritiktir — sistemler notlandırmanın güvenilir olduğu anı bilmelidir. fen alanında kısa cevaplı otomatik işaretlemenin kapsam derlemesi (2017–2024 başları) alanın tarihini belgeler: Morley vd., BERT ailesi modellerin (base, RoBERTa, DistilBERT, SciBERT) baskın olduğunu — 21 çalışmanın 20’sinde kullanıldı, 2021’de zirve yaptı — yaklaşık 2022’den itibaren GPT tabanlı yaklaşımların ince ayardan ziyade İstek Metni Mühendisliği yoluyla benimsendiğini buldu. Alan verisiyle (ders kitapları, rubrikler, ileri ön eğitim) güçlendirilen modeller, güçlendirilmeyenlere tutarlı biçimde üstün geldi; ancak çok azı notlarını insanların anlayabileceği terimlerle gerekçelendirebildi ve demografik ve dilsel gruplar arasındaki yanlılık nadiren incelendi — bu da yazarları, otomatik işaretleyicilerin insan sınav görevlilerinin yerini almak yerine onları desteklemesi gerektiğini savunmaya yöneltti. 42 ampirik notlandırma ve geri bildirim çalışmasının (2023–2025) PRISMA rehberli bir sistematik derlemesi, bu ihtiyatı alan boyunca genelleştirir: LLM’ler kapalı uçlu görevlerde ve kısa cevaplı sorularda insan değerlendiricilerle eşleşir, ancak derinlemesine analiz veya Yaratıcılık gerektiren karmaşık, açık uçlu veya öznel çalışmalarda insan yargısının yerini tam olarak alamaz ve en yüksek notlandırma etkililiği, YZ kaynaklı notlandırmayı öğretmen gözetimi ve doğrulamasıyla eşleştiren hibrit sistemlerde elde edilir (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Kompozisyon puanlaması: Otomatik Kompozisyon Puanlama sistemleri, çapa tabanlı AES gibi, insan düzeyinde güvenilirliğe yaklaşmak için istek metni stratejileri kullanır. AIAWE, otomatik değerlendirmeyi daha geniş yazma değerlendirmesine genişletir.
  • Kod incelemesi: Linux Bash notlandırma ve CS1 kod incelemesi, bilişim eğitiminde otomatik değerlendirmeyi örneklendirir.
  • Bir istek metni personası bir değerlendiricinin çökmesine yol açabilir ve ince ayar bunu onarabilir: Habibullah vd. (2026), pratik bir bilgisayarlı görü sınavını (570 çift notlanmış öğrenci) 171 yapılandırma altında ve 162 daha fazlası altında ikinci bir makine öğrenimi sınavını (1.038 öğrenci) notladı. Kısa bir "katı değerlendirici" ön sözü, 17 açık ağırlıklı modelden 14’ünü notlanan bandın dışına çıkardı (MAE ≥ 8), üçü ise notlandırmayı tümüyle durdurdu; hasar, ton veya model ölçeğinden ziyade krediyi esirgeyen iki cümleye izlendi ve yönü sınav özgülüydü, ikinci sınavda yedi modeli iyileştirdi. Yaklaşık 3.900 havuzlanmış notlanmış örnek üzerinde hafif LoRA ince ayarı, beş küçük açık modeli bir insan değerlendiriciyle eşit veya daha iyi düzeye getirdi; böylece savunmasızlık bir yetenek tavanından ziyade bir istek metni eseridir.
  • Biçimlendirici tümleştirme: A-level fen otomasyonu ve CoTAL, otomatik notlandırmanın Biçimlendirici Değerlendirme döngülerine nasıl beslendiğini gösterir.
  • Geri bildirim türlerinin kapsanması öğretmenlerle uyum değildir. Almousa vd. (2026), üç üniversite yazma kursundan paragraf düzeyli geri bildirimi yedi odak türüne açıklamalı olarak işaretledi; modellerin çoğu neredeyse her türü yayar, ancak dağılımları öğretmen referansından sapar; eğitim açısından ayarlanmış LearnLM en yakın (Jensen–Shannon divergansı 0,1344), Mistral-7B en uzak (0,2695). Kategori tanımlarıyla veya çözümlenmiş örneklerle istek metni kullanımı, çoğu modelde divergansı artırdı.
  • Yanlılık ve adillik: Fizik puanlamada dil yanlılığı, otomatik notlandırmanın ana dili olmayan konuşmacıları nasıl dezavantajlı duruma düşürebileceğini belgeler — Önyargı Azaltma ve Eşitlik ile bağlantılı.
  • Açık uçlu notlandırma için Üretken YZ modellerinin kıyaslanması: Pecuchova, Benko & Drlik (2025), on bir Üretken YZ ve cümle gömülü temsil modelini, 24 yazılım mühendisliği sorusuna verilen 1.885 açık uçlu yanıtta iki uzman insan değerlendiriciye karşı kıyasladı. Yalnızca GPTo1 neredeyse mükemmel uyuma ulaştı (Fleiss’in Kappa değeri 0,82, not kategorileri boyunca düşük yanlış pozitif ve yanlış negatif), Claude3 ve PaLM2 hemen arkasından geldi; bağlama duyarlı Üretken YZ modelleri, kısa ve çeşitli biçimde ifade edilmiş öğrenci cevaplarını sağlam biçimde ele alırken, referans tabanlı gömülü temsil modelleri (örneğin BERT’nin 345 yanlış pozitifi) doğru ama farklı ifade edilmiş yanıtları sistematik biçimde cezalandırdı — model seçiminin, yalnızca notlandırma biçiminin değil, serbest metin açık uçlu değerlendirmesi için güvenilirliği de şekillendirdiğine dair kanıt.
  • İstek metni örnekleri puanlama uyumunu belirler: Takahashi vd. (2026), hiyerarşik teşhis muhakemesini (HDR) otomatikleştirdi; öğrenenlerin kısa bir vakada kasıtlı olarak gömülü hataları bulup açıklamalarını gerektiren uygulamalı bir yetkinlik görevi. Takım, ince ayar olmadan GPT-4o kullanarak yeni problemler üretti ve öğrenci tanımlarını puanladı: üretilen ve insan kaleme alınmış problemler aynı iç tutarlılığı taşıdı (Cronbach’ın α = 0,78) ve 100 katılımcı arasında puan dağılımında anlamlı bir fark göstermedi; biçimin bir okuma anlama kontrolüyle korelasyonu düşük kaldı (α = 0,36 ve 0,41). Puanlama doğruluğu modele değil istek metnine bağlıydı — çözümlenmiş örnekler olmadan Q2 kesinliği 0,42’ye düştü, insan tarafından puanlanmış doğru ve yanlış örneklerin eklenmesi ise uyumu her soruda %98 veya üzerine çıkardı (Q1 ve Q2 %100) — 117 yanıt için 138 dakika uzman puanlama artı 30 dakika uzlaşma olarak ölçülen bir insan maliyetine karşılık.

Bir modelin kendi muhakeme kipi ikinci bir yapılandırma kaldıracıdır: 32 anonimleştirilmiş halk sağlığı yüksek lisans sınavı gönderimi üzerinde aynı ChatGPT, hızlı kipte ağırlıklı kappa 0,269’dan düşünme kipinde 0,718’e çıkarken, Kimi 0,571’e ulaştı (Brevik vd. (2026)).

  • Çok ajanlı öğretmenlerin açık uçlu yanıtlarının kodlanması, güvenilirliği çerçevenin modelden çok taşıdığı yerde: Copur-Gencturk vd. (2026), otomatik değerlendirmeyi öğrenci çalışmalarının ötesine, öğretmenlerin kendi içerik bilgisinin (CK) ve pedagojik içerik bilgisinin (PCK) kodlanmasına taşır; YZ’nin 268 ABD’li ortaokul matematik öğretmeninin oranlar ve orantılı ilişkiler hakkındaki yazılı yanıtlarına ilişkin eğitimli insan kodlamasını yeniden üretip üretemeyeceğini sorar. Özellikle tasarlanmış çok ajanlı bir LLM olan GradeOpt, üç GPT-4o destekli rol atar — insan kodlama kılavuzunu uygulayan bir Değerlendirici, insan koduyla her anlaşmazlığı teşhis eden bir Yansıtıcı ve açıklama noktalarını altı tura kadar kılavuza geri katan bir İyileştirici — ve eğitimli insan kodlayıcılarla CK’de yakından eşleşti (κ = 0,88 ve 0,85); çok daha yorumsal PCK maddelerinde ise genel olarak önemli uyuma ulaştı (κ = 0,68; ağırlıklı κ = 0,79). İki NLP taban çizgisi ve tek istemli bir GPT-4o modeli PCK’de hiçbir zaman κ = 0,39 veya ağırlıklı κ = 0,55’i aşmadı; bu nedenle yazarlar güvenilirliği model ölçeğinden ziyade kodlama kılavuzuna karşı talimatların iyileştirilmesine atfeder ve GradeOpt’un artak hataları genellikle vahşi ıskalamalar yerine komşu kodlar olduğundan, komşu kodlama düzeylerinin bulanıklaştığı her yerde uzman incelemesi önerir.

  • Karışık biçimli sınav notlandırma (2026): Falahat, Das, Bhaumik & Thambi (2026), ChatGPT-5’i çoktan seçmeli, uygun olanların tümünü seç, boşluk doldurma, listeleme, kısa cevaplı ve kompozisyon maddelerini kapsayan 21 maddelik bir eczacılık sınavının (16 öğrenci) insan fakülte notlandırmasına karşı değerlendirdi. Uyum, nesnel madde türlerinde önemli ile neredeyse mükemmel arasındaydı (CCC 0,935–1,000 — notlandırma sırasında doğru cevapların sağlanmasıyla desteklendi), ancak listelemede (0,621–0,708), kısa cevaplıda (≈0’dan negatife) ve kompozisyonda (0,341–0,854) çöktü; yapılandırılmış bir rubrik sağlamak, tam sınav uyumunu tutarlı biçimde iyileştirmedi (%71,1’e karşı %68,2 ile). Çalışma, otomatik değerlendirmenin tamamında yinelenen metodolojik bir noktayı keskinleştirir — orta düzeyde yüzde doğruluk sıklıkla düşük uyum ile bir arada bulunur — bu nedenle yalnızca doğruluk güvenilirliği olduğundan fazla gösterir ve karmaşık, öznel veya yüksek riskli maddeler için hibrit notlandırma önerir.

  • Özgün notlanmış kompozisyonlarda aileler arası not bandı kalibrasyonu (2026): Kerwat, Donaldson & Mahomed (2026), dört model ailesinden (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B ve Llama 3.1 8B, her biri iki sıcaklıkta) sekiz önceden belirlenmiş yapılandırmayı, kurumsal Merit ve Distinction etiketleri taşıyan 114 BAWE/Coventry kompozisyonunun kilitli aynı kohortu üzerinde, dört banda izin veren tek paylaşılan bir istek metniyle çalıştırdı. Kesin bant uyumu %18,4 ile %54,4 arasında değişti: sıcaklık 0,5’te Llama 3.1 8B önde çıktı (%54,4 kesin, bir bant içinde %98,2, MAE 0,474, sıfıra yakın yanlılık), GPT-OSS 120B ise en zayıftı (%18,4) ve sistematik biçimde düşük notladı, sıcaklık 0,5’te ortalama 1,316 bant, Distinction doğruluğu boyunca Merit doğruluğunun gerisinde. Kilitli kohort Pass veya Fail referansı içermediğinden, bu tam not aralığında güvenilirlikten ziyade Merit–Distinction ayırt ediciliğidir; sıcaklık çözüm değildi — bir aileyi tanımlayıcı olarak iyileştirdi, diğerini değişmeden bıraktı ve GPT-OSS 20B’yi anlamlı biçimde kötüleştirdi (%39,5’ten %29,8’e kesin). Çalışmanın ötesine iki ders aktarır: not mesafesi ve yönelimli yanlılık, uyum istatistiklerinin gizlediğini ortaya çıkarır ve model boyutu değerlendirme geçerliliğinin vekili değildir.

  • Tıp eğitiminde açık uçlu puanlama için rubrik mühendisliği: Olvet vd. (2026), GPT-4’ün klinik öncesi dönem tıp sınavlarındaki açık uçlu soruları güvenilir biçimde puanlayıp puanlayamayacağını sordu. İki ABD okulunda üç tur insan kaynaklı rubrik iyileştirmesi sonrasında, fakülteyle değerlendiriciler arası güvenilirlik, analitik ve bütüncül rubrikler kullanılarak dört sorunun üçünde önemli ile neredeyse mükemmel uyuma ulaştı (ağırlıklı kappa 0,94’e kadar); bütüncül rubrik maddesi ise orta düzeyde takılıp kaldı (κw = 0,54). Hata kalıbı analizi, tutarsızlıkların her iki değerlendiriciye izlenebilir olduğunu gösterdi — GPT-4, öğrenciler birden fazla cevap sunduğunda veya rubrikte olmayan sözcük dağarcığı kullandığında aşırı puanladı, oysa fakülte sıklıkla "aşırı cömert" değerlendiricilerdi — bu da yazarları, insanları devrede tutmayı (örneğin, doğruluğu teyit etmek üzere bir alt kümeyi fakültenin puanlaması) önermeye yöneltti. ABD tıp fakültelerinin yaklaşık %82’si klinik öncesi dönem çalışmalarını geç/kal üzerinden notlandırdığından, tam YZ puan uyumu operasyonel kullanım için genellikle gereksizdir.

  • Ölçekli ulusal bir yazma değerlendirmesinde insan-devriginde puanlama (2026): Curi vd. (2026), istek metni tabanlı Büyük Dil Modelleri (LLM) puanlamayı gerçek bir yüksek riskli İspanyolca yazma sınavına ölçekler (yılda ~5.000–6.000 yanıt); 15 maddelik analitik bir rubriği boyunca %60–80 madde doğruluğu ve %90+ çıktı tutarlılığı elde eder, yazım maddesinde LLM’in yerine belirleyici bir NLP denetleyicisi geçer (%100 tutarlılık). Ayırt edici katkısı, model merkezli ölçütler üzerinde karar odaklı doğrulamadır: IRT-ve-Bookmark aracılığıyla yeterlilik düzeylerine dönüştürülen YZ’nin sistematik düşük notlama yanlılığı, vakaların %15,3–16,5’inde geçme/başarısızlık tutarsızlıkları üretir — bunların tümünü insan-devriginde iş akışı uzman incelemesine yönlendirir, karar kalitesini korurken tam insan puanlaması gerektiren yanıtları en az %50 azaltır. Bu, hibrit notlandırmayı kavram kanıtı veri kümelerinden ziyade operasyonel değerlendirmede temellendirir.

  • Boyut başına uyum, bir değerlendiricinin değişimi nerede tespit edemediğini gösterir: SOPHIE 2.0 (Hasan vd., 2026), bir LLM yargıcını üç boyutlu klinik iletişim rubriğinde tüm insan derecelendirme kaynaklarının — standartlaştırılmış hastalar ve üçüncü taraf değerlendiriciler — uzlaşısına karşı doğruladı; yalnızca dökümlerden Pearson 0,759 ve ICC(A,1) 0,746’ya ulaşarak bireysel insan değerlendiricilerinin dağılımı içinde, dışında değil. En zayıf boyutu Be Explicit (Açık Olun) idi (aday yargıçlar arasında 0,414–0,598 korelasyonlar) ve aynı zamanda puanlarının iki karşılaşma arasında ölçülebilir biçimde değişmediği tek boyuttu (Δ = 0,014, p = 0,1204) — bu nedenle boyut başına uyum, bir otomatik değerlendiricinin hangi boyutlarda iyileşme gösteremeyeceğini önceden belirtebilir.

Güven duyarlı değerlendirme

Otomatik değerlendirme içinde merkezi bir tasarım hedefi güven duyarlılığıdır: tek bir niteliksiz tahmin yayınlamak yerine, puanlarının yanı sıra kalibre edilmiş belirsizliği bildiren YZ değerlendirme sistemleri. Güven duyarlı bir değerlendirici yalnızca bir not veya sınıflandırma üretmez, aynı zamanda ne kadar kesin olduğunu sinyaller; böylece düşük güvenli vakalar insan incelemesi için işaretlenebilir ve kullanıcılar sistemdeki Güven güvenlerini kalibre edebilir. Bu, sorumlu otomatik değerlendirmenin merkezindedir ve Psikometrik Bilinçli YZ ile Güven Kalibrasyonu ile yakından bağlantılıdır.

Bilgi tabanının araştırmasında güvenin nasıl modellendiği:

  • Kısa cevaplı notlandırma için birleşik güven sinyalleri: Confidence-Aware ASAG (Güven Duyarlı ASAG), model tabanlı güven sinyallerini (sözlüleştirilmiş, gizli ve tutarlılık tabanlı), Random Forest regresyonu aracılığıyla veri kümesinden türetilen aleatorik belirsizlikle birleştirir.
  • Çok modlu öğrenci çalışmalarında güven: Öğrenci tarafından çizilen bilimsel figürlerin güven duyarlı değerlendirmesi, güven modellemesini çok modlu öğrenci yanıtlarına genişletir.
  • LLM’lerin psikometrik kalibrasyonu: Psikometrik olarak farkında YZ, Büyük Dil Modelleri (LLM) puanlamasını ölçüm teorisiyle hizalamanın standardını yükseltir; kalibrasyonu, Madde Tepki Kuramı hizalamasıyla birlikte temel bir gereklilik olarak.
  • Zorluk ve yanıt süresi kalibrasyonu: Programlama sınavı zorluk kalibrasyonu, LLM’leri zorluk tahminlerinin öğrenci geçme oranlarıyla ilişkili olduğu yardımcı kanıt kaynakları olarak yeniden konumlandırır.
  • Niteliğe uyarlanabilir kompozisyon puanlaması: PsyScore, psikometrik olarak farkında bir çerçevenin kompozisyon geri bildirimini öğrenen niteliklerine uyarlayabileceğini gösterir.
  • Görsel öğrenci çalışmalarının değerlendirilmesi: DiagramIR, LLM tarafından üretilen matematik diyagramlarını (TikZ) belirleyici denetimlerle bir ara temsile geri çevirir; insan değerlendiricilerle uyumda LLM-as-a-Judge’ı geride bırakır ve küçük modellerin büyükleriyle ~10 kat daha düşük maliyetle eşleşmesini sağlar — metin olmayan, diyagramatik öğrenci çıktısını değerlendirmeye ölçeklenebilir bir yol.
  • Otomatik öğretmen değerlendirmesinde güven kapılı çıkarım: Li, Yang & Fang (2025), Monte Carlo dropout kalibrasyonunu doğrudan puanlama yoluna yerleştirir; böylece öğrenilmiş bir eşiğin üzerindeki dropout varyansı, bir puan yerine reddet-ve-yönlendir çıktısı tetikler; yanlı savaşçı azaltmanın (adversarial debiasing) yanında, adillik boşluğunu taban çizgilerinin %6,4–8,2 aralığında durduğu yerde %1,8’de tutar ve TeacherEval-2023 üzerinde 0,032 beklenen kalibrasyon hatası verir. Onların ablasyonu, kalibrasyon argümanının minyatürüdür: güven kapılı modülün çıkarılması, değerlendiriciler arası tutarlılığı %78,6’ya düşürür ve yazarlar, insan incelemesi iş yükünün %41 azalmasını kapılamaya atfeder — belirsizlik yönetimi, sonradan raporlamadan ziyade mimari olarak.
  • Rubrik tabanlı puanlamanın açıklanabilirliği: Bueno vd., modele bağımsız SHAP atıflarının, rubrik tabanlı puanları (örneğin sınıf geri bildirim kalitesi) açıklamada LLM tarafından üretilen gerekçelerden daha sadık ve aktarılabilir olduğunu gösterir ve herhangi bir puanlama modelinin açıklamalarını değerlendirmenın ilkeli bir yolu olarak silmeye dayalı + çapraz model testleri önerir.

Kalibre edilmiş güven neden önemlidir:

  • İnsan-devriginde devri olanaklandırır: düşük güvenli vakalar bir insan incelemecisine yönlendirilir — kör otomasyon yerine insan-devriginde iş akışlarını destekler.

  • Güven kalibrasyonunu destekler: kalibre edilmiş güven, kullanıcıların güvenlerini sistemin fiili güvenilirliğine uyarlamalarını sağlar; hem aşırı güven hem de yetersiz güveni önler.

  • Ölçüm geçerliliğini iyileştirir: güven duyarlı puanlama, belirsizliği açık hale getirerek Eğitimde Ölçme ve Değerlendirme Geçerliliği’i güçlendirir.

  • Adillik ve savunulabilirlik: düşük güvenli vakaları incelemeye işaretlemek, özellikle atipik veya yetersiz temsil edilen yanıtlarda kendinden emin biçimde yanlış puanların riskini azaltır.

  • Rubrik üretimi ve eğitmen denetimli notlandırma işlem hatları: Mendonça vd. (2026), LLM tarafından üretilen değerlendirme rubriklerinin (HARMOGEN-R), teknik içerik açısından ±5 puanlık eşdeğerlik payı içinde insan oluşturma rubriklerle eşleşebileceğini gösterir; yapılandırılmış üretim daha fazla çapraz model tutarlılığı sağlar. Cruz vd. (2026), YZ notlarının 362 gönderimin %83’ünde eğitmenin puanına 0,5 puan içinde kaldığı (MAE 0,31) uçtan uca bir GPT-4o notlandırma işlem hattını değerlendirir — en iyi biçimde, eğitmen yargısının yerine geçen değil, ölçeklenebilir bir tamamlayıcısı olarak çerçevelenir.

Kalite ve adillik

Otomatik değerlendirme kalitesi Değerlendirme Geçerliliği ve Önyargı Azaltma’e bağlıdır. Dil yanlılığı araştırmaları, otomatik puanlamanın belirli öğrenci popülasyonlarını sistematik biçimde dezavantajlı duruma düşürebileceğini gösterir.

Ölçütün kendisi yanılabilirdir. Bozdag ve Qiu (2026), GCSE fizik kâğıtlarını bir YZ sistemiyle işaretler ve bunları hem resmi sınav kurulu notlarına hem de deneyimli öğretmenlerin yargısına karşı karşılaştırır; kurulla uyumu doğruluğun kendisi değil doğruluğun vekili olarak ele alır.

Dağıtım senaryoları ve her birinin gerektirdikleri

Bir kurumun ne kadar hizalama talep etmesi gerektiği, sistemin neye karar vermesine izin verildiğine bağlıdır. Karma yöntemler bir çalışmada, üç Birleşik Krallık üniversitesinde 761 özgün lisans kompozisyonunda, 27 istek metni yapılandırmasına sahip üç öncü model, derece bandında insan işaretleyicileriyle yalnızca %35–65 uyuma ulaştı ve doğruluk kurumlar arasında aktarılmadı — bu nedenle rapor, aday kullanımları tek bir karar yerine ayrı senaryolar olarak ele alır. İnsan işaretlemesinin kalite güvencesi, YZ’nin paralel notlandığı ve anlamlı farklılıkların insan incelemesini tetiklediği yer, en muhafazakâr olanıdır. Bir notlandırma asistanı, gönderimleri tahmini kaliteye veya belirsizliğe göre sıralamak veya kategorilere ayırmak, karmaşık vakaları önceliklendirmek veya kısa insan yorumlarını daha kapsamlı geri bildirime genişletmek, gerçek bir orta yoldur. Birincil işaretleyici olarak YZ, bir örnek veya not dağılımlarının insan incelemesiyle, yalnızca sistem performansı iyileşirse kabul edilebilir bulundu ve hiçbir paydaş grubu YZ’yi tek başına işaretleyici olarak onaylamadı.

Bunların herhangi biri için üç gereklilik izler. Hizalama modele ve kuruma özgü olduğundan, doğrulama yerel ve sürekli olmalıdır — başka yerden alınan manşet doğruluğu, hazır olduğunun kanıtı değildir. Notlar ortaya doğru sıkıştığından, YZ not sınırlarında ve en güçlü ile en zayıf gönderimlerde en az doğruydu; değerlendirme kararlarının en çok sonuç doğurduğu yer burasıdır. Ve bir YZ ile bir insan notu arasındaki anlaşmazlık, salt hatadan ziyade farklı yargıyı yansıttığından, tutarsızlıklar algoritmik geçersiz kılmak yerine insan yorumunu tetiklemelidir; not üzerinde nihai yetki insanlarda kalmalıdır. Benimseme ayrıca teknik ölçütlerin yakalamadığı YZ Yönetişimi yükümlülükleri taşır: otomatik kararların öğrencileri etkilediği yerlerde GDPR 22. Maddesi kapsamında açıklama hakkı; kazanım düzeyinin ve dil kullanımının notları etkilediği gösterildiğinde Equality Act yükümlülükleri; kolayca yakalanmayan hatalar için revize edilmiş itiraz süreçleri; ve geri döndürülemezlik riski — personel ve yatırım bir kez kaydığında, bir kurum, geri dönmek için ihtiyaç duyacağı insan işaretlemesini toplamaya devam etmekte zorlanabilir.

Üç modeli birleştirmek bu hatayı ortadan kaldırmamıştır: hataları ilişkili olduğundan — ödevlerin %63,4’ünde aynı yön — Corsi ve ark. (2026) topluluk modeli en iyi tek modelden istatistiksel olarak ayırt edilemez kalmış ve paylaşılan merkezî eğilim sıkışmasını yerinde bırakmıştır.

Venetsanos (2026), bu gerekliliklerin öngördüğü ölçütleri sağlar; otomasyonu savunulabilir kılanın teknolojinin teknik olarak gerçekleştirebildiği şeyden ziyade görevin epistemik durumu olduğunu savunur. Onun çerçevesi YZ’yi, olgusal ve prosedürel iddiaların sınırlı doğrulamasıyla sınırlar — dördü de belirsiz belgelenmiş ölçütler, kurulmuş bilgiye karşı doğrudan karşılaştırma, alternatif geçerli yaklaşımların değerlendirilmemesi ve tek bir doğru cevap veya önceden belirlenmiş kabul edilebilir küme eşzamanlı olarak sağlanmalıdır, belirsizlik varsayılan olarak bir insana yükseltilir — ve o düzeydeki YZ katılımını, aynı anda sağlanması gereken beş pazarlık dışı ilkeye koşullar: bilgi tabanı değerlendirici tarafından küratörlüğü yapılmış ve modül materyallerinde değil modelin parametrik bilgisinde geri getirmeye dayalı olmalıdır; insan değerlendiriciler öğrencilere ulaşmadan önce her YZ çıktısını inceler ve paylaşılmayan hesap verebilirlikle mutlak geçersiz kılma yetkisine sahip olmalıdır; geri bildirim açık köken ve atıf taşımalıdır; ve güvenlik, başarılı bir atlatma öğrenci kohortları arasında yayıldığından, beyaz veya küçük metinde, kodlamalarda, görsellerde veya belge üst verisinde gizlenmiş talimatlar için girdi temizliği de dahil, başından itibaren hasmane kullanıma karşı tasarlanmalıdır. Aynı makale, ilkelerinin eşzamanlı uygulanabilirlik açısından test edilmemiş olduğunu ve küratörlük, güvenlik altyapısı ile yüksek sıklıklı gözetim için değerlendirici zamanının personel çabasını azaltmak yerine kaydırabileceğini açıkça belirtir — yukarıdaki yerel doğrulama gerekliliğinin yanında oturan bir ihtiyat notu.

YZ aracılı notlandırmanın güvenliği

Sıradan bir notlandırma iş akışının kırmızı ekip değerlendirmesi, hasmane kullanım için planlamanın kapsaması gereken saldırı yüzeyini gösterir. Humble (2026), Microsoft Copilot (GPT-5.2)’nin altı temel çalıştırmada fail notladığı sentetik bir kompozisyonun içine beş dolaylı istek metni enjeksiyonu gömdü ve her birini docx, pdf ve htm dosyalarında yineleyerek çaprazladı. İki strateji görünür bir uyarı olmadan notu değiştirdi — dokuz yinelemenin dokuzunda talimat manipülasyonu ve rol yapma paragrafı (%100) ve bir görsel katmanın arkasına gizlenmiş aynı paragraf 18’de 17’de (%94) — oysa belgenin sonundaki küçük beyaz metinde bir paragraf dokuz yinelemenin tümünde başarısız oldu ve dosya üst veri enjeksiyonları hiçbir zaman işe yaramadı; yazar bunu, test edilen sürümde üst veri erişiminin devre dışı bırakılmasına atfeder. Güven problemi, istismarlardan daha uzun sürdü: bir pdf çalıştırması gömülü bir talimatı tespit ettikten ve yalnızca resmi ödeve göre notlayacağını belirttikten sonra, aynı dosyanın yeniden çalıştırılması notu uyarı olmadan altı kez daha yükseltti ve tespit edilen bir saldırıyla engellenen bir sohbet, kullanıcıya bildirilmek yerine sessizce devre dışı bırakıldı. Yazar, ortaya çıkan notların her iki yönde de hiçbir geçerlilik iddiası taşımadığını; bir saldırganın katmanlı Güvenlik Rayları karşısında yalnızca tek bir işe yarayan kombinasyona ihtiyaç duyduğunu; ve manipülasyon görünür olmamak üzere tasarlandığı sürece öğretmenin çıktı üzerindeki tek gerçek kontrol olduğunu savunur — bu doğrudan yukarıda Venetsanos’un ortaya koyduğu girdi temizliği ve hasmane güvenlik yükümlülüğüne bağlanır.

Bağlantılar

Otomatik değerlendirme Değerlendirme Geçerliliği (kalite güvencesi), Biçimlendirici Değerlendirme (kullanım bağlamı), Önyargı Azaltma ve Eşitlik (adillik), Öğretmenlik (otomasyonun eğitmen çalışmasını nasıl değiştirdiği) ve YZ Geri Bildirim Kalitesi (yararlı geri bildirim olmadan notlandırmanın eğitimsel değeri sınırlıdır) ile bağlantılıdır. Güven duyarlı değerlendirme, daha geniş bir Psikometrik Bilinçli YZ gündeminin içinde özgün bir mekanizmadır ve kalibre edilmiş güvenin bir katılımcısıdır.

  • El yazısı fizik alanında ölçekli YZ notlandırma (2026): Çok modlu bir model (GPT-5.5), ulusal bir Fizik Olimpiyatı kuram sınavında, seçim kampında ve üniversite kuantum mekaniği sınavında 10.364 taranmış sayfayı notladı; resmi notlarla 0,91–0,97 toplam puan korelasyonları elde ederek aynı ilk beş Olimpiyat takımını yeniden çıkardı. Sayfa sayfa revize edilmiş, kanıt konumlandırma talimatları uyumu iyileştirdi — dikkatli rubrik ve istek metni mühendisliğiyle çok modlu YZ’nin yüksek riskli toplam notlandırmayı destekleyebileceğine dair kanıt (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • El yazısı kimya alanında seçici otomasyon (2026): Cvengros & Kortemeyer, 296 öğrencinin el yazısıyla yazılmış genel kimya finalini rubrik görsellerine karşı sayfa sayfa, çok modlu, muhakeme yapan bir LLM ile notladı; toplam puanlarda yüksek çalıştırma çalıştırma güvenilirliği (ICC(A,1) = 0,967) ve asistan notlandırmasıyla güçlü toplam puan uyumu (R² = 0,91) elde etti. Madde düzeyinde güvenilirlik biçime göre keskin biçimde değiştiğinden — metinsel ve kimyasal reaksiyon cevapları güvenilir biçimde notlanırken çizim ve grafik rastgeleden daha kötü puanlandı — ham uyum, yüksek riskli kullanım için yetersiz bulundu. Güven süzgeçleri (kısmi kredi eşikleri, IRT tabanlı bir risk eşiği ve problem türü dışlaması) aracılığıyla insan devrini işlevselleştirirler; ham YZ puanlarını bir kabul/erteleme politikasına dönüştürür ve yanlış pozitiflerin (YZ’nin gerçekten yanlış cevaplara kredi vermesi) öğrenciler nadiren itiraz ettiğinden tespit edilmeden kalma eğiliminde olduğunu gösterirler — seçici otomasyona somut bir psikometrik temelli yol (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Bir üniversite sınavında yarı açık el yazısı matematik (2026): Liu vd., bir Alman lisans matematik sınavını GPT-4 ile iki çıkarım rotasında (önceden kesilmiş cevap kutuları ve tam sayfalar), iki optik karakter tanıma rotasında ve iki rubrik biçiminde notladı; insan notlarına karşı Krippendorff’un alfası 0,22–0,44 ve en iyi iş akışlarında 0,59–0,62 doğruluk, problem başına doğruluk 0,27–0,91 arasında bildirdi — yüksek riskli toplam kullanım için kabul edilemez. Çok ölçütlü notlandırma kurallarının maddelenmesi genel olarak uyumu iyileştirmedi (kısmi kredi problemine yardımcı oldu), rubrik olmadan serbest notlandırma çok daha kötüydü (doğruluk 0,50–0,51) ve insan yeniden kontrolü için notları işaretlemek üzere tasarlanmış olasılıksal bir güven süzgeci, doğruluğu anlamlı biçimde iyileştirmezken yanıtların %7–41’ini yanlış biçimde güvenilir olarak işaretledi. Çalışmanın aktarılabilir dersi prosedüreldir: öğrenciler kutu sınırlarının üzerine yazdığından, sınav kâğıdının tamamını işaretçilerle tarayın ve dökümleyin; bir insan için yazılmış bir kuraldan istenmeyen türetmeler yapmaya kalktığından, öğretim asistanları için yazılmış notlandırma kurallarını yeniden yazın; ve insan notlandırma kurallarının kendilerinin beş varyant arasında 0,88 alfa ile parafrazlandığına dikkat edin, böylece istek metni dayanıklılığı darboğaz değildir.

  • Yazma taraması için LLM karşılaştırmalı yargısı (2026): Mercer & Reed, 3–6. sınıflardaki 1.208 öğrencinin bilgilendirici yazısını üç tarama etkinliği boyunca puanlamak için yedi LLM’yi ikili karşılaştırmalı yargıç olarak kullandı. LLM-CJ puanları analitik rubrik puanlarıyla güçlü biçimde ilişkiliydi (r = 0,67–0,73, Gemini-3.1 Pro için en güçlü), yeterlilik için AUC 0,82–0,86; bulgular modeller boyunca kararlıydı, daha maliyetli ve daha yetenekli olanlardan az geçerlilik kazancı vardı, üç yazma örneğinin ortalaması alınması ise doğruluğu iyileştirdi — örnekleme genişliği model seçiminden daha önemliydi. Çok dilli öğrenenlere ilişkin öngörücü yanlılık kalıpları insan rubrik puanlamasıyla eşleşti; LLM-CJ’yi verimli, düşük maliyetli bir tarama yaklaşımı olarak destekler (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Eğitmen notlandırmasıyla kaliteye bağımlı hizalama (2026): ChatGPT’yi, akranları ve aynı lisans grup projelerini notlayan bir eğitmeni karşılaştıran Usher & Faraon, ChatGPT’nin eğitmenle hizalamasının proje kalitesi arttıkça iyileştiğini buldu — en büyük aşırı tahmini düşük kaliteli çalışma içindi (≈ +14 puan), yüksek kaliteli projeler için ≈ +2,5 puana indi. ChatGPT ayrıca hem akranlardan hem eğitmenden ortalama daha yüksek notladı; not şişkinliği eğilimi, özellikle zayıf gönderimlerde, bağımsız bir toplam değerlendirici olarak güvenilirliğini zayıflatır.

  • Küçük korpus uyum istatistikleri, dağıtım kararlarını yanıltabilir. 60 pazarlama gönderisini (15 öğrenci artı 15 araştırmacı kaleme alınmış düşük kaliteli çapa) iki bağımsız insan değerlendiriciye karşı puanlamak, LLM için 0,435, eşit ağırlıklı kural-artı-LLM melezi için 0,266 ve belirleyici kurallar için 0,091 mutlak uyum ICC(2,1) verdi; sırasıyla 0-100 ölçeğinde 6,28, 10,53 ve 17,22 puanlık MAE ile; melez, yalnızca LLM’den anlamlı biçimde daha kötüydü (eşleşmiş ICC farkı −0,169, %95 GA [−0,260, −0,106]). Çapalar eklenmesi, değerlendiriciler arası ICC’yi 0,338’den 0,902’ye ve LLM uyumunu 0,435’ten 0,846’ya yükseltti ve neredeyse boş bir gönderiye, 30,5 olan insan ortalamasına karşı 75 verildi; bu da tek bir dejener yanıtın küçük bir değerlendirmeyi domine edebileceğini gösterir. (Agreement and error in automated scoring of student marketing posts)

  • Yapılandırılmış LLM notlandırması, teşhis olmadan analitik görünebilir (2026): 50 bilgisayar bilimi sorusuna verilen 3.041 yanıtı puanlayan üç ticari LLM, neredeyse gereksiz rubrik alt boyutları üretti (r = 0,82–0,99, VIF 45’e kadar) ve yorumların yalnızca %4,8–7,4’ünde yanlış kanı adlandırdı, eğitmenlerde %15,0’a karşı (Zhao vd., 2026).

Bağlı kavramlar

Bağlı makaleler

Bağlı SSS

Üst veri

Hedef kitleInstructors
Teknolojiler ve tekniklerBüyük Dil Modelleri (LLM)
Değerlendirme ve ölçmeDeğerlendirme, Değerlendirme Geçerliliği, Otomatik Değerlendirme, Otomatik Kompozisyon Puanlama, Biçimlendirici Değerlendirme
Eşitlik, etik ve sorumlu kullanımÖnyargı Azaltma
Eğitimde YZ’nin temelleriÖğretmenlik
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.