Bu sayfada

Bu sayfayı İngilizce okuyun

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

GradeBench, otomatik değerlendirme hakkında dar ama yararlı bir soru sorar: bir öğrencinin el yazısı yanıtı, öğretim elemanının rubriği, bir referans çözüm ve öğretim elemanının fiilen seçtiği rubrik maddeleri verildiğinde, öncü bir model aynı maddeleri seçer mi? Altın etiketler, sınavlardan ve kısa sınavlardan gerçek öğretim elemanı ve asistan (TA) rubrik seçimleridir; yeniden puanlanmış model çıktıları değildir.

Bu kaynakla neler yapılabilir

Herhangi bir puanlama satıcısının doğruluk iddiasına güvenmeden önce liderlik tablosunu okuyun ve liderlik tablosuna güvenmeden önce görev yapısını okuyun. Karşılaştırma testi (Benchmark), ondan fazla kurumda 45 üniversite dersine yayılmış 125 sorudan alınan 464 görevi içerir; bir profesörün veya asistanın satır satır incelediği serbest yanıtlı sınav ve kısa sınav maddeleriyle sınırlıdır ve kısmi puana ağırlık verir — tam puan ve sıfır puan görevlerinin her biri %5 ile sınırlandırılmıştır, çünkü modeller bunları kolay bulur.

Mevcut liderlik tablosu, insan uyumunun çok altında bir üst sınıra ulaşır: en iyi model %57.3 tam rubrik eşleşmesine ulaşır ve site, doğruluğu 1,000 yanıt başına maliyete karşı çizer; burada 0.8 puan geride olan bir model yaklaşık yedide biri kadar maliyetlidir. Bu maliyet ekseni, pratikte yararlı olan kısımdır, çünkü puanlama bir hacim işidir.

Bağımsız olarak geliştirilmiş ikinci bir araç için, Learning Design Alliance'ın AI Grading Benchmark çalışmasına bakın; bu, barındırılan bir liderlik tablosu yerine açık bir depo olarak paketlenmiştir ve Porcaro'nun çalışması içinde özetlenmiştir.

Kimler için

Bir puanlama aracının notları gözden geçirilmeden yayımlamasına izin verip vermeyeceğine karar veren öğretim elemanları, satın alma gereksinimleri yazan değerlendirme uzmanları ve bir kompozisyon puanlama korelasyonu yerine rubrik düzeyinde bir hedefe ihtiyaç duyan araştırmacılar.

Notlar ve uyarılar

GradeBench, ticari bir AI puanlama platformu olan Pensive tarafından yayımlanır; dolayısıyla benchmark ile ürün aynı sahibe aittir. Görev yapısı belgelenmiştir ve savunulabilir, ancak çerçevelemeyi satıcınınki olarak kabul edin. En az dört maddeli rubriklere sahip STEM sınavlarını kapsar; bu da kompozisyonları, kısa yanıtları ve tartışma gönderilerini dışarıda bırakır — beşeri bilimler puanlamasının çoğunun gerçekleştiği biçimleri. Tam rubrik eşleşmesi katı bir metriktir: iki puanlayıcı bir maddede anlaşmazlığa düşebilir ve öğrenci hakkında ikisi de haklı olabilir. Puanlar, Kasım 2026'da mevcut olan model sürümlerini tanımlar ve değişecektir.

Bağlı kavramlar

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.