Kaynaklar
RAID Benchmark leaderboard
Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.
RAID, AI metni tespiti hakkındaki çoğu ciddi iddianın arkasındaki benchmark'tır ve liderlik tablosu, bir dedektörün yayımlanmış doğruluğunun model, alan, kod çözme ayarı veya kasıtlı saldırı değişikliğinden sağ çıkıp çıkmadığını kontrol edilecek yerdir. Girdiler test kümesi üzerinde puanlanır ve deponun gönderim sürecini izleyen herkes tarafından gönderilebilir.
Bu kaynakla neler yapılabilir
Alana göre filtreleyin — özetler, kitaplar, haberler, şiir, tarifler, Reddit, incelemeler, wiki — kod çözme stratejisine göre (greedy veya örnekleme), tekrar cezasına göre ve çekişmeli saldırıya göre; buna boşluk, homoglyph, eş anlamlı değiştirme, yeniden ifade, sıfır genişlikli boşluklar ve artikel silme dahildir. Ardından bir dedektörü metrikler arasında karşılaştırın: AUROC, %5 yanlış pozitif oranında TPR ve %1'de TPR.
Asıl mesele bu filtre kümesidir. Toplamda 1.000'e yakın puan alan bir dedektör, metin yeniden ifade edildiğinde veya kaynak model değiştiğinde düşebilir ve liderlik tablosu, bir kurum suistimal davasını buna dayandırmadan önce düşüşü görmenizi sağlar. %1 yanlış pozitif sütunu eğitimde en çok önem taşıyandır, çünkü kurumsal ölçekte %1'lik bir hata oranı, haksız yere suçlanan yüzlerce öğrenci demektir.
Kimler için
Tespit yöntemlerini değerlendiren araştırmacılar, bir dedektöre atıfta bulunabilecek politika yazan yöneticiler ve bir müfredatta öyle demeden önce "bu tespit edilebilir mi?" sorusuna somut bir yanıt isteyen öğretim elemanları.
Notlar ve uyarılar
Benchmark, makine tarafından üretilen metnin tespitini ölçer, suistimali değil: planlamak, taslak çıkarmak veya gözden geçirmek için AI kullanan bir öğrenci, dedektörlerin yakalamak için inşa edilmediği metin üretir ve ikinci bir dilde yazan bir öğrenci, bir liderlik tablosunun gösteremeyeceği bilinen bir yanlış pozitif riskidir. RAID, akademik bir ekip tarafından sürdürülen bir araştırma eseridir; kapsam, test kümesindeki üretici modelleri izler, dolayısıyla benchmark yenilenene kadar yeni modeller yeterince temsil edilmeyebilir. Liderlik tablosu dedektörleri sıralar, satıcılarının veri işleme uygulamalarını değil; yüksek bir AUROC, öğrenci çalışmalarını o hizmete göndermenin sizin yargı bölgenizde yasal veya etik olup olmadığı hakkında hiçbir şey söylemez.