Ресурси
RAID Benchmark leaderboard
Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.
RAID е бенчмаркът зад повечето сериозни твърдения за разпознаването на AI текст, а класацията му е мястото, където да проверите дали публикуваната точност на даден детектор оцелява при смяна на модела, домейна, настройката на декодиране или умишлена атака. Записите се оценяват върху тестовия набор и могат да бъдат подавани от всеки, който следва процеса за подаване в хранилището.
Какво можете да правите с нея
Филтрирайте по домейн — резюмета, книги, новини, поезия, рецепти, Reddit, рецензии, уики — по стратегия на декодиране (алчна или извадкова), по наказание за повторение и по противникова атака, включително интервали, хомоглифи, замяна със синоними, парафраза, интервали с нулева ширина и изтриване на членове. След това сравнете детектор по показатели: AUROC, TPR при 5% честота на фалшиво положителни и TPR при 1%.
Този набор от филтри е същността. Детектор, който отбелязва близо 1.000 в обобщен план, може да се срине, щом текстът бъде парафразиран или изходният модел се смени, и класацията ви позволява да видите срива, преди институция да заложи дело за нарушение върху него. Колоната с 1% фалшиво положителни е най-важна в образованието, защото в институционален мащаб 1% честота на грешките означава стотици несправедливо обвинени студенти.
За кого е предназначен
Изследователи, които оценяват методи за разпознаване, администратори, които пишат политика, която може да се позовава на детектор, и преподаватели, които искат конкретен отговор на „може ли това да бъде разпознато?“, преди да го кажат в учебна програма.
Бележки и уговорки
Бенчмаркът измерва разпознаване на машинно генериран текст, а не нарушение: студент, който използва AI за планиране, очертаване на структура или редактиране, произвежда текст, който детекторите не са изградени да хващат, а студент, който пише на втори език, е известен риск от фалшиво положителни, който класацията не може да покаже. RAID е изследователски артефакт, поддържан от академичен екип; покритието следи генериращите модели в тестовия му набор, така че по-новите модели може да са недопредставени, докато бенчмаркът бъде обновен. Класацията подрежда детекторите, а не практиките на техните доставчици за работа с данни, и висок AUROC не казва нищо за това дали подаването на студентски работи към тази услуга е законно или етично във вашата юрисдикция.