Ресурси
RAID Benchmark leaderboard
Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.
RAID — це бенчмарк, що стоїть за більшістю серйозних заяв про виявлення тексту ШІ, і його рейтинг — місце, де можна перевірити, чи виживає опублікована точність детектора після зміни моделі, домену, налаштування декодування чи навмисної атаки. Записи оцінюються на тестовому наборі, і їх може подати будь-хто, хто дотримується процесу подання репозиторію.
Що можна з ним робити
Фільтруйте за доменом — анотації, книги, новини, поезія, рецепти, Reddit, рецензії, вікі — за стратегією декодування (жадібною або вибірковою), за штрафом за повторення та за адверсаріальною атакою, включно з пробілами, гомогліфами, заміною синонімів, перефразуванням, пробілами нульової ширини та видаленням артиклів. Потім порівняйте детектор за метриками: AUROC, TPR при 5% рівня хибнопозитивних і TPR при 1%.
Цей набір фільтрів і є головною метою. Детектор, що показує близько 1.000 у сукупності, може різко впасти, щойно текст перефразовано або змінено вихідну модель, і рейтинг дозволяє побачити це падіння до того, як заклад поставить на нього справу про порушення. Стовпець 1% хибнопозитивних найбільше важить в освіті, бо в масштабах закладу 1% помилок означає сотні несправедливо звинувачених студентів.
Для кого це
Дослідники, які оцінюють методи виявлення, адміністратори, які пишуть політику, що може посилатися на детектор, і викладачі, які хочуть конкретної відповіді на «чи можна це виявити?» перш ніж сказати це в силабусі.
Примітки та застереження
Бенчмарк вимірює виявлення машинно-згенерованого тексту, а не порушення: студент, який використовує ШІ для планування, складання плану чи редагування, створює текст, який детектори не були побудовані ловити, а студент, який пише другою мовою, — відомий ризик хибнопозитивних, який рейтинг не може показати. RAID — дослідницький артефакт, який підтримує академічна команда; покриття відстежує генеративні моделі в його тестовому наборі, тож новіші моделі можуть бути недостатньо представлені, доки бенчмарк не оновлено. Рейтинг ранжує детектори, а не практики поводження з даними їхніх постачальників, і високий AUROC нічого не говорить про те, чи є подання студентських робіт до цього сервісу законним або етичним у вашій юрисдикції.