Ресурсы
RAID Benchmark leaderboard
Автоматический перевод данной английской страницы, не проверенный носителем языка.
RAID — бенчмарк, стоящий за большинством серьёзных заявлений о детектировании ИИ-текста, и его лидерборд — место, где можно проверить, переживает ли опубликованная точность детектора смену модели, домена, настройки декодирования или преднамеренную атаку. Записи оцениваются на тестовом наборе, и подать их может любой, кто следует процедуре подачи в репозитории.
Что с ним можно делать
Фильтруйте по домену — аннотации, книги, новости, поэзия, рецепты, Reddit, отзывы, вики — по стратегии декодирования (greedy или сэмплирование), по штрафу за повторения и по состязательной атаке, включая пробелы, гомоглифы, замену синонимами, парафраз, символы нулевой ширины и удаление артиклей. Затем сравните детектор по метрикам: AUROC, TPR при уровне ложноположительных срабатываний 5% и TPR при 1%.
Этот набор фильтров и есть суть. Детектор, показывающий почти 1.000 в совокупности, может просесть, как только текст парафразирован или меняется исходная модель, и лидерборд позволяет увидеть это падение до того, как учебное заведение поставит на него дело о нарушении. Колонка 1% ложноположительных срабатываний важнее всего в образовании, потому что в масштабах учреждения уровень ошибок 1% означает сотни несправедливо обвинённых студентов.
Для кого это
Исследователи, оценивающие методы детектирования, администраторы, пишущие политики, которые могут ссылаться на детектор, и преподаватели, которым нужен конкретный ответ на вопрос «можно ли это обнаружить?» прежде чем заявлять об этом в силлабусе.
Примечания и оговорки
Бенчмарк измеряет обнаружение машинно-сгенерированного текста, а не нарушения: студент, использующий ИИ для планирования, наброска плана или правки, создаёт текст, который детекторы не были построены ловить, а студент, пишущий на втором языке, — известный риск ложноположительных срабатываний, который лидерборд показать не может. RAID — исследовательский артефакт, поддерживаемый академической командой; покрытие следует за генеративными моделями в его тестовом наборе, поэтому более новые модели могут быть недопредставлены, пока бенчмарк не обновят. Лидерборд ранжирует детекторы, а не практики обращения с данными их поставщиков, и высокий AUROC ничего не говорит о том, законна ли и этична ли отправка студенческих работ в этот сервис в вашей юрисдикции.