На этой странице

Читать эту страницу на английском

Автоматический перевод данной английской страницы, не проверенный носителем языка.

RAID — бенчмарк, стоящий за большинством серьёзных заявлений о детектировании ИИ-текста, и его лидерборд — место, где можно проверить, переживает ли опубликованная точность детектора смену модели, домена, настройки декодирования или преднамеренную атаку. Записи оцениваются на тестовом наборе, и подать их может любой, кто следует процедуре подачи в репозитории.

Что с ним можно делать

Фильтруйте по домену — аннотации, книги, новости, поэзия, рецепты, Reddit, отзывы, вики — по стратегии декодирования (greedy или сэмплирование), по штрафу за повторения и по состязательной атаке, включая пробелы, гомоглифы, замену синонимами, парафраз, символы нулевой ширины и удаление артиклей. Затем сравните детектор по метрикам: AUROC, TPR при уровне ложноположительных срабатываний 5% и TPR при 1%.

Этот набор фильтров и есть суть. Детектор, показывающий почти 1.000 в совокупности, может просесть, как только текст парафразирован или меняется исходная модель, и лидерборд позволяет увидеть это падение до того, как учебное заведение поставит на него дело о нарушении. Колонка 1% ложноположительных срабатываний важнее всего в образовании, потому что в масштабах учреждения уровень ошибок 1% означает сотни несправедливо обвинённых студентов.

Для кого это

Исследователи, оценивающие методы детектирования, администраторы, пишущие политики, которые могут ссылаться на детектор, и преподаватели, которым нужен конкретный ответ на вопрос «можно ли это обнаружить?» прежде чем заявлять об этом в силлабусе.

Примечания и оговорки

Бенчмарк измеряет обнаружение машинно-сгенерированного текста, а не нарушения: студент, использующий ИИ для планирования, наброска плана или правки, создаёт текст, который детекторы не были построены ловить, а студент, пишущий на втором языке, — известный риск ложноположительных срабатываний, который лидерборд показать не может. RAID — исследовательский артефакт, поддерживаемый академической командой; покрытие следует за генеративными моделями в его тестовом наборе, поэтому более новые модели могут быть недопредставлены, пока бенчмарк не обновят. Лидерборд ранжирует детекторы, а не практики обращения с данными их поставщиков, и высокий AUROC ничего не говорит о том, законна ли и этична ли отправка студенческих работ в этот сервис в вашей юрисдикции.

Связанные концепции

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.