Recursos
RAID Benchmark leaderboard
Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.
O RAID é o benchmark por trás da maioria das alegações sérias sobre detecção de texto de IA, e seu leaderboard é o lugar para verificar se a precisão publicada de um detector sobrevive a uma mudança de modelo, domínio, configuração de decodificação ou ataque deliberado. As entradas são pontuadas no conjunto de teste e podem ser enviadas por qualquer pessoa que siga o processo de submissão do repositório.
O que você pode fazer com ele
Filtre por domínio — resumos, livros, notícias, poesia, receitas, Reddit, resenhas, wiki — por estratégia de decodificação (greedy ou sampling), por penalidade de repetição e por ataque adversarial, incluindo espaços em branco, homóglifos, substituição de sinônimos, paráfrase, espaços de largura zero e exclusão de artigos. Depois compare um detector entre métricas: AUROC, TPR a uma taxa de falsos positivos de 5% e TPR a 1%.
Esse conjunto de filtros é o ponto central. Um detector que pontua perto de 1.000 no agregado pode despencar quando o texto foi parafraseado ou o modelo de origem muda, e o leaderboard permite ver a queda antes que uma instituição aposte um caso de má conduta nele. A coluna de falsos positivos de 1% importa mais na educação, porque em escala institucional uma taxa de erro de 1% significa centenas de estudantes acusados injustamente.
Para quem é
Pesquisadores que avaliam métodos de detecção, administradores que redigem políticas que podem referenciar um detector, e professores que querem uma resposta concreta para "isso pode ser detectado?" antes de dizê-lo em um plano de ensino.
Observações e ressalvas
O benchmark mede a detecção de texto gerado por máquina, não má conduta: um estudante que usa IA para planejar, esboçar ou revisar produz um texto que os detectores não foram construídos para capturar, e um estudante escrevendo em uma segunda língua é um risco conhecido de falso positivo que um leaderboard não consegue mostrar. O RAID é um artefato de pesquisa mantido por uma equipe acadêmica; a cobertura acompanha os modelos geradores em seu conjunto de teste, então modelos mais novos podem estar sub-representados até que o benchmark seja atualizado. O leaderboard classifica detectores, não as práticas de tratamento de dados de seus fornecedores, e um AUROC alto não diz nada sobre se enviar trabalhos de estudantes a esse serviço é legal ou ético em sua jurisdição.