Nesta página

Esta página foi traduzida para o português. As páginas de artigo continuam escritas em inglês. Ler esta página em inglês

Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.

O RAID é o benchmark por trás da maioria das alegações sérias sobre detecção de texto de IA, e seu leaderboard é o lugar para verificar se a precisão publicada de um detector sobrevive a uma mudança de modelo, domínio, configuração de decodificação ou ataque deliberado. As entradas são pontuadas no conjunto de teste e podem ser enviadas por qualquer pessoa que siga o processo de submissão do repositório.

O que você pode fazer com ele

Filtre por domínio — resumos, livros, notícias, poesia, receitas, Reddit, resenhas, wiki — por estratégia de decodificação (greedy ou sampling), por penalidade de repetição e por ataque adversarial, incluindo espaços em branco, homóglifos, substituição de sinônimos, paráfrase, espaços de largura zero e exclusão de artigos. Depois compare um detector entre métricas: AUROC, TPR a uma taxa de falsos positivos de 5% e TPR a 1%.

Esse conjunto de filtros é o ponto central. Um detector que pontua perto de 1.000 no agregado pode despencar quando o texto foi parafraseado ou o modelo de origem muda, e o leaderboard permite ver a queda antes que uma instituição aposte um caso de má conduta nele. A coluna de falsos positivos de 1% importa mais na educação, porque em escala institucional uma taxa de erro de 1% significa centenas de estudantes acusados injustamente.

Para quem é

Pesquisadores que avaliam métodos de detecção, administradores que redigem políticas que podem referenciar um detector, e professores que querem uma resposta concreta para "isso pode ser detectado?" antes de dizê-lo em um plano de ensino.

Observações e ressalvas

O benchmark mede a detecção de texto gerado por máquina, não má conduta: um estudante que usa IA para planejar, esboçar ou revisar produz um texto que os detectores não foram construídos para capturar, e um estudante escrevendo em uma segunda língua é um risco conhecido de falso positivo que um leaderboard não consegue mostrar. O RAID é um artefato de pesquisa mantido por uma equipe acadêmica; a cobertura acompanha os modelos geradores em seu conjunto de teste, então modelos mais novos podem estar sub-representados até que o benchmark seja atualizado. O leaderboard classifica detectores, não as práticas de tratamento de dados de seus fornecedores, e um AUROC alto não diz nada sobre se enviar trabalhos de estudantes a esse serviço é legal ou ético em sua jurisdição.

Conceitos conectados

Incorporar esta página

Copie o código abaixo para incorporar esta página num sistema de gestão da aprendizagem ou noutro site. A versão incorporada mostra apenas o conteúdo da página — o cabeçalho, a navegação e o rodapé do site ficam escondidos.