In questa pagina

Leggi questa pagina in inglese

Traduzione automatica della pagina in inglese, non ancora rivista da una persona di madrelingua.

RAID è il benchmark dietro la maggior parte delle affermazioni serie sul rilevamento del testo IA, e la sua classifica è il posto dove verificare se l'accuratezza pubblicata di un rilevatore sopravvive a un cambio di modello, dominio, impostazione di decodifica o attacco deliberato. Le voci sono valutate sul test set e possono essere inviate da chiunque segua la procedura di invio del repository.

Cosa puoi farci

Filtra per dominio — abstract, libri, notizie, poesia, ricette, Reddit, recensioni, wiki — per strategia di decodifica (greedy o sampling), per penalità di ripetizione e per attacco avversario, inclusi spazi bianchi, omoglifi, sostituzione di sinonimi, parafrasi, spazi a larghezza zero ed eliminazione di articoli. Poi confronta un rilevatore tra le metriche: AUROC, TPR a un tasso di falsi positivi del 5% e TPR all'1%.

Quell'insieme di filtri è il punto. Un rilevatore che segna vicino a 1.000 in aggregato può crollare una volta che il testo è stato parafrasato o il modello sorgente cambia, e la classifica ti permette di vedere il crollo prima che un'istituzione vi punti sopra un caso di illecito. La colonna dei falsi positivi all'1% conta di più nell'istruzione, perché su scala istituzionale un tasso di errore dell'1% significa centinaia di studenti accusati ingiustamente.

A chi è rivolto

Ricercatori che valutano metodi di rilevamento, amministratori che scrivono politiche che potrebbero fare riferimento a un rilevatore e docenti che vogliono una risposta concreta a «si può rilevare?» prima di dirlo in un syllabus.

Note e avvertenze

Il benchmark misura il rilevamento di testo generato da macchine, non gli illeciti: uno studente che usa l'IA per pianificare, strutturare o revisionare produce testo che i rilevatori non sono stati costruiti per catturare, e uno studente che scrive in una seconda lingua è un noto rischio di falso positivo che una classifica non può mostrare. RAID è un artefatto di ricerca mantenuto da un team accademico; la copertura segue i modelli generatori nel suo test set, quindi i modelli più recenti possono essere sottorappresentati finché il benchmark non viene aggiornato. La classifica ordina i rilevatori, non le pratiche di gestione dei dati dei loro fornitori, e un AUROC alto non dice nulla sul fatto che inviare il lavoro degli studenti a quel servizio sia lecito o etico nella tua giurisdizione.

Concetti collegati

Incorpora questa pagina

Copia il codice qui sotto per incorporare questa pagina in un sistema di gestione dell’apprendimento o in un altro sito. La versione incorporata mostra solo il contenuto della pagina — nasconde header, navigazione e footer del sito.