På denne siden

Les denne siden på engelsk

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

RAID er benchmarken bak de fleste seriøse påstandene om AI-tekstdeteksjon, og leaderboardet er stedet å sjekke om den publiserte nøyaktigheten til en detektor overlever en endring av modell, domene, dekodingsinnstilling eller bevisst angrep. Oppføringer scores på testsettet og kan sendes inn av alle som følger innsendingsprosessen til repositoryet.

Hva du kan gjøre med den

Filtrer etter domene — abstracts, bøker, nyheter, poesi, oppskrifter, Reddit, anmeldelser, wiki — etter dekodingsstrategi (greedy eller sampling), etter repetisjonsstraff og etter adversarielt angrep, inkludert mellomrom, homoglyfer, synonymutskifting, parafrasering, zero-width-mellomrom og sletting av artikler. Sammenlign deretter en detektor på tvers av måltall: AUROC, TPR ved en falsk-positiv-rate på 5%, og TPR ved 1%.

Det filtersettet er poenget. En detektor som scorer nær 1.000 samlet, kan falle fra hverandre når teksten er parafrasert eller kildemodellen endres, og leaderboardet lar deg se fallet før en institusjon bygger en regelbruddsak på det. Kolonnen med 1% falske positiver betyr mest i utdanning, fordi en feilrate på 1% på institusjonsskala betyr hundrevis av studenter som feilaktig anklages.

Hvem den er for

Forskere som evaluerer deteksjonsmetoder, administratorer som skriver retningslinjer som kan vise til en detektor, og undervisere som vil ha et konkret svar på «kan dette oppdages?» før de sier det i en emneplan.

Merknader og forbehold

Benchmarken måler deteksjon av maskingenerert tekst, ikke regelbrudd: en student som bruker AI til å planlegge, lage en disposisjon eller revidere, produserer tekst detektorene ikke er bygget for å fange opp, og en student som skriver på et andrespråk er en kjent falsk-positiv-risiko som et leaderboard ikke kan vise. RAID er et forskningsartefakt som vedlikeholdes av et akademisk team; dekningen følger generatormodellene i testsettet, så nyere modeller kan være underrepresentert til benchmarken oppdateres. Leaderboardet rangerer detektorer, ikke leverandørenes praksis for datahåndtering, og en høy AUROC sier ingenting om hvorvidt det er lovlig eller etisk å sende studentarbeid til den tjenesten i din jurisdiksjon.

Tilknyttede begreper

Bygg inn denne siden

Kopier koden nedenfor for å bygge inn denne siden i et læringsstøttesystem eller et annet nettsted. Den innbygde versjonen viser bare sideinnholdet — den skjuler nettstedets topptekst, navigasjon og bunntekst.