Na ovoj stranici

Pročitajte ovu stranicu na engleskom

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

RAID je benchmark iza većine ozbiljnih tvrdnji o otkrivanju AI teksta, a njegova je ljestvica mjesto gdje možete provjeriti preživljava li objavljena točnost detektora promjenu modela, domene, postavke dekodiranja ili namjernog napada. Unosi se boduju na testnom skupu i može ih podnijeti svatko tko slijedi postupak podnošenja u repozitoriju.

Što možete raditi s tim

Filtrirajte po domeni — sažetci, knjige, vijesti, poezija, recepti, Reddit, recenzije, wiki — po strategiji dekodiranja (pohlepno ili uzorkovanje), po kazni za ponavljanje i po adversarijalnom napadu, uključujući bjeline, homoglife, zamjenu sinonimima, parafraziranje, razmake nulte širine i brisanje članova. Zatim usporedite detektor kroz metrike: AUROC, TPR pri stopi lažno pozitivnih od 5% i TPR pri 1%.

Upravo je taj skup filtara poanta. Detektor koji na zbirnoj razini postiže rezultat blizu 1.000 može posustati čim se tekst parafrazira ili promijeni izvorni model, a ljestvica vam omogućuje da vidite pad prije nego što institucija na njemu utemelji slučaj akademskog nepoštenja. Stupac lažno pozitivnih od 1% najvažniji je u obrazovanju, jer na institucionalnoj razini stopa pogreške od 1% znači stotine nepravedno optuženih studenata.

Za koga je

Istraživači koji evaluiraju metode otkrivanja, administratori koji pišu politike koje bi mogle upućivati na detektor, i nastavnici koji žele konkretan odgovor na „može li se ovo otkriti?" prije nego što to kažu u silabu.

Napomene i upozorenja

Benchmark mjeri otkrivanje strojno generiranog teksta, a ne nepoštenje: student koji koristi AI za planiranje, izradu nacrta ili reviziju proizvodi tekst koji detektori nisu izgrađeni da uhvate, a student koji piše na drugom jeziku poznat je rizik lažno pozitivnih koji ljestvica ne može pokazati. RAID je istraživački artefakt koji održava akademski tim; pokrivenost prati generativne modele u njegovu testnom skupu, pa noviji modeli mogu biti nedovoljno zastupljeni dok se benchmark ne osvježi. Ljestvica rangira detektore, a ne prakse rukovanja podacima njihovih dobavljača, a visok AUROC ne govori ništa o tome je li slanje studentskih radova toj usluzi zakonito ili etično u vašoj jurisdikciji.

Povezani pojmovi

Ugradi ovu stranicu

Kopirajte kôd u nastavku kako biste ugradili ovu stranicu u sustav za upravljanje učenjem ili drugu web stranicu. Ugrađena verzija prikazuje samo sadržaj stranice — skriva zaglavlje stranice, navigaciju i podnožje.