Na tej stronie

Przeczytaj tę stronę po angielsku

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

RAID to benchmark stojący za większością poważnych twierdzeń o wykrywaniu tekstu AI, a jego ranking to miejsce, w którym można sprawdzić, czy opublikowana dokładność detektora przetrwa zmianę modelu, domeny, ustawienia dekodowania lub celowy atak. Zgłoszenia są oceniane na zbiorze testowym i może je składać każdy, kto postępuje zgodnie z procedurą zgłoszeń repozytorium.

Co można z nim zrobić

Filtruj według domeny — abstrakty, książki, wiadomości, poezja, przepisy, Reddit, recenzje, wiki — według strategii dekodowania (greedy lub sampling), według kary za powtórzenia oraz według ataku adwersarialnego, w tym białych znaków, homoglify, podstawiania synonimów, parafrazy, spacji o zerowej szerokości i usuwania przedimków. Następnie porównaj detektor między metrykami: AUROC, TPR przy 5% odsetku fałszywie pozytywnych wyników oraz TPR przy 1%.

Ten zestaw filtrów jest sednem. Detektor, który osiąga blisko 1.000 w ujęciu łącznym, może przepaść, gdy tekst zostanie sparafrazowany lub zmieni się model źródłowy, a ranking pozwala zobaczyć ten spadek, zanim instytucja oprze na nim sprawę o nieuczciwość akademicką. Kolumna 1% fałszywie pozytywnych wyników ma największe znaczenie w edukacji, ponieważ na skalę instytucji 1% błędów oznacza setki niesłusznie oskarżonych studentów.

Dla kogo

Badacze oceniający metody wykrywania, administratorzy piszący polityki, które mogą odwoływać się do detektora, oraz wykładowcy, którzy chcą konkretnej odpowiedzi na pytanie „czy to da się wykryć?", zanim powiedzą o tym w sylabusie.

Uwagi i zastrzeżenia

Benchmark mierzy wykrywanie tekstu wygenerowanego maszynowo, a nie nieuczciwość: student, który używa AI do planowania, tworzenia konspektu lub poprawiania tekstu, wytwarza tekst, którego detektory nie zostały zbudowane, by wyłapywać, a student piszący w drugim języku jest znanym ryzykiem fałszywie pozytywnego wyniku, którego ranking nie potrafi pokazać. RAID to artefakt badawczy utrzymywany przez zespół akademicki; pokrycie nadąża za modelami generatorów w jego zbiorze testowym, więc nowsze modele mogą być niedoreprezentowane, dopóki benchmark nie zostanie odświeżony. Ranking szereguje detektory, a nie praktyki przetwarzania danych ich dostawców, a wysokie AUROC nic nie mówi o tym, czy przesyłanie prac studenckich do tej usługi jest legalne lub etyczne w twojej jurysdykcji.

Powiązane pojęcia

Osadź tę stronę

Skopiuj poniższy kod, aby osadzić tę stronę w systemie zarządzania nauczaniem lub na innej witrynie. Wersja osadzona pokazuje tylko treść strony — ukrywa nagłówek witryny, nawigację i stopkę.