Ezen az oldalon

Olvassa el ezt az oldalt angolul

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

A RAID az MI-szövegek detektálásáról szóló legtöbb komoly állítás mögött álló benchmark, ranglistája pedig az a hely, ahol ellenőrizhető, hogy egy detektor közzétett pontossága túléli-e a modell, a domain, a dekódolási beállítás vagy a szándékos támadás megváltozását. A bejegyzéseket a teszthalmazon pontozzák, és bárki beküldheti őket, aki követi a repó beküldési folyamatát.

Mire használható

Szűrjön domain szerint — absztraktok, könyvek, hírek, költészet, receptek, Reddit, recenziók, wiki —, dekódolási stratégia szerint (mohó vagy mintavételezés), ismétlési büntetés szerint és adverzariális támadás szerint, beleértve az üres karaktereket, a homoglifákat, a szinonima-cserét, a parafrázist, a nulla szélességű szóközöket és a névelőtörlést. Ezután hasonlítson össze egy detektort a metrikák mentén: AUROC, TPR 5%-os téves pozitív aránynál és TPR 1%-nál.

Éppen ez a szűrőkészlet a lényeg. Egy detektor, amely összesítve közel 1.000 pontot ér el, visszaeshet, amint a szöveget parafrázálják vagy megváltozik a forrásmodell, a ranglista pedig lehetővé teszi, hogy lássa a visszaesést, mielőtt egy intézmény tanulmányi tisztességtelenségi ügyet alapozna rá. Az 1%-os téves pozitív oszlop számít a legjobban az oktatásban, mert intézményi léptékben az 1%-os hibaarány több száz tévesen megvádolt diákot jelent.

Kinek szól

Kutatóknak, akik detektálási módszereket értékelnek; adminisztrátoroknak, akik olyan szabályzatot írnak, amely detektorra hivatkozhat; és oktatóknak, akik konkrét választ akarnak a „detektálható-e?" kérdésre, mielőtt ezt a kurzusleírásban kijelentik.

Megjegyzések és fenntartások

A benchmark a géppel generált szöveg detektálását méri, nem a tisztességtelenséget: a diák, aki MI-t használ tervezéshez, vázlatkészítéshez vagy átdolgozáshoz, olyan szöveget állít elő, amelynek elkapására a detektorokat nem építették, a második nyelven író diák pedig ismert téves pozitív kockázat, amelyet a ranglista nem tud megmutatni. A RAID egy akadémiai csapat által karbantartott kutatási artefaktum; a lefedettség a teszthalmazában lévő generátor modelleket követi, így az újabb modellek alulreprezentáltak lehetnek, amíg a benchmarkot nem frissítik. A ranglista a detektorokat rangsorolja, nem a szállítóik adatkezelési gyakorlatát, és a magas AUROC semmit nem mond arról, hogy a diákmunkák beküldése az adott szolgáltatáshoz jogszerű-e vagy etikus-e az Ön joghatóságában.

Kapcsolódó fogalmak

Oldal beágyazása

Másolja ki az alábbi kódot az oldal tanuláskezelő rendszerbe vagy más weboldalra történő beágyazásához. A beágyazott változat csak az oldal tartalmát mutatja — elrejti a weboldal fejlécét, a navigációt és a láblécet.