Op deze pagina

Lees deze pagina in het Engels

Automatische machinale vertaling van deze Engelse pagina, nog niet nagekeken door een moedertaalspreker.

RAID is de benchmark achter de meeste serieuze claims over AI-tekstdetectie, en het leaderboard is de plek om te controleren of de gepubliceerde nauwkeurigheid van een detector een verandering van model, domein, decodeerinstelling of bewuste aanval overleeft. Vermeldingen worden gescoord op de testset en kunnen worden ingediend door iedereen die het indieningsproces van de repository volgt.

Wat u ermee kunt doen

Filter op domein — abstracts, boeken, nieuws, poëzie, recepten, Reddit, reviews, wiki — op decodeerstrategie (greedy of sampling), op repetition penalty en op adversariële aanval, waaronder witruimte, homoglyfen, synoniemvervanging, parafrasering, zero-width-spaties en het verwijderen van lidwoorden. Vergelijk vervolgens een detector op verschillende metrics: AUROC, TPR bij een false-positive-rate van 5% en TPR bij 1%.

Die filterset is precies het punt. Een detector die geaggregeerd bijna 1.000 scoort, kan instorten zodra de tekst is geparafraseerd of het bronmodel verandert, en het leaderboard laat u die daling zien voordat een instelling er een wangedragzaak op bouwt. De kolom met 1% false-positives is het belangrijkst in het onderwijs, omdat op institutionele schaal een foutpercentage van 1% honderden ten onrechte beschuldigde studenten betekent.

Voor wie het is

Onderzoekers die detectiemethoden evalueren, bestuurders die beleid schrijven dat mogelijk naar een detector verwijst, en docenten die een concreet antwoord willen op "kan dit worden gedetecteerd?" voordat ze dat in een syllabus zeggen.

Opmerkingen en kanttekeningen

De benchmark meet de detectie van machinegegenereerde tekst, niet wangedrag: een student die AI gebruikt om te plannen, een outline te maken of te reviseren, produceert tekst die de detectoren niet zijn gebouwd om te betrappen, en een student die in een tweede taal schrijft is een bekend false-positief-risico dat een leaderboard niet kan tonen. RAID is een onderzoeksartefact dat wordt onderhouden door een academisch team; de dekking volgt de generatormodellen in de testset, dus nieuwere modellen kunnen ondervertegenwoordigd zijn totdat de benchmark wordt ververst. Het leaderboard rangschikt detectoren, niet de datahandelingspraktijken van hun leveranciers, en een hoge AUROC zegt niets over de vraag of het indienen van studentenwerk bij die dienst rechtmatig of ethisch is in uw rechtsgebied.

Gerelateerde concepten

Deze pagina insluiten

Kopieer de onderstaande code om deze pagina in een leeromgeving of op een andere website in te sluiten. De ingesloten versie toont alleen de inhoud van de pagina — de sitekop, navigatie en voettekst zijn verborgen.