Rasilimali
RAID Benchmark leaderboard
Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.
RAID ndio benchmark iliyo nyuma ya madai mengi makubwa kuhusu ugunduzi wa maandishi ya AI, na ubao wake wa alama ndio mahali pa kuangalia iwapo usahihi uliochapishwa wa kigunduzi hunusurika mabadiliko ya modeli, kikoa, mpangilio wa usimbuaji au shambulio la makusudi. Maingizo hupangwa alama kwenye seti ya majaribio na yanaweza kuwasilishwa na yeyote anayefuata mchakato wa uwasilishaji wa hazina.
Unachoweza kufanya nacho
Chuja kwa kikoa — muhtasari, vitabu, habari, mashairi, mapishi, Reddit, maoni, wiki — kwa mkakati wa usimbuaji (greedy au sampuli), kwa adhabu ya marudio, na kwa shambulio la kupinga, ikijumuisha nafasi nyeupe, homoglyph, ubadilishaji wa visawe, uelezwaji upya, nafasi za upana sifuri na ufutaji wa vifungu vya sarufi. Kisha linganisha kigunduzi katika vipimo: AUROC, TPR katika kiwango cha chanya za uongo cha 5%, na TPR katika 1%.
Seti hiyo ya vichujio ndio kiini. Kigunduzi kinachopata alama karibu na 1.000 kwa jumla kinaweza kushuka mara maandishi yanapoelezwa upya au modeli ya chanzo inapobadilika, na ubao wa alama hukuacha uone kushuka huko kabla ya taasisi kujenga kesi ya ukiukaji wa maadili juu yake. Safu wima ya chanya za uongo ya 1% ni muhimu zaidi katika elimu, kwa sababu katika kiwango cha taasisi kiwango cha makosa cha 1% kinamaanisha mamia ya wanafunzi walioshtakiwa kimakosa.
Ni kwa nani
Watafiti wanaotathmini mbinu za ugunduzi, wasimamizi wanaoandika sera inayoweza kurejelea kigunduzi, na walimu wanaotaka jibu dhahiri kwa "je, hii inaweza kugunduliwa?" kabla ya kusema hivyo katika silabasi.
Vidokezo na tahadhari
Benchmark hupima ugunduzi wa maandishi yaliyozalishwa na mashine, si ukiukaji wa maadili: mwanafunzi anayetumia AI kupanga, kuweka muhtasari au kurekebisha huzalisha maandishi ambayo vigunduzi havikujengwa kuyanasa, na mwanafunzi anayeandika katika lugha ya pili ni hatari inayojulikana ya chanya za uongo ambayo ubao wa alama hauwezi kuonyesha. RAID ni zao la utafiti linalotunzwa na timu ya kitaaluma; ufunikaji hufuatilia modeli za uzalishaji katika seti yake ya majaribio, kwa hivyo modeli mpya zinaweza kuwakilishwa kwa kiwango cha chini hadi benchmark itakaposasishwa. Ubao wa alama hupanga vigunduzi, si mbinu za wauzaji wake za kushughulikia data, na AUROC ya juu haisemi chochote kuhusu iwapo kuwasilisha kazi za wanafunzi kwenye huduma hiyo ni halali au kimaadili katika mamlaka yako.