संसाधन
RAID Benchmark leaderboard
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
RAID वह बेंचमार्क है जो AI-पाठ डिटेक्शन के बारे में अधिकांश गंभीर दावों के पीछे है, और इसका लीडरबोर्ड वह जगह है जहाँ जाँचा जा सकता है कि किसी डिटेक्टर की प्रकाशित सटीकता मॉडल, डोमेन, डिकोडिंग सेटिंग या जानबूझकर किए गए हमले के बदलने पर बची रहती है या नहीं। प्रविष्टियों को टेस्ट सेट पर स्कोर किया जाता है और रिपॉज़िटरी की सबमिशन-प्रक्रिया का पालन करने वाला कोई भी व्यक्ति उन्हें सबमिट कर सकता है।
इसके साथ आप क्या कर सकते हैं
डोमेन के आधार पर फ़िल्टर करें — सार, पुस्तकें, समाचार, कविता, व्यंजन-विधियाँ, Reddit, समीक्षाएँ, विकि — डिकोडिंग रणनीति (greedy या सैंपलिंग), रिपीटिशन पेनल्टी, और प्रतिकूल हमले के आधार पर, जिसमें व्हाइटस्पेस, होमोग्लिफ, पर्यायवाची प्रतिस्थापन, पैराफ्रेज़, शून्य-चौड़ाई वाले स्पेस और आर्टिकल-विलोपन शामिल हैं। फिर किसी डिटेक्टर की तुलना मापदंडों में करें: AUROC, 5% फॉल्स-पॉज़िटिव दर पर TPR, और 1% पर TPR।
यही फ़िल्टर-समुच्चय असली बात है। जो डिटेक्टर समग्र रूप से 1.000 के करीब स्कोर करता है, वह पाठ के पैराफ्रेज़ होते ही या स्रोत-मॉडल बदलते ही गिर सकता है, और लीडरबोर्ड आपको यह गिरावट तब दिखने देता है जब तक कोई संस्था उस पर कदाचार का मामला टिका न दे। शिक्षा में 1% फॉल्स-पॉज़िटिव वाला कॉलम सबसे अधिक मायने रखता है, क्योंकि संस्थागत पैमाने पर 1% त्रुटि-दर का अर्थ है सैकड़ों छात्र जिन पर गलत आरोप लगे।
यह किसके लिए है
डिटेक्शन विधियों का मूल्यांकन करने वाले शोधकर्ता, ऐसी नीति लिखने वाले प्रशासक जो किसी डिटेक्टर का संदर्भ दे सकती है, और वे शिक्षक जो सिलेबस में ऐसा कहने से पहले "क्या इसका पता लगाया जा सकता है?" का ठोस उत्तर चाहते हैं।
टिप्पणियाँ और चेतावनियाँ
बेंचमार्क मशीन-जनित पाठ की डिटेक्शन मापता है, कदाचार नहीं: जो छात्र योजना बनाने, रूपरेखा तैयार करने या संशोधन के लिए AI का उपयोग करता है, वह ऐसा पाठ बनाता है जिसे पकड़ने के लिए डिटेक्टर बनाए ही नहीं गए थे, और दूसरी भाषा में लिखने वाला छात्र फॉल्स-पॉज़िटिव का एक ज्ञात जोखिम है जिसे लीडरबोर्ड नहीं दिखा सकता। RAID एक अकादमिक दल द्वारा अनुरक्षित शोध-कृति है; कवरेज उसके टेस्ट सेट के जनरेटर मॉडलों के साथ चलता है, इसलिए बेंचमार्क के ताज़ा होने तक नए मॉडल कम-प्रतिनिधित्व में रह सकते हैं। लीडरबोर्ड डिटेक्टरों को रैंक करता है, उनके विक्रेताओं की डेटा-हैंडलिंग प्रथाओं को नहीं, और ऊँचा AUROC इस बारे में कुछ नहीं कहता कि उस सेवा को छात्र-कार्य सौंपना आपके क्षेत्राधिकार में वैध या नैतिक है या नहीं।