وسائل
RAID Benchmark leaderboard
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
RAID وہ بینچ مارک ہے جو AI متن کی شناخت کے بارے میں زیادہ تر سنجیدہ دعووں کے پیچھے ہے، اور اس کا لیڈر بورڈ وہ جگہ ہے جہاں یہ جانچا جا سکتا ہے کہ آیا کسی ڈیٹیکٹر کی شائع شدہ درستگی ماڈل، ڈومین، ڈی کوڈنگ سیٹنگ یا دانستہ حملے کی تبدیلی کے بعد قائم رہتی ہے۔ اندراجات ٹیسٹ سیٹ پر اسکور کیے جاتے ہیں اور کوئی بھی شخص جو ریپوزٹری کے جمع کرانے کے عمل کی پیروی کرے، انہیں جمع کرا سکتا ہے۔
آپ اس سے کیا کر سکتے ہیں
ڈومین کے لحاظ سے فلٹر کریں — خلاصے، کتابیں، خبریں، شاعری، ترکیبیں، Reddit، جائزے، ویکی — ڈی کوڈنگ کی حکمت عملی (greedy یا sampling) کے لحاظ سے، تکرار کی سزا کے لحاظ سے، اور مخالفانہ حملے کے لحاظ سے، بشمول وائٹ اسپیس، ہوموگلف، مترادف کی تبدیلی، پیرا فریز، صفر چوڑائی والے اسپیسز اور آرٹیکل کا حذف۔ پھر ایک ڈیٹیکٹر کا موازنہ میٹرکس کے پار کریں: AUROC، 5% غلط مثبت کی شرح پر TPR، اور 1% پر TPR۔
فلٹرز کا یہ سیٹ ہی اصل مقصد ہے۔ ایک ڈیٹیکٹر جو مجموعی طور پر 1.000 کے قریب اسکور کرتا ہے، متن کے پیرا فریز ہو جانے یا ماخذ ماڈل کے بدل جانے پر گر سکتا ہے، اور لیڈر بورڈ آپ کو یہ گراوٹ اس سے پہلے دکھاتا ہے کہ کوئی ادارہ اس پر بددیانتی کا مقدمہ قائم کرے۔ 1% غلط مثبت کا کالم تعلیم میں سب سے زیادہ اہم ہے، کیونکہ ادارے کی سطح پر 1% کی شرح خطا کا مطلب سینکڑوں غلط طور پر ملزم ٹھہرائے گئے طلبہ ہیں۔
یہ کن کے لیے ہے
وہ محققین جو شناخت کے طریقوں کا جائزہ لے رہے ہیں، وہ منتظمین جو ایسی پالیسی لکھ رہے ہیں جو کسی ڈیٹیکٹر کا حوالہ دے سکتی ہے، اور وہ انسٹرکٹرز جو نصاب میں ایسا کہنے سے پہلے "کیا اس کا پتہ لگایا جا سکتا ہے؟" کا ٹھوس جواب چاہتے ہیں۔
نوٹس اور احتیاطیں
بینچ مارک مشین سے تیار کردہ متن کی شناخت ماپتا ہے، نہ کہ بددیانتی: ایک طالب علم جو AI کو منصوبہ بندی، خاکہ بنانے یا نظرثانی کے لیے استعمال کرتا ہے، ایسا متن تیار کرتا ہے جسے پکڑنے کے لیے ڈیٹیکٹرز نہیں بنائے گئے تھے، اور ایک طالب علم جو دوسری زبان میں لکھتا ہے، ایک معلوم غلط مثبت خطرہ ہے جسے لیڈر بورڈ نہیں دکھا سکتا۔ RAID ایک تحقیقی مصنوع ہے جسے ایک علمی ٹیم برقرار رکھتی ہے؛ کوریج اس کے ٹیسٹ سیٹ میں موجود جنریٹر ماڈلز کی پیروی کرتی ہے، لہذا نئے ماڈلز بینچ مارک کی تازہ کاری تک کم نمائندگی رکھ سکتے ہیں۔ لیڈر بورڈ ڈیٹیکٹرز کی درجہ بندی کرتا ہے، نہ کہ ان کے وینڈرز کے ڈیٹا ہینڈلنگ کے طریقوں کی، اور ایک اعلیٰ AUROC اس بارے میں کچھ نہیں کہتا کہ آیا طلبہ کے کام کو اس سروس میں جمع کرانا آپ کے دائرہ اختیار میں قانونی یا اخلاقی ہے۔