وسائل
GradeBench
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
GradeBench خودکار جانچ کے بارے میں ایک تنگ، مفید سوال پوچھتا ہے: اگر طالب علم کا ہاتھ سے لکھا ہوا جواب، انسٹرکٹر کا روبرک، ایک حوالہ حل اور وہ روبرک عناصر دیے جائیں جو انسٹرکٹر نے درحقیقت منتخب کیے، تو کیا ایک فرنٹیئر ماڈل وہی عناصر منتخب کرتا ہے؟ گولڈ لیبلز امتحانات اور کوئزز سے انسٹرکٹر اور ٹی اے کے حقیقی روبرک انتخاب ہیں، نہ کہ ماڈل کے دوبارہ گریڈ کیے گئے آؤٹ پٹ۔
آپ اس سے کیا کر سکتے ہیں
کسی بھی گریڈنگ وینڈر کے درستگی کے دعوے پر بھروسا کرنے سے پہلے لیڈر بورڈ پڑھیں، اور لیڈر بورڈ پر بھروسا کرنے سے پہلے ٹاسک کی تشکیل پڑھیں۔ بینچ مارک میں 464 ٹاسکس شامل ہیں جو دس سے زیادہ اداروں کے 45 یونیورسٹی کورسز میں 125 سوالات سے لیے گئے ہیں، جو آزاد جواب والے امتحان اور کوئز آئٹمز تک محدود ہیں جنہیں ایک پروفیسر یا ٹی اے نے سطر بہ سطر جانچا، اور جزوی کریڈٹ کی طرف جھکاؤ رکھتے ہیں — مکمل نمبر اور صفر نمبر والے ٹاسکس ہر ایک 5% تک محدود ہیں کیونکہ ماڈلز انہیں آسان پاتے ہیں۔
موجودہ لیڈر بورڈ انسانی اتفاق سے کافی نیچے جا کر رکتا ہے: بہترین ماڈل 57.3% مکمل روبرک مطابقت تک پہنچتا ہے، اور سائٹ 1,000 جوابات فی لاگت کے سامنے درستگی کو پلاٹ کرتی ہے، جہاں 0.8 پوائنٹ پیچھے رہنے والا ماڈل تقریباً ساتواں حصہ لاگت رکھتا ہے۔ لاگت کا یہ محور عملی طور پر مفید حصہ ہے، کیونکہ گریڈنگ ایک حجمی عمل ہے۔
دوسرے، آزادانہ طور پر بنائے گئے آلے کے لیے، Learning Design Alliance کا AI Grading Benchmark دیکھیں، جو ایک ہوسٹڈ لیڈر بورڈ کے بجائے ایک اوپن ریپوزٹری کے طور پر پیکج کیا گیا ہے اور جس کا خلاصہ پورکارو کی تحقیق میں پیش کیا گیا ہے۔
یہ کن کے لیے ہے
وہ انسٹرکٹرز جو یہ فیصلہ کر رہے ہیں کہ آیا کسی گریڈنگ ٹول کو بغیر جائزے نمبر جاری کرنے دیں، وہ جانچ کے پیشہ ور جو خریداری کی ضروریات لکھ رہے ہیں، اور وہ محققین جنہیں مضمون کی اسکورنگ کے ارتباط کے بجائے روبرک کی سطح کا ہدف درکار ہے۔
نوٹس اور احتیاطیں
GradeBench کو Pensive شائع کرتا ہے، جو ایک تجارتی AI گریڈنگ پلیٹ فارم ہے، لہذا بینچ مارک اور پروڈکٹ ایک ہی مالک رکھتے ہیں؛ ٹاسک کی تشکیل دستاویزی اور قابل دفاع ہے، لیکن فریم بندی کو وینڈر کی سمجھیں۔ یہ کم از کم چار عناصر والے روبرکس کے ساتھ STEM امتحانات کا احاطہ کرتا ہے، جو مضامین، مختصر جوابات اور بحث کی پوسٹس کو خارج کرتا ہے — وہ فارمیٹس جہاں انسانیات کی زیادہ تر گریڈنگ ہوتی ہے۔ مکمل روبرک مطابقت ایک سخت میٹرک ہے: دو گریڈرز کسی عنصر پر اختلاف کر سکتے ہیں اور طالب علم کے بارے میں دونوں درست ہو سکتے ہیں۔ اسکور نومبر 2026 میں دستیاب ماڈل ورژنز کی وضاحت کرتے ہیں اور بدل جائیں گے۔