وسائل
Fab AI benchmark leaderboard
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
Fab AI ماڈلز کا جائزہ ان تعلیمی ٹاسکس پر لیتا ہے جو ان کم اور متوسط آمدنی والے ممالک میں اہم ہیں جہاں بجٹ، بینڈوتھ اور زبان کی کوریج محدود ہے، جن کے لیے یہ بینچ مارک بنایا گیا ہے، اور نتائج کو ایک مقالے کے بجائے قابل ترتیب لیڈر بورڈ کے طور پر شائع کرتا ہے۔ مرکزی ٹیبل SEND، بصری ریاضی اور بصری استدلال کے ساتھ ایک پیڈاگوجی بینچ مارک کو اسکور کرتی ہے، ساتھ کثیر لسانی پیڈاگوجی، بنیادی خواندگی اور بلند آواز پڑھنے کی جانچ کے لیے الگ ٹیبز۔
آپ اس سے کیا کر سکتے ہیں
تقریباً 300 ماڈلز کا موازنہ پیڈاگوجی اسکورز پر کریں جو فی الحال نوے کی دہائی کے نچلے حصے سے لے کر 21% تک چلتے ہیں، پھر اس کے لحاظ سے ترتیب دیں جو ایک وزارت تعلیم کو درحقیقت تولنا ہے: فی ملین ٹوکنز قیمت، پیرامیٹر کی تعداد، اوپن ویٹس اور ریلیز کی تاریخ۔ نچلے حصے کا پھیلاؤ مفید حصہ ہے۔ 2B سے کم اوپن ماڈلز پیڈاگوجی بینچ مارک پر 21% اور 43% کے درمیان ہیں جبکہ فرنٹیئر ماڈلز نوے کی دہائی کے نچلے حصے میں ہیں، جو "کیا ہم اسے سستے ہارڈویئر پر آف لائن چلا سکتے ہیں" کو ایک اندازے کے بجائے مقداری سودے میں بدل دیتا ہے۔
کثیر لسانی پیڈاگوجی ٹیب اس صفحے کو بک مارک کرنے کی وجہ ہے۔ زیادہ تر تعلیمی بینچ مارکس صرف انگریزی ہیں، اور یہ سوال کہ آیا کسی ماڈل کی پیڈاگوجی ترجمے کے بعد قائم رہتی ہے، بالکل وہی سوال ہے جس کا جواب ایک کثیر لسانی نظام میں وزارت کو درکار ہے۔ ڈیٹا CSV کے طور پر ڈاؤن لوڈ کیا جا سکتا ہے، لہذا موازنے مقامی طور پر دوبارہ چلائے جا سکتے ہیں۔
یہ کن کے لیے ہے
وہ پالیسی ساز اور خریداری کی ٹیمیں جو قومی نظاموں کے لیے ماڈلز منتخب کر رہی ہیں، وہ محققین جو AI سے معاونت یافتہ تعلیم میں رسائی کے خلا کا مطالعہ کر رہے ہیں، اور وہ ڈویلپرز جنہیں ایک ایسا پیڈاگوجی ہدف درکار ہے جو انگریزی زبان کا امتحان نہ ہو۔
نوٹس اور احتیاطیں
ایک لیڈر بورڈ ماڈلز کو بینچ مارک کے اپنے ٹاسکس پر ماپتا ہے: ایک اعلیٰ پیڈاگوجی اسکور ان آئٹمز کے بارے میں شہادت ہے، نہ کہ کسی کلاس روم کے بارے میں۔ قیمت کا کالم ان پٹ اور آؤٹ پٹ ٹوکن کی قیمتوں کو 3:1 کے تناسب سے ملاتا ہے، جو ایک ماڈلنگ کا انتخاب ہے نہ کہ وہ لاگت جو کوئی خاص تعیناتی کرے گی۔ زبانوں اور مقامی طور پر ہوسٹڈ ماڈلز کی کوریج نئے ماڈلز کے ظاہر ہونے کے ساتھ بدلتی ہے، اور چھوٹے ماڈلز کے نچلے اسکور جزوی طور پر ٹاسک فارمیٹ کو اتنا ہی ظاہر کرتے ہیں جتنا قابلیت کو۔ Fab AI کی فریم بندی واضح طور پر کم اور متوسط آمدنی والے ممالک کے بارے میں ہے، لہذا بینچ مارک کا آئٹم سیٹ اس سیاق کی عکاسی کرتا ہے اور اسے عمومی تعلیمی درجہ بندی کے طور پر نہیں پڑھا جانا چاہیے۔ ریلیز کی تاریخیں چیک کریں: کئی اندراجات موجودہ ماڈل نسل سے پہلے کے ہیں۔