بینچ مارک

انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔

بینچ مارک — معیاری امتحانی مجموعے اور جانچ کے فریم ورک جو تعلیمی کاموں پر AI ماڈل کی کارکردگی ناپنے کے لیے استعمال ہوتے ہیں۔ بینچ مارک ماڈلوں اور طریقوں کے درمیان دہرائے جانے والے موازنے کو ممکن بناتے ہیں، اور تعلیم میں AI نظاموں کی قابلِ اعتمادی، انصاف اور تدریسی معیار کو جانچنے کے لیے ناگزیر ہیں۔

غور کرنے کے لیے سوالات

• بینچ مارک تعلیمی کاموں پر AI ماڈل کی کارکردگی ناپنے کے لیے ایک معیاری امتحانی مجموعہ ہے۔ پڑھنے سے پہلے، آپ کے خیال میں زیادہ تر AI بینچ مارک اصل میں کیا جانچتے ہیں — اور یہ اُس چیز سے مختلف کیوں ہو سکتا ہے جو ایک اچھے ٹیوٹر کو درکار ہے؟
• یہ صفحہ ایک تدریسی بینچ مارک (Pedagogy Benchmark) نمایاں کرتا ہے جو مواد کے علم کے بجائے تدریسی علم جانچتا ہے — تدریس کی حکمتِ عملیاں، جانچ کے طریقے، خصوصی تعلیم کی تدریس۔ کوئی AI جو کسی مضمون کو شاندار طریقے سے جانتا ہو، اُسے پڑھانے میں ناکام کیوں ہو سکتا ہے، اور تدریس کو نظر انداز کرنے والا بینچ مارک یہ بات کیوں نہیں پکڑ سکے گا؟
• یہاں ایک سبق منہجی ہے: آپ بینچ مارک کی توثیق کیسے کرتے ہیں، یہ نتائج کو ڈرامائی طور پر بدل دیتا ہے، جہاں سادہ لوح توثیق آزمائشی طور پر آزاد سخت طریقوں کے مقابلے میں کہیں زیادہ کارکردگی رپورٹ کرتی ہے۔ کوئی ماڈل ڈویلپر یا فروخت کنندہ توثیق کو اچھا دکھانے کے لیے ڈیزائن کرنے کی آزمائش کیوں کرے گا، اور آپ اِسے کیسے پکڑیں گے؟
• بینچ مارک پر کارکردگی اکثر حقیقی دنیا کی افادیت میں منتقل نہیں ہوتی۔ کیا آپ ایسا منظر سوچ سکتے ہیں جہاں کوئی AI بینچ مارک "جیت" جائے مگر اصل کلاس روم میں ناکام ہو — اور یہ خلا صرف بینچ مارک اسکوروں پر بھروسے کے بارے میں آپ کو کیا بتاتا ہے؟
• صفحہ بتاتا ہے کہ بینچ مارک کا ڈیزائن خود تعصب کو شامل یا بڑھا سکتا ہے۔ اگر کوئی بینچ مارک مخصوص کاموں، مخصوص زبانوں اور مخصوص آبادیوں سے بنا ہو، تو آخر میں یہ کس کی سیکھنے ناپ رہا ہے — اور کس کو نظر انداز کر رہا ہے؟

تعارف

بینچ مارک تعلیم میں AI تحقیق کی شہادتی بنیاد کا کام کرتے ہیں۔ وہ معیاری ڈیٹا سیٹ، کام اور پیمانے فراہم کرتے ہیں جو محققین کو ماڈلوں کا موازنہ کرنے، پیش رفت کا سراغ لگانے اور ناکامی کے انداز پہچاننے کی اجازت دیتے ہیں۔ علمی ذخیرے کی تحقیق میں بینچ مارک کئی شعبوں میں آتے ہیں:

• CSTutorBench CS ٹیوٹرنگ کے کاموں کے لیے چھوٹے زبان ماڈلوں کا جائزہ لیتا ہے۔

• ANVIL AI سے پیدا کردہ تعلیمی اینیمیشنوں کو انسان کے بنائے متبادلوں کے مقابلے میں جانچتا ہے۔

• تدریسی فیڈبیک کے بینچ مارک فیڈبیک کے معیار کی درجہ بندی کے بین اللسانی انتقال کا جائزہ لیتے ہیں۔

• تدریسی بینچ مارک (CDPK + SEND) مواد کے علم کے بجائے تدریسی علم جانچتا ہے — تدریس کی حکمتِ عملیاں، جانچ کے طریقے اور خصوصی تعلیم کی تدریس — اور 97 ماڈلوں میں لاگت بمقابلہ درستگی کی "قدر کی سرحد" رپورٹ کرتا ہے (زیادہ تر عمومی بینچ مارک مواد کا علم جانچتے ہیں؛ تدریس ایک الگ اور تعلیم کے لیے ناگزیر جہت ہے)۔

• ISD-Agent-Bench بڑے لینگویج ماڈلز (LLMs) پر مبنی تدریسی ڈیزائن ایجنٹوں کو 25,795 تدریسی ڈیزائن منظرناموں میں جانچتا ہے، اور دکھاتا ہے کہ کلاسیکی ISD فریم ورک (ADDIE، Dick & Carey، Rapid Prototyping) پر ٹکے ہائبرڈ ایجنٹ خالص نظریے یا خالص تکنیک سے بہتر کارکردگی دکھاتے ہیں — یہ بینچ مارک کا نتیجہ تعلیم میں ایجنسی AI کے ڈیزائن کے لیے براہِ راست مضمرات رکھتا ہے۔

• TutorCaseBench ٹیوٹر کی جانچ کو مصنوعی شخصیات کے بجائے دستاویز شدہ کیس ادب پر ٹکاتا ہے: خصوصی تعلیم اور تعلیمی نفسیات کے کیسوں سے 923 مکالمے، جہاں 11 ماڈلوں میں سب سے مضبوط نے 55.8% کھلے سوال والے کیسوں میں دستاویز شدہ مداخلت پوری کی۔

• سیکھنے والے کے مطابق ڈھلنا بطور واضح بینچ مارک معیار۔ Teaching Monster Challenge کسی متعین سیکھنے والے شخصیہ کے مطابق ڈھلنے کو اسکور کرتا ہے، مگر اُس کا خودکار LLM جج صرف ایک کمزور دم کو الگ کر سکا — سرکردہ نظام اُس کی حد کے قریب اسکور کر گئے اور اُس کی درجہ بندی ہجوم کی ترجیح سے متفق نہ رہی (Spearman ρ = −0.17) (Lin وغیرہ (2026))۔

AIED میں بینچ مارک کیوں اہم ہیں

بینچ مارک تعلیم میں AI کی تشخیص اور جانچ کا اعتبار سے جڑتے ہیں — سخت بینچ مارک کے بغیر AI ٹیوٹرنگ کی اثر انگیزی کے دعوے ناقابلِ تصدیق رہتے ہیں۔ وہ تعصب کا ازالہ سے بھی جڑتے ہیں، کیونکہ بینچ مارک کا ڈیزائن تعصبات کو شامل یا بڑھا سکتا ہے۔ بینچ مارک کی کارکردگی اور حقیقی دنیا کی افادیت کے درمیان کشمکش متعدد مضامین میں کھوجی گئی ہے، جو سیکھنے کی منتقلی کے خدشات سے جڑتی ہے جو جنریٹو AI اطلاقات میں اٹھتے ہیں۔

• جب ناکامی پیمانے میں ہو، نظام میں نہیں: AlgoRAG نے 179 نظریاتی کمپیوٹر سائنس امتحانی سوالات میں BLEU-4 = 0.0000 حاصل کیا جبکہ چھ معیار والی تدریسی روبرک نے 0.7620 دیا، کیونکہ منطقی طور پر ہم معنی ثبوت اکثر اشارے، متغیروں کے نام اور ثبوت کی حکمتِ عملی میں مختلف ہوتے ہیں۔ صفر اسکور جواب کے معیار سے زیادہ n-gram کے اشتراک کے بارے میں بتاتا ہے، جو رسمی شعبوں کے AIED نظاموں کے لیے سطحی پیمانوں کو مرکزی عدد سمجھنے کے خلاف عمومی دلیل ہے۔

• تعمیر کی سطح پر متضادِ حقیقت بینچ مارک۔ CFES-P24 کثیرالوسائط سیکھنے کے اصولوں کو متعین، الٹے پلٹائے جا سکنے والے سلائیڈ تبدیلیوں کے طور پر بیان کرتا ہے تاکہ جانچا جا سکے کہ MLLM مخصوص تدریسی ڈیزائن تعمیرات پر ردِ عمل دیتے ہیں یا صرف قابلِ فہم مجموعی درجہ بندی پیدا کرتے ہیں۔ ایک منجمد پائلٹ نے تعمیر کی پہچان (عمل، اصول، مرمت، شہادت کی نشان دہی) 8/8 دکھائی جبکہ موازناتی فیصلہ (سمت 6/8) اور شدت کی کیلیبریشن (0/8) ناکام رہی — جو مجموعی اسکوروں کے بجائے تہہ دار اسکور کارڈ کی دلیل ہے۔(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

• ہیلوسینیشن اور توانائی کو جانچ میں شامل کریں، صرف درستگی کو نہیں۔ Shen وغیرہ (2026) نے ہیلوسینیشن کو حاصل شدہ کھلے لائسنس والے اقتباسات کے مقابلے entailment کے طور پر اسکور کیا (ماہرین کے فیصلے کے ساتھ κ = 0.76) اور فی استفسار 1.8 mWh درج کیا، اور اُن کے ablation نے ریٹریول کو پہلی جگہ رکھا: مقامی LLM نے بغیر ریٹریول 52.3% حاصل کیا، جو 55.4% TF-IDF بنیادی خط سے کم ہے۔

• تولید شدہ مواد پر تصدیق فیصلے سے بہتر ہو سکتی ہے۔ Kumar وغیرہ (2025) پیدا کردہ ریاضی کے خاکوں کو اسکیما کی پابندی والی درمیانی نمائندگی میں واپس منتقل کر کے متعین قاعدے کی جانچ چلاتے ہیں، اور انسانی درجہ بندی کرنے والوں کے ساتھ زیادہ اتفاق تک پہنچتے ہیں (Cohen's κ 0.48–0.56) نسبتاً LLM-as-a-Judge (0.39–0.47)، اور ایک چھوٹے ماڈل کو 10 گنا کم لاگت پر بہترین جج کے برابر کر دیتے ہیں۔

• فعلیاتی بینچ مارک میں آزمائشی طور پر آزاد جانچ۔ Nanayakkara & Halloluwa (2026) EEG پر مبنی شناسائی کی پیش گوئی کے لیے 15 ML/DL ماڈلوں کا بینچ مارک کرتے ہیں اور دکھاتے ہیں کہ توثیق کی اسکیم کا انتخاب مرکزی نتائج کو ڈرامائی طور پر بدل دیتا ہے: معیاری سطح بند cross-validation وقتی رساؤ کی اجازت دیتی ہے اور 0.9853 F1 تک رپورٹ کرتی ہے، جبکہ آزمائشی طور پر آزاد Group K-Fold توثیق چوٹی کو 0.6038 F1 پر لے آتی ہے۔ سبق — وقتی/رساؤ سے آگاہ جانچ قابلِ اعتماد تعلیمی بینچ مارک کے لیے ناگزیر ہے — EEG سے آگے ہر اُس بینچ مارک پر لاگو ہوتا ہے جو ترتیب وار یا وقت کے ڈھانچے والا ڈیٹا استعمال کرتا ہے۔

• تقسیم کی تبدیلی رساؤ کے علاوہ بینچ مارک کا دوسرا محور ہے۔ جو بینچ مارک کسی classifier کا درونِ تقسیم اسکور اور اُس کا انتقالی اسکور رپورٹ کرتا ہے، وہ دو مختلف مقداریں رپورٹ کر رہا ہوتا ہے: Bloom سطح کا ایک classifier اپنے چنے ہوئے ذخیرے پر macro F1 0.88 پر رکا، مگر دو AI سے پیدا کردہ سوالوں کے مجموعوں پر 0.48 اور 0.20 پر گر گیا، اور تقسیم سے باہر کے لیبل شدہ ڈیٹا پر دوبارہ تربیت نے 0.82 تک بحالی کی، چنانچہ درونِ تقسیم leaderboard کا ایک عدد یہ بتا دیتا ہے کہ تعینات شدہ آلہ اس سے کم کرے گا (Castanares وغیرہ، 2026)۔

• بین الذخیرہ انتقال جانچنے کے لیے بنایا گیا کارپس۔ ICLE++ استدلالی مضامین کو مجموعی اور دس خصلت کی سطح کے اسکور کے ساتھ تشریح کرتا ہے تاکہ AES تحقیق کا ASAP پر انحصار بے نقاب ہو، جس کے وقت بندھے، صرف مادری زبان بولنے والوں کے مضامین لمبائی کو معیار کے ساتھ ملا دیتے ہیں؛ خصلت کی تشریحات پر تربیت یافتہ ماڈل صرف مجموعی اسکوروں پر تربیت یافتہ ماڈلوں سے بہتر بین الذخیرہ منتقل ہوئے (Li & Ng, 2026)۔

• انسانوں کے معیار پر بنا بینچ مارک LLM کے لیے وہی تعمیر نہ ناپے۔ Strugatski وغیرہ (2026) نے کیمسٹری کی تشخیص اور مقداری استدلال کے امتحان پر انسانی اور کثیرالوسائط LLM جوابی ڈھانچوں کا موازنہ کیا؛ LLM اور انسانوں کے درمیان factor congruence انسان-انسان بنیادی خط سے نیچے رہی اور parallel analysis نے مختلف factor تعداد برقرار رکھی۔

• کثیرالوسائطیت نے شہادتی کیلیبریشن بہتر نہ کی۔ MathCog پر، 639 ہاتھ سے لکھے ریاضی جوابوں پر 3,036 استاد کی تشریح شدہ فیصلوں میں، 18 LLM میں سے کوئی macro F1 0.5 تک نہ پہنچا — بہترین، GPT-4o-img، نے 0.448 حاصل کیا — اور جب شہادت مبہم ہو تو کثیرالوسائط ماڈل صرف متن والے ماڈلوں سے زیادہ بگڑے، شہادت کو زیادہ منسوب کرتے اور اقتباسات گھڑتے (Kim وغیرہ (2025))۔

• AI ٹیوٹرنگ کے لیے مصنوعی بینچ مارک۔ AI ٹیوٹرنگ جانچنے کے لیے کھلے، دہرائے جا سکنے والے ڈیٹا سیٹ ابھی کم ہیں۔ ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) کثیر ایجنٹ ٹیوٹرنگ کا نمونہ اور بینچ مارک فریم ورک ہے جو سماجی طور پر مختلف ایجنٹوں کے ساتھ مشترکہ پروگرامنگ کے مطالعے کے لیے ہے، اور اکیلے-ٹیوٹر، جوڑی-ٹیوٹر اور جوڑی-کثیرایجنٹ ترتیبوں کی حمایت کرتا ہے (N=540؛ 360 نشستیں؛ 1,440 اقساط) اور تعامل، شرکت کے توازن اور تصدیق کے دہرائے جا سکنے والے تجزیے کے لیے trace کے لیے تیار اسکیما رکھتا ہے۔

• افق بینچ مارک کا محور ہے، کوئی تفصیل نہیں۔ Lee وغیرہ (2026) ایک ٹیوٹر ایجنٹ کو مصنوعی سیکھنے والے کے ساتھ 30 دن کے مسلسل تعلق میں رکھتے ہیں اور پاتے ہیں کہ ہر اڈاپٹر 5–10 دن تک رک کر رہ گیا، کوئی اڈاپٹر ایک سے زیادہ بنیادی ماڈل درجوں پر سیکھنے کا فائدہ نہ لایا، اور پانچ اسکورنگ محور بڑی حد تک آزاد تھے۔

• انسانی ٹیوٹروں کے مقابلے میں اسکور کیا گیا ٹیوٹرنگ بینچ مارک، leaderboard کے مقابلے میں نہیں۔ StudentBench نئے لکھے GRE سوالات پر 2,383 بالغوں کو AI ٹیوٹرنگ، براہِ راست ماہر انسانی ٹیوٹرنگ اور ویڈیو کنٹرول کے درمیان بے ترتیب تقسیم کرتا ہے، اور پاتا ہے کہ یکجا AI ٹیوٹرنگ اعداد و شمار کے لحاظ سے انسانی ٹیوٹرنگ کے برابر ہے (p=.015) اور کنٹرول سے 5.5-6.9 فیصد پوائنٹس اوپر؛ اُس کے تدریسی معیار کے leaderboard، جو 2,028 ماہر جوڑی موازنوں سے بنے، سبق کے منصوبوں اور مکالماتی رویے کی درجہ بندی کرتے ہیں، اِس کی نہیں کہ طلبہ نے کتنا سیکھا (Northcutt وغیرہ (2026))۔

• بینچ مارک کا آڈٹ اب اپنے آپ میں ایک تحقیقی شراکت ہے۔ 2026 کی تین تخلیقات بینچ مارک کے کام کو leaderboard جمع کرنے سے آگے بڑھاتی ہیں۔ EduFair-Bench ایک مصنوعی طالب علم کو مقرر رکھ کر آبادیاتی خصوصیات بدلتا ہے، جس سے ٹیوٹرنگ کا بینچ مارک انصاف کے آڈٹ میں بدل جاتا ہے اور موڑ کی سطح کے تدریسی پیمانے ملتے ہیں (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics)۔ GeoVAD-Bench 600 جیومیٹری مسائل پر حتمی درستگی کے بجائے درمیانی بصری تعمیرات کی تشخیص کرتا ہے — ادراک، معاون معیار، استعمال (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving)۔ چھ طبیعیات بینچ مارک کی ماہرین کی طرف سے دوبارہ درجہ بندی نے ایسے اسکوروں میں موجود غلطی کی مقدار ناپی: زیرِ آڈٹ مسترد ہونے میں 57.20% سوال کے نقائص، 38.00% درجہ بندی کرنے والوں کی غلطیاں اور صرف 4.80% اصل ماڈل کی ناکامیاں تھیں (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)۔ یہ تینوں مل کر دلیل دیتے ہیں کہ بینچ مارک کا اسکور ہمیشہ اُس کے اپنے آڈٹ شدہ غلطی کے بجٹ کے ساتھ پڑھا جانا چاہیے، جو وہی نظم ہے جو جانچ کا اعتبار کلاس روم کے آلات سے طلب کرتی ہے۔

• تشریح اور سوال کی پیداوار کو الگ کرنا بطور تعمیراتی نمونہ۔ زیادہ تر بینچ مارک ہر شے یا تصویر کے لیے کام کے مخصوص سوال-جواب جوڑے بناتے ہیں، جو نئے کاموں تک توسیع کو مہنگا کر دیتا ہے، ڈیٹا کو کاموں کے درمیان دوبارہ استعمال کرنا مشکل بناتا ہے، اور سوال کی شکل و پیچیدگی پر محدود اختیار چھوڑتا ہے۔ MUSE ترتیب الٹ دیتا ہے: ہر فن پارے کو ایک بار اُس کے بصری اور معنوی مواد کی دوبارہ استعمال ہونے والی منظم نمائندگی میں تشریح کریں، پھر پیشگی تعریف شدہ پیداواری قواعد سے 12 کام تیار کریں، تاکہ ایک تصویر سے کثیر المنظر جانچ کا نمونہ ملے اور مشکل و شکل کو ضمنی پیداوار کے بجائے واضح ڈیزائن متغیرات سمجھا جائے (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)۔ اُس کی correlation شہادت ڈیزائن کے لیے دوسری دلیل ہے — 12 کام متعلق مگر غیر زائد صلاحیتیں ناپتے ہیں (Jigsaw Puzzle کا تعلق زیادہ تر دیگر سے کمزور ہے، ρ = 0.25 سے −0.10)، اور چھ بیرونی بینچ مارک پر عمومی کثیرالوسائط اسکور فنکارانہ تعلیمی تصویروں پر غیر مساوی طور پر منتقل ہوتے ہیں (BLINK Jigsaw بمقابلہ MUSE Jigsaw ρ = −0.20)، جو تعمیر کی پوشیدگی کے لیے دلیل ہے کہ کسی بھی واحد مجموعی اسکور کو تعلیمی لحاظ سے متعلقہ صلاحیت کا نمائندہ نہ سمجھا جائے (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)۔

• کثیرالوسائط پیداوار وہ محور ہے جو زیادہ تر بینچ مارک چھوڑ دیتے ہیں۔ Chen وغیرہ (2026) مڈل اسکول سے یونیورسٹی تک 15,246 طبیعیات کے سوالات اور 19,850 تصاویر اسکور کرتے ہیں، جس میں خاکہ میں ترمیم کا ذیلی مجموعہ بھی شامل ہے: منظم طبیعیات کے خاکے بنانا یا تبدیل کرنا جواب دینے سے مشکل ثابت ہوا، اور سرکردہ ماڈل 70% سخت مہارت سے نیچے رہے۔

• K-12 سائنس کی پوشیدگی اور اشباع کا مسئلہ۔ مڈل اور ہائی اسکول سائنس کے لیے NGSS کے مطابق بینچ مارک (1,078 + 1,150 مصنوعی اشیاء، تین ججوں سے تصدیق شدہ) نے نو کھلے وزن والے ماڈل 90% سے اوپر one-shot درستگی پر پائے، جبکہ کلاسیکی شے کے اعداد و شمار نے زیادہ مشکل قدریں اور کم امتیاز دکھایا: ماڈل کا حجم کارکردگی کی پیش گوئی نہیں کرتا تھا، اور مصنفین پوچھتے ہیں کہ کیا یہ امتحان بہت آسان ہے (A Benchmark for LLM's Understanding of Middle School and High School Science Topics)۔ یہ اُس مخصوص شعبے کی مثال ہے کہ بینچ مارک کے اپنے شے کے اعداد و شمار اُس کے leaderboard کے ساتھ پڑھے جائیں۔

• مرکزی درستگی کی جانچ کے طور پر معمولی بنیادی خط اور IRT حقیقت۔ Worden وغیرہ (2026) سوال کے متن اور طلبہ کے اصل جوابوں کو محفوظ رکھتے ہوئے 1,722,169 ASSISTments تعاملات سے FoundationalASSIST بناتے ہیں، نالج ٹریسنگ کے کام کو 51.3 فیصد "ہمیشہ صحیح" بنیادی خط کے مقابلے میں اسکور کرتے ہیں، اور ماڈل کی قابلیت کو اُسی ڈیٹا پر لگائے گئے دو پیرامیٹر IRT اندازوں کے ساتھ پڑھتے ہیں۔ چار سرکردہ ماڈل معمولی بنیادی خط کو تقریباً پانچ پوائنٹس سے آگے بڑھاتے ہیں (بہترین 56.2 فیصد)، شے کے امتیاز کا فیصلہ کرنے میں اتفاق سے بھی نیچے گرتے ہیں، اور — وہ ناکامی جو اِسی مقصد کے لیے بنایا گیا بینچ مارک دیکھ سکتا ہے — صحیح جوابوں پر 85.4 فیصد وقت درستگی کی پیش گوئی کرتے ہیں مگر غلط جوابوں پر صرف 12.6 فیصد، چنانچہ اُن کی ظاہری مہارت امید پرستی کا تعصب ہے۔

• درجہ بندی کرنے والے کی ترتیب خود ایک متغیر ہے۔ Habibullah وغیرہ (2026) دوہری درجہ بندی والے 570 طلبہ کے امتحان پر 171 درجہ بندی ترتیبوں کا جائزہ لیتے ہیں اور پاتے ہیں کہ ایک مختصر "سخت گیر" دیباچہ 17 کھلے وزن والے ماڈلوں میں سے 14 کو درجہ بندی کے پٹے سے باہر دھکیل دیتا ہے، پھر ایک آزاد 1,038 طلبہ کے امتحان پر 162 ترتیبوں سے دہراتے ہیں جس کے نتائج اِس کمزوری کو دہراتے ہیں مگر اُس کی سمت نہیں۔ بہترین ترتیب (MAE 1.64/35، جو انسانی درجہ بندی کرنے والوں کے باہمی 2.61/35 سے کم ہے) اِس لیے شہادت نہیں کہ LLM درجہ بندی کام کرتی ہے — تاہم مشترکہ انسانی لیبلوں پر تربیت یافتہ ایک LoRA اڈاپٹر پانچ چھوٹے ماڈلوں کو انسانی سطح پر لے آتا ہے جبکہ persona کی حساسیت تقریباً مٹا دیتا ہے۔

• کارپس کو محدود کرنا تاکہ صلاحیت کا دعویٰ قابلِ نسبت ہو۔ Li وغیرہ (2026) FineWeb-Edu کو امریکی K–5 مواد کے 88B ٹوکن تک چھانتے ہیں اور اُس پر 5B ماڈل شروع سے تربیت دیتے ہیں، پھر اسکوروں کے بجائے رویے کی جانچ سے اُس دراڑ کو چیک کرتے ہیں — Beyond-K–5 اقتباسات پر یادداشت تقریباً صفر، Beyond-K–5 Jeopardy اشیاء پر تباہی، اور Grade 8 MathCAMPS کے آدھے سے کم مسائل حل ہوئے حتیٰ کہ pass@1024 پر بھی۔ چونکہ پیشگی نمائش معلوم ہے، اِس لیے کوئی صلاحیت جو scaling، post-training یا in-context مثالوں کے بعد ظاہر ہو، مداخلت سے منسوب کی جا سکتی ہے؛ مصنفین یہ بھی رپورٹ کرتے ہیں کہ یہ حد انسانی شکل کی نہیں، کیونکہ ماڈل کبھی کسی بعد کی مہارت سے بہتر کارکردگی دکھاتے ہوئے اُس کی پیشگی شرط میں ناکام رہتا ہے۔

• اسکورنگ کا قاعدہ آلے کا حصہ ہے۔ Srivastava (2026) ایک ہی ASSISTments 2012–13 واقعاتی ترتیبوں پر نالج ٹریسنگ کے چار تازہ کاری قواعد چلاتے ہیں، جو صرف اِس بات میں مختلف ہیں کہ اشارے کی مدد والی سطروں کو کیسے اسکور کرتے ہیں، اور موازنوں کو ایک باڑ کے پیچھے پیشگی رجسٹر کرتے ہیں جو رجسٹریشن فائل موجود ہونے تک طلبہ کے تصدیقی نصف کو روکے رکھتی ہے۔ کسی بھی تکمیل کو کریڈٹ کرنا مشکل کی مستقل سے بمشکل بہتر ہے (985,813 اسکور شدہ واقعات میں یکجا AUC 0.604 بمقابلہ 0.595) اور 93.9 فیصد طالب علم-مہارت جوڑوں کو مہارت یافتہ قرار دیتا ہے، جبکہ اُس قاعدے کے تحت 72.8 فیصد ہیں جو مدد یافتہ سطروں کو ناکام پہلی کوشش پڑھتا ہے (0.658) — عمومی سبق یہ کہ مہارت کا لیبل شہادت کے قاعدے سے متعین ہوتا ہے، لاگ سے نہیں۔

• ماڈل کی قابلیت کو کیلیبریٹ شدہ سطح کے طور پر رپورٹ کریں، صرف درستگی کے طور پر نہیں۔ Min وغیرہ (2026) 2,050 سیکھنے والوں کے جوابوں سے 624 ماہر تشریح شدہ اشیاء کو نامزد مہارت کی سطحوں پر نقش کرتے ہیں، اور پاتے ہیں کہ سرکردہ ماڈل کیلیبریٹ شدہ حد سے آگے نکل جاتے ہیں — یہ حد جو فیصد چھپا دیتا ہے۔

• اسکورنگ کا قاعدہ اُس ماڈل سے گیم کیا جا سکتا ہے جسے وہ تربیت دیتا ہے۔ ایک انطباقی پیمانہ جسے ایک ہی بہترین فیصلہ دہرانے سے زیادہ سے زیادہ کیا جاتا ہو، یہ دکھاتا ہے کہ بینچ مارک کے ڈیزائن کو argmax شائع کرنا چاہیے، انطباق کو فرق کے طور پر اسکور کرنا چاہیے، اور اتفاق سے اوپر کے بنیادی خط رپورٹ کرنے چاہئیں (Domínguez Figaredo & Fernández De la Cruz, 2026)۔

عام غلط فہمیاں

• "leaderboard پر پوزیشن بتا دیتی ہے کہ ٹیوٹر کتنا اچھا ہے۔" StudentBench 2,383 بالغوں کو AI ٹیوٹرنگ، براہِ راست ماہر انسانی ٹیوٹرنگ اور ویڈیو حالتوں میں بے ترتیب تقسیم کرتا ہے اور دیگر نظاموں کے بجائے انسانی ٹیوٹروں کے مقابلے میں اسکور کرتا ہے۔ دیگر ماڈلوں کے پیمانے پر بنا بینچ مارک ایسا سوال حل کرتا ہے جو کسی کو درکار نہ تھا۔
• "مصنوعی شخصیات ٹیوٹر کی جانچ کے لیے کافی بنیاد ہیں۔" TutorCaseBench جانچ کو مصنوعی شخصیات کے بجائے دستاویز شدہ کیس ادب پر ٹکاتا ہے اور 923 مکالمے استعمال کرتا ہے۔ گھڑی ہوئی طالب علم شخصیات نظام کو ایسے کیس پاس کرنے دیتی ہیں جو واقع میں پیش نہیں آتے۔
• "بینچ مارک پر جج چیک کیے بغیر بھروسہ کیا جا سکتا ہے۔" ہیلوسینیشن کو حاصل شدہ کھلے لائسنس والے اقتباسات کے مقابلے entailment کے طور پر (ماہرین کے فیصلے کے ساتھ κ = 0.76) اسکور کیا گیا — جج کی تصدیق ماہرین کے مقابلے میں اُس کے اسکور استعمال کرنے سے پہلے کی گئی۔ ناقابلِ تصدیق خودکار جج نامعلوم معنی کے اعداد پیدا کرتا ہے۔

منسلک تصورات

• تعلیم میں AI کی تشخیص
• تعصب کا ازالہ
• انسان-در-حلقہ
• تشکیلی جانچ
• نالج ٹریسنگ
• جنریٹو AI
• خودکار مضمون جانچ

منسلک مضامین

• TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors — TutorCaseBench: مشکل رویوں والے طلبہ پر LLM ٹیوٹروں کا جائزہ (Park وغیرہ 2026)
• Standardized Assessment of LLM English Proficiency — 624 اشیاء والا انگریزی مہارت کا بینچ مارک جو ماڈل کی قابلیت کو کیلیبریٹ شدہ سطح کے طور پر رپورٹ کرتا ہے (Min وغیرہ 2026)
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — کیا جانچ کے آلات انسانوں اور LLM کے لیے ایک ہی چیز ناپتے ہیں؟ (Strugatski وغیرہ 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — تدریسی بینچ مارک: LLM کا تدریسی علم (CDPK + SEND)
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD-Agent-Bench: LLM پر مبنی تدریسی ڈیزائن ایجنٹوں کا بینچ مارک
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — مقامی OER AI علمی ذخیرے کے معاون: کثیر جہتی بینچ مارک
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — مستند مصنوعات سے تصدیق شدہ عمل تک: AI سے بھری اعلیٰ تعلیم میں مستند جانچ
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — ہاتھ سے لکھے ریاضی کے کام سے طلبہ کی علمی مہارتوں کی تشخیص کے لیے بڑے زبان ماڈلوں کا بینچ مارک
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: مصنوعی سیکھنے والوں کے ساتھ تدریسی LLM ایجنٹوں کے لیے طویل افق کا بینچ مارک
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — AI کے دور میں ذمہ دار جانچ: مستقبل پر مرکوز ایک کانفرنس کی کلیدی بصیرتیں
• ANVIL: Analogies and Videos for Lecturers — ANVIL: لیکچررز کے لیے تشبیہات اور ویڈیوز
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring — ICLE++: مجموعی مضمون کی درجہ بندی کے لیے باریک خصلتوں کی ماڈلنگ
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: سلائیڈ آڈٹ کے لیے کثیرالوسائط LLM کا بینچ مارک
• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: پیدا کردہ ریاضی کے خاکوں کی جانچ کا بینچ مارک
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — سیکھنے والوں کی جانچ خودکار بنانا: EEG پر مبنی شناسائی کی پیش گوئی
• AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory — AlgoRAG: نظریاتی کمپیوٹر سائنس تعلیم کے لیے ریٹریول سے افزودہ جنریشن — الگورتھم کے تجزیے اور پیچیدگی کے نظریے کے لیے ایک جامع جانچ فریم ورک
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: تشریح اول، کام پیدا کرنے والا بینچ مارک کی تعمیر، اور 12 فنکارانہ تصویری کاموں میں جہت کی سطح پر غیر زائدیت (Zhu وغیرہ 2026)
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI اور انسانی ٹیوٹرنگ GRE میں مساوی سیکھنے کے فوائد دیتے ہیں
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — نئے AI کی معاونت والے تعلیمی سوالوں کی تدریسی جانچ کے لیے پیشگی تربیت یافتہ ماڈلوں کا جائزہ
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — مڈل اسکول اور ہائی اسکول سائنس کے موضوعات پر LLM کی فہم کا بینچ مارک
• The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — AI ٹیوٹر بینچ مارک کے آٹھ ڈیزائن اصول، ایک ایسے پیمانے سے اخذ کیے گئے جسے دہرائی میں بہتر بنا دیا گیا تھا (Domínguez Figaredo & Fernández De la Cruz 2026)