ہم کیسے جانیں کہ تعلیمی AI درست کام کر رہا ہے، صرف اچھا اسکور نہیں کر رہا؟

انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔

کسی وینڈر کی تشخیصی رپورٹ آتی ہے اور اوپر ایک ہی عدد ہوتا ہے: انسانی گریڈرز کے ساتھ مطابقت، 0.84۔ یا آپ کا پائلٹ جمعہ کو ختم ہو رہا ہے اور ثبوت صرف ایک اطمینان کا سروے اور ماڈل کے ریلیز نوٹس سے نقل کی گئی ایک بینچ مارک سطر ہے۔ میٹنگ میں کوئی پوچھتا ہے کہ نظام کام کرتا ہے یا نہیں، اور آپ کے پاس ایک عدد ہے جو جواب جیسا لگتا ہے۔

مختصر جواب: جو اسکور آپ سب سے زیادہ دیکھتے ہیں وہ مشابہت ناپتے ہیں، اور مشابہت "یہ سکھاتا ہے" یا حتیٰ کہ "یہ فیڈ بیک پڑھا جا سکتا ہے" سے کمزور دعوہ ہے۔ طے کریں کہ ہر عدد کس چیز کو ثابت کر سکتا ہے، اپنے نظام کے ہر نتیجے کو اسکور کریں، اور درستگی کو ایسے قاعدے میں بدلیں جس کے ساتھ ایک حد، ایک انسان اور ایک بچت منسلک ہو۔ جس عدد پر کوئی عمل نہ کر سکے وہ ثبوت نہیں ہے۔

مختصراً

1. ایک جملے میں لکھیں کہ آپ کو کس چیز کی پروا ہے، پھر ایسا پیمانہ چنیں جو اسی چیز کو پڑھے۔ الفاظ کی مشابہت آپ کو نہیں بتائے گی کہ استدلال درست ہے یا نہیں۔

2. ہر نتیجے کا الگ جائزہ لیں۔ گریڈنگ کا مضبوط اسکور اپنے ساتھ والے فیڈ بیک ماڈیول کے بارے میں کچھ نہیں بتاتا۔

3. کسی انسان سے تقریباً پچاس نتائج پر درجہ بندی کروائیں اور ان درجہ بندیوں کا موازنہ اپنے خودکار جانچنے والے سے کریں۔ جہاں دونوں میں اختلاف ہو، وہاں جانچنے والا ہی زیرِ جانچ چیز ہے۔

4. "درستگی 0.84" کی جگہ ایک قاعدہ رکھیں: اس اعتماد سے نیچے، جواب کوئی انسان پڑھے۔ حد، اس سے بچنے والے کام کا حصہ، اور یہ کہ مطابقت کیا بنی، رپورٹ کریں۔

5. حفاظت کو پوری گفتگوؤں پر جانچیں، اور کسی بھی مصنوعی طالب علم پر بھروسہ کرنے سے پہلے اسے جانچیں کہ وہ آپ کے ٹیوٹر کے بارے میں کیا کہتا ہے۔

طے کریں کہ یہ عدد کس چیز کو ثابت کر سکتا ہے

اس ادب پر دو طرح کے اعداد چھائے ہوئے ہیں۔ دونوں ناپتے ہیں کہ آپ کا نتیجہ کسی اور چیز سے کتنا ملتا ہے، جو درستگی سے کمزور دعوہ ہے۔

مشابہت کے اسکور (ROUGE اور BLEU) آپ کے نظام کے جواب کے الفاظ کو حوالہ جواب کے الفاظ سے موازنہ کرتے ہیں۔ جو ماڈل متوقع متن کے قریب کچھ لکھے وہ اچھا اسکور کرتا ہے، حتیٰ کہ جب اس کا استدلال غلط ہو، یا جب طالب علم کسی ایسے راستے سے درست جواب تک پہنچ سکے جس سے کچھ سیکھا نہ جائے۔

مطابقت کے اسکور (QWK، چوکور وزن والا کاپا) ناپتے ہیں کہ ماڈل کے گریڈ انسانی گریڈ سے کتنے ملتے ہیں۔ ماڈل آخری نمبر پر گریڈر سے مطابقت رکھ سکتا ہے جبکہ وجہ کے بارے میں غلط ہو، اور وجہ ہی وہ حصہ ہے جس سے طالب علم سیکھتا ہے۔

طالب علم غلط راستے سے غلط جواب تک پہنچ سکتا ہے جو درست راستے جیسا لگے، اور کوئی مشابہت کا اسکور یہ نہیں پکڑتا۔ اگر استدلال ہی وہ چیز ہے جس کی آپ کو پروا ہے تو پیمانے کو اسے پڑھنا ہوگا: کسی انسان کا لاگو کیا ہوا روبرک، یا اسی مخصوص مرحلے کے لیے لکھی گئی جانچ۔

Linear Control Systems کورس اسسٹنٹ اسے درست طریقے سے رپورٹ کرتا ہے۔ اس کی بہترین ترتیب حوالہ جوابات کے مقابلے 0.4093 کا مشابہت اسکور حاصل کرتی ہے، بہتری قابلِ اعتماد طور پر صفر سے اوپر ناپی گئی، اور مصنفین صاف کہتے ہیں کہ یہ اعداد الفاظ اور ترتیب ناپتے ہیں (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects)۔ اسکور متاثر کن نہیں اور مقالہ پھر بھی کارآمد ہے، کیونکہ یہ بتاتا ہے کہ اسکور کس چیز کا احاطہ کرتا ہے۔

ہر نتیجے کو الگ اسکور کریں

WrAFT منصوبے میں ایک فائن ٹیون شدہ ماڈل نے 360 الگ رکھے گئے TOEFL مضامین پر انسانی گریڈرز کے ساتھ 0.84 کا مطابقت اسکور حاصل کیا۔ یہ گریڈنگ کے لیے مضبوط نتیجہ ہے۔ اسی منصوبے کے فیڈ بیک لکھنے کے لیے تربیت یافتہ ماڈل نے ایسا نتیجہ دیا جو کٹا ہوا اور ناقابلِ تجزیہ تھا، جبکہ کسی دوسرے ماڈل کو محض پرامپٹ کرنے سے ایسا فیڈ بیک ملا جسے اساتذہ نے ترجیح دی (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays)۔

یہ علم بنیاد وہی ناکامی دوسری صورت میں بھی رکھتا ہے: ایک تعیناتی جس کا گریڈنگ ماڈیول اچھا اسکور کر گیا اور جس کا فیڈ بیک جملے کے بیچ سے کٹا ہوا اور ناقابلِ مطالعہ پہنچا۔ سرخی والے عدد میں کسی چیز نے یہ نہیں بتایا۔

چنانچہ اپنے نظام کے تمام نتائج کی فہرست بنائیں، پھر ہر ایک کو اس کا اپنا پیمانہ اور اپنی پاس شرط دیں۔ گریڈنگ، فیڈ بیک کا متن، اشارے کا انتخاب اور حفاظتی انکار مختلف طریقوں سے ناکام ہوتے ہیں، اور ماڈیول کی سطح کا اسکور اپنے ماڈیول سے آگے نہیں دیکھ سکتا۔

جہاں ماڈل کو یقین نہ ہو وہاں انسان رکھیں

کوریلیشن بتاتی ہے کہ ماڈل عام طور پر درست ہے۔ یہ نہیں بتاتی کہ جن مواقع پر وہ درست نہیں، وہاں کیا کرنا ہے۔ اعتماد کے حساب سے رخ موڑنے کا نتیجہ علم بنیاد میں سب سے صاف سانچہ ہے، اور اتنا مختصر ہے کہ نقل کیا جا سکے۔

اعتماد ایک قابلِ اعتماد خطرے کی علامت نکلا: جب ماڈل کو یقین نہ ہوتا تو غلط ہونے کا امکان زیادہ ہوتا (β = -0.602, p < .001)۔ ٹیم نے سب سے کم اعتماد والے 20% جوابات کسی انسان کو بھیجے۔ اس ایک قاعدے نے انسانی گریڈز کے ساتھ مطابقت 0.78 سے 0.82 تک بڑھا دی اور دستی گریڈنگ کا کام تقریباً 80% کم کر دیا (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment)۔

دیکھیں کہ اس رپورٹ میں کیا ہے: ایک حد، ایک انسان، اور ایک بچت۔ "مطابقت 0.84" میں ان میں سے کچھ نہیں، اسی لیے اس پر عمل کرنا مشکل اور اس پر بحث کرنا آسان ہے۔

اپنے خودکار جانچنے والے کو کسی انسان کے سامنے جانچیں

بہت سی ٹیمیں اب پہلے ماڈل کا فیصلہ کرنے کے لیے دوسرا ماڈل استعمال کرتی ہیں۔ یہ بندوبست معقول ہے اور دوسرا ماڈل خود بخود درست نہیں ہوتا۔

ایک مطالعے نے ذہین ٹیوٹرنگ نظام کے لیے فرنٹیئر ماڈل سے اشارے لکھوائے اور پایا کہ ان میں سے تقریباً 35% بہت عام، غلط، یا جواب ظاہر کر دینے والے تھے، اور ماڈل کی اپنی خودکار معیار کی جانچ انسانی فیصلے سے اس بارے میں متفق نہیں تھی کہ کون سے برے ہیں (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models)۔

عملی صورت: تقریباً پچاس نتائج کا نمونہ لیں، کسی انسان سے ان پر درجہ بندی کروائیں، اور اس کا موازنہ اپنے جانچنے والے کی درجہ بندیوں سے کریں۔ جہاں دونوں الگ ہوں، وہاں آپ نے جانچنے والے کے بارے میں کچھ سیکھا۔ نمونہ اور اختلاف کا جدول رکھیں، کیونکہ یہی وہ دستاویز ہے جو اس جائزہ لینے والے کا جواب دیتی ہے جو پوچھے کہ آپ کو کیسے معلوم۔

جب کام اجازت دے تو خود وہ مقدار ناپیں

سب سے صاف حل یہ ہے کہ ماڈل کو اسی مقدار پر تربیت دیں جس کی آپ پیمائش کرنا چاہتے ہیں۔ ایک فائن ٹیون شدہ ماڈل کو امتحانی سوالات کی شماریاتی خصوصیات دوبارہ پیدا کرنے کی تربیت دی گئی: ہر آئٹم کتنا مشکل ہے، وہ مضبوط طلبہ کو کمزوروں سے کتنا الگ کرتا ہے۔ اس نے یہ نمونے سیکھے، اسے بتائے نہیں گئے (Multimodal Item Parameter Estimation using Simulated Response Probabilities)۔ چونکہ ہدف خود جائزے کی ایک خاصیت تھی، جائزہ اس خاصیت کے بارے میں ہو سکتا تھا، الفاظ کے بارے میں نہیں۔

آخری منزل کے ساتھ ساتھ پیش رفت بھی رپورٹ کریں۔ SWIM کے تحریری سمیولیٹر نے ہر مرحلے کا اسکور ساتھ ساتھ شائع کیا: روبرک پر مبنی پرامپٹنگ 0.577، فائن ٹیوننگ 0.474 ± 0.023، ریانفورسمنٹ لرننگ 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)۔ قاری اس جدول سے دیکھ سکتا ہے کہ تربیت نے کچھ کیا یا نہیں۔ ایک ہی آخری عدد یہ نہیں بتا سکتا، اور وہ ایسا مرحلہ چھپا دیتا ہے جہاں فائن ٹیون شدہ ماڈل نے پرامپٹ سے بدتر کارکردگی دکھائی۔

اپنے منصوبے سے باہر کی چیز سے موازنہ کریں

پہلے بنیادی موازنہ حاصل کریں، بشمول کوئی سستا والا۔ کورس اسسٹنٹ کے ماڈل نے بغیر کسی بنیاد کے سادہ کلیدی لفظ کی تلاش سے کم اسکور کیا، اور ایسا نتیجہ روڈ میپ بدل دیتا ہے جبکہ معلوم کرنے میں ایک دن لگتا ہے۔

پھر باہر کا کوئی بینچ مارک بتاتا ہے کہ آپ کا عدد بالکل کتنا اچھا ہے۔ CDPK تدریسی بینچ مارک پر EduQwen نے Gemini-3 Pro کے 90.55% کے مقابلے 96.52% حاصل کیا (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)۔ Pedagogy Benchmark، جو حقیقی اساتذہ کی پیشہ ورانہ ترقی کے امتحانات سے بنایا گیا اور 97 ماڈلز کا احاطہ کرتا ہے، نے درستگی 28% سے 89% تک پائی (Lelièvre وغیرہ، 2025)۔

تدریس سے متعلق ایک کام پر ماڈلز کمزور سے اچھے تک رہے، چنانچہ بینچ مارک کا نتیجہ آپ کے نظام کو ایک وسیع دائرے کے اندر کہیں رکھتا ہے۔

حفاظت کو پوری گفتگو پر جانچیں

حفاظت کی بیشتر جانچ ایک ہی تبادلے کو دیکھتی ہے۔ ٹیوٹرنگ میں جو نقصانات اہم ہیں وہ جمع ہوتے جاتے ہیں۔ SafeTutors نے پایا کہ خاص طور پر تدریس کے لیے بنائے گئے ماڈلز بھی لمبی گفتگو میں کمزور پڑتے ہیں اور وہ جواب ظاہر کر سکتے ہیں جو انہیں روکنا چاہیے (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems)۔

جانچ مکمل گفتگوؤں پر چلائیں، اور امتحانی باریاں جان بوجھ کر لکھیں: وہ طالب علم جو غلط ہے، وہ جو مسلسل دباؤ ڈالتا ہے، وہ جو ماڈل کو اس کے کردار سے ہٹانے کی کوشش کرتا ہے۔ جو ٹیوٹر دس باریاں سہتا ہے اور گیارہویں پر جھک جاتا ہے، وہ اسی جانچ میں ناکام ہوتا ہے جو اہم ہے، اور فی جواب والا سوٹ اسے صاف قرار دے گا۔

مصنوعی طالب علم پر بھروسہ کرنے سے پہلے اسے جانچیں

حقیقی طلبہ کو بھرتی کرنے کے بجائے مصنوعی طلبہ پیدا کرنا جائزے کو کہیں سستا بنا دیتا ہے۔ مصنوعی طالب علم بھی ایک پیمائشی آلہ ہے، اور وہ انہی طریقوں سے غلط ہو سکتا ہے جن سے آلات غلط ہوتے ہیں: بہت تعاون کرنے والا، بہت روانی والا، اشارہ قبول کرنے میں بہت جلدی کرنے والا۔

علم بنیاد میں سب سے براہ راست جانچ نے مصنوعی اور پرامپٹ شدہ طلبہ کا موازنہ حقیقی طالب علم اور ٹیوٹر کے ریاضی کی گفتگوؤں کے سب سے بڑے عوامی مجموعے کی 382 الگ رکھی گئی گفتگوؤں سے کیا، اور زبان، رویے اور سوچ کو ڈھکنے والے سات پیمانے استعمال کیے (Simulated Students in Tutoring Dialogues: Substance or Illusion?)۔ دیگر کام مختلف زاویوں سے حقیقت پسندی پر زور دیتے ہیں: INSIDE ماڈلز کو طالب علم کی طرح کام کرنے اور سوچنے دونوں کی تربیت دیتا ہے، اور تاریخ سے واقف پروفائلز سمیولیشن کو مقررہ شخصیت کے بجائے طالب علم کے ماضی پر مشروط کرتے ہیں (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues)۔

اگر آپ کا نظام مصنوعی طالب علم پر چلتا ہے تو اپنے ٹیوٹر کو جانچنے دینے سے پہلے سمیولیٹر کی حقیقی نقول کے خلاف توثیق کریں۔

تشخیصی ٹیمیں کیا غلط سمجھتی ہیں

زیادہ مطابقت اسکور کا مطلب ہے کہ نظام درست ہے۔ اس کا مطلب ہے کہ نظام انہی مضامین پر، اسی گریڈر کی طرح گریڈ کرتا ہے جس سے آپ نے موازنہ کیا۔ WrAFT کا 0.84 ایسے فیڈ بیک کے ساتھ آیا جو تجزیہ نہیں ہو سکا۔

ایک عدد پوری مصنوعات کی نمائندگی کر سکتا ہے۔ ٹیمیں ایسا ڈیش بورڈ بھیجتی ہیں جس کے کونے میں "درستگی 0.84" ہوتا ہے اور فیڈ بیک ماڈیول، اشارے کی پالیسی یا انکار کے رویے کے لیے کوئی خانہ نہیں ہوتا۔ ماڈیول کی سطح کا اسکور شمار کرنے میں سب سے آسان اور رپورٹ کرنے میں سب سے کم معلوماتی چیز ہے۔

باہر کا بینچ مارک طے کر دیتا ہے کہ آلہ کام کرتا ہے یا نہیں۔ Pedagogy Benchmark کا 28% سے 89% تک پھیلاؤ کہتا ہے کہ یہ کاموں کا خاندان مشکل ہے اور ناہموار طریقے سے خدمت کیا جاتا ہے۔ اس دائرے میں آپ کی جگہ آپ کے ماڈل کے بارے میں ایک حقیقت ہے۔ آپ کے طلبہ بعد میں کیا کر سکتے ہیں، یہ ایک الگ حقیقت ہے۔

ماڈل کا ماڈل کو جانچنا انسانی درجہ بندی کا سستا متبادل ہے۔ یہ سستا ہے۔ 35% کا عدد اور اس بارے میں اختلاف کہ کون سے اشارے برے تھے، بتاتے ہیں کہ ایسا جج جو کبھی جانچا نہ گیا، کیا کچھ گزرنے دیتا ہے۔

مصنوعی طلبہ جائزہ مفت بنا دیتے ہیں۔ وہ اسے سستا بناتے ہیں، اور لاگت کو توثیق میں منتقل کر دیتے ہیں۔ 382 گفتگوؤں والا موازنہ اسی لیے موجود ہے کہ آلے کو کیلیبریٹ کرنا ضروری تھا۔

جو آپ پر واپس آئے گا

"ہمارے پاس اس کے لیے تشریح کرنے والے نہیں۔" پچاس درجہ بند نتائج شروع کرنے کے لیے کافی ہیں۔ اگر کوئی اور فارغ نہ ہو تو خود درجہ بندی کریں، اور شیٹ رکھیں۔

"ہمارا بینچ مارک اسکور Gemini سے بہتر ہے۔" ہے، CDPK پر، ان پرامپٹوں پر جو وہ بینچ مارک استعمال کرتا ہے۔ اس کے ساتھ بغیر مدد والا پیمانہ بھی لائیں۔

"ہمارا خودکار جج ہمارے انسانی درجہ بندی کرنے والوں سے متفق ہے۔" تو آپ کے پاس ایک نمونے پر ایک کوریلیشن ہے۔ پوچھیں کہ کن نتائج پر اختلاف ہوا اور وہی پڑھیں، کیونکہ ناکامی وہیں رہتی ہے۔

"ہم لانچ سے پہلے پورا جائزہ نہیں لے سکتے۔" سستے تین چلا لیں: ایک نتیجہ الگ اسکور کیا گیا، پچاس نتائج کسی انسان کی درجہ بندی کے ساتھ، اور ایک پوری گفتگو جتنی حفاظتی جانچ۔ مہنگی چیزیں پائلٹ کے بعد آ سکتی ہیں۔

"یہ صرف ایک ڈیمو ہے، اس لیے جائزہ قبل از وقت ہے۔" ڈیمو سب سے سستا مقام ہے یہ جاننے کا کہ آپ کا عدد الفاظ ناپتا ہے۔ ایک بار اس کے ساتھ روڈ میپ جڑ جائے تو وہی دریافت عمل میں لانے کی لاگت بڑھ جاتی ہے۔

اس ہفتے کیا کریں

1. وہ ایک جملہ لکھیں جس کی تائید آپ کے جائزے کو کرنی ہے۔ اسے تشخیصی دستاویز کے اوپر رکھیں۔

2. نظام کے پیدا کردہ ہر نتیجے کی فہرست بنائیں اور ہر ایک کو ایک سطر، ایک پیمانہ اور ایک پاس شرط دیں۔

3. پچاس نتائج نکالیں، خود درجہ بندی کریں، اور اپنی درجہ بندیوں کو جانچنے والے کے ساتھ رکھیں۔

4. اعتماد کی تقسیم شمار کریں اور رخ موڑنے کا قاعدہ ایک عدد کے ساتھ لکھیں، ساتھ میں اس شخص کا نام بھی جو اس سے نیچے آنے والا پڑھتا ہے۔

5. ایک حفاظتی گفتگو چلائیں جس میں طالب علم غلط ہو، دو بار دباؤ ڈالے، اور جواب مانگے۔

آگے کہاں جائیں

ہم اپنے مضمون میں سیکھائی کی معاونت میں AI کو کیسے بہتر بنا سکتے ہیں؟ اسی مسئلے کا ڈیزائن والا رخ ہے۔ ہم AI ٹیوٹر کو طلبہ کو جواب دینے کے بجائے رہنمائی کرنا کیسے سکھائیں؟ ٹیوٹرنگ کے رویے تک تربیت کے راستے سے نمٹتا ہے، اور اساتذہ AI سے متعلق مداخلتوں کے جائزے کے لیے کون سے پیمانے اور تحقیقی طریقے استعمال کر سکتے ہیں؟ اس سوال کا اساتذہ کی طرف والا ورژن ہے، جبکہ تعلیم میں مصنوعی ذہانت کی تحقیق کو رپورٹ کرنے اور سمجھنے کے بہترین طریقے کیا ہیں؟ تحقیق کی طرف والا۔ طریقے AI Ed Evaluation اور LLM Training and Fine-Tuning کے تحت آتے ہیں۔