خودکار جانچ

انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔

خودکار جانچ — طلبہ کے کام کا جائزہ لینے کے لیے AI کا استعمال، تکوینی کوئز سے لے کر اعلیٰ داؤ والے امتحانات تک۔ خودکار جانچ کئی طریقوں پر پھیلی ہے — کثیر الانتخاب، مختصر جواب، مقالہ، کوڈ، اور کارکردگی پر مبنی جانچ — اور سیدھی خودکار گریڈنگ سے لے کر اعتماد سے آگاہ نظاموں تک جاتی ہے، جو اپنے اسکور کے ساتھ کیلیبریٹ شدہ غیر یقینی بھی بتاتے ہیں۔

غور کرنے کے سوالات

• خودکار جانچ کثیر الانتخاب کی اسکورنگ سے لے کر مضامین، کوڈ اور کارکردگی پر مبنی جانچ تک پھیلی ہے۔ کثیر الانتخاب کوئز اور آزاد مقالے کی گریڈنگ میں AI کے اعتبار کے حوالے سے آپ سب سے بڑا فرق کیا توقع کریں گے — اور کیوں؟
• یہاں ایک بنیادی ڈیزائن خیال 'اعتماد سے آگاہی' ہے: ایسے AI گریڈر جو بتاتے ہیں کہ وہ کتنے قائل ہیں، اور کم اعتماد والے معاملات انسانی جائزے کے لیے نشان زد کرتے ہیں، بجائے ایک ہی غیر مشروط اسکور دینے کے۔ 'مجھے اِس پر 70% یقین ہے' کہنے والا گریڈ آپ کے خودکار اسکور کے استعمال یا بھروسے کو کیسے بدلے گا؟
• تحقیق بتاتی ہے کہ خودکار اسکورنگ غیر مادری زبان بولنے والوں کو منظم طور پر نقصان پہنچا سکتی ہے — AI زبان کو جانچتا ہے، سمجھ کو نہیں۔ خودکار گریڈر خاص طور پر اِس قسم کی ناانصافی کی طرف کیوں مائل ہو سکتا ہے، حتیٰ کہ جب وہ مجموعی طور پر انسانی جانچنے والوں سے زیادہ اتفاق حاصل کرے؟
• ایک مطالعے نے پایا کہ توثیق کیسے کی جاتی ہے یہ بتائے گئے نتائج کو بڑھا سکتا ہے: ایک سادہ کراس-ویلیڈیشن طریقہ نے تقریباً کامل نتائج بتائے جو زیادہ سخت، ٹرائل سے آزاد توثیق میں ڈرامائی طور پر گر گئے۔ یہ عبرت آموز سبق بتاتا ہے کہ آپ کو یہ دعویٰ کیسے پڑھنا چاہیے کہ کوئی AI جانچ نظام 'کام کرتا ہے'؟
• صفحہ دلیل دیتا ہے کہ کیلیبریٹ شدہ اعتماد انسانی-در-لوپ ورک فلو کو ممکن بناتا ہے، اعتماد کی کیلیبریشن کی مدد کرتا ہے، اور پیمائش کی درستگی مضبوط کرتا ہے۔ اگر کوئی خودکار نظام اپنے سب سے غیر یقینی معاملات کسی انسانی جائزہ لینے والے کو بھیجے، تو اِس تقسیم پر بھروسا کرنے سے پہلے آپ یہ جاننا چاہیں گے کہ وہ معاملات کیسے چنے جاتے ہیں؟
• خودکار گریڈنگ کو AIED کی سب سے پختہ ایپلیکیشنوں میں شمار کیا جاتا ہے، پھر بھی مفید فیڈبیک کے بغیر گریڈنگ کی تعلیمی قدر محدود ہے۔ محض اسکور پیدا کرنے پر توجہ — قابلِ استعمال فیڈبیک کی بجائے — اِس بات کو کیسے بدل سکتی ہے کہ طلبہ AI سے جانچے گئے جائزے سے واقعی کیا حاصل کرتے ہیں؟

تعارف

جانچ کے طریقے

• مختصر جواب اور مقالہ: خودکار گریڈنگ، خودکار مضمون جانچ، اور اعتماد سے آگاہ طریقے آزاد متن کی جانچ سنبھالتے ہیں۔
• کوڈ کی جانچ: Bash گریڈنگ اور کوڈ کا جائزہ پروگرامنگ کی جانچ کا مظاہرہ کرتے ہیں۔
• تکوینی جانچ: A-level سائنس کی خودکاری اور CoTAL اختتامی استعمال کی بجائے تکوینی استعمال پر مرکوز ہیں۔
• بڑے پیمانے پر AI کے پیدا کردہ جائزے: Assessing AI-Generated Exams دکھاتا ہے کہ بار بار بہتر بنائے گئے، کورس کے مطابق ڈھلے AI کے پیدا کردہ امتحانات 91 کالج کلاسوں میں ماہرین کے لکھے معیاری امتحانی سوالات کے برابر IRT سے ماپا گیا معیار حاصل کرتے ہیں (دشواری β̄ = −0.45 بمقابلہ 0.35؛ امتیاز ᾱ = 1.3 بمقابلہ 1.2) — یہ شہادت کہ خودکار جانچ اسکورنگ سے مکمل سوالات کی تیاری تک جا سکتی ہے۔
• کارکردگی کی جانچ: ویڈیو شمولیت کی جانچ اور ڈرائنگ کی جانچ خودکاری کو متن سے آگے بڑھاتے ہیں۔
• کثیر النمط امتحانی ڈیٹا اور روبرک: ماہرین کے ڈیزائن کردہ Outcome-Based Education روبرک کے ساتھ کثیر النمط امتحانی جوابات کا ڈیٹا سیٹ مختلف جوابی طریقوں میں معیار کی سطح کی خودکار جانچ کے لیے بینچ مارک وسیلہ فراہم کرتا ہے، اور کثیر النمط طالب علم کام پر بینچ مارکنگ اور پیمائش کی تحقیق کی مدد کرتا ہے۔
• نیورو فزیولوجیکل جانچ: Nanayakkara & Halloluwa (2026) EEG پر مبنی واقفیت کی پیش گوئی (چہرے بمقابلہ ریاضی کی مساواتیں) کے لیے ML/DL ماڈلوں کا بینچ مارک کرتے ہیں، بطور علم کے حصول کی سیدھی، معروضی پیمائش کی طرف قدم۔ اہم بات یہ ہے کہ وہ دکھاتے ہیں کہ معیاری سطح بند کراس-ویلیڈیشن وقتی رساؤ کے ذریعے کارکردگی کو بڑھا دیتی ہے (0.9853 F1 تک)، جبکہ ٹرائل سے آزاد Group K-Fold توثیق چوٹی کو 0.6038 F1 تک گرا دیتی ہے — یہ تمام خودکار جانچ کی بینچ مارکنگ کے لیے عبرت آموز طریقہ کار سبق ہے۔

خودکار گریڈنگ

خودکار گریڈنگ تعلیم میں AI کی سب سے پختہ اور وسیع پیمانے پر تعینات شدہ ایپلیکیشنوں میں سے ہے — AI نظام جو طلبہ کے کام کا جائزہ لیتے ہیں، کثیر الانتخاب کی اسکورنگ سے مقالے کی جانچ اور کوڈ کے جائزے تک۔ اُس کے گریڈنگ کے طریقوں میں شامل ہیں:

• طلبہ فیڈبیک کی افادیت کو جانچنے کے اختیار سے الگ کرتے ہیں: AlGhamdi (2026) ایسا معاملہ بیان کرتے ہیں جہاں AI اسکور گریڈ میں شمار ہوتا تھا اور طلبہ یہ جانتے تھے — 13 کمپیوٹنگ طلبہ جن کے اسکین شدہ ہاتھ سے لکھے کام کو ChatGPT نے وضاحت، تنظیم، جملے کی درستگی اور اختصار پر محیط روبرک کے مطابق جانچا۔ ہر شریک نے فیڈبیک کو مفید پایا، پھر بھی سب نے اُس افادیت کو اختیار سے الگ کیا، اور کئی نے خودکار گریڈنگ کے یک طرفہ، غیر مکالماتی کردار کو مسترد کیا — "ChatGPT لوگوں جیسا نہیں ہے۔ آپ اُن سے بات کرتے ہیں اور عذر سمجھاتے ہیں... مجھے ایک عام استاد پسند ہے [جو] میرا کام گریڈ کرے۔" مطالعہ خودکار جانچ کو سطحی نظرِ ثانی کے لیے قابلِ قبول مگر حتمی جانچنے والے کے طور پر نہیں رکھتا، اور مشروط بھروسا مدرس کی نگرانی کے ذریعے ہوتا ہے۔
• مختصر جواب کی گریڈنگ: اعتماد سے آگاہ ASAG آزاد متن کے جوابات جانچتا ہے، اور اعتماد کی کیلیبریشن ناگزیر ہے — نظاموں کو جاننا چاہیے کہ گریڈنگ کب قابلِ اعتبار ہے۔ سائنس میں مختصر جواب کی خودکار نشان دہی (2017–2024 کے اوائل) کا اسکوپنگ جائزہ میدان کی تاریخ بیان کرتا ہے: Morley et al. نے پایا کہ BERT خاندان کے ماڈل (base, RoBERTa, DistilBERT, SciBERT) غالب رہے — 21 مطالعات میں سے 20 میں استعمال ہوئے، 2021 میں عروج پر — اور تقریباً 2022 سے GPT پر مبنی طریقے پرامپٹ انجینئرنگ کے ذریعے اپنائے گئے، فائن ٹیوننگ کے ذریعے نہیں۔ شعبے کے ڈیٹا (درسی کتابیں، روبرک، مزید پیشگی تربیت) سے بڑھائے گئے ماڈل مستقل طور پر اُن سے بہتر رہے جو ایسا نہیں تھے، پھر بھی کم ہی کوئی نشان انسانی فہم کی اصطلاحات میں جائز قرار دے سکا اور آبادیاتی و لسانی گروہوں میں تعصب کم ہی جانچا گیا — جس سے مصنفین یہ دلیل دیتے ہیں کہ خودکار نشان دہی کو انسانی ممتحن کی مدد کرنی چاہیے، اُن کی جگہ نہیں لینی چاہیے۔ 42 تجرباتی گریڈنگ اور فیڈبیک مطالعات (2023–2025) کا PRISMA کے رہنما اصولوں پر منظم جائزہ اِس احتیاط کو پورے میدان میں عام کرتا ہے: LLMs بند انجام والے کاموں اور مختصر جواب کے سوالات میں انسانی جانچنے والوں کے برابر آتے ہیں مگر پیچیدہ، کھلے یا موضوعی کام، جن میں گہرا تجزیہ یا تخلیقیت درکار ہو، پر انسانی فیصلے کی مکمل جگہ نہیں لے سکتے، اور سب سے زیادہ گریڈنگ تاثیر ایسے ہائبرڈ نظاموں میں ملتی ہے جو AI کی گریڈنگ کو استاد کی نگرانی اور تصدیق کے ساتھ جوڑیں (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback)۔
• مقالے کی اسکورنگ: خودکار مضمون جانچ نظام جیسے لنگر پر مبنی AES انسانی سطح کے اعتبار تک پہنچنے کے لیے پرامپٹنگ حکمت عملیاں استعمال کرتے ہیں۔ RACES، ایک انعام کے ساتھ ہم آہنگ مقالہ اسکورر، نے ASAP 2.0 پر جانچے گئے pretrained اور fine-tuned بیس لائنوں سے زیادہ Quadratic Weighted Kappa اور SimCSE مماثلت بتائی، بغیر اہمیت کی جانچ کے، اور اُس کا انعام-ماڈلنگ فیڈبیک LLM کا پیدا کردہ پراکسی تھا، صرف حوالہ جاتی اسکور انسان کے تفویض کردہ رہے (Li et al. (2026))۔ AIAWE خودکار جانچ کو وسیع تر تحریری جانچ تک بڑھاتا ہے۔
• کوڈ کا جائزہ: Linux Bash گریڈنگ اور CS1 کوڈ کا جائزہ کمپیوٹنگ تعلیم میں خودکار جانچ کا مظاہرہ کرتے ہیں۔
• پرامپٹ پرسونا گریڈر کو بے کار کر سکتا ہے، اور فائن ٹیوننگ اُسے ٹھیک کر سکتی ہے: Habibullah et al. (2026) نے ایک عملی کمپیوٹر وژن امتحان (570 دوہری گریڈنگ والے طلبہ) کو 171 ترتیبوں میں اور دوسرا مشین لرننگ امتحان (1,038 طلبہ) مزید 162 میں گریڈ کیا۔ ایک مختصر "سخت گریڈر" پیش بند نے 17 کھلے وزن والے ماڈلوں میں سے 14 کو گریڈ بینڈ سے باہر کر دیا (MAE ≥ 8)، تین نے گریڈنگ ہی چھوڑ دی؛ نقصان کی جڑ دو ایسے جملے تھے جو نمبر روکتے تھے، لہجہ یا ماڈل کا پیمانہ نہیں، اور اُس کی سمت امتحان کے مطابق تھی، اور دوسرے امتحان میں سات ماڈلوں کو بہتر کیا۔ تقریباً 3,900 جمع شدہ گریڈ شدہ مثالوں پر ہلکی LoRA فائن ٹیوننگ نے پانچ چھوٹے کھلے ماڈلوں کو انسانی گریڈر کے برابر یا بہتر کر دیا، چنانچہ کمزوری پرامپٹنگ کا اثر ہے، صلاحیت کی حد نہیں۔
• تکوینی انضمام: A-level سائنس کی خودکاری اور CoTAL دکھاتے ہیں کہ خودکار گریڈنگ تشکیلی جانچ کے چکروں میں کیسے شامل ہوتی ہے۔
• فیڈبیک اقسام کا پھیلاؤ اساتذہ سے ہم آہنگی نہیں۔ Almousa et al. (2026) نے تین یونیورسٹی تحریری کورسز کے پیراگراف سطحی فیڈبیک کو سات توجہ اقسام میں تشریح کیا؛ بیشتر ماڈل تقریباً ہر قسم پیدا کرتے ہیں، پھر بھی اُن کی تقسیمیں استاد کے حوالے سے ہٹتی ہیں، تعلیمی طور پر ڈھلا LearnLM سب سے قریب (Jensen–Shannon divergence 0.1344) اور Mistral-7B سب سے دور (0.2695)۔ زمرہ جاتی تعریفوں یا حل شدہ مثالوں کے ساتھ پرامپٹ کرنے سے بیشتر ماڈلوں کے لیے ہٹاؤ بڑھا۔
• تعصب اور انصاف: فزکس کی اسکورنگ میں لسانی تعصب بیان کرتا ہے کہ خودکار گریڈنگ غیر مادری زبان بولنے والوں کو کیسے نقصان پہنچا سکتی ہے — اور تعصب کا ازالہ اور مساوات سے جڑتا ہے۔
• کھلی گریڈنگ کے لیے GenAI ماڈلوں کی بینچ مارکنگ: Pecuchova, Benko & Drlik (2025) نے 24 سافٹ ویئر انجینئرنگ سوالات کے 1,885 کھلے جوابات پر گیارہ GenAI اور جملہ-embedding ماڈلوں کا بینچ مارک دو ماہر انسانی گریڈروں کے مقابل کیا۔ صرف GPTo1 تقریباً کامل اتفاق تک پہنچا (Fleiss' Kappa 0.82، گریڈ زمروں میں کم جھوٹے مثبت اور جھوٹے منفی)، Claude3 اور PaLM2 قریب قریب پیچھے؛ سیاق و سباق سے حساس GenAI ماڈلوں نے مختصر، مختلف انداز میں لکھے گئے طالب علم جوابات کو مضبوطی سے سنبھالا، جبکہ حوالہ پر مبنی embedding ماڈلوں (مثلاً BERT کے 345 جھوٹے مثبت) نے درست مگر مختلف الفاظ والے جوابات کو منظم طور پر سزا دی — یہ شہادت کہ ماڈل کا انتخاب، محض گریڈنگ کی شکل نہیں، آزاد متن کی کھلی جانچ کے اعتبار کو ڈھالتا ہے۔
• پرامپٹ مثالیں اسکورنگ کے اتفاق کا فیصلہ کرتی ہیں: Takahashi et al. (2026) نے درجہ بندی شدہ تشخیصی استدلال (HDR) خودکار کیا، جو ایک اطلاقی قابلیت کا کام ہے جس میں سیکھنے والے مختصر کیس میں جان بوجھ کر رکھی گئی غلطیاں ڈھونڈتے اور بیان کرتے ہیں۔ GPT-4o بغیر فائن ٹیوننگ استعمال کرتے ہوئے، ٹیم نے نئے مسائل پیدا کیے اور طلبہ کی تفصیلات کو اسکور کیا: پیدا کردہ اور انسانی لکھے مسائل کی داخلی یکسانی ایک جیسی تھی (Cronbach's α = 0.78) اور 100 شرکاء میں اسکور کی تقسیم کا کوئی نمایاں فرق نہ تھا، اور شکل کا پڑھنے کی فہم کے کنٹرول سے تعلق کم رہا (α = 0.36 اور 0.41)۔ اسکورنگ کی درستگی ماڈل کی بجائے پرامپٹ پر منحصر تھی — حل شدہ مثالوں کے بغیر Q2 precision 0.42 تک گر گئی، جبکہ انسانی اسکور والی درست اور غلط مثالیں شامل کرنے سے ہر سوال پر اتفاق 98% یا زیادہ ہو گیا (Q1 اور Q2 100% پر) — اور انسانی لاگت 117 جوابات کے لیے 138 منٹ ماہرانہ اسکورنگ اور 30 منٹ اتفاق رائے کی ماپی گئی۔

ماڈل کا اپنا استدلالی انداز دوسرا ترتیب والا لیور ہے: 32 گمنام پبلک ہیلتھ ماسٹرز امتحانی جمع آوریوں پر وہی ChatGPT تیز حالت میں weighted kappa 0.269 سے سوچنے والی حالت میں 0.718 تک پہنچا، جبکہ Kimi 0.571 تک (Brevik et al. (2026))۔

• اساتذہ کے کھلے جوابات کی کثیر ایجنٹ کوڈنگ، جہاں اعتبار ماڈل کی بجائے فریم ورک اٹھاتا ہے: Copur-Gencturk et al. (2026) خودکار جانچ کو طلبہ کے کام سے آگے اساتذہ کے اپنے مواد کی جانکاری (CK) اور تدریسی مواد کی جانکاری (PCK) کی کوڈنگ تک بڑھاتے ہیں، اور پوچھتے ہیں کہ کیا AI 268 امریکی مڈل اسکول ریاضی اساتذہ کے تناسب اور متناسب تعلقات پر تحریری جوابات کی تربیت یافتہ انسانی کوڈنگ کو دہرا سکتا ہے۔ مقصد کے لیے بنایا گیا کثیر ایجنٹ LLM، GradeOpt، GPT-4o پر مبنی تین کردار تفویض کرتا ہے — ایک Grader جو انسانی کوڈنگ مینوئل لاگو کرتا ہے، ایک Reflector جو ہر اختلاف کی انسانی کوڈ سے تشخیص کرتا ہے، اور ایک Refiner جو وضاحتی نکات کو چھ دور تک مینوئل میں واپس شامل کرتا ہے — اور CK پر تربیت یافتہ انسانی کوڈرز کے قریب قریب برابر رہا (κ = .88 اور .85) جبکہ زیادہ تشریحی PCK مدوں پر مجموعی طور پر خاطر خواہ اتفاق تک پہنچا (κ = .68؛ weighted κ = .79)۔ دو NLP بیس لائنیں اور ایک واحد پرامپٹ GPT-4o ماڈل PCK پر کبھی κ = .39 یا weighted κ = .55 سے آگے نہ بڑھے، چنانچہ مصنفین اعتبار کو ماڈل کے پیمانے کی بجائے کوڈنگ مینوئل کے مقابل ہدایات بہتر بنانے سے منسوب کرتے ہیں، اور جہاں قریبی کوڈنگ سطحیں دھندلی ہوں وہاں ماہرانہ جائزے کی سفارش کرتے ہیں، کیونکہ GradeOpt کی باقی غلطیاں عموماً قریبی کوڈز تھیں، بے ربط چوک نہیں۔

• مخلوط شکل کے امتحان کی گریڈنگ (2026): Falahat, Das, Bhaumik & Thambi (2026) نے 21 مدی فارمیسی امتحان (16 طلبہ) کی انسانی فیکلٹی گریڈنگ کے مقابل ChatGPT-5 کا جائزہ لیا، جس میں کثیر الانتخاب، select-all-that-apply، خالی جگہ بھرنا، فہرست سازی، مختصر جواب اور مقالہ مد شامل تھے۔ اتفاق معروضی مد اقسام کے لیے خاطر خواہ سے تقریباً کامل تھا (CCC 0.935–1.000 — گریڈنگ کے دوران فراہم کردہ درست جوابات سے مدد ملی) مگر فہرست سازی (0.621–0.708)، مختصر جواب (تقریباً صفر سے منفی) اور مقالہ (0.341–0.854) مدوں پر ڈھیر ہو گیا؛ منظم روبرک فراہم کرنے سے پورے امتحان کا اتفاق مستقل طور پر بہتر نہ ہوا (بغیر 71.1% بمقابلہ ساتھ 68.2%)۔ مطالعہ ایک طریقہ کار نقطہ تیز کرتا ہے جو خودکار جانچ میں بار بار آتا ہے — معتدل فیصد درستگی اکثر کم مطابقت کے ساتھ موجود ہوتی ہے — چنانچہ صرف درستگی اعتبار کو بڑھا چڑھا کر بتاتی ہے، اور یہ پیچیدہ، موضوعی یا اعلیٰ داؤ والے مدوں کے لیے ہائبرڈ گریڈنگ کی سفارش کرتا ہے۔

• اصلی نشان زدہ مضامین پر بین الخاندانی گریڈ بینڈ کیلیبریشن (2026): Kerwat, Donaldson & Mahomed (2026) نے چار ماڈل خاندانوں (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B اور Llama 3.1 8B، ہر ایک دو درجہ حرارتوں پر) سے آٹھ پیشگی متعین ترتیبیں چلائیں، BAWE/Coventry کے اُس ہی مقفل 114 مضامین کے گروہ پر جن پر ادارہ جاتی Merit اور Distinction لیبل تھے، ایک مشترکہ پرامپٹ کے ساتھ جو چار بینڈ کی اجازت دیتا تھا۔ درست بینڈ کا اتفاق 18.4% سے 54.4% تک رہا: Llama 3.1 8B درجہ حرارت 0.5 پر آگے (54.4% درست، 98.2% ایک بینڈ کے اندر، MAE 0.474، تقریباً صفر تعصب) جبکہ GPT-OSS 120B سب سے کمزور (18.4%) اور منظم طور پر کم گریڈ کرتا رہا، درجہ حرارت 0.5 پر اوسطاً 1.316 بینڈ، اور Distinction کی درستگی ہر جگہ Merit کی درستگی سے پیچھے رہی۔ مقفل گروہ میں Pass یا Fail کا کوئی حوالہ نہ تھا، چنانچہ یہ Merit–Distinction کا امتیاز ہے، پورے گریڈ دائرے میں اعتبار نہیں، اور درجہ حرارت کوئی علاج نہ نکلا — اُس نے ایک خاندان کی وضاحتی طور پر مدد کی، دوسرے کو ویسا ہی چھوڑ دیا، اور GPT-OSS 20B کو نمایاں طور پر بدتر کیا (39.5% سے 29.8% درست)۔ دو سبق مطالعے سے آگے منتقل ہوتے ہیں: گریڈ کا فاصلہ اور سمتی تعصب وہ دکھاتے ہیں جو اتفاق کے اعداد چھپا دیتے ہیں، اور ماڈل کا حجم جانچ کے اعتبار کا کوئی نائب نہیں۔

• طبی تعلیم میں کھلی اسکورنگ کے لیے روبرک انجینئرنگ: Olvet et al. (2026) نے پوچھا کہ کیا GPT-4 قبل از کلرک شپ طبی امتحانات میں کھلے سوالات کو قابلِ اعتبار طور پر اسکور کر سکتا ہے۔ دو امریکی اسکولوں میں انسانی زیرِ رہنمائی روبرک کی تین تکرار کے بعد، فیکلٹی کے ساتھ بین جانچنے والا اعتبار چار میں سے تین سوالات کے لیے تجزیاتی اور مجموعی روبرک کے ساتھ خاطر خواہ سے تقریباً کامل اتفاق تک پہنچا (weighted kappa 0.94 تک)، جبکہ مجموعی روبرک والا مد معتدل پر رکا (κw = 0.54)۔ غلطی کے نمونوں کا تجزیہ دکھاتا ہے کہ اختلافات دونوں جانچنے والوں سے منسوب تھے — GPT-4 زیادہ اسکور کرتا تھا جب طلبہ متعدد جوابات دیتے یا روبرک میں نہ ہونے والے الفاظ استعمال کرتے، جبکہ فیکلٹی اکثر "حد سے زیادہ فیاض" گریڈر تھی — جس سے مصنفین انسانوں کو لوپ میں رکھنے کی سفارش کرتے ہیں (مثلاً فیکلٹی ایک ذیلی حصہ اسکور کرے تاکہ درستگی کی تصدیق ہو)۔ چونکہ تقریباً 82% امریکی طبی اسکول قبل از کلرک شپ کام کو pass/fail میں گریڈ کرتے ہیں، درست AI اسکور کا اتفاق اکثر عملی استعمال کے لیے غیر ضروری ہوتا ہے۔

• بڑے پیمانے کی قومی تحریری جانچ کے لیے HITL اسکورنگ (2026): Curi et al. (2026) پرامپٹ پر مبنی بڑے لینگویج ماڈلز (LLMs) اسکورنگ کو ایک حقیقی اعلیٰ داؤ والے ہسپانوی تحریری امتحان (~5,000–6,000 جوابات سالانہ) تک بڑھاتے ہیں، اور 15 مدی تجزیاتی روبرک میں 60–80% مد درستگی اور 90% سے زیادہ پیداواری یکسانی حاصل کرتے ہیں، اور ہجے کے مد پر LLM کی جگہ ایک تعیینی NLP جانچنے والا لگاتے ہیں (100% یکسانی)۔ اُس کا نمایاں حصہ ماڈل مرکز پیمانوں کی بجائے فیصلے پر مبنی توثیق ہے: AI کا منظم کم گریڈنگ تعصب، IRT اور Bookmark کے ذریعے مہارت کی سطحوں میں بدل کر، 15.3–16.5% معاملات میں pass/fail اختلافات پیدا کرتا ہے — جن سبھی کو انسانی-در-لوپ ورک فلو ماہرانہ جائزے کی طرف بھیجتا ہے، اور مکمل انسانی اسکورنگ کے محتاج جوابات کو کم از کم 50% کم کرتا ہے جبکہ فیصلے کا معیار برقرار رکھتا ہے۔ یہ ہائبرڈ گریڈنگ کو ثبوتِ تصور ڈیٹا سیٹوں کی بجائے عملی جانچ میں بنیاد دیتا ہے۔

• جہت وار اتفاق دکھاتا ہے کہ جانچنے والا کہاں تبدیلی نہیں پکڑ سکتا: SOPHIE 2.0 (Hasan et al., 2026) نے تین جہتی طبی مواصلاتی روبرک پر تمام انسانی درجہ بندی کے ذرائع — معیاری مریض اور فریقِ ثالث جانچنے والے — کے اتفاق کے مقابل LLM جج کی توثیق کی، اور صرف transcripts سے Pearson 0.759 اور ICC(A,1) 0.746 تک پہنچا، انفرادی انسانی جانچنے والوں کے پھیلاؤ کے اندر، باہر نہیں۔ اُس کی سب سے کمزور جہت Be Explicit تھی (امیدوار ججوں میں 0.414–0.598 تعلقات)، اور یہی واحد جہت تھی جس کے اسکور دو ملاقاتوں میں قابلِ پیمائش طور پر نہ ہلے (Δ = 0.014, p = 0.1204) — چنانچہ جہت وار اتفاق پہلے سے بتا سکتا ہے کہ خودکار جانچنے والا کن جہتوں پر بہتری نہیں دکھا سکتا۔

اعتماد سے آگاہ جانچ

خودکار جانچ میں ایک مرکزی ڈیزائن ہدف اعتماد سے آگاہی ہے: ایسے AI جانچ نظام جو اپنے اسکور کے ساتھ کیلیبریٹ شدہ غیر یقینی بتاتے ہیں، بجائے ایک ہی غیر مشروط پیش گوئی جاری کرنے کے۔ اعتماد سے آگاہ گریڈر نہ صرف گریڈ یا درجہ بندی پیدا کرتا ہے بلکہ یہ بھی اشارہ دیتا ہے کہ وہ کتنا یقینی ہے، تاکہ کم اعتماد والے معاملات انسانی جائزے کے لیے نشان زد ہو سکیں اور صارف نظام پر اپنا بھروسا کیلیبریٹ کر سکیں۔ یہ ذمہ دار خودکار جانچ کا مرکز ہے اور سائیکو میٹرکس سے باشعور AI اور اعتماد کی کیلیبریشن سے قریب جڑا ہے۔

علمی ذخیرے کی تحقیق میں اعتماد کیسے ماڈل کیا جاتا ہے:

• مختصر جواب کی گریڈنگ کے لیے ملے جلے اعتماد کے اشارے: اعتماد سے آگاہ ASAG ماڈل پر مبنی اعتماد کے اشاروں (زبانی، مضمر، اور یکسانی پر مبنی) کو ڈیٹا سیٹ سے ماخوذ aleatoric غیر یقینی کے ساتھ Random Forest ریگریشن کے ذریعے جوڑتا ہے۔
• کثیر النمط طالب علم کام میں اعتماد: طالب علم کے کھینچے سائنسی نقشوں کی اعتماد سے آگاہ جانچ اعتماد کی ماڈلنگ کو کثیر النمط طالب علم جوابات تک بڑھاتی ہے۔
• LLMs کی نفسیاتی پیمائشی کیلیبریشن: نفسیاتی پیمائش سے آگاہ AI بڑے لینگویج ماڈلز (LLMs) اسکورنگ کو پیمائش کے نظریے سے ہم آہنگ کرنے کا معیار آگے بڑھاتا ہے، اور آئٹم رسپانس تھیوری ہم آہنگی کے ساتھ کیلیبریشن کو بنیادی شرط رکھتا ہے۔
• دشواری اور جواب کے وقت کی کیلیبریشن: پروگرامنگ امتحان کی دشواری کی کیلیبریشن LLMs کو معاون شہادت کے ذرائع کے طور پر دوبارہ رکھتی ہے جن کے دشواری کے اندازے طلبہ کے پاس ہونے کی شرح سے تعلق رکھتے ہیں۔
• خصوصیت کے مطابق ڈھلنے والی مقالہ اسکورنگ: PsyScore دکھاتا ہے کہ نفسیاتی پیمائش سے آگاہ فریم ورک مقالہ فیڈبیک کو سیکھنے والے کی خصوصیات کے مطابق ڈھال سکتا ہے۔
• بصری طالب علم کام کی جانچ: DiagramIR LLM کے پیدا کردہ ریاضی نقشوں (TikZ) کو تعیینی جانچ کے ساتھ درمیانی نمائندگی میں واپس ترجمہ کرتا ہے، انسانی جانچنے والوں سے اتفاق پر LLM-as-a-Judge کو شکست دیتا ہے اور چھوٹے ماڈلوں کو تقریباً 10× کم لاگت پر بڑے ماڈلوں کے برابر کرتا ہے — غیر متنی، نقشہ جاتی طالب علم پیداوار جانچنے کا قابلِ توسیع راستہ۔
• خودکار استاد جانچ میں بھروسے سے مشروط استدلال: Li, Yang & Fang (2025) Monte Carlo dropout کیلیبریشن کو سیدھا اسکورنگ راستے میں رکھتے ہیں، تاکہ سیکھی ہوئی حد سے زیادہ dropout تغیر اسکور کی بجائے reject-and-refer پیداوار کو متحرک کرے، اور ساتھ ہی مخالفانہ debiasing جو انصاف کے فرق کو 1.8% پر رکھتی ہے جہاں بیس لائنیں 6.4–8.2% کے دائرے میں ہیں، اور TeacherEval-2023 پر متوقع کیلیبریشن غلطی 0.032۔ اُن کا ablation کیلیبریشن کی دلیل کو چھوٹے پیمانے پر دکھاتا ہے: بھروسے سے مشروط ماڈیول ہٹانے سے بین جانچنے والا اتفاق 78.6% پر گر جاتا ہے، اور مصنفین انسانی جائزے کے بوجھ میں 41% کمی گیٹنگ سے منسوب کرتے ہیں — غیر یقینی کو بعد از وقت رپورٹ کرنے کی بجائے معماری کے طور پر سنبھالنا۔
• روبرک پر مبنی اسکورنگ کی وضاحت پذیری: Bueno et al. دکھاتے ہیں کہ ماڈل سے آزاد SHAP منسوبات روبرک پر مبنی اسکوروں (مثلاً کلاس روم فیڈبیک کا معیار) کی وضاحت کے لیے LLM کے پیدا کردہ دلائل سے زیادہ وفادار اور قابلِ منتقلی ہیں، اور deletion-based + cross-model ٹیسٹوں کو کسی بھی اسکورنگ ماڈل کی وضاحتوں کی جانچ کا اصولی طریقہ تجویز کرتے ہیں۔

کیلیبریٹ شدہ اعتماد کیوں اہم ہے:

• انسانی-در-لوپ تفویض کو ممکن بناتا ہے: کم اعتماد والے معاملات انسانی جائزہ لینے والے کو بھیجے جاتے ہیں — اندھی خودکاری کی بجائے انسانی-در-لوپ ورک فلو کی مدد کرتا ہے۔

• اعتماد کی کیلیبریشن کی مدد کرتا ہے: کیلیبریٹ شدہ اعتماد صارفین کو اپنا بھروسا نظام کے اصل اعتبار سے ملا سکنے دیتا ہے، حد سے زیادہ بھروسے اور کم بھروسے دونوں سے بچاتا ہے۔

• پیمائش کی درستگی بہتر کرتا ہے: اعتماد سے آگاہ اسکورنگ غیر یقینی کو واضح کر کے تعلیمی پیمائش اور جانچ کا اعتبار کو مضبوط کرتی ہے۔

• انصاف اور دفاعی صلاحیت: کم اعتماد والے معاملات کو جائزے کے لیے نشان زد کرنا اعتماد سے غلط اسکوروں کا خطرہ کم کرتا ہے، خاص طور پر غیر معمولی یا کم نمائندگی والے جوابات کے لیے۔

• روبرک کی تیاری اور مدرس کی نگرانی والی گریڈنگ پائپ لائنیں: Mendonça et al. (2026) دکھاتے ہیں کہ LLM کے پیدا کردہ جانچ روبرک (HARMOGEN-R) فنی مواد کے لیے ±5 پوائنٹ کے برابری حاشیے میں انسانی روبرک کے برابر آ سکتے ہیں، اور منظم تیاری سے مختلف ماڈلوں میں زیادہ یکسانی ملتی ہے۔ Cruz et al. (2026) ایک سرے سے سرے GPT-4o گریڈنگ پائپ لائن کا جائزہ لیتے ہیں جس میں 362 جمع آوریوں میں سے 83% میں AI گریڈ مدرس کے 0.5 پوائنٹ کے اندر رہے (MAE 0.31) — جسے مدرس کے فیصلے کا متبادل نہیں بلکہ قابلِ توسیع ضمیمہ کہنا بہتر ہے۔

معیار اور انصاف

خودکار جانچ کا معیار جانچ کا اعتبار اور تعصب کا ازالہ پر منحصر ہے۔ لسانی تعصب کی تحقیق دکھاتی ہے کہ خودکار اسکورنگ بعض طالب علم آبادیوں کو منظم طور پر نقصان پہنچا سکتی ہے۔ معیار خود بھی غلطی پذیر ہے۔ Bozdag and Qiu (2026) GCSE فزکس کے پرچے AI نظام سے نشان زد کرتے ہیں اور اُن کا موازنہ سرکاری امتحانی بورڈ کے نشانات اور تجربہ کار اساتذہ کے فیصلے دونوں سے کرتے ہیں، اور بورڈ سے اتفاق کو درستگی کے نائب کے طور پر لیتے ہیں، خود درستگی کے طور پر نہیں۔

تعیناتی کے منظر نامے اور ہر ایک کی ضروریات

ادارے کو کتنی ہم آہنگی کا مطالبہ کرنا چاہیے یہ اِس بات پر منحصر ہے کہ نظام کو کیا فیصلہ کرنے کی اجازت ہے۔ ایک مخلوط طریقہ مطالعے میں، جو تین برطانوی یونیورسٹیوں کے 761 مستند انڈرگریجویٹ مضامین پر تھا، تین فرنٹیئر ماڈل ہر ایک 27 پرامپٹ ترتیبوں کے ساتھ ڈگری بینڈ پر انسانی جانچنے والوں سے صرف 35–65 فیصد اتفاق تک پہنچے، اور درستگی اداروں کے درمیان منتقل نہ ہوئی — چنانچہ رپورٹ امیدوار استعمالات کو ایک فیصلے کی بجائے الگ الگ منظر نامے سمجھتی ہے۔ انسانی نشان دہی کی معیار کی یقین دہانی، جہاں AI متوازی نشان دہی کرتا ہے اور نمایاں فرق انسانی جائزے کو متحرک کرتا ہے، سب سے قدامت پسند ہے۔ نشان دہی کا معاون، جمع آوریوں کو پیش گوئی شدہ معیار یا غیر یقینی کے مطابق درجہ بندی کرنا، پیچیدہ معاملات کی چھانٹی، یا مختصر انسانی تبصروں کو مزید فیڈبیک میں پھیلانا، ایک حقیقی درمیانی راستہ ہے۔ AI بطور بنیادی نشان دہی کرنے والا، نمونے یا نشان کی تقسیم کے انسانی جائزے کے ساتھ، صرف اُس وقت قابلِ قبول جانچا گیا جب نظام کی کارکردگی بہتر ہو، اور کسی بھی حصہ دار گروہ نے AI کو واحد نشان دہی کرنے والا تسلیم نہ کیا۔

اِن سب کے لیے تین شرطیں لازم آتی ہیں۔ چونکہ ہم آہنگی ماڈل اور ادارے کے مطابق مخصوص ہوتی ہے، توثیق مقامی اور مستقل ہونی چاہیے — کہیں اور کی سرخی درستگی تیاری کی شہادت نہیں۔ چونکہ نشانات درمیان کی طرف دبے ہوئے تھے، AI گریڈ کی حدوں پر اور سب سے مضبوط اور کمزور جمع آوریوں میں سب سے کم درست تھا، اور یہیں جانچ کے فیصلوں کے نتائج سب سے زیادہ ہوتے ہیں۔ اور چونکہ AI اور انسانی نشان کے درمیان اختلاف محض غلطی کی بجائے مختلف فیصلے کا عکاس ہے، اختلافات کو الگورتھمی اوور رائیڈ کی بجائے انسانی تشریح کو متحرک کرنا چاہیے، اور نشان پر حتمی اختیار لوگوں کے پاس رہنا چاہیے۔ اپنانے کے ساتھ حکمرانی کی ذمہ داریاں بھی آتی ہیں جو فنی پیمانے نہیں پکڑتے: GDPR کے آرٹیکل 22 کے تحت وضاحت کا حق جہاں خودکار فیصلے طلبہ کو متاثر کریں، Equality Act کی ذمہ داریاں جب یہ ثابت ہو جائے کہ حصول کی سطح اور زبان کا استعمال نشانات کو متاثر کرتے ہیں، اُن غلطیوں کے لیے نظرِ ثانی شدہ اپیلیں جو آسانی سے پکڑی نہیں جاتیں، اور ناقابلِ واپسی کا خطرہ — ایک بار عملہ اور سرمایہ کاری بدل جائیں تو ادارے کے لیے وہ انسانی نشان دہی جمع کرتے رہنا مشکل ہو سکتا ہے جس کی واپسی کے لیے اُسے ضرورت ہو گی۔

تینوں ماڈلوں کو ملا کر بھی وہ غلطی نہ اٹھی: چونکہ اُن کی غلطیاں باہم منسلک تھیں — 63.4% اسائنمنٹس پر ایک ہی سمت — Corsi et al. (2026) کا مجموعہ بہترین واحد ماڈل سے شماریاتی طور پر الگ نہ تھا، اور مشترکہ مرکزیت کا دباؤ برقرار رہا۔

Venetsanos (2026) وہ معیار فراہم کرتے ہیں جنہیں یہ شرطیں فرض کرتی ہیں، اور دلیل دیتے ہیں کہ خودکاری کو قابلِ دفاع بنانے والی چیز کام کی علمی حیثیت ہے، نہ کہ وہ جو ٹیکنالوجی تکنیکی طور پر کر سکتی ہے۔ اُن کا فریم ورک AI کو حقیقی اور طریقہ کار دعووں کی محدود تصدیق تک محدود کرتا ہے — چاروں غیر مبہم دستاویزی معیار بیک وقت پورے ہوں: قائم شدہ علم کے ساتھ سیدھا موازنہ، متبادل درست طریقوں کی جانچ نہ ہونا، اور ایک درست جواب یا پیشگی متعین قابلِ قبول مجموعہ، اور ابہام بطور طے شدہ انسان کی طرف بڑھے — اور اُس سطح پر AI کی شمولیت کو پانچ ناقابلِ گفت و شنید اصولوں پر مشروط کرتا ہے جو سب بیک وقت پورے ہوں: علمی ذخیرہ جانچنے والے کا چنا ہوا ہو اور ماڈل کے داخلی علم کی بجائے ماڈیول کے مواد میں ریٹریول پر مبنی ہو؛ انسانی جانچنے والے ہر AI پیداوار کا جائزہ لیں اُس سے پہلے کہ وہ طلبہ تک پہنچے اور مطلق اوور رائیڈ اور غیر مشترکہ جواب دہی رکھیں؛ فیڈبیک واضح اصلیت اور انتساب رکھے؛ اور سلامتی شروع سے مخالفانہ استعمال کے خلاف ڈیزائن ہو، سفید یا چھوٹے متن، انکوڈنگز، تصاویر یا دستاویزی میٹا ڈیٹا میں چھپی ہدایات کے لیے input sanitisation کے ساتھ، کیونکہ خودکار نظام سے کامیاب گریز طالب علم گروہوں میں پھیلتا ہے۔ یہی مقالہ واضح کرتا ہے کہ اُس کے اصول بیک وقت قابلِ عمل ہونے کے لیے غیر جانچے ہوئے ہیں اور یہ کہ تیاری، سلامتی کے ڈھانچے اور اعلیٰ تعدد نگرانی کے لیے جانچنے والے کا وقت عملے کی کوشش ہٹا سکتا ہے، کم نہیں کر سکتا — یہ احتیاط اوپر کی مقامی توثیق کی شرط کے ساتھ بیٹھتی ہے۔

AI کے ذریعے گریڈنگ کی سلامتی

روزمرہ گریڈنگ ورک فلو کا ریڈ ٹیم جائزہ وہ حملے کی سطح دکھاتا ہے جو مخالفانہ استعمال کی منصوبہ بندی کو ڈھانپنا چاہیے۔ Humble (2026) نے ایک مصنوعی مقالے میں پانچ بالواسطہ پرامپٹ انجیکشن رکھے جسے Microsoft Copilot (GPT-5.2) نے چھ میں سے چھ بیس لائن رنز میں فیل گریڈ کیا تھا، اور ہر ایک کو docx، pdf اور htm فائلوں میں دہرایا۔ دو حکمت عملیوں نے بغیر کسی نظر آنے والی وارننگ کے گریڈ بدلا — ایک ہدایت میں ردوبدل اور کردار ادا کرنے والا پیراگراف 9 میں سے 9 تکرار میں (100%) اور وہی پیراگراف تصویری تہہ کے پیچھے چھپا کر 18 میں سے 17 میں (94%) — جبکہ دستاویز کے آخر میں چھوٹے سفید متن کا پیراگراف نو تکراروں میں ناکام رہا، اور فائل میٹا ڈیٹا کے انجیکشن کبھی کام نہ کر سکے، جسے مصنف جانچے گئے ورژن میں میٹا ڈیٹا تک رسائی بند ہونے سے منسوب کرتے ہیں۔ بھروسے کا مسئلہ حملوں سے زیادہ دیر تک رہا: ایک pdf رن نے چھپی ہوئی ہدایت پکڑی اور کہا کہ وہ صرف سرکاری اسائنمنٹ کے مطابق گریڈ کرے گا، پھر بھی وہی فائل دوبارہ چلانے سے گریڈ مزید چھ بار بغیر وارننگ کے بڑھا، اور پکڑے گئے حملے سے بلاک ہونے والا چیٹ صارف کو بتانے کی بجائے خاموشی سے بند کر دیا گیا۔ مصنف دلیل دیتے ہیں کہ نتیجے میں آنے والے گریڈ کسی بھی سمت اعتبار کا دعویٰ نہیں رکھتے، کہ مخالف کو تہہ دار گارڈ ریل کے خلاف صرف ایک کام کرنے والا امتزاج چاہیے، اور کہ استاد ہی پیداوار پر واحد حقیقی جانچ رہتا ہے جبکہ ہیرا پھیری ایسی ڈیزائن کی گئی ہے کہ نظر نہ آئے — جو سیدھا اوپر Venetsanos کے بتائے input sanitisation اور مخالفانہ سلامتی کی ذمہ داری سے جڑتا ہے۔

روابط

خودکار جانچ جانچ کا اعتبار (معیار کی یقین دہانی)، تشکیلی جانچ (استعمال کا سیاق)، تعصب کا ازالہ اور مساوات (انصاف)، تدریس (خودکاری مدرس کے کام کو کیسے بدلتی ہے)، اور AI فیڈبیک کا معیار (مفید فیڈبیک کے بغیر گریڈنگ کی تعلیمی قدر محدود ہے) سے جڑتی ہے۔ اعتماد سے آگاہ جانچ سائیکو میٹرکس سے باشعور AI کے وسیع ایجنڈے میں ایک مخصوص طریقہ کار ہے اور کیلیبریٹ شدہ بھروسے میں حصہ ڈالتی ہے۔

• ہاتھ سے لکھی فزکس کی بڑے پیمانے پر AI گریڈنگ (2026): ایک کثیر النمط ماڈل (GPT-5.5) نے قومی فزکس اولمپیاڈ نظری امتحان، انتخابی کیمپ اور یونیورسٹی کوانٹم میکینکس امتحان میں 10,364 اسکین شدہ صفحات گریڈ کیے، اور سرکاری نشانات کے ساتھ کل اسکور کے تعلقات 0.91–0.97 حاصل کیے اور وہی پہلی پانچ اولمپیاڈ ٹیم نکالی۔ صفحہ بہ صفحہ نظرِ ثانی شدہ، شہادت کی جگہ بتانے والی ہدایات نے اتفاق بہتر کیا — یہ شہادت کہ کثیر النمط AI محتاط روبرک اور پرامپٹ انجینئرنگ کے ساتھ اعلیٰ داؤ والی اختتامی گریڈنگ کی مدد کر سکتا ہے (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes)۔

• ہاتھ سے لکھی کیمسٹری کے لیے منتخب خودکاری (2026): Cvengros & Kortemeyer نے 296 طلبہ کے ہاتھ سے لکھے جنرل کیمسٹری فائنل کو روبرک تصاویر کے مقابل صفحہ بہ صفحہ ایک کثیر النمط، استدلالی LLM سے گریڈ کیا، اور کل اسکوروں پر رن بہ رن اعتبار (ICC(A,1) = 0.967) اور TA گریڈنگ کے ساتھ مضبوط کل اسکور اتفاق (R² = 0.91) حاصل کیا۔ چونکہ مد کی سطح کا اعتبار شکل کے مطابق تیزی سے بدلا — متنی اور کیمیائی ردِ عمل کے جوابات قابلِ اعتبار گریڈ ہوئے جبکہ ڈرائنگ اور گرافنگ اتفاقِ سادہ سے بھی بدتر رہے — خام اتفاق اعلیٰ داؤ والے استعمال کے لیے ناکافی جانچا گیا۔ وہ انسانی حوالگی کو اعتماد کے فلٹروں کے ذریعے عملی شکل دیتے ہیں (جزوی نمبر کی حدیں، IRT پر مبنی خطرہ کی حد، اور مسئلے کی قسم کا اخراج) جو خام AI اسکوروں کو accept/deferral پالیسی میں بدلتے ہیں، اور دکھاتے ہیں کہ جھوٹے مثبت (AI کا واقعی غلط جواب کو نمبر دینا) عموماً پکڑے نہیں جاتے کیونکہ طلبہ کم ہی اُن پر اعتراض کرتے ہیں — منتخب خودکاری کا ٹھوس نفسیاتی پیمائش پر مبنی راستہ (Assisting the grading of a handwritten general chemistry exam with artificial intelligence)۔

• یونیورسٹی امتحان میں نیم کھلی ہاتھ سے لکھی ریاضی (2026): Liu et al. نے جرمن انڈرگریجویٹ ریاضی کا امتحان GPT-4 سے دو اخراج راستوں (پیشگی کٹے جوابی خانے بمقابلہ پورے صفحات)، دو optical-character-recognition راستوں اور دو روبرک شکلوں میں گریڈ کیا، اور انسانی درجات کے مقابل Krippendorff's alpha 0.22-0.44، بہترین ورک فلو پر درستگی 0.59-0.62 اور فی مسئلہ درستگی 0.27-0.91 بتائی — اعلیٰ داؤ والی اختتامی جانچ کے لیے ناقابلِ قبول۔ کثیر معیاری گریڈنگ قواعد کو مد بہ مد کرنے سے عموماً اتفاق بہتر نہ ہوا (اُس نے جزوی نمبر والے مسئلے میں مدد کی)، روبرک کے بغیر آزاد گریڈنگ بہت بدتر رہی (درستگی 0.50-0.51)، اور انسانی دوبارہ جانچ کے لیے درجات نشان زد کرنے والا احتمالی اعتماد فلٹر درستگی نمایاں طور پر نہ بڑھا سکا جبکہ 7-41 فیصد جوابات کو غلط طور پر قابلِ اعتبار نشان زد کرتا رہا۔ مطالعے کا قابلِ منتقلی سبق طریقہ کار کا ہے: پورا امتحانی پرچہ مارکر کے ساتھ اسکین اور نقل کریں، جوابی خانے کاٹ کر نہیں، کیونکہ طلبہ خانے کی حدود کے پار لکھتے ہیں؛ تدریسی معاونین کے لیے لکھے گئے گریڈنگ قواعد دوبارہ لکھیں، کیونکہ ماڈل نے انسان کے لیے لکھے گئے قاعدے سے غیر مطلوب اخذ کرنے کی کوشش کی؛ اور یاد رکھیں کہ انسانی گریڈنگ کے قواعد خود پانچ قسموں کے درمیان alpha 0.88 پر دوبارہ بیان کیے گئے تھے، چنانچہ پرامپٹ کی مضبوطی رکاوٹ نہیں۔

• تحریری چھانٹی کے لیے LLM تقابلی فیصلہ (2026): Mercer & Reed نے سات LLMs کو جوڑی وار تقابلی جج کے طور پر استعمال کر کے درجات 3–6 کے 1,208 طلبہ کی معلوماتی تحریر کو تین چھانٹی مواقع پر اسکور کیا۔ LLM-CJ اسکور تجزیاتی روبرک اسکوروں سے مضبوطی سے جڑے (r = .67–.73، Gemini-3.1 Pro کے لیے سب سے مضبوط) اور مہارت کے لیے AUC .82–.86؛ نتائج ماڈلوں میں مستحکم رہے، اور مہنگے، زیادہ قابل ماڈلوں سے اعتبار میں بہت کم فائدہ ہوا، جبکہ تین تحریری نمونوں کا اوسط لینا درستگی بہتر کرتا رہا — نمونے کی وسعت ماڈل کے انتخاب سے زیادہ اہم رہی۔ کثیر لسانی سیکھنے والوں کے لیے پیش گوئی کے تعصب کے نمونے انسانی روبرک اسکورنگ سے میل کھاتے رہے، جو LLM-CJ کو موثر، کم لاگت چھانٹی کے طریقے کے طور پر تائید دیتا ہے (Validity of Large Language Model Comparative Judgment for Universal Writing Screening)۔

• مدرس کی گریڈنگ کے ساتھ معیار پر منحصر ہم آہنگی (2026): ایک ہی انڈرگریجویٹ گروپ پروجیکٹس کو ChatGPT، ہم مرتبہ اور مدرس سے گریڈ کرانے کا موازنہ کرتے ہوئے Usher & Faraon نے پایا کہ ChatGPT کی مدرس کے ساتھ ہم آہنگی پروجیکٹ کا معیار بڑھنے کے ساتھ بہتر ہوئی — سب سے بڑا زیادہ اندازہ کم معیار کے کام کے لیے تھا (تقریباً +14 پوائنٹ)، جو اعلیٰ معیار کے پروجیکٹس کے لیے تقریباً +2.5 پوائنٹ تک سکڑ گیا۔ ChatGPT نے اوسطاً ہم مرتبہ اور مدرس دونوں سے زیادہ گریڈ بھی دیا، یہ گریڈ افراط کا رجحان اُس کے بطور واحد اختتامی گریڈر اعتبار کو کمزور کرتا ہے، خاص طور پر کمزور جمع آوریوں کے لیے۔

• چھوٹے کارپس کے اتفاق کے اعداد تعیناتی کے فیصلے گمراہ کر سکتے ہیں۔ 60 مارکیٹنگ پوسٹس (15 طلبہ اور 15 محقق کی لکھی کم معیار اینکرز) کو دو آزاد انسانی جانچنے والوں کے مقابل اسکور کرنے سے LLM کے لیے مطلق اتفاق ICC(2,1) .435، برابر وزن والے قاعدہ-بعلاوہ-LLM ہائبرڈ کے لیے .266 اور تعیینی قواعد کے لیے .091 رہا، اور 0-100 پیمانے پر MAE بالترتیب 6.28، 10.53 اور 17.22 پوائنٹ؛ ہائبرڈ اکیلے LLM سے نمایاں طور پر بدتر تھا (جوڑی وار ICC فرق -.169، 95% CI [-.260, -.106])۔ اینکرز شامل کرنے سے بین جانچنے والا ICC .338 سے .902 اور LLM کا اتفاق .435 سے .846 ہو گیا، اور تقریباً خالی پوسٹ کو انسانی اوسط 30.5 کے مقابل 75 ملے، جو دکھاتا ہے کہ ایک ہی خراب جواب چھوٹی جانچ پر غالب آ سکتا ہے۔ (Agreement and error in automated scoring of student marketing posts)

• منظم LLM گریڈنگ تجزیاتی دکھ سکتی ہے مگر تشخیصی نہ ہو (2026): 50 کمپیوٹر سائنس سوالات کے 3,041 جوابات اسکور کرتے ہوئے، تین تجارتی LLMs نے روبرک کی ذیلی جہتیں تقریباً زائد پیدا کیں (r = 0.82–0.99، VIF 45 تک) اور صرف 4.8–7.4% تبصروں میں غلط فہمیاں نامزد کیں، جبکہ مدرسین کے لیے یہ 15.0% تھا (Zhao et al., 2026)۔

• "ایک ہی kappa گریڈر کا مقدمہ ہے۔" یہ صرف ایک جانچ ہے، اور تین عوامی کارپس پر 22 پرامپٹ شدہ ماڈلوں کا بینچ مارک دکھاتا ہے کیوں۔ ہر ماڈل نے ایسے پروب پورے کیے جن کا درست جواب معلوم تھا: پورے نمبروں کی شائستہ درخواست، جعلی گریڈنگ ہدایت، خالی جواب، بے معنی لفظ، ننگا اعتراض۔ چودہ کو نشان زد کیا گیا کہ اُنہوں نے نوٹ سے پیمانے کا 5% سے زیادہ حاصل کیا، کوڈ پر 83.2% تک، اور سات نے خالی یا بے معنی جوابات کو نمبر دیے، چنانچہ اتفاق کے عدد اور ناکامی کے ٹیسٹ ساتھ پڑھنے پڑتے ہیں۔ تعینات گریڈنگ نظام کے پاس جانچنے کے لیے ایک اور ان پٹ ہے: سیکھنے والے کے ماڈل کا اندازہ گریڈر کے ساتھ شیئر کرنے سے یکساں کام پر نشان 0.28 سے 0.75 پوائنٹ ہلے، اور جس ablation نے یہ پایا اُس نے جانچنے والوں کا اتفاق تقریباً ویسا ہی چھوڑ دیا۔

عام غلط فہمیاں

• "خودکار اسکور ایک ہی قابلِ اعتبار عدد ہے۔" ایک عملی کمپیوٹر وژن امتحان (570 دوہری گریڈنگ والے طلبہ) کو 171 ترتیبوں میں گریڈ کیا گیا، اور دوسرا مشین لرننگ امتحان مزید ترتیبوں میں — ترتیب نے اسکور چلایا۔ عدد کے طور پر پیش کیا گیا گریڈ اُس ترتیب کو چھپا دیتا ہے جس نے اُسے پیدا کیا۔
• "جج ہی غیر اعتباری کا ذریعہ ہے۔" 378 مقررہ ڈائس فیصلوں پر، دوبارہ چلانے سے نیم سخت طریقے میں 2.9 سے 6.1 فیصد اور آزاد فیصلے میں 13.5 سے 15.9 فیصد نتائج بدلے، جبکہ جج AI بدلنے سے صرف تقریباً 3 پوائنٹ اضافہ ہوا (Epstein, 2026) — طریقہ کار، جج نہیں، دہرائے جانے کا تعین کرتا ہے۔
• "اعتماد کی رپورٹنگ ایک آسائش ہے۔" ایسا اسکور جو کہے کہ اُسے 70% یقین ہے، اُس کے استعمال کا طریقہ بدل دے گا، اور اُس معلومات کی عدم موجودگی قاری کو مجبور کرتی ہے کہ سب اسکوروں کو یکساں یقینی سمجھے۔
• "مختصر جواب کی خودکار نشان دہی ایک طے شدہ میدان ہے۔" سائنس میں مختصر جواب کی خودکار نشان دہی (2017 سے 2024 کے اوائل) کا اسکوپنگ جائزہ میدان کی تاریخ بیان کرتا ہے، جو اِس کا ریکارڈ ہے کہ کیا کوشش کی گئی، نہ کہ کیا توثیق ہوا۔

منسلک تصورات

• قابلِ وضاحت AI
• ریموٹ پروکٹرنگ
• جانچ کا اعتبار
• تشکیلی جانچ
• خودکار مضمون جانچ
• تعصب کا ازالہ
• مساوات
• تدریس
• بڑے لینگویج ماڈلز (LLMs)
• اعلیٰ تعلیم
• تعلیم میں AI کی تشخیص
• فیڈبیک
• AI فیڈبیک کا معیار
• سائیکو میٹرکس سے باشعور AI
• اعتماد کی کیلیبریشن
• اعتماد
• تعلیمی پیمائش
• آئٹم رسپانس تھیوری
• انسان-در-حلقہ
• انطباقی سیکھنا
• ذاتی نوعیت کی سیکھنا
• اختتامی جانچ — اختتامی جانچ: AI سے مزاحمت کرنے والی شکلیں (زبانی، نگرانی والے، بند کتاب والے امتحانات)

منسلک مضامین

• Beyond Score Accuracy: Examining the Diagnostic Quality of LLM-Generated Structured Assessment in Higher Education — LLM روبرک کی ذیلی جہتیں تقریباً زائد ہیں اور فیڈبیک کم ہی غلط فہمیوں کی نشان دہی کرتا ہے (Zhao et al. 2026)

• AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — OpRaise رپورٹ: تین برطانوی یونیورسٹیوں کے 761 یونیورسٹی مضامین کی AI نشان دہی

• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — بڑے پیمانے کی قومی تحریری جانچ میں HITL AI کی مدد سے اسکورنگ (Curi et al. 2026)

• Validity of Large Language Model Comparative Judgment for Universal Writing Screening — عالمی تحریری چھانٹی کے لیے بڑے لسانی ماڈل کے تقابلی فیصلے کا اعتبار

• Who grades best? Comparing ChatGPT, peer, and instructor evaluations across varying levels of student project quality — پروجیکٹ کے معیار کی سطحوں میں ChatGPT، ہم مرتبہ اور مدرس کی گریڈنگ کا موازنہ (Usher & Faraon 2026)

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — AI کے پیدا کردہ امتحانات کے معیار کا جائزہ: ایک بڑے پیمانے کا میدانی مطالعہ

• The Effect of High-Frequency, Automatically-marked Formative Assessments on Student Outcomes in A-Level Sciences — A-level سائنسز میں خودکار تکوینی جائزے

• Confidence Estimation in Automatic Short Answer Grading with LLMs — اعتماد سے آگاہ خودکار مختصر جواب کی گریڈنگ

• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics — فزکس میں AI اسکورنگ کا لسانی تعصب

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — پروگرامنگ امتحانات کے لیے LLM پر مبنی دشواری کی کیلیبریشن

• Anchor Is the Key: Toward Accessible Automated Essay Scoring with Large Language Models Through Prompting — لنگر پر مبنی خودکار مقالہ اسکورنگ پرامپٹنگ

• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL تکوینی جانچ کی اسکورنگ

• Automated Grading of Linux/Bash Examinations Using Large Language Models — LLMs کے ساتھ Linux Bash امتحانات کی خودکار گریڈنگ

• Confidence-Aware Automated Assessment of Student-Drawn Scientific Models — طالب علم کے کھینچے نقشوں کی اعتماد سے آگاہ جانچ

• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: پیدا کردہ ریاضی نقشوں کی خودکار جانچ

• From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment — روبرک پر مبنی تدریسی معیار کی جانچ کے لیے SHAP بمقابلہ LLM دلائل

• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — سیکھنے والے کی جانچ خودکار کرنا: EEG پر مبنی واقفیت کی پیش گوئی

• A Hybrid Reasoning Framework for Artificial Intelligence Assessment Rubric Generation in Human and Automated Contexts: Evidence from an Undergraduate Programming Course — HARMOGEN-R: AI جانچ روبرک کی تیاری

• AI-assisted, instructor-supervised grading and feedback in higher education: Design and evaluation of an end-to-end pipeline — AI کی مدد سے مدرس کی نگرانی والی گریڈنگ اور فیڈبیک

• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — ہاتھ سے لکھی فزکس جانچ کی AI گریڈنگ (اولمپیاڈ)

• Auto-marking short answer questions in science: The foundational years of transformer-based models from BERT to GPT-4

• Automated Grading of Open-Ended Questions in Higher Education Using GenAI Models

• Assisting the grading of a handwritten general chemistry exam with artificial intelligence

• Bridging technology and education: The use of ChatGPT in grading pharmacy student exams

• Can Generative Artificial Intelligence Reliably Score Open-Ended Question Assessments in Undergraduate Medical Education?

• Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education — میرا کام کسے گریڈ کرنا چاہیے؟ اعلیٰ تعلیم میں شفاف AI کی مدد سے تحریری جانچ پر طلبہ کے تصورات

• A Tripartite Feedback Framework for AI-Assisted Assessment of Complex Reports in Higher Education — سہ رخی فریم ورک: فیڈبیک کو علمی حیثیت کے مطابق چھانٹنا اور AI شمولیت کے پانچ حد بندی اصول (Venetsanos 2026)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — طلبہ کی جمع آوریوں میں چھپے پرامپٹ انجیکشن کا AI کے ذریعے گریڈنگ کے خلاف ریڈ ٹیم جائزہ (Humble 2026)

• Towards trustworthy and explainable-by-design large language models for automated teacher assessment — خودکار استاد جانچ کے لیے ڈیزائن سے وضاحت پذیر LLM فریم ورک، بھروسے سے مشروط استدلال کے ساتھ (Li et al. 2025)

• AI-assisted automated short answer grading of handwritten university-level mathematics exam — ہاتھ سے لکھی نیم کھلی ریاضی کی گریڈنگ، انسانی دوبارہ جانچ کے لیے اعتماد فلٹر کے ساتھ

• Can large language models reproduce higher education grade bands? Cross-model study of calibration and grading bias in authentic student writing — کیا بڑے لسانی ماڈل اعلیٰ تعلیم کے گریڈ بینڈ دہرا سکتے ہیں؟ اصلی طالب علم تحریر میں کیلیبریشن اور گریڈنگ تعصب کا بین ماڈل مطالعہ

• Scalable AI-based clinical communication training and automated assessment — قابلِ توسیع AI پر مبنی طبی مواصلاتی تربیت اور خودکار جانچ

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — بڑے لسانی ماڈلوں کے ساتھ تعمیری جانچ خودکار کرنا: عملی قابلیت کی قابلِ توسیع اور بار بار جانچ کی طرف

• Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing — طالب علم کی تحریر پر LLM کے پیدا کردہ فیڈبیک میں توجہ اور تدریسی موافقت کا جائزہ

• Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams — LLM گریڈر کہاں کامیاب ہوتے ہیں اور کہاں ٹوٹتے ہیں: دو کمپیوٹر سائنس امتحانات کی شہادت

• Automated Coding of Content and Pedagogical Content Knowledge of Mathematics Using a Multi-Agent Large Language Model — کثیر ایجنٹ LLM (GradeOpt) اساتذہ کے کھلے CK اور PCK جوابات کی کوڈنگ، اعتبار کوڈنگ مینوئل کے مقابل پرامپٹ بہتر بنانے سے

• Comparing the Marking Accuracy of an AI Marking System with Official Examination Board Marks and Experienced Teacher Judgement: A Case Study in GCSE Physics — GCSE فزکس میں AI نشان دہی کا امتحانی بورڈ کے نشانات اور استاد کے فیصلے سے موازنہ

• Large language models as grading assistants in public health education: a method-comparison study of essay-style exam assessment — استدلالی حالت نے LLM-انسان گریڈنگ اتفاق کو weighted kappa 0.269 سے 0.718 تک بڑھایا

• Machine–human agreement in marking undergraduate assignments is specific to model, prompt and institution — انڈرگریجویٹ اسائنمنٹس کی نشان دہی میں مشین–انسان اتفاق ماڈل، پرامپٹ اور ادارے کے مطابق مخصوص ہے

• Thumb on the Scale: Using Traditional Wargaming Adjudication Practices to Improve AI-Judged Evaluations and Grading — پیمانے پر ہاتھ: AI سے فیصلہ شدہ جانچ اور گریڈنگ بہتر بنانے کے لیے روایتی وار گیمنگ فیصلے کے عمل کا استعمال (Epstein 2026)

• Beyond agreement: a benchmark of how language models grade student work, and how they fail — اتفاق سے آگے: 22 پرامپٹ شدہ گریڈر ایسے پروب پورے کرتے ہیں جن کا درست جواب معلوم ہے، اور اُن میں سے بیشتر کو بہلا کر نمبر بڑھوائے جا سکتے ہیں (Porcaro 2026)