خودکار مضمون جانچ

انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔

خودکار مضمون جانچ (AES) — تحریری مضامین کی جانچ اور اسکورنگ کے لیے AI کا استعمال، جو روایتی شماریاتی طریقوں سے لے کر فائن ٹیونڈ لینگویج ماڈلز تک، اور وہاں سے تیزی سے قابلِ رسائی ہوتی بڑے لینگویج ماڈلز (LLMs) پر مبنی پرامپٹنگ حکمت عملیوں تک پھیلا ہوا ہے۔ اِس علمی ذخیرے میں AES کی تحقیق اسکورنگ کی درستگی، انصاف اور تعصب، سائیکو میٹرک اعتبار، اور اساتذہ کے لیے عملی رسائی کا احاطہ کرتی ہے۔

غور کرنے کے لیے سوالات

• خودکار مضمون جانچ روایتی شماریاتی ماڈلز سے آگے بڑھ کر LLM پر مبنی پرامپٹنگ تک پہنچ چکی ہے۔ اِس صفحے پر ایک کلیدی تناؤ درستگی اور رسائی کے درمیان ہے — فائن ٹیونڈ ماڈلز اچھا اسکور دیتے ہیں مگر زیادہ تر اساتذہ کے لیے ناقابلِ عمل ہیں۔ آپ اپنے سیاق و سباق میں کسے ترجیح دیں گے، اور کیوں؟
• ایک اہم دریافت یہ ہے کہ محض پرامپٹ میں نمونہ مضامین شامل کرنے سے LLM اور انسان کے درمیان اتفاق انسان-انسان کے اعتبار کے قریب آ جاتا ہے — اور ایک سستا ماڈل مہنگے ماڈل کا مقابلہ کر سکتا ہے۔ یہ کس بات کی طرف اشارہ کرتا ہے کہ AES کا معیار کتنا ماڈل کا مرہونِ منت ہے اور کتنا اِس پر کہ اُسے کیسے پرامپٹ کیا جاتا ہے؟
• صفحہ خبردار کرتا ہے کہ AI اسکورنگ لسانی طور پر متنوع پس منظر رکھنے والے طلبہ کو منظم طور پر کم تر آنک سکتی ہے۔ پڑھنے سے پہلے، اگر آپ دیکھتے کہ AI نے کسی غیر مادری زبان بولنے والے کے مضمون کو کم اسکور دیا ہے، تو کیا آپ اُسے ''تعصب کا مسئلہ'' سمجھتے یا محض ''اسکور''؟ کیا چیز آپ کے ردِعمل کو بدلے گی؟
• خود حوالگی کا طریقہ L2 لکھنے والوں کی جانچ اُن کی تحریر کو مادری زبان بولنے والوں کے معیار سے نہیں، بلکہ اُن کے اپنے پہلے کام سے موازنہ کر کے کرتا ہے۔ موازنے کی بنیاد کا انتخاب اِس بات کو کیسے بدلتا ہے کہ اسکور کا مطلب کیا ہے — اور یہ کون سے طلبہ کے ساتھ زیادہ انصاف کر سکتا ہے؟
• AES تکوینی جانچ سے اُس وقت جڑتی ہے جب اُسے گریڈنگ کے بجائے فیڈبیک کے لیے استعمال کیا جائے۔ کب کسی مضمون پر مشین کا فیڈبیک ترقی کرتے لکھنے والے کے لیے واقعی مفید ہو گا، اور کب وہ اُن کیفیاتی فیڈبیک کی اقسام کو ہموار کر سکتا ہے جو کوئی انسانی مدیر دے گا؟

تعارف

خودکار مضمون جانچ کی تعلیمی ٹیکنالوجی میں ایک طویل تاریخ ہے — ابتدائی شماریاتی ماڈلز سے لے کر جدید LLM پر مبنی طریقوں تک، جو بڑے پیشگی اسکور شدہ ڈیٹا سیٹوں کے بغیر مضامین کی مجموعی جانچ کر سکتے ہیں۔ AES تحقیق میں کلیدی تناؤ درستگی اور رسائی کے درمیان ہے — فائن ٹیونڈ ماڈلز مضبوط نتائج حاصل کرتے ہیں، مگر وہ وسیع وسائل مانگتے ہیں اور زیادہ تر اساتذہ کے لیے ناقابلِ عمل ہیں۔

• Zhang et al. RACES انعامی ہم آہنگی کا استعمال کرتے ہوئے LLM کی مضمون اسکورنگ کو درست اور مستقل دونوں بناتا ہے، اور AES کے اعتبار کے ایک بنیادی سوال کا جواب دیتا ہے۔

Xu, Lu and Abdi (2026) بارہ مطالعات کا جائزہ لیتے ہیں جو EFL تعلیمی تحریر کی AI اور انسانی اسکورنگ کا موازنہ کرتے ہیں، اور مجموعی طور پر معتدل ہم آہنگی کی اطلاع دیتے ہیں — سطحی لسانی خصوصیات پر سب سے مضبوط، اور تنظیم، ربط اور دلیل کی تشکیل پر سب سے کمزور، جبکہ انصاف کا جائزہ شاذ و نادر ہی لیا گیا۔

ابتدائی درجات کی جواب بہ متن تحریر میں، Correnti et al. (2026) پاتے ہیں کہ طلبہ کے شواہد کے استعمال پر خودکار فیڈبیک نے خصوصیت کے اسکور بہتر کیے، اور یہ کہ نظرثانی کا معیار اِس پر منحصر تھا کہ اساتذہ نے گفتگو میں فیڈبیک کو اٹھایا یا نہیں، نہ کہ محض نظام پر۔

تحقیق کے کلیدی موضوعات

پرامپٹنگ پر مبنی AES سب سے زیادہ قابلِ رسائی طریقے کے طور پر ابھری ہے۔ Choi et al. کا اینکر پیپر مطالعہ بتاتا ہے کہ پرامپٹ میں نمونہ مضامین شامل کرنے سے LLM اور انسان کے درمیان اتفاق انسان-انسان کے اعتبار کے قریب آ جاتا ہے، اور GPT-4o mini کم لاگت پر GPT-4o جیسے نتائج حاصل کرتا ہے۔ یہ وسیع تر پرامپٹ انجینئرنگ تحقیق سے جڑتا ہے اور AES کو اساتذہ کے استعمال کے لیے ممکن بناتا ہے۔

سائیکو میٹرک اور خصوصیت کی سطح کی اسکورنگ مجموعی اسکوروں سے آگے جاتی ہے۔ PsyScore خصوصیت کے مطابق ڈھلنے والی اسکورنگ کے لیے سائیکو میٹرک طور پر باخبر فریم ورک فراہم کرتا ہے، جس میں ZPD پر مبنی فیڈبیک شامل ہے۔ ICLE++ مجموعی مضمون اسکورنگ کے لیے باریک خصوصیات کا ماڈل بناتا ہے اور خودکار تشخیص کی درستگی کو آگے بڑھاتا ہے۔

• جہت کی سطح کی خصوصیت اسکورنگ ہر جہت کے پیچھے موجود ڈیٹا سے محدود ہے۔ Firdausi et al. (2026) نے Ennis کے FRISCO تنقیدی سوچ فریم ورک کی ہر جہت کے لیے ایک الگ درجہ بند کرنے والا ماڈل 106 انڈونیشیائی گیارہویں جماعت کے فزکس مضامین پر تربیت دیا (83 تربیت کے لیے، 23 جانچ کے لیے، جبکہ تین استاد جانچنے والے ہر جہت پر kappa 0.78–0.84 تک متفق تھے)۔ اتفاق اظہار پر مرکوز رہا، استدلال پر نہیں: quadratically weighted kappa Clarity کے لیے 0.763 اور Situation کے لیے 0.728 تک پہنچا، مگر Focus کے لیے صرف 0.374، Reason کے لیے 0.332 اور Inference کے لیے 0.227 رہا۔ ترتیبی اشارہ مشاہدے کے بجائے مصنوعی طور پر تیار کیا گیا — ترکیبی سطح-1 مضامین (سانچے کی تخلیق، اصل طوالت کے 20–40% تک گراوٹ، کلیدی الفاظ کا اخراج) کے علاوہ LLM کی پیرافریز نے Focus کو 0.028 کی بنیاد سے +0.346 kappa تک اٹھایا — اور ایک ترتیب 0.652 درستگی تک پہنچی جبکہ kappa تقریباً صفر یا منفی تھا، لہٰذا درستگی ترتیبی AES میں انتخاب کا قابلِ استعمال معیار نہیں ہے۔

تعصب اور انصاف ایک نازک مسئلہ ہے۔ Feser & Tschisgale نے پایا کہ AI اسکورنگ لسانی طور پر متنوع پس منظر رکھنے والے طلبہ کو منظم طور پر کم تر آنکتی ہے، جو AES کے نفاذ میں تعصب کا ازالہ اور مساوات کے پہلوؤں کی ضرورت کو نمایاں کرتا ہے۔

اساتذہ چاہتے ہیں کہ اسکور حتمی نہیں بلکہ قابلِ جائزہ شکل میں پیش کیا جائے۔ نو تجربہ کار برازیلی ہائی اسکول تحریر کے اساتذہ نے AIED-Unplugged مضمون اسکورنگ ایپ کا جائزہ لیا اور اُسے بہت اونچے درجے دیا — درمیانی SUS 92.5، اور TAM کے درمیانی اقدار افادیت، استعمال میں آسانی، مطابقت اور استعمال کے ارادے کے لیے 7، جبکہ نتیجے کے معیار کے لیے 6۔ اُنہوں نے بلا تحریک خود بتایا کہ رپورٹ پر اسکرین پر انتباہ ہونا چاہیے کہ یہ مکمل طور پر قابلِ اعتماد نہیں اور طالب علم کے دیکھنے سے پہلے اِس کا جائزہ لازمی ہے؛ ایک استاد نے اِس ذمہ داری کو مثبت خصوصیت قرار دیا (Ribeiro et al. (2026))۔ اُنہوں نے کم نہیں، زیادہ تفصیل مانگی: فی قابلیت تشخیصی رپورٹ، ایک مجموعی خلاصہ، اپنی رائے کے لیے جگہ، اور بہتری کے ٹھوس مثالیں۔ جہاں اعتبار کی تحقیق اتفاق کی شرحوں پر بحث کرتی ہے، وہاں اِن صارفین نے انٹرفیس سے مطالبہ کیا کہ وہ نظام اور استاد کے درمیان فیصلے کی تقسیم کو واضح کرے۔

انسانی گریڈرز سے اختلاف منظم ہے، بے ترتیب نہیں۔ آؤٹ آف دی باکس GPT اور Llama ماڈلز انسانی اسکوروں سے صرف کمزور حد تک متفق ہوئے (QWK ≈ 0.17–0.28، جبکہ دو انسانی جانچنے والوں کے درمیان 0.72)، اور تعصب معیار پر منحصر سمت میں تھا — مختصر، کم ترقی یافتہ مضامین کے لیے زیادہ اور طویل، مضبوط مگر معمولی سطحی غلطیاں رکھنے والے مضامین کے لیے کم (Mathew et al. (2026))۔

L2 اور خود حوالگی کی جانچ غیر مادری تحریری سیاق و سباق کو تلاش کرتی ہے۔ پروفائل پر مبنی L2 جانچ خود حوالگی کا طریقہ استعمال کرتی ہے، جس میں طالب علم کی تحریر کا موازنہ مادری زبان بولنے والوں کے معیار کے بجائے اُس کے اپنے پہلے کام سے کیا جاتا ہے۔

تشریحیت اور خصوصیات کا وزن اِس بلیک باکس کو کھولتی ہے کہ LLM اصل میں اسکور کیسے کرتے ہیں۔ Wang et al. (2026) نے تین LLM (Qwen, GPT, Gemini) کا سولہ متنی خصوصیات پر غیر مادری انگریزی مضامین میں انسانی جانچنے والوں سے موازنہ کیا، اور مجموعی طور پر مضبوط ہم آہنگی مگر واضح طور پر مختلف وزن پائے: LLM نے گرامر کی درستگی، لغوی نفاست اور نحوی پیچیدگی پر زور دیا، جبکہ انسانی جانچنے والوں نے مواد کی تکمیل اور بصری پیشکش کو ترجیح دی۔ اہم بات یہ ہے کہ LLM نے اپنا وزن مہارت کی سطح کے مطابق بدلا — کم مہارت والے طلبہ کے لیے زبان کی غلطیوں کو زیادہ وزن، اور زیادہ مہارت والے طلبہ کے لیے لسانی نفاست کو بڑھتی ہوئی پاداش — جبکہ انسانی جانچنے والوں نے زیادہ مستحکم فریم ورک برقرار رکھا۔ Liu, Ye, and Yan (2026) اِسے پانچ ماڈلز کے جائزہ فریم ورک (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) کے ساتھ 60 طویل مضامین پر آگے بڑھاتے ہیں، اور causal discovery کے ذریعے الگ الگ تشخیصی اصول آشکار کرتے ہیں: زیادہ تر ماڈلز نے لغوی درستگی اور روانی کو ترجیح دی، جبکہ کچھ نے نحوی پیچیدگی یا بین النوعی انضمام پر زور دیا، اور بعض نے عدم استحکام، اسکور کا سکڑاؤ یا منظم کم تر آنکنا دکھایا۔ یہ مطالعات مل کر ثابت کرتے ہیں کہ AES کا اعتبار صرف مجموعی اتفاق پر نہیں، بلکہ اِس پر بھی منحصر ہے کہ ماڈلز خصوصیات کو کیسے وزن دیتے ہیں اور یہ وزن طلبہ کے ذیلی گروہوں میں مستحکم ہے یا نہیں — جو جانچ کا اعتبار اور تعصب کا ازالہ کے آڈٹ کے لیے براہِ راست رہنمائی فراہم کرتا ہے۔

آئٹم کی قسم کی حدود اور مضمون گریڈنگ کی حدیں۔ ایک مخلوط طرز کے یونیورسٹی امتحان میں، Falahat, Das, Bhaumik & Thambi (2026) نے پایا کہ ChatGPT-5 کا فیکلٹی سے اتفاق معروضی آئٹمز پر کافی سے تقریباً کامل تھا (CCC 0.935–1.000) مگر کھلے جوابات پر تیزی سے گر گیا — مختصر جواب کے لیے تقریباً صفر سے منفی، اور مضمون کے سوالات کے لیے صرف 0.341–0.854 — اور ایک منظم روبرک نے مضمون کے اتفاق کو مستقل طور پر بہتر نہیں کیا۔ یہ AES کے اعتبار کو محدود کرتا ہے: ماڈل کی روانی اچھی طرح متعین آئٹمز پر مدد دیتی ہے مگر مجموعی مضمون اسکورنگ تک نہیں پہنچتی، جہاں جزوی کریڈٹ جوابات کی سیاقی تشریح اب بھی انسانی فیصلے کو ترجیح دیتی ہے۔

تشخیصی اتفاق میں مسئلے کی قسم کی حدود۔ Yao and Fan (2026) نے نظرثانی سے پہلے مخصوص تحریری مسائل کو لیبل کرنے کے لیے DeepSeek-R1 استعمال کیا اور تین چکروں میں اُس کے لیبلوں کا استاد کی تشخیص سے موازنہ کیا (اوسط F1 = 0.768، SD = 0.037)۔ اتفاق اُن مقامی طور پر اشارہ شدہ مسائل پر سب سے زیادہ تھا جیسے الفاظ کا انتخاب (F1 = 0.824)، اور سب سے کم وہاں جہاں مسئلہ دعوے اور شواہد کے تعلق پر ہو (ماخذ کا استعمال اور شواہد، 0.579)، لہٰذا تشخیصی کردار میں اتفاق مسئلے کی قسم پر منحصر ہے، نہ کہ صرف ماڈل یا پرامپٹ پر۔ روبرک کی جھکی ہوئی تقسیم مجموعی اسکورنگ میٹرکس کو گمراہ کن بنا سکتی ہے۔ کسی روبرک جہت کی خودکار تشخیص ایک ایسا درجہ بندی کا کام ہو سکتا ہے جس میں لیبلوں کی تقسیم یک طرفہ ہو، نہ کہ کوئی مسلسل اسکور: 1,954 ہنگریائی طالب علم مضامین میں غور و فکر کی سطح 0-3 کو نشان زد کرتے ہوئے، 68% مضامین سطح 3 پر اور 1.8% سطح 0 پر تھے، اور بہترین سطحی ترتیب (SMOTEBoost مع Qwen3 ایمبیڈنگز) نے درستگی، F1 اور ROC-AUC کے اوسط میں مجموعی اسکور 0.7176 حاصل کیا، جبکہ بہترین فائن ٹیونڈ ٹرانسفارمر کا 0.6872 تھا — پھر بھی ایک RidgeClassifier ترتیب نے صرف 0.5162 درستگی پر 0.7131 ROC-AUC حاصل کیا، اور کلاس توازن نے ہر میٹرک کو نیچے کیا (درستگی بغیر توازن کے 0.6672 سے توازن کے ساتھ 0.6408 پر آ گئی)، لہٰذا مصنفین ماڈل کے انتخاب کو اِس سوال کے طور پر پڑھتے ہیں کہ کون سا میٹرک اہم ہے، اور ٹرانسفارمرز اپنی جگہ اقلیتی کلاس کی حساسیت سے بناتے ہیں، مجموعی اتفاق سے نہیں (Csibi et al., 2026)۔

اعلیٰ داؤ والے نفاذ کا ثبوت۔ ایک حقیقی اعلیٰ داؤ والے نفاذ سے میدانی ثبوت (یوراگوئے کا Acredita EB، 2024–2025؛ Curi et al.) دکھاتا ہے کہ پرامپٹ انجینئرڈ GPT-5 15 آئٹمز کے تجزیاتی ہسپانوی روبرک پر تربیت یافتہ انسانی جانچنے والوں کے ساتھ 60–80% اتفاق تک پہنچا، جو زیادہ تر آئٹمز کے لیے انسانی باہمی اتفاق سے تقریباً پانچ فیصد پوائنٹ نیچے اور کبھی 15 پوائنٹ سے زیادہ نیچے نہیں رہا، اور تقریباً تمام آئٹمز کے لیے رن بہ رن مستقل مزاجی 90% سے اوپر تھی۔ ذخیرہ الفاظ، نحو اور ہجے سب سے کمزور جہتیں تھیں، اور ہجے کے آئٹم کو ایک deterministic گرامر چیکر (LanguageTool، 68% درستگی، 100% مستقل مزاجی) کے حوالے کرنا پڑا، کیونکہ ٹوکن کی سطح کی ہجوں میں ہی ماڈل سب سے کم مستحکم ہے۔ ایک امتحانی ایڈیشن کے لیے بنائے گئے پرامپٹ صرف موضوع سے متعلق ترامیم کے ساتھ اگلے ایڈیشن میں منتقل ہو گئے، اور AI منظم طور پر انسانوں سے سخت رہا — زیادہ گریڈ دینے کے بجائے کم گریڈ دیتا رہا۔ AES ڈیزائن کے لیے سبق یہ ہے کہ پرامپٹنگ پر مبنی اسکورنگ قومی امتحان میں بھی انسانی اتفاق کے قریب پہنچ سکتی ہے، جبکہ اُس کی باقی کمزوری مجموعی تحریر کے معیار کی بجائے زبان کے نچلے درجے کے قواعد کی سطح پر ہے۔

ٹوکن کی سطح کا اعتماد، احتمال کے وزن والی اسکورنگ، اور اینسمبلنگ — ہر ایک نے متنوع سوچ کی اسکورنگ میں اتفاق بہتر کیا — اور تہہ دار تکنیکوں نے r = 0.846 (RMSE = 0.4848) حاصل کیا، جبکہ صرف سب سے کم اعتماد والے 20% جوابات انسانی جائزے کو بھیجنے سے دستی محنت تقریباً 80% کم ہو گئی (Organisciak & Acar (2026))۔

انسانی بینچ مارک، اور وہ کس چیز کی اجازت دے سکتا ہے اور کس کی نہیں۔ OpRaise مطالعہ اِس علمی ذخیرے میں سب سے مضبوط امتحان ہے کہ LLM مارکنگ معمول کے استعمال کے لیے تیار ہے یا نہیں، اور اُس کا جواب ماڈل کے بجائے بینچ مارک پر منحصر نکلتا ہے۔ اُس نے تین سرکردہ نظاموں (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash) کا، ہر ایک کو 27 پرامپٹ ترتیبوں کے تحت جو روبرک کی تفصیل، کیلیبریشن اور اسکورنگ حکمت عملی کو عبور کرتے تھے، تین برطانوی یونیورسٹیوں کے 125 طلبہ کے 761 اصلی نفسیات مضامین کے معتدل نشانوں سے موازنہ کیا۔ انسانی نشانوں کو بنیادی سچ تسلیم کیا گیا کیونکہ تعلیمی فیصلہ سماجی طور پر تسلیم شدہ معیار ہے، اور مصنفین نوٹ کرتے ہیں کہ انسانی نشان زد کرنے والے آپس میں صرف معتدل حد تک متفق ہوتے ہیں — جو اِس بات کی حد مقرر کرتا ہے کہ AI اور انسان کے اتفاق سے کتنی مضبوطی معقول طور پر توقع کی جا سکتی ہے۔ اُس بینچ مارک کے مقابلے میں برطانوی ڈگری بینڈ پر اتفاق ادارے کے لحاظ سے 35 سے 65 فیصد تک رہا (کیمبرج میں 63 فیصد، ناٹنگھم میں 53 فیصد، مانچسٹر میٹروپولیٹن میں 35 فیصد) اور اداروں کے درمیان منتقل نہیں ہوا، لہٰذا رپورٹ کی مرکزی سفارش کسی ادارے کے اپنے جانچ مواد پر مقامی توثیق ہے۔ دو نتائج اِس کارپس سے آگے عام ہیں۔ پہلا، اعتبار اور اتفاق الگ الگ سمت کھینچتے ہیں: ہر ماڈل نے تقریباً یکساں طور پر دوبارہ مارکنگ کی (ICC 1.00، 1.00، 0.97) اور ماڈلز آپس میں انسانوں سے زیادہ قریب متفق ہوئے (تین ماڈلز کا ICC 0.91)، پھر بھی تینوں صرف 56 فیصد جمع شدہ کاموں پر ڈگری بینڈ سے متفق ہوئے — خود مستقل مزاجی اعتبار نہیں ہے۔ دوسرا، AI کے نشان پیمانے کے وسط کی طرف سکڑ گئے (سکڑاؤ کا اسکور 0.47–0.82، اور وہ مقام جہاں AI اور انسان اوسطاً متفق ہوتے ہیں اوپر کے پچاس کی دہائی سے نیچے کے ساٹھ کی دہائی میں تھا)، جس سے AI بالکل اُن گریڈ حدود پر سب سے کم درست ہوا جو Firsts کو Upper Seconds سے اور پاس کو فیل سے جدا کرتی ہیں۔ الفاظ کی وسعت، رابطے، جملے کی پیچیدگی اور متن کی طوالت نے AI کے نشانوں کی چھوٹی مگر معنوی اثرات کے ساتھ پیش گوئی کی، جبکہ انسان کے نشانوں سے اُن کا تعلق بڑی حد تک نہ ہونے کے برابر تھا — جو لسانی تعصب کی تشویش کا براہِ راست مظاہرہ ہے، اور ایسا مظاہرہ جسے کسی آزمائی گئی پرامپٹنگ حکمت عملی نے دور نہیں کیا۔

AES بطور تربیتی اشارہ، نہ کہ بطور منصف۔ اسکورنگ ماڈلز کا مطالعہ عام طور پر بطور جائزہ لینے والے کیا جاتا ہے، مگر SWIM ایک کو انعامی فعل کے طور پر استعمال کرتا ہے: Do, Kontak and Sachan (2026) ایک کثیر الخصوصیات AES تصدیق کنندہ کو منجمد کرتے ہیں اور اُسے تیار شدہ طالب علم مضامین پر اسکور کرتے ہیں، اور پیش گوئی شدہ خصوصیت پروفائل کو GRPO کے لیے فی مضمون گاڑھا انعام (ہدف پروفائل سے اوسط خصوصیت-معیاری فاصلہ) بنا دیتے ہیں — جان بوجھ کر Quadratic Weighted Kappa میٹرک نہیں، کیونکہ QWK ہدف اور پیش گوئی کے جوڑوں کے ایک بیچ پر متعین ہوتا ہے اور فی نمونہ اشارہ نہیں، جبکہ عین مطابق جواب کے انعام کثیر الخصوصیات سیاق میں بہت کم ہوتے ہیں۔ حصولیابیوں کو ایک DeBERTa اسکورر اور ایک صرف-جائزہ تصدیق کنندہ کے خلاف دوبارہ جانچا گیا جس پر پالیسی نے کبھی تربیت نہیں کی (SFT کے 0.479 کے مقابلے 0.598، اور 0.501 کے مقابلے 0.647)، اور یہی وہ جانچ ہے جو حقیقی مہارت پر قابو کو انعامی ماڈل سے مطابقت سے الگ کرتی ہے۔ AES تحقیق کے لیے یہ دوسرا اعتباری مطالبہ ہے: تربیتی ہدف کے طور پر استعمال ہونے والا اسکورر وہ ہوتا ہے جس کے خلاف اصلاح کی جا رہی ہو، لہٰذا اُس کا اپنا خصوصیات کا وزن اور زبان کے تعصبات ہر اُس چیز میں منتقل ہو جاتے ہیں جو جنریٹر سیکھتا ہے — وہی خصوصیات کے وزن کی ناہمواریاں (گرامر کی درستگی، لغوی نفاست اور نحوی پیچیدگی جنہیں ماڈل انسانی جانچنے والوں سے زیادہ وزن دیتے ہیں) جو اِس صفحے پر کہیں اور دستاویز ہیں، اب صرف نشانوں کے بجائے تربیت کی تشکیل کر رہی ہیں۔ اسکورنگ اور فیڈبیک مختلف طریقے مانگتے ہیں، لہٰذا نظام کو اُنہیں الگ کرنا چاہیے۔ Labib et al. (2026) نے ایک TOEFL استدلالی مضمون کا نظام تین ماڈیولز کے طور پر بنایا — اسکورنگ، گرامر اور تحریری میکانیات پر سطحی فیڈبیک، اور تنظیم، ربط اور استدلال پر گہرا فیڈبیک — بجائے ایک ہی ماڈل کے جو تینوں کام کرے، اور پایا کہ ایک ماڈیول میں جو جیتتا ہے وہ دوسرے میں ہارتا ہے: 480 بینچ مارک اسکور شدہ مضامین کے ملکیتی مجموعے میں سے 120 پر GPT-4o کی زیرِ نگرانی فائن ٹیوننگ، اور باقی 360 پر جانچ، نے 0-5 پیمانے پر 0.84 کا quadratic weighted kappa اور 0.44 کا RMSE حاصل کیا، جو Wang and Gayed (2024) کی بنیاد (QWK 0.78، RMSE 0.57) سے آگے تھا، پھر بھی اُسی فائن ٹیوننگ نے فیڈبیک ماڈیولز کے لیے ناقابلِ استعمال پیداوار دی، جہاں Claude 3.7 کی براہِ راست پرامپٹنگ وہ تبصرے پیدا کر رہی تھی جنہیں اساتذہ نے منظور کیا۔

متعلقہ تصورات سے روابط

AES خودکار جانچ، تحریر اور جنریٹو AI کے سنگم پر کھڑی ہے۔ یہ تشکیلی جانچ سے اُس وقت جڑتی ہے جب گریڈنگ کے بجائے فیڈبیک کے لیے استعمال ہو، فیڈبیک لوپ سے جب تکراری تحریری عمل میں شامل ہو، اور مصنوعی ذہانت کی لیٹریسی سے جب اساتذہ AES اوزار سمجھیں اور اُن کی کیلیبریشن کریں۔ جانچ کا اعتبار اور تعلیمی پیمائش کے تصورات اِس بات کو یقینی بنانے کے لیے لازمی ہیں کہ AES کے اسکور بامعنی اور منصفانہ ہوں۔

• اتفاق، خطا اور ہائبرڈ اسکورر کیا اضافہ کرتا ہے۔ ایک چھوٹے کھلے جوابی مارکیٹنگ تحریر کے کارپس میں LLM نے انسانی جانچنے والوں کے ساتھ مطلق اتفاق پر deterministic قواعد اور برابر وزن والے ہائبرڈ دونوں کو پیچھے چھوڑا (ICC(2,1) .435 بمقابلہ .266 اور .091)، اور ہائبرڈ LLM تنہا سے نمایاں طور پر بدتر رہا، جبکہ اسکوروں کا پھیلاؤ اور ایک تقریباً خالی جواب نے دکھایا کہ ایسے اندازے کارپس کی ترکیب پر کتنے انحصار کرتے ہیں (Agreement and error in automated scoring of student marketing posts)۔

کھلے نظام بھی اِس تصویر کا حصہ ہیں: AiAWE استدلالی مضامین کو LoRA سے ڈھالے گئے Gemma-3-27B-it کے ساتھ اسکور کرتا ہے، QWK 0.828 اور 360 جائزہ مضامین میں سے 90.56% پر انسانی اسکور کے ±0.5 کے اندر اتفاق حاصل کرتا ہے — اور بتاتا ہے کہ LoRA موافقت کے تحت ماڈل کا حجم نیچے کے درجے کی کارکردگی کی قابلِ اعتماد پیش گوئی نہیں کرتا (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models)۔

• ''جو پرامپٹ شدہ ماڈل سب سے زیادہ متفق ہو، وہی سب سے مضبوط مضمون اسکورر ہے۔'' ASAP 2.0 پر دو ماہر جانچنے والوں کے درمیان شائع شدہ اتفاق κ 0.745 ہے، اور کسی پرامپٹ شدہ ماڈل کا نقطہ تخمینہ اُس تک نہیں پہنچا: 22 کی حد 0.155 سے 0.727 تک رہی، اور 18 کے لیے پورا وقفہ اُس سے نیچے تھا۔ فائن ٹیونڈ DeBERTa اسکورر 0.809 تک پہنچا اور صرف مضمون کی طوالت گننے والا قاعدہ 0.636 تک، جو 22 میں سے 16 ماڈلز سے اوپر تھا، اگرچہ ہر ماڈل نے طوالت سے آگے بھی اتفاق برقرار رکھا۔ جس بنیاد کو مات دینا ہے وہ تربیت یافتہ اسکورر ہے، نہ کہ راستے کا ماڈل۔

عام غلط فہمیاں

• ''خودکار اسکورنگ کے نتائج طالب علم کی تحریر کی عکاسی کرتے ہیں۔'' ترتیبی اشارہ مشاہدے کے بجائے مصنوعی طور پر تیار کیا جا سکتا ہے — سانچے کی تخلیق، اصل طوالت کے 20-40% تک گراوٹ اور کلیدی الفاظ کے اخراج سے بنائے گئے ترکیبی سطح-1 مضامین۔ جو نظام تعمیر شدہ انتہاؤں پر توثیق ہو، ممکن ہے اُس توزیع پر کبھی جانچا ہی نہ گیا ہو جس سے اُسے واسطہ پڑے گا۔
• ''مجموعی درستگی وہ میٹرک ہے جو رپورٹ کرنا چاہیے۔'' روبرک کی جھکی ہوئی تقسیم مجموعی اسکورنگ میٹرکس کو گمراہ کن بنا سکتی ہے: روبرک کی کسی جہت کی خودکار تشخیص اکثر ایک درجہ بندی کا کام ہوتی ہے جس میں لیبلوں کی تقسیم یک طرفہ ہو، جہاں زیادہ درستگی اور کارآمد امتیاز الگ الگ ہو جاتے ہیں۔
• ''میدانی نفاذ کا جائزہ نہیں لیا گیا۔'' ایک حقیقی اعلیٰ داؤ والے نفاذ (یوراگوئے کا Acredita EB، 2024) سے میدانی ثبوت موجود ہے، جو اِس ادب میں ثبوت کی سب سے مضبوط شکل ہے اور وہی جسے اسکورنگ کی درستگی کے زیادہ تر مطالعات کبھی فراہم نہیں کرتے۔

منسلک تصورات

• تعصب کا ازالہ
• مساوات
• خودکار جانچ
• زبان سیکھنا
• تعلیمی پیمائش
• K-12
• پرامپٹ انجینئرنگ
• تحریر
• مصنوعی ذہانت کی لیٹریسی
• جانچ کا اعتبار

منسلک مضامین

• Automatic Reflection Level Classification in Hungarian Student Essays — ہنگریائی طالب علم مضامین میں غور و فکر کی سطح کی خودکار درجہ بندی
• WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays — WrAFT: استدلالی مضامین کے لیے ایک ماڈیولر خودکار تحریری جانچ نظام
• Educational Innovation through Automated Essay Scoring: A Multidimensional Framework for Evaluating Critical Thinking in High School Physics Essays — خودکار مضمون جانچ کے ذریعے تعلیمی جدت: ہائی اسکول فزکس مضامین میں تنقیدی سوچ کی جانچ کا کثیر الجہتی فریم ورک
• AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — OpRaise رپورٹ: تین برطانوی یونیورسٹیوں کے 761 یونیورسٹی مضامین کی AI مارکنگ
• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — بڑے پیمانے کی تحریری جانچ میں AI معاون اسکورنگ کے لیے انسانی-در-لوپ فریم ورک
• RACES: reward-aligned consistent essay scoring with large language models — RACES: LLM کے ساتھ انعامی ہم آہنگی والی مستقل مضمون اسکورنگ
• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics
• Anchor Is the Key: Toward Accessible Automated Essay Scoring with Large Language Models Through Prompting
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
• LLMs Do Not Grade Essays Like Humans — LLM مضامین کی گریڈنگ انسانوں کی طرح نہیں کرتے (Mathew et al. 2026)
• PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback
• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs
• AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models
• From automated scoring to learning diagnosis: a mechanism study of AI-supported formative assessment in English writing — خودکار اسکورنگ سے سیکھنے کی تشخیص تک: انگریزی تحریر میں AI معاون تکوینی جانچ کا میکانزم مطالعہ
• Opening the Blackbox of LLM-Based Automated Essay Scoring: Insights into Feature Weighting Patterns and Score Validity — LLM پر مبنی مضمون اسکورنگ میں خصوصیات کے وزن کے نمونے (Wang et al. 2026)
• A Framework for Evaluation of Large Language Models in Essay Assessment: Reliability, Alignment, and Causal Reasoning — مضمون جانچ میں LLM کے جائزے کا فریم ورک (Liu, Ye & Yan 2026)
• Bridging technology and education: The use of ChatGPT in grading pharmacy student exams
• Know When to Trust: Making AI Scoring More Reliable for Educational Assessment — کب بھروسا کریں: خود اعتمادی، وزن والی احتمالی اسکورنگ اور اینسمبلنگ LLM اسکورنگ کا اتفاق بہتر کرتے ہیں
• SWIM: Student Writing Simulation via Proficiency-Conditioned Generation — تحریری جنریٹر کے لیے گاڑھے تربیتی انعام کے طور پر استعمال شدہ منجمد AES تصدیق کنندہ
• Beyond agreement: a benchmark of how language models grade student work, and how they fail — اتفاق سے آگے: 22 پرامپٹ شدہ گریڈر ایسے پروبز سے ملتے ہیں جن کا درست جواب معلوم ہے، اور زیادہ تر کو بہلا کر اوپر اٹھایا جا سکتا ہے (Porcaro 2026)
• From Design to Classroom Adoption: Teachers' Perspectives on AI-powered Writing Analytics in Resource-Constrained Contexts — 300 طلبہ کی کلاسوں کے اساتذہ ایک unplugged AES ایپ کو 92.5 SUS دیتے ہیں اور حتمی اسکور کے بجائے اعتبار کا انتباہ مانگتے ہیں (Ribeiro et al. 2026)