آئٹم رسپانس تھیوری

انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔

آئٹم رسپانس تھیوری (IRT) — سائیکو میٹرک ماڈلوں کا ایک خاندان جو سیکھنے والے کی صلاحیت اور ہر آئٹم کے درست جواب کی احتمال کے درمیان تعلق کی ماڈلنگ کر کے آئٹم کے جوابات سے پوشیدہ صلاحیت کا اندازہ لگاتا ہے۔ IRT آئٹم کی مشکل اور امتیازی قوت کی ماڈلنگ کرتا ہے، جس سے پیمائش کی درستگی اور اڈاپٹیو جانچ ممکن ہوتی ہے۔ AI کے دور میں IRT LLMs سے Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction اور Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach میں ملتا ہے: AI آئٹم کی مشکل کی پیش گوئی اور کیلیبریشن کرتا ہے، جو ممکنہ طور پر پیمائش کی درستگی بہتر بناتا اور انطباقی سیکھنا کو سیراب کرتا ہے۔

غور کرنے کے سوالات

• آئٹم رسپانس تھیوری صلاحیت اور آئٹم کی مشکل کو جوابی نمونوں سے مشترکہ طور پر اندازہ لگائی گئی چیزیں سمجھتی ہے، نہ کہ خام امتحانی اسکور کو پیمانہ۔ جن کے درست جوابوں کی تعداد یکساں ہو، ایسے دو طلبہ کی صلاحیت میں واقعی کیا فرق ہو سکتا ہے؟
• IRT آپ کو مشترکہ پیمانے پر سیکھنے والوں کا موازنہ کرنے اور فی شخص درستگی کا اندازہ لگانے دیتی ہے۔ کسی آئٹم کی مشکل اور امتیازی قوت جاننا محض یہ جاننے سے کیوں زیادہ اہم ہو سکتا ہے کہ طالب علم نے اُسے درست کیا یا نہیں؟
• ایک مطالعے نے کثیر الانتخابی امتحانات میں انسانی اور AI کے بنائے ہوئے جوابات میں فرق کرنے کے لیے IRT شخصی موزونیت کے اعداد و شمار استعمال کیے — اور AI جوابات کو 'غیر معمولی' قرار دیا۔ وہی پیمائشی مشینری جو سیکھنے کو جانچتی ہے، تعلیمی دیانت داری کی نگرانی بھی کیسے کر سکتی ہے؟
• محققین IRT سے تصدیق کرتے ہیں کہ AI کے بنائے ہوئے امتحانی سوالات مشکل اور امتیازی قوت میں ماہرین کے لکھے سوالات سے مطابقت رکھتے ہیں۔ اگر AI ایسا آئٹم لکھے جو 'اچھا لگے'، تو برتے گئے IRT پیرامیٹروں کے خلاف تجرباتی کیلیبریشن پھر بھی کیوں ضروری ہے؟
• جب AI آئٹم کی مشکل کی پیش گوئی اور کیلیبریشن کرتا ہے، تو کیا غلط ہو سکتا ہے اگر ماڈل کا مشکل کا اندازہ حقیقی طلبہ کے جوابی ڈیٹا کے خلاف تصدیق شدہ نہ ہو؟
• IRT اڈاپٹیو جانچ اور نالج ٹریسنگ سے جڑتی ہے — یعنی آپ کے جوابات سے یہ طے کرنا کہ آگے کیا پوچھا جائے۔ ہر جواب سے آپ کی صلاحیت کا اندازہ لگانا کسی امتحان کو محض لمبا ہونے کی بجائے مختصر اور زیادہ درست کیسے بناتا ہے؟

تعارف

IRT صلاحیت (θ) اور آئٹم کے پیرامیٹرز (مشکل، امتیازی قوت، کبھی کبھی اندازہ لگانا) کو جوابی نمونوں سے مشترکہ طور پر اندازہ لگائی گئی چیزیں سمجھتی ہے، نہ کہ خام اسکور کو پیمانہ۔ اس سے سیکھنے والوں کا مشترکہ پیمانے پر موازنہ، آئٹمز کا اڈاپٹیو انتخاب، اور فی شخص درستگی کا اندازہ — عالمی اندازے کی بجائے — ممکن ہوتا ہے۔

تحقیق میں IRT کیسے دکھائی دیتی ہے

• AI کی پیش گوئی کردہ مشکل: LLM آئٹم مشکل کی پیش گوئی زبان کے ماڈلوں سے آئٹم کی مشکل کا اندازہ لگاتی ہے، جس کی تصدیق تجرباتی طور پر برتے گئے IRT پیرامیٹروں کے خلاف ضروری ہے۔

• سائیکو میٹرک کیلیبریشن: LLM سائیکو میٹرک کیلیبریشن ماڈل پر مبنی جانچ کو IRT پر مبنی پیمائش کے ساتھ ہم آہنگ کرتی ہے تاکہ AI کے پیدا کردہ جوابات پیمائشی خصوصیات برقرار رکھیں۔

• نالج ٹریسنگ اور طلبہ کی ماڈلنگ: IRT کا نالج ٹریسنگ اور طالب علم کی ماڈلنگ اور انطباقی تدریس سے گہرا تعلق ہے — یعنی ایسے ماڈل جو وقت کے ساتھ سیکھنے والے کے علم کا سراغ رکھتے ہیں — اور اُن کا مقصد ایک ہی ہے: قابلِ مشاہدہ جوابات سے ناقابلِ مشاہدہ سیکھنے والی حالتوں کا اندازہ۔

• LLM لوجٹس سے نکالی گئی IRT مقداریں۔ Huang وغیرہ (2026) اگلے ٹوکن کے لوجٹس سے طالب علم کی صلاحیت θ = z^GOOD − z^BAD اور ٹیوٹر کے موڑ کی مشکل d = z^HARD − z^EASY نکالتے ہیں اور اُنہیں 1PL Rasch پیش گو میں جوڑتے ہیں، جس سے مکالمے پر مبنی نالج ٹریسنگ قابلِ تشریح ہو جاتی ہے (QATD2k پر 64.29% درستگی، 65.25 AUC)۔

• سوالات کے اسی پیمانے پر مکالمے کے ذیلی کام۔ Duan وغیرہ (2026) اُن ذیلی کاموں کو، جو ٹیوٹر مکالمے کے دوران پیش کرتے ہیں، الگ سوالات میں بدلتے ہیں اور اُنہیں ایک مشترکہ 1PL IRT پیمانے پر رکھتے ہیں جس کی مشکل سوال کے متن سے آتی ہے، اور جدوجہد کے بعد سہارا دینے اور سختی پر اُبھارنے والے اقدامات کو مشکل کی ترتیب کی نگرانی کے طور پر استعمال کرتے ہیں۔

• بےزی ہائیرارکیکل میدانی تصدیق: AI کے بنائے گئے امتحانات کی جانچ بےزی ہائیرارکیکل 2PL IRT ماڈل استعمال کرتی ہے (پیشگی آزمائش کے اینکر آئٹمز کے ساتھ، تاکہ 1,686 طلبہ ایک مشترکہ θ پیمانے پر رکھے جا سکیں) اور دکھاتی ہے کہ AI کے بنائے گئے سوالات مشکل اور امتیازی قوت میں ماہرین کے لکھے معیاری امتحانی آئٹمز سے مطابقت رکھتے ہیں — یعنی خودکار سوال سازی کے لیے تصدیق کی ریڑھ کی ہڈی کے طور پر IRT کا بڑے پیمانے پر مظاہرہ۔

• معیارات کے مطابق بینچ مارک سیر ہو سکتا ہے۔ NGSS کے مطابق مڈل اسکول اور ہائی اسکول کے سائنسی مجموعوں پر زیادہ تر کھلے وزن والے ماڈلوں نے 90% سے اوپر اسکور کیا، جس سے روایتی آئٹم پیمانے ناقص رہ گئے — مشکل زیادہ، امتیازی قوت کم، اور 90% سے اوپر کے معمولی خلیے — چنانچہ مصنفین کمزور آئٹمز کو اُس میدان سے الگ نہیں کر سکتے جو قابلِ حل ہو چکا ہے (Schroeder وغیرہ (2026))۔

• امتحان کی معلومات درستگی کو مقامی بناتی ہیں۔ 2PL ماڈل سے تصدیق شدہ 20 آئٹم والا GenAI خواندگی کا امتحان (RMSEA = 0.03، CFI = 0.97) اپنی معلوماتی فعل کی چوٹی θ = −0.8 پر رکھتا ہے، جس سے یہ کم سے معتدل خواندگی والے طلبہ کے لیے سب سے درست ہے، نہ کہ پورے پیمانے پر یکساں (Jin وغیرہ (2025))۔

• شخصی موزونیت کے اعداد و شمار سے انسانی اور GenAI جوابات میں فرق: Strugatski اور Alexandron (2026) کثیر الانتخابی جانچ میں انسانی اور جنریٹو AI جوابات میں فرق کرنے کے لیے IRT کے اندر شخصی موزونیت کے اعداد و شمار (PFS) برتتے ہیں۔ PFS دو حقیقی سیاق و سباق (ایک کیمسٹری امتحان اور ایک قومی امتحان) میں GenAI جوابات کو 'غیر معمولی' جواب دینے والے قرار دیتا ہے، دکھاتا ہے کہ مختلف چیٹ بوٹس الگ الگ جوابی نمونے پیدا کرتے ہیں (یعنی 'ذہانوں' کا متفاوت گروہ)، اور ظاہر کرتا ہے کہ GenAI کے نئے نسخے انسان سے زیادہ مشابہ ہوتے جاتے ہیں — اور IRT کو اعلیٰ داؤ والی جانچ میں دیانت کی چھانٹی کے لیے مضبوط فریم ورک قرار دیتا ہے۔

• ایک ہی آئٹمز LLM کے لیے وہی پوشیدہ ساخت نہیں ناپ سکتے۔ Strugatski، Zeinfeld اور Alexandron (2026) نے دو آلات پر انسانی اور LLM عوامل کی ساختوں کا تلاشی عاملی تجزیے اور مطابقت کی جوڑ کے ذریعے موازنہ کیا؛ LLM اور انسان کی مشابہت قابلِ اعتماد طور پر انسان-انسان کی بنیادی سطح سے نیچے رہی، چنانچہ انسانوں پر برتے گئے IRT پیرامیٹر خود بخود منتقل نہیں ہوتے۔

• Rasch IRT پیرامیٹروں کے خلاف LLM مشکل کا اندازہ: Razavi اور Powers (2026) جانچتے ہیں کہ کیا GPT-4o K-5 ریاضی اور پڑھائی کے جانچ آئٹمز (N = 5170) کی مشکل کا اندازہ لگا سکتا ہے جو Rasch IRT ماڈل کے تحت کیلیبریٹ کیے گئے۔ زیرو شاٹ براہِ راست اندازے کا طریقہ حقیقی Rasch مشکلات کے ساتھ معتدل سے مضبوط تعلق رکھتا تھا (r = 0.83 ریاضی، r = 0.81 پڑھائی) مگر جماعتوں کے لحاظ سے ناہموار تھا اور K اور 1 جماعتوں کے لیے اکثر جماعت کے وسطانیے والے ڈمی ریگریسر سے بہتر نہیں تھا، ممکنہ طور پر نچلی جماعتوں کی آئٹم مشکلات میں حد کی تنگی کی وجہ سے۔ خصوصیات پر مبنی حکمت عملی — LLM سے نکالی گئی علمی اور لسانی خصوصیات درخت پر مبنی ماڈلوں میں ڈالنا — براہِ راست اندازے سے بہتر رہی (تعلق r = 0.87 تک)، اور جماعت کی سطح اور الفاظ کی گنتی سرفہرست پیش گو تھے۔ یہ مطالعہ واضح کرتا ہے کہ LLM کے مشکل کے اندازوں کی تصدیق تجرباتی طور پر برتے گئے IRT پیرامیٹروں کے خلاف ہونی چاہیے، اور یہ کہ ساختی خصوصیات نکالنا وہاں پیش گوئی کو تیز کر سکتا ہے جہاں مجموعی زیرو شاٹ فیصلہ کم پڑتا ہے۔

• مشکل کی پیش گوئی کے بجائے اُس کی وضاحت۔ Cui وغیرہ (2026) نے GSM8K (1,319 سوالات)، BBH-structured (1,396) اور WinoGrande (1,267) کے LLM جوابی ریکارڈوں پر 1PL Rasch ماڈل برتا، جس میں GSM8K اور WinoGrande کے لیے 5,000 ماڈل اور BBH-structured کے لیے 3,811 ماڈل تھے۔ پھر وہ ایک LLM سے کہتے ہیں کہ وہ قدرتی زبان میں مفروضے تجویز کرے کہ ایک آئٹم دوسرے سے زیادہ مشکل کیوں ہے، اور روکے گئے سوالات پر L1-منظم ریگریشن سے اُنہیں منتخب کرتے ہیں۔ نہ دیکھے گئے سوالات پر تنہا برتنے سے منتخب مفروضے GSM8K پر R² = 0.373، BBH-structured پر 0.580 اور WinoGrande پر 0.090 تک پہنچتے ہیں، جو موازنہ شدہ طریقوں میں GSM8K اور WinoGrande پر بہترین اور BBH-structured پر دوسرے بہترین ہیں، جہاں فائن ٹیون شدہ RoBERTa-base 0.646 تک پہنچتا ہے۔ بطور اضافی خصوصیات وہ GSM8K پر RoBERTa-base میں +0.11 (0.362 سے 0.468) اور دو منجمد ایمبیڈنگ ماڈلوں میں +0.19 اور +0.18 کا اضافہ کرتے ہیں۔ ایک سببی جانچ فی ڈیٹا سیٹ 50 امتحانی سوالات کو کسی مفروضے کی طرف یا اُس سے ہٹا کر بدلتی ہے: مشکل بڑھانے والی تبدیلیاں GSM8K اور BBH-structured پر اوسط درستگی 15.27 اور 23.88 فیصدی نقاط کم کرتی ہیں، جبکہ مشکل گھٹانے والی تبدیلیاں اُسے 32.18 اور 28.52 بڑھاتی ہیں۔ یہاں مشکل ماڈل کے جوابات سے اندازہ لگائی گئی ہے، انسانی امتحان دینے والوں سے نہیں، چنانچہ یہ LLM جانچ اور سائیکو میٹرکس کا نتیجہ ہے۔

• جواب دہندگان کی نقل بنانا وہ کچھ حاصل کر سکتی ہے جو محرک پر ریگریشن نہیں کر سکتی: ایک فائن ٹیون شدہ ملٹی موڈل LLM جو صلاحیت کی مختلف سطحوں پر طلبہ کے اختیار کے احتمال کو دہراتا ہے، روکے گئے مشکل کے ساتھ r = 0.85 پر قریب آیا، جو MathBERT (0.68) اور MetaMath (0.75) ریگریشن بنیادوں سے اوپر ہے، اور اندازے کے پیرامیٹر c کو 0.48 پر حاصل کر لیا جبکہ امتیازی قوت a کمزور رہی (0.31) (Ormerod اور Kim، 2026)۔

• آئٹم لکھنے کے نقائص بطور IRT پیرامیٹروں کی تعیناتی سے پہلے چھانٹی: Schmucker اور Moore (2026) جانچتے ہیں کہ آیا آئٹم لکھنے کے نقص (IWF) کے ربرک — ایک میدان سے آزاد، متنی جانچ جسے طلبہ کے ڈیٹا کی ضرورت نہیں — تجرباتی طور پر اندازہ لگائے گئے IRT مشکل اور امتیازی قوت کی پیش گوئی کرتے ہیں۔ STEM (طبیعیات، ریاضی، زندگی/زمینی علوم) کے 7,126 کثیر الانتخابی سوالات پر اُنہوں نے خودکار، LLM کی مدد والی کوڈنگ سے دکھایا کہ IWF ربرک تجرباتی IRT پیرامیٹروں کے لیے پیش گوئی کی صداقت رکھتے ہیں، اور یہ ایک قابلِ توسیع پیشگی چھانٹی پیش کرتے ہیں جو وسائل طلب پائلٹ جانچ کی تکمیل کرتی ہے یا جزوی طور پر اُس کا متبادل بنتی ہے۔

• انتخابی AI گریڈنگ کے لیے IRT پر مبنی خطرے کی چھانٹی: Cvengros اور Kortemeyer AI کے گریڈ کردہ ہاتھ سے لکھی کیمسٹری کے ڈیٹا پر دو پیرامیٹر لاجسٹک IRT ماڈل برتتے ہیں اور AI کے فیصلے قبول کرنے کا "خطرہ" AI کے معمول شدہ اسکور اور IRT کے متوقع کریڈٹ احتمال کے مطلق فرق کے طور پر متعین کرتے ہیں (خطرہ = |s−p|)؛ صرف اُن آئٹمز کو قبول کرنا جو اِس بےزی متوقع قدر کے منتخب شدہ رواداری کے اندر ہوں، "حیران کن" AI اسکورز کو انسانی جائزے کے لیے نشان زد کرتا ہے، اور IRT کو محض اسکور جمع کرنے کے آلے سے خودکار جانچ کے لیے ایک عملی قبولیت/تاخیر کے طریقہ کار میں بدل دیتا ہے — ایسا طریقہ جو انسانی گریڈنگ کے ساتھ ہم آہنگی میں سادہ جزوی کریڈٹ حدوں کے برابر پہنچا مگر کم انسانی محنت کے ساتھ، اگرچہ اُس کی منطق غیر تکنیکی سامعین کے لیے کم شفاف ہے۔

• تشخیصی ماڈل کے اندر کیلیبریشن کی تہہ کے طور پر IRT: PLCD مشق کی سطح کے جوابات پر IRT سے متاثر "اندازہ لگانے اور پھسلنے" والا سر (head) جوڑتا ہے، جو درستگی کی بجائے احتمال کے معیار کو بہتر بناتا ہے — متوقع کیلیبریشن کی غلطی XES3G5M پر 0.071 سے 0.037 تک گری — جس سے IRT جوابی شور کی اندرونی اصلاح بن جاتی ہے، محض اسکورنگ ماڈل نہیں (Liu وغیرہ (2026))۔

• مسلسل بدلتے بینکوں کے لیے تقسیم اور فتح کی کیلیبریشن: Jewsbury وغیرہ (2026) IRT دوبارہ کیلیبریشن کو برتنے کا مسئلہ نہیں بلکہ پیمانے کا مسئلہ سمجھتے ہیں۔ جب AI پر مبنی آئٹم تخلیق اور خصوصیات پر مبنی پیرامیٹر پیش گوئی بینک کو بڑا، پتلا اور مسلسل اپ ڈیٹ شدہ بناتی ہے، تو ہر اپ ڈیٹ پر پوری جوابی تاریخ دوبارہ برتنے کی لاگت مستقل بڑھتی جاتی ہے؛ اُن کی اتفاقی کیلیبریشن اس کے بجائے ہر دورانیے کو ایک بار کیلیبریٹ کرتی ہے اور نئے دورانیے کو پہلے سے حساب شدہ سابقہ پسینیوں کے ساتھ جوڑتی ہے۔ دو خصوصیات اِسے موجودہ IRT تقسیم اور فتح کے کام سے الگ کرتی ہیں: دورانیے کوئی مشترکہ پوشیدہ پیمانہ نہیں رکھتے، چنانچہ ہر ایک کو ایک حوالہ پیمانے سے مضبوط Haebara معیار کے ذریعے جوڑا جاتا ہے جو ہر پسینی قرعہ کے لیے الگ حل ہوتا ہے (جوڑنے کی غلطی کو جوڑے گئے پسینیوں میں لے جاتا ہے)، اور ہر دورانیہ اپنا ہائیرارکیکل برتاؤ رکھتا ہے جو ایک اندازہ شدہ سابقہ فراہم کرتا ہے، چنانچہ پسینیوں کی سادہ ضرب سے وہ سابقہ تقسیم کرنا اور ایک اتفاقی سابقہ بحال کرنا پڑتا ہے — جو سابقے طے شدہ ہوں تو بےزی کمیٹی مشین کے قاعدے تک سمٹ آتا ہے۔ Duolingo English Test کے چار سہ ماہی دورانیوں پر مشترکہ بینچ مارک کے مقابل، پسینی وسطانیے r = .998 (مشکل) اور .991 (لاگ امتیازی قوت) پر متفق رہے، پسینی معیاری انحراف r = .970 اور .920 پر، جس سے ہلکی کم پھیلاؤ (SD تناسب 0.91–0.98) رہی جو فی دورانیہ سب سے کم نمائش والے تہائی حصے میں سب سے زیادہ تھی۔ یہ IRT کیلیبریشن ہے جو AI کے بنائے ہوئے آئٹم بینکوں کی پیدا کردہ ترسیلی حالتوں کے لیے دوبارہ انجینئر کی گئی ہے۔

• IRT کتنی کم آلات کی تصدیق کی بنیاد بنتی ہے: اساتذہ کی AI خواندگی کے آلات کے ایک جائزے نے IRT کے استعمال کے بجائے اُس کی غیر موجودگی کو ناپا۔ Zainal، Mohd Matore اور Maat (2026) نے 33 آلات کو COSMIN اور Terwee وغیرہ (2007) سے ماخوذ فیصلہ میٹرکس کے خلاف درجہ دیا؛ ساختی صداقت مضبوط تھی، 24 (72.7%) CFA، PLS-SEM یا IRT ماڈلنگ کے ذریعے گریڈ A پر، پھر بھی کسی نے IRT یا Rasch کو اپنا بنیادی شواہد نہیں بنایا، اور صرف پانچ آلات (15.2%) نے پیمائش کی عدم تغیر یا آئٹم کے تفریقی فعل کا شواہد دیا۔ مصنفین خود جانچ کے ساتھ ساتھ IRT اور کارکردگی کے کاموں کی وکالت کرتے ہیں تاکہ تصدیق شدہ صلاحیت کو بتائے گئے اعتماد سے الگ کیا جا سکے۔

• انجمنی IRT کا ایک سببی متبادل۔ Mangili وغیرہ (2026) دلیل دیتے ہیں کہ IRT اور بےزی نیٹ ورک سیکھنے والے ماڈل مداخلتوں یا جوابی حقائق کا اظہار نہیں کر سکتے، اور اِس کے بجائے ماہرین سے ساختی مساواتیں حاصل کرتے ہیں؛ 109 طلبہ کی اڈاپٹیو امتحانی بیٹری پر حاصل کردہ ماڈل تھوڑا کم پیش گو تھا (−287 بمقابلہ −277 امتحانی لاگ امکانی) پھر بھی مدد کے بارے میں جوابی حقائق کے سوالات کی تائید کرتا تھا۔

روابط

IRT تعلیمی پیمائش اور جانچ کا اعتبار کی بنیاد ہے، انطباقی سیکھنا (اڈاپٹیو آئٹم انتخاب) اور طالب علم کی ماڈلنگ اور انطباقی تدریس کی نیچی بنیاد بنتی ہے، اور سائیکو میٹرکس سے باشعور AI (پیمائشی نظریے سے ہم آہنگ AI جانچ) اور نالج ٹریسنگ سے جڑتی ہے۔ یہ پروگرامنگ جانچ کے لیے LLM مشکل کیلیبریشن میں بھی آتی ہے۔

عام غلط فہمیاں

• "IRT کو روایتی امتحانی انتظام درکار ہوتا ہے۔" صلاحیت اور مشکل اگلے ٹوکن کے لوجٹس سے حاصل کی جا سکتی ہیں: طالب علم کی صلاحیت θ = z^GOOD − z^BAD اور ٹیوٹر کے موڑ کی مشکل d = z^HARD − z^EASY نکال کر اُنہیں 1PL Rasch پیش گو میں جوڑنا مکالمے پر مبنی نالج ٹریسنگ کو IRT کے لحاظ سے قابلِ تشریح بناتا ہے۔ سائیکو میٹرک فریم ورک تعامل کے ڈیٹا پر لاگو ہوتا ہے، صرف آئٹم کے جوابات پر نہیں۔
• "جس بینچ مارک میں زیادہ تر ماڈل کامیاب ہوں وہ اچھا بینچ مارک ہے۔" معیارات کے مطابق بینچ مارک سیر ہو سکتا ہے: NGSS کے مطابق مڈل اسکول اور ہائی اسکول کے سائنسی مجموعوں پر زیادہ تر کھلے وزن والے ماڈلوں نے 90% سے اوپر اسکور کیا، جس سے روایتی آئٹم پیمانے ناقص رہ گئے۔ سیر ہونا یہ معنی نہیں رکھتا کہ ماڈل شاندار ہیں؛ اِس کا مطلب ہے کہ آئٹمز اب امتیاز نہیں کر رہے۔
• "آئٹم کی مشکل آئٹم کی اندرونی خصوصیت ہے۔" ایک سببی جانچ جس نے فی ڈیٹا سیٹ 50 امتحانی سوالات کسی مفروضے کی طرف یا اُس سے ہٹا کر بدلے، دکھایا کہ مشکل بڑھانے والی تبدیلیوں نے اوسط درستگی 15.27 اور 23.88 فیصدی نقاط کم کی GSM8K اور BBH-structured پر۔ مشکل آئٹم اور ماڈل کے درمیان تعلق ہے، اور جب آئٹم بدلتا ہے تو وہ بھی بدلتی ہے۔
• "IRT صرف سیکھنے والوں کو اسکور کرنے کے لیے ہے۔" AI کے بنائے گئے امتحانات کی جانچ پیشگی آزمائش کے اینکر آئٹمز کے ساتھ بےزی ہائیرارکیکل 2PL ماڈل استعمال کر کے 1,686 طلبہ کو پیمانے پر رکھتی ہے، جو طالب علم کے لیے اسکورنگ کے بجائے خود جانچ کی معیار کی ضمانت ہے۔

منسلک تصورات

• تعلیمی پیمائش
• جانچ کا اعتبار
• نالج ٹریسنگ
• طالب علم کی ماڈلنگ اور انطباقی تدریس
• سائیکو میٹرکس سے باشعور AI
• انطباقی سیکھنا
• خودکار جانچ
• ذہین ٹیوٹرنگ

منسلک مضامین

• A Unified Response Framework for Questions and Tutoring Dialogues — سوالات اور ٹیوٹرنگ مکالمات کے لیے ایک متحد جوابی فریم ورک
• What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language — IRT اور سببی ترمیمات کے ذریعے LLM کے سوال کی مشکل کی قدرتی زبان میں وضاحت (Cui وغیرہ 2026)
• The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory — آئٹم لکھنے کے نقائص کا IRT مشکل اور امتیازی قوت پر اثر (Schmucker اور Moore 2026)
• Causal Modelling of Support Interventions for Student Competency Assessment — طلبہ کی قابلیت کی جانچ کے لیے معاون مداخلتوں کی سببی ماڈلنگ
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — کیا جانچ کے آلات انسانوں اور LLMs کے لیے ایک ہی چیز ناپتے ہیں؟ (Strugatski وغیرہ 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — AI کے بنائے گئے امتحانات کی بڑے پیمانے پر IRT میدانی تصدیق
• GLAT: The Generative AI Literacy Assessment Test — GLAT IRT/2PL تصدیق استعمال کرتا ہے (Jin وغیرہ 2025)
• Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — آئٹم کی مشکل کی LLM پیش گوئی
• Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — LLM جانچ کو سائیکو میٹرک کیلیبریشن کے ساتھ ہم آہنگ کرنا
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — پروگرامنگ امتحانات میں LLM مشکل کیلیبریشن
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — ملٹی موڈل آئٹم پیرامیٹر کا اندازہ
• Interpretable Knowledge Tracing — قابلِ تشریح نالج ٹریسنگ
• Applying psychometric methods to distinguish between human and generative AI responses to multiple-choice assessments — انسانی اور GenAI MCQ جوابات کو الگ کرنے کے لیے IRT کا استعمال
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — LLMs اور درخت پر مبنی مشین لرننگ سے آئٹم کی مشکل کا اندازہ
• Assisting the grading of a handwritten general chemistry exam with artificial intelligence
• Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis — ID ایمبیڈنگز سے آگے: علمی تشخیص کے لیے عمل پر مبنی زبان کی ماڈلنگ
• Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — مسلسل بدلتے IRT آئٹم بینک کی بےزی اتفاقی کیلیبریشن (Jewsbury وغیرہ 2026)
• Assessing teachers' AI literacy: a systematic review of measurement tools — میدانی آڈٹ جو دکھاتا ہے کہ اساتذہ کی AI خواندگی کے آلات میں IRT/Rasch بطور بنیادی تصدیقی شواہد کم ہی استعمال ہوتا ہے
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI اور انسانی ٹیوٹرنگ سے GRE سیکھنے میں برابر فائدے
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — معیارات کے مطابق بینچ مارک سیر ہو سکتا ہے