عمومی سوالات
تعلیم میں مصنوعی ذہانت کی تحقیق کو رپورٹ کرنے اور سمجھنے کے بہترین طریقے کیا ہیں؟
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
آپ کے مسودے کے خلاصے میں ایک سرخی والا عدد ہے، اور جائزہ لینے والے نے ابھی پوچھا ہے کہ کنٹرول گروپ نے اصل میں کیا کیا۔ یا آپ خود جائزہ لینے والے ہیں اور ہاتھ میں ایسا میٹا تجزیہ ہے جس کا مجموعی اثر 0.67 ہے اور جس کا طریقوں والا حصہ ڈیڑھ صفحے پر پھیلا ہے۔ یا آپ کا شعبہ اس بارے میں رہنمائی لکھ رہا ہے کہ عملے کو AI مطالعات کی رپورٹ کیسے کرنی چاہیے، اور "معیارات کی پیروی کریں" سے زیادہ مخصوص چیز مانگ رہا ہے۔
ان میں سے زیادہ تر معاملات چھ کوتاہیوں سے طے ہوتے ہیں: کون سا AI نظام استعمال ہوا، اسے کیا کرنے کے لیے ترتیب دیا گیا، اس نے کون سا تدریسی کردار ادا کیا، کیا انسانوں نے اس کے نتائج ڈیزائن کیے یا ان کا جائزہ لیا، نتیجے کے پیمانے نے اصل میں کیا پکڑا، اور مصنفین نے تعصب، لاگت اور محدودیتوں کے بارے میں کیا کیا۔ یہ چیزیں غائب ہوں تو ایماندار فیصلہ "ناقابلِ جائزہ" ہے، اور یہ "رد شدہ" سے مختلف فیصلہ ہے۔
مختصراً
1. AI کو وینڈر کے بجائے ٹریٹمنٹ کے طور پر بیان کریں۔ ماڈل، ورژن، ترتیب، پرامپٹ، کردار، اور یہ کہ نتیجہ کس نے ڈیزائن کیا یا جائزہ لیا۔
2. تدریسی جواز اور فعال موازنے کا نام لیں۔ مصنوعات کا نام طریقہ نہیں ہے، اور معمول کی تدریس منصفانہ کنٹرول نہیں ہے۔
3. پیمانے کو دعوے سے ہم آہنگ کریں، بشمول یہ کہ نتیجہ مؤخر اور بغیر مدد تھا یا نہیں۔
4. وہ غیر یقینی رپورٹ کریں جو تجزیے میں واقعی ہے: منحصر اثرات، مطالعات کے درمیان تغیر، پیش گوئی کے وقفے، ذیلی گروپوں کے حجم، اشاعتی تعصب۔
5. ہر خودکار فیصلے کی توثیق کریں، ایک نامزد سنہری معیار اور ایک نامزد فیصلہ کرنے والے کے ساتھ۔
6. توازن رکھنے والی چیزیں رپورٹ کریں: گورننس، کمپیوٹ کی لاگت، آپ کا اپنا AI استعمال، خالی نتائج، اور صرف وہ حوالے جنہیں آپ نے خود جانچا ہے۔
AI کو ایسے ٹریٹمنٹ کے طور پر بیان کریں جسے کوئی دوبارہ بنا سکے
یہی وہ جانچ ہے جس میں بیشتر جمع کرائیاں ناکام ہوتی ہیں۔ RAISE فریم ورک (Reporting AI Studies in Education، Allison 2026) دس موضوعاتی شعبوں میں پھیلا 30 آئٹمز کا چیک لسٹ ہے، اور اس کا تشخیصی دعوہ مخصوص ہے: جمع کرائیاں معمول کے مطابق یہ بتانا چھوڑ دیتی ہیں کہ کون سا ماڈل استعمال ہوا، اسے کیسے ترتیب دیا گیا، اس نے کیا کردار ادا کیا، اور کیا انسانی فریقوں نے اس کے نتائج ڈیزائن کیے یا ان کا جائزہ لیا۔ پھر جائزہ لینے والوں کے پاس چار ایسے سوال رہ جاتے ہیں جن کا جواب نہیں دیا جا سکتا۔ AI بالکل کیا کر رہا تھا؟ کیا اس کی ضرورت تھی؟ کیا یہ دہرایا جا سکتا ہے؟ کیا سیکھائی کے دعوے قابلِ اعتماد ہیں؟
RAISE تعلیمی جواز سے شروع ہو کر API کی سطح کی تفصیل، سیکھنے والے اور AI کے تعامل، رسائی اور ثقافتی موزونیت، شرکاء اور ماحول، انسانی شمولیت، ڈیزائن، اخلاقیات، شفافیت اور دہرائے جانے کی صلاحیت سے ہوتا ہوا محدودیتوں تک جاتا ہے۔ اس کا ساتھی Ethics and Risk Matrix سیکھنے والے کی خودمختاری، مساوات، ڈیٹا گورننس اور الگورتھمی شفافیت کے خطرات کا احاطہ کرتا ہے۔ Hwang, Xie, Wah اور Gašević (2026) ایک سادہ تر متبادل پیش کرتے ہیں۔ TEP-AIED شفافیت، اخلاقیات اور تدریس کو ایک باہم منحصر ڈھانچے میں سمو دیتا ہے، سات مقالے کے حصوں سے جڑا رہنما جدول دیتا ہے، اور مصنفین سے کہتا ہے کہ وہ "Transparency, Ethics, and Pedagogy Considerations" کے عنوان سے طریقہ کار کا ذیلی حصہ شامل کریں۔ ان کی وجہ عملی ہے: RAISE جامع ہے اور معمول کے تجرباتی استعمال کے لیے بہت باریک بین۔ یہ اعلان AI Use and Disclosure Statements کے تحت آتا ہے اور یہی Privacy اور Ethics کے دعووں کو قابلِ جانچ بناتا ہے۔
RAISE میں تعلیمی جواز سب سے پہلے آتا ہے کیونکہ AI غیر جانبدار آلہ نہیں ہے۔ قدر کا انحصار سیکھنے کے مسئلے، نظریاتی جواز، اور اہداف سے نتائج کے پیمانوں تک کے نقشے کے درمیان ہم آہنگی پر ہے۔ O'Neill (2026) نے پایا کہ 14 جانچے گئے میٹا تجزیوں میں سے دو کے سوا سب نے ٹریٹمنٹ کو ایک آلے کے طور پر بیان کیا، ChatGPT یا GenAI یا عام طور پر "AI"۔ مصنوعات کا نام تدریس نہیں ہے۔ ChatGPT کی نمائش کو ایک مشترک مداخلت سمجھنا ایسا ہی ہے جیسے "کاغذ" کے اثرات کا میٹا تجزیہ کرنا۔
Weidlich وغیرہ (2025) بنیادی مطالعات کے لیے یہی دلیل دیتے ہیں۔ ایک نمایاں میٹا تجزیے کے پیچھے موجود موازنوں کے ایک حصے کی جانچ کرتے ہوئے، انہوں نے پایا کہ صرف 21% میں واضح ٹریٹمنٹ، کنٹرول گروپ اور درست سیکھائی کا پیمانہ تھا۔ رپورٹ شدہ اثر کا حجم (g = 0.7) مقصد کے لیے بنائے گئے ذہین ٹیوٹرنگ نظاموں (0.66) سے بھی بڑھ گیا، اور یہ خلا ایک خطرے کی گھنٹی ہے: مقصد کے لیے بنائے گئے ٹیوٹرنگ سے بہتر ٹریٹمنٹ غالباً مختلف چیزوں کا ایک بنڈل ہے جس پر ایک ہی لیبل لگا ہے۔
کسوٹی ایک سوال ہے: کیا کوئی قابلِ مددگار قاری صرف طریقہ کار والے حصے سے آپ کی مداخلت کو دوبارہ بنا کر وہی چیز حاصل کر سکتا ہے؟
طے کریں کہ آپ کا پیمانہ آپ کو کیا دعوی کرنے کی اجازت دیتا ہے
O'Neill کے 46 تصادفی طور پر چنے گئے بنیادی مطالعات کے ثبوت کے جائزے میں، 28 (61%) میں صداقت کے تحفظات تھے۔ منحصر متغیر کا عدم توازن سب سے عام تھا (n = 15)، اس کے بعد آزاد متغیر کا عدم توازن (n = 11)، تجرباتی ڈیزائن کے مسائل (n = 7)، ڈیٹا نکالنے کے مسائل (n = 6)، کنٹرول گروپ کی عدم موجودگی (n = 6) اور گروپوں کی غیر تصادفی تقسیم (n = 6)۔ کثیر جہتی نتائج کو معمول کے مطابق اس طرح یکجا کیا گیا جیسے وہ قابلِ تبادلہ ہوں، اور امتحانی نمبر، ہوم ورک کا معیار، حوصلہ، خود اثر آفرمی، رویے اور مشغولیت سب ایک ہی "تعلیمی کارکردگی" کے عدد میں سمٹ گئے۔
دو رپورٹنگ عادتیں اسے روکتی ہیں۔ بتائیں کہ آلہ کس کنسٹرکٹ کی پیمائش کرتا ہے اور یہ کہ اس کی اس آبادی کے لیے توثیق ہوئی تھی؛ Self-Report Measures دکھاتا ہے کہ ادراک پر مبنی پیمانے رویے سے کہاں الگ ہوتے ہیں، اور Assessment Validity کنسٹرکٹ کی صداقت کا احاطہ کرتا ہے۔ پھر ایسا نتیجہ رپورٹ کریں جو سیکھنے والے کے آلے کے بارے میں عقیدے پر منحصر نہ ہو۔ مدد کے تحت فوری کام کی کارکردگی سیکھنے میں اضافہ نہیں ہے، اور علمی بوجھ اتارنا وہ میکانیزم ہے جو ان دونوں کو سب سے زیادہ معقول طور پر الگ کرتا ہے۔ 493 ریکارڈز اور 14 ترجیحی مطالعات کا 2026 مختصر جائزہ نے پایا کہ کسی نے تصدیق کی کامیابی اور اس کے بعد کے انحصار کے فیصلے کو نتائج کے معیار کے آزادانہ فیصلہ شدہ معیار کے خلاف ساتھ ساتھ نہیں ناپا، اور کم ہی نے فوری کارکردگی سے آگے مؤخر یادداشت یا منتقلی تک دیکھا۔
بحث میں حد کھل کر بتائیں۔ ایسا مطالعہ جس نے آلہ کھلا رکھتے ہوئے لیا گیا کوئز ناپا، معاونت والی کارکردگی کے بارے میں دعوے کی تائید کر سکتا ہے۔ یہ اس بارے میں دعوے کی تائید نہیں کر سکتا کہ طلبہ نے کیا سیکھا، اور اس جملے کی لاگت ایک سطر ہے۔
جو غیر یقینی آپ کے تجزیے میں واقعی ہے، اسے رپورٹ کریں
ترکیبوں کے لیے منحصر اثرات کو سنبھالنے کا طریقہ، مطالعات کے درمیان تغیر، پیش گوئی کے وقفے اور اشاعتی تعصب کا جائزہ رپورٹ کریں۔ صرف I² یہ کام نہیں کرے گا۔ O'Neill نے پایا کہ جہاں بھی عدم یکسانی بتائی گئی وہ شدید تھی، 13 میٹا تجزیوں میں 77.2% سے 94.4% تک، جن میں 12 کی شرح 80% سے اوپر تھی، اور یہ کبھی حل نہیں ہوئی: کوئی بھی ماڈریٹر تجزیہ دس مطالعات کے کم سے کم ذیلی گروپ حجم تک نہیں پہنچا۔ بارہ میٹا تجزیوں نے ایک ہی مطالعے کے منحصر اثرات کے حجموں کو آزاد سمجھا، جو ظاہری ثبوت کو بڑھا دیتا ہے۔ صرف چار نے مطالعات کے درمیان تغیر (τ²) رپورٹ کیا اور صرف دو نے پیش گوئی کا وقفہ، اور دونوں وقفوں میں صفر شامل تھا۔ اس پورے مجموعے میں کہیں بھی اشاعتی تعصب کا درست جائزہ نہیں لیا گیا۔
عدم یکسانی کے اعداد کے ساتھ اس کا ماڈل بتانا ضروری ہے، کیونکہ I² درستگی پر منحصر ہے۔ AIEd تحقیق کی محدودیتیں ایک ترکیب درج کرتی ہے جہاں مقررہ اثر ماڈل کے تحت I² = 82.98% اور بے ترتیب اثرات کے تحت 15.75% ہے۔ صرف پہلا عدد دیکھنے والا قاری یہ نہیں بتا سکتا کہ مجموعہ کتنا متضاد ہے۔ اس کے ساتھ τ² اور پیش گوئی کا وقفہ رپورٹ کریں، جس کا تقاضا جائزے کا ادب بھی کرتا ہے۔
پھر اپنی ہی سرخی کو کم کر کے دیکھیں۔ Bartoš وغیرہ (2026) نے 67 میٹا تجزیوں سے 1,840 اثرات کے حجموں کو یکجا کیا اور پایا کہ اشاعتی تعصب کو ماڈل کرنے کے بعد اوسط اثر شائع شدہ میڈین کے تقریباً ایک تہائی پر آ جاتا ہے (SMD = 0.196 بمقابلہ 0.67)، اور پیش گوئی کا وقفہ -1.521 سے +1.908 تک ہے۔ یہ وقفہ کسی فرضی نئے مطالعے کے لیے کافی نقصان سے کافی فائدے تک پھیلا ہے۔ یہ مقالے کا سب سے کارآمد عدد ہے اور وہی ہے جس کے خلاصے سے نکل جانے کا خطرہ سب سے زیادہ ہے۔
بتائیں کہ دعوہ کتنی دور تک جاتا ہے
انصاف اور دائرہ کار اسی طرح ناکام ہوتے ہیں: بڑا اثر جو ظاہر سے کم معنی رکھتا ہو۔ جانچے گئے 14 میٹا تجزیوں میں سے گیارہ نے آبادی کی کوئی حد مقرر نہیں کی، چنانچہ "طلبہ" میں بچوں سے لے کر طبی تربیت پانے والے شامل ہو گئے۔ ایک کورس، ادارہ، شعبہ یا ملک عام دعوے کا جواز نہیں بنتا، اور ایک آلے کے نتائج کم ہی دوسرے پر منتقل ہوتے ہیں۔
بڑے اثرات کی زیادہ تر وضاحت تین چیزیں کرتی ہیں، اور ہر ایک قابلِ رپورٹ ہے۔ نیاپن ایک ہے۔ کام پر زائد وقت دوسرا ہے۔ تیسرا ایسی موازنہ شرط ہے جسے معمول کی تدریس ملی ہو، فعال کنٹرول نہیں۔ رپورٹ کریں کہ کنٹرول نے اصل میں کیا کیا، ہر بازو نے کتنا وقت صرف کیا، اور آلہ کتنا نیا تھا۔ آبادی کی حد بھی بتائیں، کیونکہ اثرات سیکھنے والے گروپوں میں مختلف ہوتے ہیں اور حد نہ بتانا ہی وہ چیز ہے جو ایک ہی مجموعی عدد کو سب کی نمائندگی کرنے دیتی ہے؛ سیکھنے والے گروپوں میں تفریقی اثرات یہ تغیر کھول کر بیان کرتے ہیں۔
آلے کو چلتا ہوا نشانہ سمجھیں۔ ملکیتی نظام بغیر اطلاع کے بدلتے ہیں، چنانچہ کوئی دریافت ایک ماڈل ورژن سے بندھی ہوتی ہے، اور جو بینچ مارک ایک ریلیز میں سب کو متاثر کر گیا وہ اگلی میں قائم نہ رہے۔ ورژن اور رسائی کی تاریخ اسی وجہ سے طریقہ کار والے حصے میں آتی ہے، صرف دہرائے جانے کی صلاحیت کے لیے نہیں۔
خودکار فیصلوں کی توثیق کریں
AIED کا جائزہ اب نمبر لگانے کا کام بڑھتے ہوئے ماڈلز کے حوالے کر رہا ہے، جس سے توثیق کا طریقہ ضمیمے کے بجائے خود نتیجے کا حصہ بن جاتا ہے۔ Khan Academy اپنے AI ٹیوٹر کے پیمانوں کے بارے میں بتاتا ہے کہ علمی مشغولیت کو ایک Large Language Models (LLMs) جج اسکور کرتا ہے جسے انسانی تدریسی ماہرین کے خلاف F1 0.83 پر کیلیبریٹ کیا گیا، اور یہ کہ پیمانوں کی حرکت پانچ مہینوں میں 40 سے زیادہ زندہ تجربات سے آئی، آف لائن جائزے سے نہیں (Udeshi وغیرہ 2026)۔ Tseng وغیرہ (2026) دکھاتے ہیں کہ پری ٹیسٹ سوال کے معیار پر انسانی اور مشین کا اختلاف تصادفی نہیں بلکہ منظم ہے، اور یہ کہ روبرک کو عملی شکل دینا جواز کو پہلے رکھنے والی پرامپٹنگ سے زیادہ اہم ہے۔
انسانی کوڈرز کے ساتھ مطابقت معیار سے الگ چیز ہے، اور اسے معیار کے طور پر رپورٹ کرنا جائزہ لینے والوں کا نشانہ ہے۔ Liu وغیرہ (2026) نے ایک آزاد ماہر سے 855 جوڑی وار کوڈ سیٹس ایسے انداز میں جانچوائے کہ ماخذ نظر نہ آئے۔ انسان اور LLM کی مطابقت اوسط Jaccard 0.30 رہی، جبکہ انسان اور انسان کی مطابقت 0.52 تھی، اور اندھے جانچنے والے نے انسانی اور مشینی کوڈنگ کو ناقابلِ امتیاز شرحوں پر ترجیح دی (51.5% بمقابلہ 48.5%، p = 0.537)۔ کیلیبریشن کا ہدف، سنہری معیار، اور یہ کہ اختلاف کس نے طے کیا، یہ تینوں باتیں رپورٹ کریں۔ یہی تین چیزیں قاری کو یہ فیصلہ کرنے دیتی ہیں کہ خودکار اسکور کتنا وزن اٹھا سکتا ہے۔
اخراجات اور اپنا استعمال بتائیں
AIED 2025 کی تمام کانفرنس مقالوں کے ایک جائزے نے بغیر اعلان کے LLM اپنانے کا نمونہ پایا: زیادہ تر منصوبوں نے LLMs استعمال کیے، اور چند سے کم نے وسائل کی کھپت یا کاربن فٹ پرنٹ بتایا۔ وہ مقالہ مقامی اور کلاؤڈ ہارڈویئر کے لیے پیمائشی آلات کے ساتھ ایک اوپن سورس طریقہ فراہم کرتا ہے، اور ان فرنٹیئر ماڈلز کے کمپیوٹی خرچ کا اندازہ لگانے کا فارمولا بھی جن کے پیرامیٹر کی تعداد ظاہر نہیں کی جاتی۔ اس کی دلیل یہ ہے کہ ان اخراجات کو نہ بتانا بذات خود ایک اخلاقی تشویش ہے۔ ڈیٹا گورننس، رضامندی، رسائی اور ثقافتی موزونیت اسی پیراگراف میں آتے ہیں (RAISE کے آئٹمز؛ Universal Design for Learning، Accessibility)۔ تعلیم میں AI کی تحقیق کو مساوات، رسائی، رازداری، اخلاقیات، اور تربیتی حفاظت کو کس طرح شامل کرنا چاہیے؟ زیادہ تفصیلی بحث رکھتا ہے۔
تحقیقی عمل میں آپ کے اپنے AI استعمال کو بھی وہی اعلان درکار ہے۔ Zabaleta اور Lin کا PRISMA-LLM تجزیہ 888 جائزہ خودکار بنانے والے مقالوں پر دکھاتا ہے کہ یہ رپورٹنگ کتنی ناہموار ہے۔ 2023 سے، سافٹ ویئر اور مصنوعات والے مقالوں میں 38.0% نے کوئی جائزہ رپورٹ نہیں کیا، جبکہ LLM مقالوں میں یہ شرح 9.3% تھی۔ رپورٹنگ کی اوسط جامعیت LLM مقالوں کے لیے 6.3 اور سافٹ ویئر و مصنوعات والے مقالوں کے لیے 3.3 تھی۔ LLM کے استعمال کا 84.1% ملکیتی یا میزبان نظاموں پر تھا، اور صرف 4.9% کھلے وزن والا۔ ان کا فریم ورک نفاذ کے اعلان کو نتائج کے لحاظ سے حساس جائزے سے پانچ اعلانیہ درجوں میں الگ کرتا ہے، جو جائزے کے اندر کسی آلے نے کیا کیا، یہ بتانے کے لیے ایک قابلِ عمل سانچہ ہے۔
Dai اور Chan (2026) مصنف کی طرف کی تصویر جوڑتے ہیں۔ 28 پوسٹ گریجویٹ محققین میں سے 27 نے GenAI کو خیال پیدا کرنے، ادب کے جائزے، وضاحت، ڈیٹا پروسیسنگ، پروگرامنگ، تعلیمی تحریر، تدوین اور ترجمے میں استعمال کیا۔ انہوں نے استعمال کو داؤ اور شعبے کے معیارات کے حساب سے کیلیبریٹ کیا۔ ان کے اداروں کی پالیسیاں تحقیق کے عمل کے بجائے تدریس اور جائزے سے نمٹتی تھیں، جس سے رپورٹ کرنے کا فیصلہ مصنف کے پاس رہ جاتا ہے۔
خالی نتیجہ شائع کریں، اور ہر حوالے کی جانچ کریں
Denny وغیرہ (2026) نے 14 مقالوں میں 30 گھڑے گئے حوالوں کی تصدیق کی، اور ایک تکنیکی سمپوزیم میں یہ تعداد 2025 کے 3 سے 2026 میں 17 ہو گئی، یعنی اس سال کے کارروائی مقالوں کا 2.3%۔ LLM کی مدد سے مسودہ بنانا قابلِ یقین گھڑا ہوا حوالہ پیدا کرنا سستا بنا دیتا ہے، اسی لیے جانچ قبولیت کے بعد کے بجائے جمع کرانے سے پہلے ہونی چاہیے۔
اس جائزے میں توازن رکھنے والی باتیں اہم ہیں جب آپ اسے حوالے کے طور پر دیں۔ نشان زدہ حوالوں میں سے بیشتر بے ضرر تھے: 229 ACM میٹا ڈیٹا کی عدم مطابقتیں تھیں جہاں PDF درست تھی، اور 188 درست کتابیاتی متغیرات تھے۔ گھڑے گئے حوالوں کی تعداد جان بوجھ کر رکھی گئی کم سے کم حد ہے، اور بے ضرر اکثریت کوئی معمولی غلطی نہیں۔ ہر ایسے اندراج کی تصدیق کریں جسے آپ خود نہیں جانچ سکتے۔
خالی اور منفی نتائج کی رپورٹنگ ایماندار ثبوت کی دوسری نصف ہے۔ Bartoš وغیرہ نے دبائے گئے خالی نتائج کا مضبوط ثبوت پایا (ہر Egger ٹیسٹ p < .0001) اور شدید عدم یکسانی (τ = 0.869)، جبکہ کوئی نتیجہ، شعبہ، سطح یا AI کردار کا ذیلی گروپ مستقل فائدے نہ دکھا سکا۔ انہوں نے جنوری 2023 سے پہلے اور بعد شائع ہونے والے مطالعات میں بھی کوئی فرق نہ پایا، جو اس دعوے کو کمزور کرتا ہے کہ جدید جنریٹو آلات خاص طور پر فائدے پیدا کرتے ہیں۔
محققین اس بارے میں کیا غلط سمجھتے ہیں
"اثر کا حجم خود اس طریقے کی خاصیت ہے۔" تعلیم میں AI کا کوئی ایسا اثر رپورٹ کرنے کو نہیں ہے۔ جانچے گئے میٹا تجزیوں میں دو کے سوا سب نے ٹریٹمنٹ کو آلے کے نام سے تعریف کیا، جانچے گئے موازنوں میں صرف 21% کے پاس واضح ٹریٹمنٹ، کنٹرول اور درست پیمانہ تھا، اور مجموعی g = 0.7 مقصد کے لیے بنائے گئے ذہین ٹیوٹرنگ کے 0.66 سے اوپر بیٹھا۔ اثر کا حجم کسی ڈیزائن، کسی آبادی اور کسی پیمائشی موقع کا ہوتا ہے۔
"مجموعی اوسط وہی ہے جو میرے طلبہ کے ساتھ ہوگا۔" اوسط مطالعات کے مجموعے کو بیان کرتی ہے، اور اس میں کوئی چیز کسی ایک کلاس روم کو مقرر نہیں کرتی۔ تعصب کے حساب سے ایڈجسٹ اوسط SMD = 0.196 ہے اور اس کا پیش گوئی وقفہ -1.521 سے +1.908 تک چلتا ہے۔ رپورٹ شدہ عدم یکسانی 13 میٹا تجزیوں میں سے 12 میں 80% سے اوپر ہے، اور بڑے مجموعے میں کسی ذیلی گروپ نے مستقل فائدے نہیں دکھائے۔ ان دونوں اعداد میں سے کسی سے بھی طالب علم کی سطح کی تبدیلی کی نشاندہی نہیں ہو سکتی۔
"خالی نتیجے کا مطلب ہے کہ آلہ کام نہیں کرتا۔" خالی نتیجہ کسی ڈیزائن کے بارے میں مخصوص درستگی پر ایک بیان ہے، اور ایک مطالعے میں قابلِ شناخت اثر کی عدم موجودگی اس مطالعے کے بارے میں ایک حقیقت ہے۔ تعصب کے حساب سے ایڈجسٹ SMD = 0.196 ایسے ادب سے آیا جس میں ہر Egger ٹیسٹ نمایاں تھا، چنانچہ مجموعے کا قابلِ دفاع پڑھنا ایک چھوٹی اور غیر یقینی اوسط ہے۔ بڑے مجموعے میں کسی نتیجہ، شعبہ، سطح یا AI کردار کے ذیلی گروپ نے بھی مستقل فائدے نہیں دکھائے۔ اس ادب میں دستاویز شدہ مسئلہ دبانا ہے۔
"ایک مطالعہ سب کچھ طے کر دیتا ہے۔" بنیادی شرحیں اس کے خلاف گواہی دیتی ہیں۔ جانچے گئے بنیادی مطالعات میں 61% کے پاس صداقت کے تحفظات تھے، ایک کورس یا ادارہ عام دعوے کا جواز نہیں بنتا، اور ملکیتی نظام ایک ماڈل ورژن سے بندھا چلتا ہوا نشانہ ہے۔ ایک مطالعہ ڈیزائن کے ساتھ جڑا ہوا ایک ڈیٹا پوائنٹ ہے۔
"انسانی کوڈرز کے ساتھ زیادہ مطابقت کا مطلب ہے کہ ماڈل درست چیز کو اسکور کر رہا ہے۔" انسان اور LLM کی مطابقت 0.30 تھی جبکہ انسان اور انسان کی 0.52، اور اندھا جانچنے والا دونوں کوڈنگ سیٹس میں 51.5% بمقابلہ 48.5% پر فرق نہ کر سکا۔ مطابقت کسی کوڈر کے ساتھ یکسانی ناپتی ہے، اور معیار ایک الگ سوال ہے جس کے لیے سنہری معیار اور فیصلہ کرنے والا درکار ہے۔
وہ اعتراضات جو آپ سنیں گے
"جائزہ لینے والے نیاپن چاہتے ہیں، طریقے کی تفصیل نہیں۔" جرائد دوسری سمت جا رہے ہیں۔ RAISE اور TEP-AIED ایڈیٹرز کو ایسا کنسٹرکٹ دیتے ہیں جس کا تقاضا وہ کر سکیں، اور TEP-AIED کا طریقہ کار والا ذیلی حصہ کم رگڑ والا داخلی راستہ ہے۔ طریقے کی تفصیل ہی ناقابلِ جائزہ مقالے کو قابلِ حوالہ مقالہ بناتی ہے۔
"ہمارے پاس جگہ نہیں۔" پانچ اعلانیہ درجے خطرے کی سطحیں نہیں بلکہ رپورٹنگ کی سطحیں ہیں، چنانچہ جائزے کی گہرائی ایک یا دو جملوں میں سما سکتی ہے۔ ورژن، پرامپٹ اور کردار ایک مختصر پیراگراف میں آ جاتے ہیں۔ لاگت اور گورننس محدودیتوں والے ایک جملے میں آ جاتے ہیں۔
"سب اسی طرح رپورٹ کرتے ہیں۔" اعداد کہتے ہیں کہ معمول ہی مسئلہ ہے: جانچے گئے بنیادی مطالعات میں 61% کے پاس صداقت کے تحفظات، 13 میں سے 12 میٹا تجزیے 80% سے اوپر عدم یکسانی کے ساتھ، سافٹ ویئر اور مصنوعات والے 38.0% مقالے بغیر کسی جائزے کے۔
"ہمارا آلہ ملکیتی ہے، اس لیے ہم ماڈل رپورٹ نہیں کر سکتے۔" ورژن، رسائی کی تاریخ، ترتیب، آپ کے دیے گئے پرامپٹ، کردار اور حفاظتی پٹیاں رپورٹ کریں۔ اگر وینڈر نہ بتائے تو یہ پابندی محدودیتوں میں اس حد کے طور پر آتی ہے جو دعوے پر لگتی ہے۔
"خالی نتائج رپورٹ کرنا ہمارا نقصان کرے گا۔" دبائے گئے خالی نتائج ہی وہ دستاویز شدہ میکانیزم ہیں جو SMD = 0.196 کی تعصب سے ایڈجسٹ اوسط کے پیچھے ہیں۔ انہیں شائع کرنا ہی آپ کے مثبت نتیجے کو قابلِ فہم رکھتا ہے۔
اس ہفتے کیا کریں
1. اپنے خلاصے کو طریقہ کار والے حصے کے سامنے رکھ کر پڑھیں اور ہر وہ دعوہ حذف کریں جس کی تائید طریقہ نہیں کر سکتا۔ پیمانے کی حد پر ایک جملہ عام طور پر کافی ہوتا ہے۔
2. تفصیل والا پیراگراف شامل کریں: ماڈل، ورژن، رسائی کی تاریخ، ترتیب، پرامپٹ، کردار، اور یہ کہ نتیجہ کس نے ڈیزائن کیا یا جائزہ لیا۔
3. τ²، پیش گوئی کا وقفہ اور اشاعتی تعصب کا جائزہ ضمیمے سے نکال کر نتائج میں لائیں، یا صاف کہیں کہ آپ نے انہیں شمار نہیں کیا۔
4. آبادی کی حد اور کنٹرول کی شرط ڈیزائن کے بیان میں لکھیں، بشمول یہ کہ ہر بازو نے کتنا وقت صرف کیا۔
5. ہر ایسے حوالے کی تصدیق کریں جو آپ نے خود نہیں پڑھا، اور پہلے مصنف والا خانہ جانچیں۔
آگے کہاں جائیں
تعلیم میں AI کے تحقیقی طریقے ان رپورٹنگ فیصلوں کے نیچے کے ڈیزائن انتخابوں کا احاطہ کرتے ہیں، اور AIEd تحقیق کی محدودیتیں ناکامی کے نمونوں کی فہرست ہے جس کے ساتھ اعداد بھی ہیں۔ AIEd تحقیق کو سمجھنا اور لاگو کرنا اسی مسئلے کا قاری والا رخ ہے، پائیدار سیکھائی کا ثبوت وہی ہے جس تک یہ بیشتر پیمانے پہنچنے کی کوشش کرتے ہیں، اساتذہ AI سے متعلق مداخلتوں کے جائزے کے لیے کون سے پیمانے اور تحقیقی طریقے استعمال کر سکتے ہیں؟ پیمانوں اور موازنے کے ڈیزائنوں کا احاطہ کرتا ہے، اور ہم کیسے جانیں کہ تعلیمی AI درست کام کر رہا ہے، صرف اچھا اسکور نہیں کر رہا؟ اسی سوال کا مختصر تر ورژن ہے۔ اس ادب نے جو خلا نہیں بھرے، ان کے لیے تعلیم میں مصنوعی ذہانت سے متعلق تحقیقی ادب میں کون سے قابلِ ذکر خلا ہیں؟ دیکھیں۔