تصورات
بے ترتیب کنٹرول شدہ آزمائش (RCT)
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
بے ترتیب کنٹرول شدہ آزمائش (RCT) — ایک تحقیقی ڈیزائن جس میں شرکاء کو کسی مداخلت کے نتیجے پر سببی اثر کا اندازہ لگانے کے لیے بے ترتیب طور پر علاج یا کنٹرول کی حالت میں تفویض کیا جاتا ہے۔ تعلیم میں AI میں RCT یہ قائم کرنے کا سنہری معیار ہیں کہ کوئی AI اوزار یا تدریسی طریقہ سیکھنے کے فوائد، شمولیت میں تبدیلیاں یا دیگر نتائج کا سبب بنتا ہے، نہ کہ محض اُن سے ہم آہنگ ہوتا ہے۔
غور کرنے کے لیے سوالات
- اگر کوئی اسکول آپ کو بتائے کہ 'جن طلبہ نے AI اوزار استعمال کیا اُن کے اسکور زیادہ تھے' تو یہ پھر بھی کیوں ثابت نہیں کر سکتا کہ اوزار فائدے کا سبب بنا — چاہے فرق بڑا ہو؟
- بے ترتیب تفویض معلوم اور نامعلوم خلل ڈالنے والے عوامل کو گروہوں میں متوازن کرتی ہے۔ پڑھنے سے پہلے، بے ترتیب تفویض وہ کیا کر دیتی ہے جو محض دو برقرار کلاسوں کا موازنہ نہیں کر سکتا، چاہے وہ کتنے ہی مماثل نظر آئیں؟
- یہ صفحہ RCT کو سنہری معیار کہتا ہے مگر حقیقی قیمتیں بھی گنواتا ہے: مصنوعی ماحول، تیزی سے بدلتا AI جو آزمائشوں کو تاریخ گذشتہ کر دیتا ہے، کم طاقت والے چھوٹے نمونے، اور مددگار اوزار روکنے پر اخلاقی پابندیاں۔ آپ کے خیال میں تعلیمی تحقیق کی سرخیوں میں ان میں سے کون سی مصلحت سب سے زیادہ نظر انداز ہوتی ہے؟
- 1,174 شرکاء کی ایک RCT نے پایا کہ GenAI نے تعلیم پر مبنی پیداواری خلا کا تقریباً تین چوتھائی بند کر دیا۔ مگر اچھی طرح چلائی گئی RCT بھی کسی تنگ کام پر، کسی بناوٹی ماحول میں ہو سکتی ہے۔ سببی دعوے پر بھروسہ کرنے سے پہلے نتیجے کے پیمانے کے بارے میں کیا جانچنا چاہیے؟
- اخلاقی مسئلے پر سیدھا غور کریں: اگر آپ کے پاس واقعی یہ ماننے کی وجہ ہو کہ AI ٹیوٹر طلبہ کو سیکھنے میں مدد دیتا ہے، تو کیا ایک سمسٹر کے لیے آدھی کلاس کو بے ترتیب طور پر اس سے محروم رکھنا جائز ہے؟ آپ ایسا اخلاقی طور پر درست مطالعہ کیسے ڈیزائن کریں گے جو پھر بھی سبب کو الگ کرے؟
تعارف
بے ترتیب تفویض ہی RCT کو دیگر ڈیزائنوں سے الگ کرتی ہے: سیکھنے والوں کو بے ترتیب طور پر حالتوں میں تفویض کر کے، ایک RCT معلوم اور نامعلوم خلل ڈالنے والے عوامل کو گروہوں میں متوازن کرتی ہے، چنانچہ نتائج میں کوئی بھی مشاہدہ شدہ فرق اعلیٰ داخلی اعتبار کے ساتھ مداخلت سے منسوب کیا جا سکتا ہے۔
تحقیق میں RCT کیسے نمودار ہوتی ہیں
-
تیزی سے بدلتی ٹیکنالوجی کے جواب میں مائیکرو-RCT: Harrison et al. (2026) دلیل دیتے ہیں کہ روایتی بڑے پیمانے کی آزمائشیں ایسے ٹیوٹرنگ پلیٹ فارمز کا ساتھ نہیں دے سکتیں جو مطالعے کے دوران بنیادی طور پر بدل جاتے ہیں، اور انگریزی ثانوی اسکولوں میں استاد کی زیرِ قیادت مائیکرو-بے ترتیب کنٹرول شدہ آزمائشیں استعمال کرتے ہیں (929 طلبہ میں سے 644 نے بعد از امتحان مکمل کیا، g = 0.33) تاکہ سببی اندازہ دہرایا جا سکے۔ مصلحتیں ان کے اپنے ڈیزائن میں بیان ہیں: 30.7% کمی، نصاب سے ہم آہنگ نہ کہ آزادانہ معیاری نتائج، اور صرف چار ہفتے کی پیروی۔
-
سببی اثر کے دعوے: AIED میں RCT جانچتی ہیں کہ کوئی AI ٹیوٹر، اوزار یا تدریسی علاج نتائج بہتر بناتا ہے یا نہیں۔ جنریٹو AI پر ایک بے ترتیب تجربہ جس میں 1,174 شرکاء تھے، نے پایا کہ GenAI تعلیم پر مبنی پیداواری خلا کو کافی حد تک تنگ کرتا ہے اور ابتدائی کارکردگی کے فرق کا تقریباً تین چوتھائی بند کر دیتا ہے — AI کے اثر کا ایک واضح سببی اندازہ۔
-
ایک نتیجہ جو تاخیر کے بعد ناپا جائے، سیشن کے آخر میں نہیں۔ 120 انڈرگریجویٹس کو ایک ہی موضوعات کے AI سے معاونت یافتہ یا روایتی مطالعے میں بے ترتیب تفویض کر کے اور 45 دن بعد یادداشت جانچنے پر، AI سے معاونت یافتہ گروہ نے 68.5% کے مقابلے 57.5% اسکور کیا، یعنی تقریباً 11 فیصد پوائنٹس کا فرق (Barcaui (2025))۔
-
سنہری معیار سے موازنہ: تحقیقی طریقوں کا صفحہ RCT کو داخلی اعتبار کے لیے مضبوط ترین ڈیزائن قرار دیتا ہے جبکہ ان کی مصلحتیں بھی گنواتا ہے — لاگت، مصنوعی حالات، تیزی سے بدلتا AI، چھوٹے کم طاقت والے نمونے، اور ممکنہ طور پر مددگار اوزار روکنے کی اخلاقی حدیں۔
-
ایک آزمائش جو فرق کے بجائے برابری کے لیے ڈیزائن کی گئی ہو۔ Northcutt et al. (2026) نے 2,383 بالغوں کو AI ٹیوٹرنگ، زندہ انسانی ٹیوٹرنگ یا ویڈیو کنٹرول میں بے ترتیب تفویض کیا، شائع شدہ ٹیسٹ کی آلودگی باہر رکھنے کے لیے سابق ETS اور Kaplan ٹیسٹ ماہرین کے ساتھ نئے GRE آئٹمز لکھے، دو شکلوں کو متوازن کیا، اور فرق کے بجائے ±0.25 SD کے خلاف دو یک-طرفہ ٹیسٹوں سے برابری جانچی؛ یہی ڈیزائن کے وہ انتخاب ہیں جو "کوئی معنوی فرق نہیں" کو قابلِ تفسیر نتیجہ بناتے ہیں۔
-
گروہی بے ترتیب تفویض، کم قبولیت، اور پھر intent-to-treat اندازے کا مطلب۔ Liu et al. (2026) نے 2,379 انڈرگریجویٹس کو 13 بلاکس میں بے ترتیب تفویض کیا، طلبہ کے بجائے اساتذہ مقرر کر کے، چنانچہ کسی سیکشن کے ہر طالب علم کو اُس استاد کی حالت ورثے میں ملی — یہی ڈیزائن کثیر-سیکشن تعیناتی کی آزمائش کو ممکن بناتا ہے، اور یہی وہ استنباطی مسائل پیدا کرتا ہے جنہیں مطالعہ پھر دستاویز کرتا ہے۔ زیرِ علاج سیکشنوں میں صرف تقریباً 15% طلبہ نے کبھی اوزار استعمال کیا، چنانچہ رپورٹ شدہ اثرات رسائی پیش کرنے کا اندازہ ہیں، اُسے استعمال کرنے کا نہیں؛ مصنفین مداخلت کو اُس وسیع تر AI استعمال کے طور پر پڑھتے ہیں جسے اس کے تعارف نے جنم دیا، اور انفرادی سیشنوں کو الگ سوال سمجھتے ہیں۔ چونکہ علاج استاد کی سطح پر تفویض ہوا، استنباط 34 کلسٹروں پر ٹکتا ہے — ایسی صورت جہاں کلسٹر-مضبوط معیاری غلطیاں درستگی کو بڑھا چڑھا کر بیان کرتی ہیں — چنانچہ مقالہ ان کے ساتھ ساتھ بے ترتیب تفویض کا استنباط بھی رپورٹ کرتا ہے اور اپنے نتائج کو مضبوط پاتا ہے۔ دو سرخی کے اثرات، بالکل مماثل نمونے میں حتمی درجات کا 0.37 SD گرنا اور دونوں نمونوں میں پلیٹ فارم کی ریکارڈ شدہ شرکت کا 0.90 SD گرنا، سیکشن کی سطح کے نتائج ہیں جنہیں اسی اوزار کی فی-طالب علم بے ترتیب تفویض علاج اور کنٹرول کے ہم جماعتوں کے درمیان آلودگی کے بغیر الگ نہ کر سکتی۔
-
رضاکارانہ اسکولی اوزار بھی 7% خوراک پر کام کا بوجھ ہلا سکتا ہے۔ Roy et al. (2026) نے 108 انگریزی پرائمری اسکولوں کے 464 اساتذہ کو اسکول کی سطح پر بے ترتیب تفویض کیا۔ تیاری کا وقت موازنہ گروہ کے 0.76 پر آیا (95% CI 0.64 سے 0.89) حالانکہ اوزار نے 7% اسباق کا احاطہ کیا اور دس ہفتوں میں استعمال گرا، چنانچہ اندازہ اس بات کی حد مقرر کرتا ہے کہ اسے پیش کرنے نے کام کے بوجھ کے لیے کیا کیا، نہ کہ مکمل اختیار کیا ہوتا تو کیا ہوتا۔
-
قبولیت حد مقرر کرتی ہے کہ آزمائش کیا جانچ سکتی ہے، اور شمولیت کی معاونت خوراک نہیں۔ Robinson et al. (2026) نے پڑھائی کے پلیٹ فارم کی دو RCTs چلائیں جن میں کنٹرول طلبہ میں سے صرف 60.7% اور 53.3% نے کبھی پلیٹ فارم استعمال کیا؛ ایک شمولیت ٹیوٹر نے پڑھی گئی کہانیوں میں 71–80% اضافہ کیا مگر کوئی کامیابی کا فائدہ پیدا نہ کیا، جو فی ہفتہ 2–5 منٹ تک پہنچنے کے مطابق ہے۔
-
وہ پیمانہ جو باطل نتائج کو شواہد میں بدل دیتا ہے۔ Mata et al. (2026) نے آٹھ سمسٹروں میں 8,708 طلبہ کی پیروی کی، 0.05 SD کے اثرات کا پتہ لگانے کی طاقت کے ساتھ، اور تاریخ زدہ دو متغیر کاموں پر بڑی، فوری حرکت پائی — ایک ہی یاد دہانی کے بعد 16 اگست تک 34 فیصد پوائنٹس زیادہ رجسٹریشن — جبکہ تعلیمی کارکردگی، تسلسل اور گریجویشن نے کوئی قابلِ تشخیص اثر نہ دکھایا۔ پیمانہ ہی ڈیزائن کا سبق ہے: اس N پر تعلیمی باطل نتائج پتہ نہ لگا سکنے کی ناکامیوں کے بجائے درست نتائج ہیں، اور یہی اس نتیجے کی اجازت دیتا ہے کہ ایک رابطہ اوزار وہ بدلتا ہے جسے وہ مخاطب کر سکتا ہے، مجموعی سیکھنے کے نتائج نہیں۔
-
ایک باطل اوسط متضاد ادھر اُدھر کے اثرات چھپا سکتی ہے۔ 24 ترکی اسکولوں کے 538 اساتذہ کو اسکول-شعبہ کی سطح پر بے ترتیب تفویض کرنے والی ایک پیشگی رجسٹرڈ RCT نے پایا کہ اوسط سے نیچے کے اساتذہ میں کامیابی 0.129 SD گری جبکہ اوسط سے اوپر والوں میں 0.054 بڑھی، اور محرک 0.111 SD گرا، جبکہ چھت سے دبے امتحان (کنٹرول اوسط 89.2/100) نے طاقت محدود رکھی۔ (Sungu, Lira & Duckworth (2026))
-
وہ پیشگی رجسٹریشن جو سوال اور قابلِ تشخیص اثر دونوں مقرر کر دے۔ Meyer et al. (2026) نے کورس کی دونوں آزمائشیں Registry of Efficacy and Effectiveness Studies میں رجسٹر کیں، پیشگی طور پر intent-to-treat اندازے اور تقریباً 0.157 کے کم سے کم قابلِ تشخیص اثر کے حجم کا عہد کیا، اور ہر اصطلاح میں رضامند طلبہ کو بے ترتیب تفویض کیا، add/drop پر دوسری لہر کے ساتھ تاکہ دیر سے داخل ہونے والے ڈیزائن میں آئیں نہ کہ طے شدہ تجزیہ نمونے میں۔ دو کورسز کے 2,483 طلبہ کو یکجا کرنے پر، اثر A/B حد (چار فیصد پوائنٹس) پر بیٹھتا ہے جبکہ یکجا عددی درجے کی تبدیلی متعدد-موازنہ اصلاح سے نہیں بچتی — یہ یاد دہانی کہ رجسٹر شدہ بنیادی نتیجہ یہ طے کرتا ہے کہ کئی ہم آہنگ نتائج میں سے کس پر یقین کیا جائے۔
-
برقرار سیکشنوں کے اندر بے ترتیب تفویض، پیشگی علاج کی بنیاد کے ساتھ۔ Thoeni & Fryer (2026) نے 454 انڈرگریجویٹس کو drop/add کے بعد تین برقرار مارکیٹنگ سیکشنوں کے اندر بے ترتیب تفویض کیا اور چاروں نتائج T1 پر ناپے، اس سے پہلے کہ کسی طالب علم کو چیٹ بوٹ تک رسائی ہو، چنانچہ اصطلاح بھر کا موازنہ فرض کی گئی بنیاد کے بجائے ناپی گئی بنیاد پر ٹکتا ہے۔ سپاٹ نتیجہ (کوئی گروہ × وقت تفاعل معنوی نہ ہوا؛ سب سے بڑا رپورٹ شدہ اثر d = 0.050 تھا، دلچسپی پر) اختیار کے ساتھ ساتھ رپورٹ کیا گیا — فی ہفتہ 0.89 لاگ ان، جبکہ ہفتے میں ایک بار تفویض کیا گیا تھا — جو کمزور استعمال شدہ علاج کے بارے میں باطل کو اوزار کے بارے میں باطل پڑھے جانے سے روکتا ہے۔
-
اندرونی موضوعی کراس اوور، اور بہترین عمل پر مقرر کنٹرول۔ Kestin et al. (2025) نے ہارورڈ کے 194 لائف-سائنسز طلبہ میں سے ہر ایک سے دو طبیعیات کے اسباق کروائے — ایک بار کلاس کے اندر فعال سیکھنے کے سیشن میں اور ایک بار کورس کے اپنے AI ٹیوٹر کے ساتھ، متوازن ترتیب میں اور ہر ایک کے گرد قبل و بعد کے امتحانات کے ساتھ — چنانچہ ہر طالب علم اپنا کنٹرول بنتا ہے اور فراہمی کے طریقوں کا موازنہ اس بات سے آلودہ نہیں ہوتا کہ کسے کیا تفویض ہوا۔ ڈیزائن کا دوسرا انتخاب بھی اتنا ہی اہم ہے: موازنہ لیکچر کے بجائے تحقیق پر مبنی فعال سیکھنا تھا، چنانچہ فائدہ (اوسط بعد از امتحان 4.5 بمقابلہ 3.5) موجودہ بہترین عمل کے خلاف ناپا گیا ہے اور اسے "AI تدریس کو مات دیتا ہے" نہیں پڑھا جا سکتا۔
طاقتیں اور حدود
- طاقتیں: مضبوط ترین سببی استنباط؛ صاف نتیجے کی پیمائش؛ اثر کے حجم کے اندازے کی حمایت؛ بے ترتیب تفویض کے ذریعے خلل ڈالنے والے عوامل کا توازن۔
- حدود: مہنگا اور سست؛ مصنوعی ماحول ماحولیاتی اعتبار کم کر سکتا ہے؛ AI اوزار آزمائشوں کے چلنے سے تیز بدلتے ہیں؛ چھوٹے نمونے اکثر معنوی اثرات کی تشخیص کے لیے کم طاقت رکھتے ہیں؛ کنٹرول گروہ سے ممکنہ طور پر فائدہ مند AI روکنے پر اخلاقی پابندیاں۔ ان میں سے دو حدیں شکل بدل لیتی ہیں جب تفویض کلسٹر شدہ ہو: مؤثر نمونہ طلبہ کی تعداد کے بجائے کلسٹروں کی تعداد بن جاتا ہے، چنانچہ آزمائش سرشماری سے بڑی اور اس پیمانے سے پتلی ہو سکتی ہے — Liu et al. کے 2,379 طلبہ 34 استاد-سطح کلسٹروں پر ٹکے ہیں — اور جب قبولیت رضاکارانہ اور کم ہو تو intent-to-treat اندازہ اس بات کا جواب دیتا ہے کہ اوزار پیش کرنے نے نتائج بدلے یا نہیں، نہ کہ استعمال کرنے نے بدلے یا نہیں۔
تعلیم میں AI میں تجرباتی ڈیزائن کی مزید مکمل بحث کے لیے — بشمول یہ کہ RCT کب موزوں ہے اور کب نیم-تجرباتی، سروے یا کمپیوٹیشنل ڈیزائن — AIED میں تحقیقی طریقے دیکھیں۔
عام غلط فہمیاں
- "بے ترتیب تفویض اوزار کے کام کرنے کے اندازے کی ضمانت دیتی ہے۔" بے ترتیب تفویض خلل ڈالنے والے عوامل کو متوازن کرتی ہے؛ یہ یقینی نہیں بناتی کہ کسی نے علاج استعمال کیا۔ کم قبولیت والی گروہی-بے ترتیب آزمائش اوزار پیش کرنے کے اثر کا اندازہ لگاتی ہے، اور intent-to-treat اور treatment-on-treated مختلف سوالوں کے جواب دیتے ہیں۔
- "بڑی آزمائش ہمیشہ بہتر ڈیزائن ہوتی ہے۔" کچھ دلیل دیتے ہیں کہ روایتی بڑے پیمانے کی آزمائشیں ٹیوٹرنگ پلیٹ فارمز کا ساتھ نہیں دے سکتیں جو مطالعے کے دوران بنیادی طور پر بدل جاتے ہیں، اور اس کے بجائے استاد کی زیرِ قیادت ایسے ڈیزائن استعمال کرتے ہیں جو نظام کے ارتقا کے ساتھ درست رہتے ہیں۔ ہلتے ہدف کی آزمائش اچھی طاقت والی ہو سکتی ہے اور پھر بھی ایسے نظام کو ناپ رہی ہو سکتی ہے جو اب موجود نہیں۔
- "RCT اور مشاہداتی شواہد ایک دوسرے کے متبادل ہیں۔" 1,174 شرکاء والی ایک RCT نے پایا کہ GenAI نے تعلیم پر مبنی پیداواری خلا کا تقریباً تین چوتھائی بند کر دیا — یہ کسی مخصوص عرصے پر ایک درست سببی دعوی ہے۔ مشاہدہ طریقہ کار اور اختیار کی وضاحت کرتا ہے؛ وہ یہ اندازہ اٹھا نہیں سکتا، اور RCT یہ نہیں بتا سکتی کہ کیوں۔
منسلک تصورات
- AIED میں تحقیقی طریقے
- تعلیم میں AI کی تشخیص
- تعلیمی پیمائش
- جنریٹو AI
- اعلیٰ تعلیم
- تعلیم میں مصنوعی ذہانت
- طلبہ کی معاونت اور کامیابی — مضبوط ترین طلبہ-معاونت شواہد کے پیچھے کا ڈیزائن
منسلک مضامین
-
Lesson planning using AI lesson assistant, Aila - A Teacher Choices Trial — 108 پرائمری اسکولوں میں سبق کی تیاری کا وقت موازنہ گروہ کے 0.76 پر آیا، اوزار استعمال کی 7% خوراک پر
-
Does generative AI narrow education-based productivity gaps? Evidence from a randomized experiment — کیا جنریٹو AI تعلیم پر مبنی پیداواری خلا کو تنگ کرتا ہے؟ ایک بے ترتیب تجربے سے شواہد
-
Generative AI Can Harm Teaching — جنریٹو AI تدریس کو نقصان پہنچا سکتا ہے: ایک RCT
-
Access is Not Enough: Human Support Improves Engagement with AI Tutoring — رسائی کافی نہیں: انسانی معاونت AI ٹیوٹرنگ میں شمولیت بہتر بناتی ہے
-
Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — جدت کی رفتار سے AI ٹیوٹرنگ کا جائزہ: GCSE سائنس میں AI ٹیوٹرنگ پلیٹ فارم کی پریکٹیشنر کی زیرِ قیادت مائیکرو-بے ترتیب آزمائشیں
-
StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI اور انسانی ٹیوٹرنگ یکساں GRE سیکھنے کے فوائد دیتے ہیں
-
The Effects of Course-Integrated AI Tutoring on Student Performance and Engagement: A Randomized University Trial — استاد کے لحاظ سے گروہی بے ترتیب تفویض: حتمی درجات میں 0.37 SD کمی اور پلیٹ فارم شرکت میں 0.90 SD کمی، 15% قبولیت اور 34 کلسٹروں پر استنباط کے ساتھ (Liu et al. 2026)
-
ChatGPT as a cognitive crutch: Evidence from a randomized controlled trial on knowledge retention — ایک نتیجہ جو تاخیر کے بعد ناپا جائے، سیشن کے آخر میں نہیں