AIEd अनुसंधान की सीमाएँ

इस पृष्ठ पर

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

AIEd अनुसंधान की सीमाएँ — वे बार-बार दिखाई देने वाली कमज़ोरियाँ और बाधाएँ जो यह निर्धारित करती हैं कि शिक्षा में AI से जुड़े निष्कर्षों पर हम कितना भरोसा कर सकते हैं, और पाठकों को उन्हें कैसे समझना चाहिए। ये व्यक्तिगत अध्ययनों से परे होती हैं: तकनीकी सीमाएँ (सामान्यीकरण, प्रतिदर्श का आकार, वैधता, स्व-रिपोर्टिंग), गति की समस्या (AI और निष्कर्ष तेज़ी से पुराने पड़ जाते हैं जबकि प्रकाशन पीछे रहता है), अनुसंधान-अभ्यास की सीमाएँ (पुनरुत्पाद्यता, FAIR प्रथाएँ, स्वामित्व-सुरक्षित उपकरण), और कमज़ोर सिद्धांत का उपयोग। तकनीकी सीमाएँ मापने योग्य हैं, केवल अनुभव-आधारित नहीं: AI के साथ critical thinking पर किए गए 80 HCI अध्ययनों के एक critical review में, 42 (52%) में कोई control group नहीं था और बाक़ी अधिकांश ने स्व-रिपोर्टिंग पर भरोसा किया, इसलिए इस क्षेत्र की सकारात्मक खोजें ऐसी research designs पर टिकी हैं जो AI के प्रभाव को साधारण आत्म-चिंतन से अलग नहीं कर सकतीं (A Critical Review of Critical Thinking in HCI Research About AI)। Outcome coding उसी तरह असमान है: 103 higher-education अध्ययनों के एक systematic review ने अपने corpus को चार-स्तरीय outcome typology में विभाजित किया और उसमें से 56% को एक ही conditional pattern में रखा, जहाँ आत्मविश्वास और प्रेरणा बढ़ी लेकिन टिकाऊ competence में उतनी वृद्धि नहीं हुई (Generative AI in higher education: A systematic review of empirical uses, outcomes, and risks).. इन सीमाओं को पहचानना साहित्य की आलोचनात्मक पढ़ाई और मज़बूत अध्ययनों की रूपरेखा तैयार करने के लिए अनिवार्य है।

प्रश्न जिन पर विचार करें

'AI ट्यूटिंग से सीखने में 30% की वृद्धि' जैसी किसी सुर्ख़ी को आप कितना भरोसा देंगे यदि आपको पता चले कि यह एक संस्थान के एक पाठ्यक्रम में 30 विद्यार्थियों से आई है? यह पेज सामान्यीकरण और छोटे प्रतिदर्श को बार-बार आने वाली सीमाएँ बताता है — किसी एक निष्कर्ष पर आगे बढ़ने से पहले आप क्या जानना चाहेंगे?
एक उल्लेखनीय सीमा 'गति की समस्या' है: AI, प्रकाशित निष्कर्षों से तेज़ी से बदलता है, इसलिए एक मॉडल पीढ़ी का अध्ययन पहले ही एक अप्रचलित प्रणाली का वर्णन कर सकता है। इससे AI शिक्षा अनुसंधान पर आपका विश्वास कैसे बदलना चाहिए?
कई अध्ययन स्व-रिपोर्ट किए गए दृष्टिकोण और उपयोग पर निर्भर करते हैं, जो पक्षपाती होते हैं — लोग अपनी competence को अधिक आँकते हैं और misuse की रिपोर्ट कम करते हैं। क्या आपने कभी अपने कौशल या व्यवहार के बारे में ऐसा सर्वेक्षण उत्तर दिया जो वास्तविकता से मेल न खाता हो? अनुभव-आधारित माप ऐसे बार-बार वस्तुनिष्ठ प्रदर्शन से अलग होते हैं, क्यों?
पेज बताता है कि Bloom's taxonomy जैसे परिचित ढाँचों को अक्सर कठोर सीढ़ियों की तरह गलत समझा जाता है, और कि cognitive load theory जैसे व्यापक रूप से उपयोग किए जाने वाले सिद्धांतों पर भी सवाल उठाए गए हैं। आपने कब किसी सिद्धांत को स्थिर सत्य की तरह उस संदर्भ में लागू देखा है जहाँ उसका अपना प्रमाण ही विवादास्पद था?
अधिकांश AI अनुसंधान स्वामित्व-सुरक्षित, अपारदर्शी मॉडलों पर निर्भर करता है जिनका डेटा और अपडेट आप नहीं देख सकते। यदि आप यह सत्यापित नहीं कर सकते कि किस मॉडल ने कोई नतीजा दिया, तो उस पर आधारित दावों पर आप कितना भरोसा कर सकते हैं — और क्या निष्कर्षों को अधिक पुनरुत्पाद्य बना सकता है?
यदि आप कोई प्रशिक्षक या डिज़ाइनर हैं जिसके पास प्राथमिक अनुसंधान पढ़ने का समय नहीं है, तो आप कैसे तय करेंगे कि कौन-से AI दावे अपनी प्रथा बदलने के लिए कितने भरोसायोग्य हैं — यह देखते हुए कि साहित्य खंडित, अस्थायी और शोधकर्ताओं के लिए लिखा है?

भूमिका

शिक्षा में AI एक तेज़ी से बदलता, विविध क्षेत्र है, और इसका प्रमाण-आधार ऐसी विशिष्ट सीमाओं को वहन करता है जिन्हें शोधकर्ता, अभ्यासी और नीति-निर्माता किसी भी निष्कर्ष के उपयोग में तौलना चाहिए। इनमें से कुछ व्यापक learning-sciences और मनोविज्ञान साहित्य के साथ साझी हैं; अन्य AI की प्रकृति से बढ़ाए या अद्वितीय बनाए जाते हैं। यह पेज इन्हें चार व्यापक क्षेत्रों में व्यवस्थित करता है।

तकनीकी सीमाएँ

ज्ञान-आधार का अनुसंधान विधियाँ पेज प्रत्येक डिज़ाइन की ताक़त और सीमाओं का वर्णन करता है। कई सीमाएँ डिज़ाइनों में बार-बार आती हैं और उन पर विशेष ध्यान देना चाहिए:

सामान्यीकरण। एक पाठ्यक्रम, संस्थान, अनुशासन या राष्ट्रीय संदर्भ से प्राप्त निष्कर्ष स्थानांतरित नहीं हो सकते। छोटे, सुविधाजनक या एकल-संस्थान प्रतिदर्श बाह्य वैधता को सीमित करते हैं; एक AI उपकरण से प्राप्त परिणाम किसी अन्य उपकरण या संदर्भ तक शायद ही बढ़ते हैं।
अंतर-राष्ट्रीय विश्वास तुलनाओं में मापन का जोखिम है। 1,405 K-12 शिक्षकों के एक पाँच-देशीय सर्वेक्षण ने बिना back-translation या measurement-invariance परीक्षण के स्वचालित मशीन अनुवाद का उपयोग किया और plagiarism और creativity concern को single items से मापा, इसलिए इसके देश-विशिष्ट अंतरों को समतुल्य constructs के रूप में नहीं पढ़ा जा सकता (Xiu et al. (2026))।
संश्लेषण-स्तर की कठोरता एक अलग धुरी है, प्राथमिक अध्ययन की कठोरता से। एक meta-analysis अपने inclusion criteria को पूरा कर सकता है और फिर भी ऐसे अध्ययनों को pool कर सकता है जो डिज़ाइन, implementation fidelity और outcome माप में भिन्न हैं, बिना किसी weighting के: Doğan and colleagues (2026) स्पष्ट कहते हैं कि उन्होंने कोई formal quality appraisal tool नहीं चलाया और inclusion criteria को कठोरता की सीमा माना, इसलिए एक quasi-experimental अध्ययन और एक randomized अध्ययन ने pooled STEM अनुमान में समान योगदान दिया। उसी review में एक संबंधित reporting hazard दिखती है: उसकी heterogeneity fixed-effect model के अंतर्गत I² = 82.98% और random-effects model के अंतर्गत I² = 15.75% बताई गई है, जिसका अर्थ है कि जो पाठक अपने मॉडल के बिना कोई एक heterogeneity आँकड़ा उठा लेते हैं वे नहीं बता सकते कि corpus असल में कितना असंगत है। किसी संश्लेषण का आकलन उस पर कीजिए कि उसने dependent effect sizes, गुणवत्ता और heterogeneity को कैसे संभाला, न कि केवल इस पर कि उसने search protocol का पालन किया या नहीं।
Retrieval डिज़ाइन संश्लेषण के मुख्य आँकड़े निर्धारित करता है। 195 teacher-education अध्ययनों के एक scoping review में digital competence और TPACK स्पष्ट search descriptors थे जबकि instructional design और assessment के पास कोई समकक्ष नहीं था, इसलिए रिपोर्ट किए गए 46.5% और 1.9% पुनर्प्राप्त corpus का वर्णन करते हैं, क्षेत्र का नहीं (Patiño Hernández et al. (2026))।
छोटे प्रतिदर्श। कई AIED अध्ययन underpowered होते हैं — अर्थपूर्ण प्रभावों को भरोसेमंद ढंग से पकड़ने या उनसे कभी-कभार निकाले गए मज़बूत दावों को सहारा देने के लिए बहुत कम प्रतिभागी।
अंतिम स्कोर वह छिपा सकते हैं जिसका अध्ययन किया जा रहा है। 103 higher-education अध्ययनों के एक PRISMA review में, 56% ने scaffolding या verification पर निर्भर वृद्धि रिपोर्ट की, और null grade अंतर अक्सर process में वास्तविक बदलावों के साथ आए — अधिक debugging, अधिक checking cycles — इसलिए केवल grades नहीं बता सकते कि GenAI ने अभ्यास को मज़बूत किया या खोखला कर दिया (Hawi and Samaha (2026))।
Validation डिज़ाइन मुख्य आँकड़ा गढ़ सकता है। Nanayakkara and Halloluwa (2026) ने EEG-आधारित familiarity पर पंद्रह मॉडलों का benchmark किया और दिखाया कि मानक stratified cross-validation temporal leakage की अनुमति देता है और 0.9853 F1 तक रिपोर्ट करता है, जबकि trial-independent Group K-Fold validation शिखर को 0.6038 F1 तक गिरा देती है — यह अभी भी संयोग से ऊँचा है, लेकिन उद्धृत नतीजे से बहुत दूर।
Benchmark वे असफलताएँ उपलब्ध करा सकते हैं जिनकी वे रिपोर्ट करते हैं। 250 अस्वीकृत physics items के expert re-grading ने 238 (95.20%) को benchmark या grader त्रुटियों में और केवल 12 (4.80%) को वास्तविक मॉडल त्रुटियों में जिम्मेदार ठहराया, इसलिए किसी मॉडल की मापी गई त्रुटि दर उपकरण की दोष दर से कम नहीं हो सकती।(Ansari et al. (2026))
वैधता और मापन। Construct validity अक्सर पतली होती है: "learning," "engagement" या "literacy" के proxies व्यापक रूप से भिन्न होते हैं, और instruments हमेशा अध्ययन किए जा रहे population या construct के लिए मान्य नहीं होते। Benchmark सटीकता शैक्षणिक प्रभावकारिता के बराबर नहीं है।
स्व-रिपोर्ट और सर्वेक्षण डेटा। corpus का एक बड़ा हिस्सा स्व-रिपोर्ट किए गए दृष्टिकोण, प्रेरणा और उपयोग पर निर्भर करता है। स्व-रिपोर्टिंग पक्षपात के अधीन है — उत्तरदाता अपनी competence को अधिक आँकते हैं, misuse की रिपोर्ट कम करते हैं, और अपने व्यवहार को गलत आँकते हैं — इसलिए अनुभव-आधारित माप बार-बार वस्तुनिष्ठ प्रदर्शन से अलग होते हैं (देखें How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures और शैक्षणिक मापन)।
संदर्भ और validation रिपोर्टिंग को पूरी साहित्य पर मापा जा सकता है। शिक्षण-मूल्यांकन टिप्पणियों पर NLP के 421 अध्ययनों के एक PRISMA-ScR review में, 221 अध्ययनों में देश का निर्धारण नहीं हुआ, 284 के निर्धारित मामलों में से 232 (81.7%) में एकल-संस्थान क्षेत्र, 33 (7.8%) में बाह्य validation और 54 (12.8%) में inter-annotator agreement मिली (Eicher & da Silva (2026))।
Reporting समृद्धि मापने योग्य है, और विधि का प्रकार उसकी भविष्यवाणी करता है। 888 review-automation पेपरों में, 2023 के बाद के 38.0% software/product पेपरों ने कोई evaluation रिपोर्ट नहीं की, जबकि LLM पेपरों में यह 9.3% था, और 118 के positive-only LLM पेपरों में से 52% ने अब भी एक अपूर्ण reliability सीमा को चिह्नित किया — यही PRISMA-LLM की पाँच disclosure tiers के पीछे का पैटर्न है (Zabaleta & Lin (2026))।
प्रत्येक dataset के भीतर मानकीकरण विस्तार के गलत बयान को छिपा सकता है। जब synthetic educational cohorts को उनकी अपनी dispersion से मानकीकृत किया गया, तो यह तथ्य कि उनकी साप्ताहिक संरचना असली cohorts से 2.6 से 4.9 गुना कम भिन्न थी, रिपोर्ट किए गए आँकड़ों के लिए अदृश्य हो गया — यह नियमित preprocessing है, लेखकों के शब्दों में कोई काल्पनिक चिंता नहीं (Inoue & Yasutake, 2026)।
मॉडल-जनित labels सत्य का ground truth नहीं हैं। जहाँ किसी प्रणाली को प्रशिक्षित या मूल्यांकित करने वाली labels स्वयं भाषा मॉडलों द्वारा बनाई जाती हैं, वहाँ annotators के बीच सहमति वैधता नहीं स्थापित कर सकती: Bernado et al. (2026) ने अपनी assertion annotations को कभी मानव gold labels के विरुद्ध मान्य नहीं किया, और उनके द्वारा जारी किए गए 49 encoder classifiers वही provenance विरासत में पाते हैं और वहाँ वैध नहीं हो सकते जहाँ अनुप्रयोग महत्वपूर्ण आयामों में भिन्न हों। उनका schema ने expert-annotated डेटा पर प्रशिक्षित fine-tuned classifier से भी कमज़ोर प्रदर्शन किया (macro-F1 0.673 बनाम 0.76), जिससे expert-labeled corpora तब भी उपयोगी रहते हैं जब उच्च विश्वास आवश्यक हो।

गति की समस्या: AI, निष्कर्षों से तेज़ी से बदलता है

AI लगातार बदल रहा है, और किसी दिए गए मॉडल या प्रणाली से निकाले गए निष्कर्ष तेज़ी से पुराने पड़ सकते हैं। एक बड़े भाषा मॉडल (LLMs) पीढ़ी का अध्ययन अगली पीढ़ी का वर्णन नहीं कर सकता; benchmark स्कोर, tutoring की गुणवत्ता, और किसी निष्कर्ष की व्यावहारिक उपयोगिता भी मॉडलों के सुधरने के साथ बदलती है। इसमें जोड़ते हुए, प्रकाशन प्रक्रिया धीमी है — अध्ययन डिज़ाइन से peer-reviewed प्रकाशन तक एक साल या अधिक लग सकता है — इसलिए प्रकाशित नतीजा पहले ही किसी अप्रचलित प्रणाली का वर्णन कर सकता है। समीक्षक और पाठकों को इसलिए AIED निष्कर्षों को स्थिर सत्यों के बजाय अस्थायी, तिथि-संवेदी दावों के रूप में देखना चाहिए, और हाल के, replication-oriented, version-explicit कार्य को प्राथमिकता देनी चाहिए।

Thoeni and Fryer (2026) एक साहित्य के लिए इसका परिणाम ठोस बनाते हैं: क्योंकि RAG-आधारित प्रणालियाँ केवल नवंबर 2023 में सार्वजनिक रूप से उपलब्ध हुईं, वे तर्क देते हैं कि 2023 से पहले के intelligent tutoring निष्कर्ष — जो rule-based, keyword-matching या heuristic NLP प्रणालियों पर आधारित हैं और जिनका वर्तमान बड़े भाषा मॉडलों से बहुत कम functional समानता है — को ऐतिहासिक संदर्भ के रूप में देखा जाना चाहिए, सीधे तुलनीय प्रमाण के रूप में नहीं, और रिपोर्ट करते हैं कि उनके review में किसी undergraduate शिक्षा में पूरे शैक्षणिक सत्र पर RAG-आधारित AI chatbot का कोई प्रकाशित RCT नहीं मिला। इसका अर्थ है कि genAI सीखने को कैसे प्रभावित करता है, इस बुनियादी प्रश्नों को हर नए मॉडल पीढ़ी के विरुद्ध फिर पूछने की आवश्यकता हो सकती है, न कि पुराने नतीजों को pool करके तय किया जा सकता है।

अनुसंधान-अभ्यास की सीमाएँ

कई सीमाएँ अनुसंधान के आचरण और अधोसंरचना से संबंधित हैं:

पुनरुत्पाद्यता का अभाव। अध्ययन अक्सर दूसरों के लिए नतीजों को दोहराने या सत्यापित करने के लिए पर्याप्त विवरण (prompts, मॉडल संस्करण, hyperparameters, डेटा, विश्लेषण कोड) रिपोर्ट नहीं करते — यह विशेष रूप से एक समस्या है, दिखाते हुए कि LLM आउटपुट prompts और सेटिंग्स के प्रति कितना संवेदनशील है।
FAIR अनुसंधान प्रथाएँ। खुली और पुनरुत्पाद्य प्रथा — Findable, Accessible, Interoperable, Reusable डेटा और कोड, pre-registration और साझा benchmarks — AIED में असमान रूप से अपनाई गई हैं। FAIR सिद्धांतों की कमज़ोर पालना अध्ययनों को फिर से उपयोग, तुलना और निर्माण में कठिन बनाती है।
स्वामित्व-सुरक्षित उपकरण और मॉडल। अधिकांश अनुसंधान बंद, स्वामित्व-सुरक्षित AI systems पर निर्भर करता है जिनका आंतरिक व्यवहार, प्रशिक्षण डेटा और मॉडल अपडेट अपारदर्शी हैं और बिना सूचना बदल सकते हैं। यह पुनरुत्पाद्यता को सीमित करता है, सटीक replication को असंभव बनाता है, और निष्कर्षों को किसी विक्रेता की रोडमैप से बाँध सकता है। यह मूल्यांकन स्वतंत्रता को लेकर प्रश्न भी उठाता है (देखें AI शिक्षा मूल्यांकन)।

कमज़ोर या सीमित सिद्धांत का उपयोग

एक बार-बार आने वाली आलोचना यह है कि कई अनुभवजन्य लेखों में सीमित या पुराना सैद्धांतिक ढाँचा होता है। शोधकर्ता शायद:

सिद्धांतों को बिना आलोचना अपनाते हैं। ढाँचे इसलिए उधार लिए जाते हैं क्योंकि वे परिचित हैं, उनके मान्यताओं, दायरे या प्रमाण-आधार को पूरी तरह न अपनाए बिना।
ढाँचों को निश्चित अनुक्रम के रूप में गलत समझते हैं। कई व्यापक रूप से उपयोग किए जाने वाले ढाँचों को क्रमबद्ध सीढ़ियों की तरह देखा जाता है जिन्हें सीखने वाले "निम्न" से "उच्च" चरण तक चढ़ना चाहिए — लेकिन प्रमाण यह समर्थन नहीं करता कि हमेशा नीचे से शुरू करना चाहिए। उदाहरण के लिए:
- Bloom's taxonomy अक्सर एक कठोर पदानुक्रम (recall → application → evaluation) के रूप में पढ़ी जाती है, फिर भी उच्च-क्रम के लक्ष्यों के लिए पहले निम्न-क्रम के को drill कराना आवश्यक नहीं है; कार्य शुरू से ही evaluation या creation में संलग्न करने के लिए डिज़ाइन किए जा सकते हैं (देखें Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs)।
- ADDIE और अन्य instructional-design मॉडल कभी-कभी कठोर रैखिक चरणों के रूप में देखे जाते हैं, न कि उन iterative, लचीली planning heuristics के रूप में जिन्हें वे माने जाने वाले हैं (देखें सीखने का डिज़ाइन)।
विवादास्पद सिद्धांतों को नज़रअंदाज़ करते हैं। AIED में व्यापक रूप से उपयोग किए जाने वाले कुछ सिद्धांतों पर स्वयं सवाल उठाए गए हैं। Cognitive load theory, उदाहरण के लिए, की आलोचना की गई है और इसके अनुभवजन्य दावों को पिछले अध्ययनों में खंडित या विवादित किया गया है, फिर भी यह नए AIED कार्य में स्थिर नींव के रूप में लगातार लगाया जाता है।

इसका अर्थ यह नहीं है कि सिद्धांत और ढाँचे बेकार हैं, बल्कि यह है कि उन्हें उनके वास्तविक प्रमाण-आधार, इच्छित दायरे और ज्ञात आलोचनाओं के प्रति ध्यान देकर उपयोग किया जाना चाहिए — न कि स्वयं-स्पष्ट scaffolds या कठोर प्रक्रियात्मक अनुक्रमों के रूप में।

मेटा-विश्लेषणात्मक प्रमाण संकट

मेटा-अनुसंधान का एक बढ़ता हुआ समूह — जो समीक्षाओं की समीक्षा करता है — तर्क देता है कि AI-चालित सीखने की वृद्धि के इस क्षेत्र के मुख्य दावे ऐसे प्रमाण-आधार पर टिके हैं जो दिखने से बहुत कमज़ोर हैं। तीन पूरक आलोचनाएँ असामान्य बल से यह तर्क बनाती हैं:

सकारात्मक-संश्लेषण पक्षपात गंभीर और मापने योग्य है। Bartoš et al. (2026), 67 meta-analyses से 1,840 effect sizes के एक study-level meta-meta-analysis में, प्रकाशन पक्षपात के मज़बूत प्रमाण पाए (सभी Egger परीक्षण p < .0001) और अध्ययनों के बीच असाधारण heterogeneity (τ = 0.869)। प्रकाशन-पक्षपात-समायोजित प्रभाव सामान्यतः रिपोर्ट किए गए आकार के लगभग एक-तिहाई थे (SMD = 0.196 बनाम प्रकाशित साहित्य में माध्यिका 0.67), और एक prediction interval −1.521 से +1.908 तक फैला हुआ था — बड़े नुक़सान से बड़े लाभ तक। कोई outcome, क्षेत्र, स्तर या AI-role उपसमूह ने संगत लाभ नहीं दिखाए, और 2023 से पहले और बाद के अध्ययनों में कोई अंतर नहीं था। उनका निर्णय: सामान्यीकृत सीखने की वृद्धि के व्यापक दावे समय से पहले हैं।
मेटा-विश्लेषणात्मक विधियाँ व्यवस्थित रूप से गलत लागू हो रही हैं। O'Neill (2026) के 14 उच्च-प्रभाव AIED meta-analyses के forensic audit में पाया कि इनमें से कोई भी अपने दावों के लिए वैध आधार नहीं देता: किसी में एक सुसंगत construct नहीं था ("ChatGPT" उपकरण को एक ही intervention की तरह मानना, और test स्कोर, प्रेरणा, स्व-प्रभावशीलता और दृष्टिकोणों को एक ही "academic achievement" संख्या में pool करना); रिपोर्ट की गई heterogeneity गंभीर थी, I² उन 13 meta-analyses में 77.2% से 94.4% तक था जिन्होंने इसे रिपोर्ट किया और उनमें से 12 80% से ऊपर थे, और यह कभी हल नहीं हुई (कोई भी दस अध्ययनों की न्यूनतम subgroup आकार की शर्त पूरी नहीं करता था, पाँच ने एकल-अध्ययन subgroups पर भरोसा किया, और तीन अन्य ने दो अध्ययनों के subgroups पर); बारह ने एक ही अध्ययन से आने वाले dependent effect sizes को स्वतंत्र माना, जिससे प्रतीत होता प्रमाण बढ़ा; और कोई भी प्रकाशन पक्षपात का वैध आकलन नहीं करता था (अस्वीकृत fail-safe N मेट्रिक्स और गलत लागू Egger परीक्षण आम थे)। क्योंकि I² precision-dependent है, यह स्वयं नहीं बता सकता कि सच्चे प्रभाव आपस में कितनी दूर हैं, और इसे दिखाने वाली रिपोर्टिंग बड़ी तरह अनुपस्थित थी: केवल चार meta-analyses ने between-study variance (τ²) रिपोर्ट की और केवल दो ने prediction interval रिपोर्ट किया, दोनों में शून्य शामिल था। यादृच्छिक रूप से जाँचे गए प्राथमिक अध्ययनों के एक बड़े हिस्से (61%) समस्यात्मक थे, और एक ऐसे अध्ययन जिसमें गढ़े गए संदर्भ थे, उसे 14 में से छह meta-analyses ने शामिल किया।
"उपचार" एक black box है। Weidlich et al. (2025) media/methods बहस को फिर जगाते हैं ताकि तर्क दें कि "ChatGPT" एक उपकरण है, एक विधि नहीं — यह पूछना कि क्या यह "सीखने में सुधार करता है" एक non sequitur है। Deng et al. (2025) की meta-analysis के पीछे के अध्ययनों के एक उपसमुच्चय का audit करते हुए, उन्होंने पाया कि केवल 21% तुलनाओं में एक सुस्पष्ट treatment, control group, और वैध learning माप था; रिपोर्ट किए गए effect sizes (g = 0.7) तो विशेष रूप से बनाए गए Intelligent Tutoring Systems (0.66) के भी बड़े थे, यह एक red flag है कि "treatment" एक विषम "secret sauce" था।

इन तीन स्वतंत्र आलोचनाओं का संस्पर्श स्वयं प्रमाण है: भिन्न विधियों, corpora और framing में, वे एक ही निष्कर्ष पर पहुँचते हैं — कि सकारात्मक AIED effect sizes, विशेष रूप से शुरुआती meta-analyses से, वास्तविक सीखने की वृद्धि जितने (या उससे अधिक) प्रकाशन पक्षपात, construct असंगति और तकनीकी शॉर्टकट को दर्शाते हैं। इसका अर्थ यह नहीं कि AI उपकरणों की कोई शैक्षणिक मूल्य नहीं है; बल्कि यह कि उनके मूल्य के लिए क्षेत्र-स्तर प्रमाण वर्तमान में फुला हुआ है और उसे उसी हिसाब से पढ़ा जाना चाहिए। यह ज़िम्मेदारी संश्लेषण गुणवत्ता पर भी डालता है: कोई meta-analysis उतनी ही भरोसेमंद है जितनी उसके constructs की सुसंगति, उसके effect sizes की स्वतंत्रता, उसके moderator और heterogeneity विश्लेषण की पर्याप्तता, और उसके प्रकाशन-पक्षपात आकलन की वैधता — जिनमें से प्रत्येक पर आलोचनाएँ दिखाती हैं कि नियमित रूप से उल्लंघन होता है।

AIED साहित्य की आलोचनात्मक पढ़ाई

मिलाकर, ये सीमाएँ AIED अनुसंधान की एक आलोचनात्मक, बहु-संकेत पढ़ाई का तर्क देती हैं: जाँचें कि कोई निष्कर्ष सामान्यीकृत होता है और पर्याप्त रूप से powered है; सत्यापित करें कि constructs को कैसे मापा गया (और क्या दावे स्व-रिपोर्टिंग पर टिके हैं); हाल के, version-explicit, पुनरुत्पाद्य कार्य को प्राथमिकता दें; और सैद्धांतिक framing पर सवाल कीजिए, परिचित ढाँचों को दिए हुए मानने के बजाय। यह कठोर विधि चयन और मूल्यांकन का पूरक है: अच्छी विधियाँ और अच्छा मूल्यांकन आवश्यक हैं, लेकिन सीमाओं के प्रति ध्यान से पढ़ना ही प्रमाण को सुरक्षित निर्णयों में बदलता है।

अनुसंधान से अभ्यास तक

एक और, व्यावहारिक सीमा अनुसंधान को teaching और instructional design में लागू करने की चुनौती है। अभ्यासी — प्रशिक्षक, instructional designers और faculty developers — के पास अक्सर प्राथमिक अनुसंधान पढ़ने, आकलन करने और विशिष्ट कक्षा निर्णयों में बदलने का समय या विशेष ज्ञान नहीं होता। साहित्य बड़ा, खंडित और शोधकर्ताओं के लिए लिखा है; निष्कर्ष सांख्यिकीय और तकनीकी विवरण के साथ रिपोर्ट किए जाते हैं जो तुरंत कार्रवाई-योग्य नहीं हैं; और क्योंकि दावे अस्थायी हैं (ऊपर गति की समस्या देखें), कोई अभ्यासी किसी एक अध्ययन को सीधे मुँह-देखी नहीं ले सकता। यह उसके बीच एक खाई बनाता है जो प्रमाण समर्थन करता है और जो वास्तव में teaching practice तक पहुँचता है।

इस ज्ञान-आधार का उद्देश्य उस खाई को पाटना है — AI-in-शिक्षा अनुसंधान के साथ बने रहने, उसकी व्याख्या और उसे अभ्यास में लागू करना आसान बनाना — खुले-पहुँच निष्कर्षों को व्यवस्थित, सुलभ सारांशों में सँकलित करके, संबंधित कार्यों को concept pages से जोड़कर, और पाठकों को तौलने योग्य सीमाओं को चिह्नित करके। इसका लक्ष्य शिक्षण और instructional design में प्रमाण-सूचित अभ्यास का समर्थन है, और ऐसा करते हुए नए अनुसंधान और विकास को बताने वाली खाली जगहों और प्रश्नों को भी सामने लाना। इसलिए अनुसंधान की सीमाओं को समझना स्वयं कोई अंत नहीं है: यही अभ्यासियों को निष्कर्षों का उचित रूप से उपयोग करने देता है और शोधकर्ताओं को मज़बूत अध्ययन डिज़ाइन करने देता है जो अभ्यास की बेहतर सेवा करते हैं।

मेटाडेटा

अध्ययन डिज़ाइन	Literature Review
अधिगम और शिक्षण	सीखने के सिद्धांत
मूल्यांकन और मापन	मूल्यांकन की वैधता, शैक्षणिक मापन
शोध विधियाँ और मूल्यांकन	AI शिक्षा मूल्यांकन, बेंचमार्क, AIED में शोध विधियाँ
शिक्षा में AI की नींव	शिक्षा में AI
पृष्ठ का प्रकार	Evaluation

Source History Edit Chat