सामान्य प्रश्न
AI और शिक्षा अनुसंधान की रिपोर्टिंग और व्याख्या के लिए सर्वोत्तम प्रथियाँ क्या हैं?
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
आप एक ऐसे अध्ययन को लिख रहे हैं जिसका दावा पहले से ही उसके डिज़ाइन से आगे निकल चुका है, या किसी अध्ययन की समीक्षा कर रहे हैं और यह तय कर रहे हैं कि मुख्य संख्या का कोई मतलब है या नहीं। दोनों ही स्थितियों में यही छह चूक निर्णायक होती हैं: वास्तव में कौन-सा AI सिस्टम इस्तेमाल किया गया, उसे क्या करने के लिए कॉन्फ़िगर किया गया, उसने कौन-सी शैक्षणिक भूमिका निभाई, क्या मनुष्यों ने उसका आउटपुट डिज़ाइन या समीक्षा किया, परिणाम माप ने वास्तव में क्या कब्जा किया, और भेदभाव, लागत तथा सीमाओं के मामले में लेखकों ने क्या किया। जो लेखक इन्हें छोड़ देता है वह एक ऐसा अध्ययन प्रस्तुत करता है जिसका आकलन नहीं हो सकता; जो समीक्षक इन्हें नहीं ढूँढता वह यह नहीं बता सकता कि कोई डिज़ाइन किया गया हस्तक्षेप है या किसी पुराने टूल डेमो का पुनर्विक्रय। जब ये चूक मौजूद हों तो ईमानदार फ़ैसला "अनुमानित" नहीं, बल्कि "अनुमान-अयोग्य" है — न "समर्थित" और न "खंडित"।
दांव काल्पनिक नहीं हैं। O'Neill (2026) ने 14 सहकर्मी-समीक्षित मेटा-विश्लेषणों का ऑडिट किया जिनका दावा था कि AI शिक्षा में सुधार करता है, और पाया कि उनमें से कोई भी ने अपने आगे बढ़ाए दावों के लिए वैध आधार नहीं दिया। Bartoš et al. (2026) ने 67 मेटा-विश्लेषणों से 1,840 प्रभाव आकारों को एकत्र किया और पाया कि एक बार प्रकाशन पक्षपात को मॉडल किया जाए तो औसत प्रभाव प्रकाशित माध्यिका के लगभग एक-तिहाई पर आ जाता है (SMD = 0.196 बनाम 0.67)। Denny et al. (2026) ने 14 कंप्यूटिंग-शिक्षा पत्रों में 30 गढ़े हुए संदर्भों का सत्यापन किया — सभी 2025 या 2026 में प्रकाशित — यह दोष पाठकों तक ठीक इसलिए पहुँचता है क्योंकि समीक्षक संदर्भ सूची का हर प्रविष्टि सत्यापित नहीं कर सकते। रिपोर्टिंग अनुशासन तय करता है कि इस क्षेत्र का साक्ष्य आधार किसी काम का है या बिल्कुल नहीं। इसके नीचे के डिज़ाइन विकल्पों के लिए शिक्षा में AI अनुसंधान की विधियाँ देखें; विफलता मोड्स की सूची के लिए AIEd अनुसंधान की सीमाएँ। पाठक की दृष्टि से — एक कार्यकारी एक बार पेपर बन जाने के बाद उसके साथ क्या करता है — AIEd अनुसंधान की व्याख्या और प्रयोग देखें।
संक्षिप्त संस्करण
छह कदम तय करते हैं कि आपका दावा समीक्षा में बचता है या नहीं:
- AI सिस्टम को एक विक्रेता के रूप में नहीं, एक उपचार के रूप में वर्णित करें। मॉडल, संस्करण, कॉन्फ़िगरेशन, संकेत, भूमिका, और क्या मनुष्यों ने आउटपुट को डिज़ाइन या समीक्षा किया।
- शैक्षणिक औचित्य और सक्रिय तुलना बताएँ। उत्पाद का नाम कोई विधि नहीं है; सामान्य व्यवहार कोई उचित नियंत्रण नहीं है।
- माप को दावे से मिलाएँ। उपकरण क्या कब्जा करता है, इस आबादी के लिए उसका सत्यापन, और क्या परिणाम विलंबित और बिना सहायता का था।
- हर स्वचालित निर्णय को सत्यापित करें। स्वर्ण-मानक का नाम, कैलिब्रेशन लक्ष्य, और असहमति में किसने निर्णय दिया।
- विश्लेषण की अनिश्चितता रिपोर्ट करें, केवल बिंदु-आकलन नहीं — निर्भर प्रभाव, τ², पूर्वानुमान अंतराल, उपसमूह आकार, प्रकाशन-पक्षपात आकलन।
- प्रतिकारकारी बल रिपोर्ट करें: नीतिशास्त्र और शासन प्रक्रिया, कंप्यूट और पर्यावरणीय लागत, अपना खुद का AI उपयोग, शून्य परिणाम, और केवल वे संदर्भ जिन्हें आपने सत्यापित किया है।
AI सिस्टम के बारे में आप क्या कहेंगे — और इसे किसी दूसरे के फिर से बनाने योग्य रूप में लिखें
यही वह जाँच है जिसमें अधिकांश प्रस्तुतियाँ असफल होती हैं। RAISE ढाँचा (Reporting AI Studies in Education, Allison 2026) दस विषयगत क्षेत्रों में 30 मदों की एक जाँच-सूची है, और इसका नैदानिक दावा विशिष्ट है न कि केवल आलंकारिक: प्रस्तुतियाँ नियमित रूप से यह छोड़ देती हैं कि कौन-सा मॉडल इस्तेमाल किया गया (GPT-4, Claude, या कोई कस्टम एल्गोरिद्म), उसे कैसे कॉन्फ़िगर किया गया (संकेत, फ़ाइन-ट्यूनिंग पैरामीटर), उसने कौन-सी भूमिका निभाई (फीडबैक जनरेटर, सह-लेखक, शिक्षक, मूल्यांकनकर्ता), और क्या मानव कारकों ने उसके आउटपुट डिज़ाइन या समीक्षा किए। इससे समीक्षकों के सामने चार अनुत्तरित प्रश्न रह जाते हैं — "AI ठीक क्या कर रहा था?", "क्या यह आवश्यक था?", "क्या यह पुनरुत्पादनीय है?" और "क्या सीखने के दावे विश्वसनीय हैं?"
यह शैक्षणिक औचित्य से लेकर API-स्तरीय विशिष्टता, शिक्षार्थी–AI अंतःक्रिया, सुगम्यता और सांस्कृतिक उपयुक्तता, प्रतिभागी और परिस्थिति, मानव भागीदारी, डिज़ाइन, नीतिशास्त्र, पारदर्शिता और पुनरुत्पादनशीलता, तथा सीमाओं तक फैला है। इसका साथी Ethics and Risk Matrix शिक्षार्थी के शिक्षार्थी सक्रियता, समता, डेटा AI शासन और एल्गोरिदमिक पारदर्शिता के जोखिमों को कवर करता है। Hwang, Xie, Wah और Gašević (2026) एक सरल विकल्प, TEP-AIED, प्रस्तुत करते हैं, जो पारदर्शिता, नीतिशास्त्र और शैक्षणिकता को एक परस्पर-निर्भर ढाँचे में मोड़ता है, सात पेपर अनुभागों से मैप किया गया एक दिशानिर्देश तालिका देता है, और लेखकों से एक विधि-उपखंड "Transparency, Ethics, and Pedagogy Considerations" जोड़ने को कहता है — क्योंकि उनके अनुसार, RAISE व्यापक है लेकिन नियमित अनुभवजन्य उपयोग के लिए बहुत बारीक। यह प्रकटीकरण AI उपयोग और प्रकटीकरण विवरण के अधीन होता है और यही निजता और नैतिकता दावों को जाँचने योग्य बनाता है।
तय करें कि आपका उपचार एक विधि है या उत्पाद
शैक्षणिक औचित्य RAISE का पहला क्षेत्र है क्योंकि AI कोई उदासीन उपकरण नहीं है: मूल्य सीखने की समस्या, एक सैद्धांतिक औचित्य, और उद्देश्यों से परिणाम मापों तक मैपिंग के संरेखण पर निर्भर करता है। O'Neill (2026) ने पाया कि ऑडिट किए गए मेटा-विश्लेषणों में से दो को छोड़कर सभी ने उपचार को एक उपकरण के रूप में परिभाषित किया — ChatGPT, GenAI, "AI" — और उत्पाद का नाम कोई शिक्षाशास्त्र और शिक्षण रणनीतियाँ नहीं है; ChatGPT के संपर्क को एक साझा हस्तक्षेप मानना "कागज़" के प्रभावों का मेटा-विश्लेषण करने के तुल्य है। Weidlich et al. (2025) प्राथमिक अध्ययनों के लिए यही तर्क देते हैं: एक प्रसिद्ध मेटा-विश्लेषण के पीछे की तुलनाओं के एक उपसमुच्चय का ऑडिट करते हुए उन्होंने पाया कि केवल 21% में सुस्पष्ट रूप से परिभाषित उपचार, नियंत्रण समूह और वैध सीखने का माप था, और रिपोर्ट किया गया प्रभाव आकार (g = 0.7) विशेष रूप से बने बुद्धिमान ट्यूटरिंग सिस्टम के प्रभाव (0.66) से अधिक था — यह एक चेतावनी का संकेत है कि "उपचार" एक विषम गुप्त सॉस था न कि कोई नामित विधि।
जाँच यह है: क्या कोई सक्षम पाठक केवल विधि अनुभाग से आपके हस्तक्षेप को फिर से बना सकता है और वही चीज़ पा सकता है?
तय करें कि आपका उपकरण क्या मापता है और इसलिए दावा क्या कह सकता है
O'Neill के 46 यादृच्छिक चयनित प्राथमिक अध्ययनों के साक्ष्यात्मक ऑडिट में, 28 (61%) में वैधता संबंधी चिंताएँ थीं, और निर्भर चर बेमेल सबसे आम थी (n = 15), उसके बाद स्वतंत्र चर बेमेल (n = 11), प्रयोगात्मक डिज़ाइन समस्याएँ (n = 7), डेटा निष्कर्षण समस्याएँ (n = 6), नियंत्रण समूह का अभाव (n = 6) और अयादृच्छिक समूह आवंटन (n = 6)। बहुआयामी परिणामों को नियमित रूप से ऐसे एकत्र किया जाता था जैसे वे परस्पर विनिमेय हों — परीक्षा अंक, गृहकार्य की गुणवत्ता, प्रेरणा, स्व-प्रभावशीलता, अभिवृत्तियाँ और भागीदारी सब एक "शैक्षणिक उपलब्धि" संख्या में समेट दिए जाते थे।
दो रिपोर्टिंग आदतें इससे बचाती हैं। बताएँ कि उपकरण कौन-सी संरचना मापता है और उसका उस आबादी के लिए सत्यापन हुआ: अनुभव-आधारित माप व्यवहार से कहाँ भिन्न होते हैं यह स्वयं-रिपोर्ट मापन में देखें, और संरचना वैधता पर मूल्यांकन की वैधता देखें। फिर ऐसा परिणाम रिपोर्ट करें जो सहायता के बारे में शिक्षार्थी की धारणा पर निर्भर न हो, क्योंकि सहायता के अंतर्गत तत्काल कार्य प्रदर्शन सीखने का लाभ नहीं है: 493 रिकॉर्ड और 14 प्राथमिकता अध्ययनों का एक 2026 मिनी समीक्षा ने पाया कि किसी ने भी सत्यापन सफलता और इसके बाद की निर्भरता निर्णय को आउटपुट गुणवत्ता के स्वतंत्र रूप से निर्णीत मानक के विरुद्ध एक साथ नहीं मापा, और बहुत कमों ने तत्काल प्रदर्शन से आगे विलंबित अवधारण या स्थानांतरण को देखा। स्थायी सीखने के साक्ष्य मिश्रित बने हुए हैं, और cognitive offloading वह क्रियाविधि है जो दोनों को सबसे विश्वसनीय रूप से अलग करती है।
तय करें कि आपके स्वचालित निर्णयों का सत्यापन कैसे हुआ
AIED मूल्यांकन तेज़ी से स्कोरिंग को मॉडलों को सौंप रहा है, जिससे सत्यापन प्रक्रिया परिणाम का हिस्सा बन जाती है, परिशिष्ट नहीं। Khan Academy के अपने AI ट्यूटर मेट्रिक्स के विवरण में कहा गया है कि संज्ञानात्मक भागीदारी को एक बड़े भाषा मॉडल (LLMs) जज द्वारा मानव शैक्षणिक विशेषज्ञों के विरुद्ध F1 0.83 पर कैलिब्रेट करके स्कोर किया जाता है, और मेट्रिक आंदोलन पाँच महीनों में 40 से अधिक सक्रिय प्रयोगों से आए न कि ऑफ़लाइन मूल्यांकन से (Udeshi et al. 2026)। Tseng et al. (2026) दिखाते हैं कि पूर्व-परीक्षण प्रश्न की गुणवत्ता पर मानव–मशीन असहमति यादृच्छिक नहीं, बल्कि व्यवस्थित है, और कि औचित्य-प्रथम संकेतण से ज़्यादा रूब्रिक के संचालन में पारंगतता मायने रखती है।
मानव कोडरों के साथ सहमति गुणवत्ता नहीं है, और इसे ऐसे रिपोर्ट करना जैसे वह हो, समीक्षक का निशाना बनता है। Liu et al. (2026) ने एक स्वतंत्र विशेषज्ञ जज को स्रोत से अंधा रखकर 855 जोड़ीबद्ध कोड सेटों का आकलन कराया, और पाया कि मानव–LLM सहमति (औसत Jaccard 0.30) मानव–मानव सहमति (0.52) से कहीं नीचे है, जबकि अंधा सत्यापक ने मानव और मशीन कोडिंग को अप्रत्यक्ष रूप से समान दरों में पसंद किया (51.5% बनाम 48.5%, p = 0.537)। कैलिब्रेशन लक्ष्य, स्वर्ण-मानक, और उसका निर्णय किसने दिया — यह रिपोर्ट करें।
तय करें कि तुलना उचित है और दावा कहाँ तक जाता है
उचितता और दायरा एक ही तरीके से असफल होते हैं: एक बड़ा प्रभाव जो दिखने से कम का है। ऑडिट किए गए 14 मेटा-विश्लेषणों में से 11 ने कोई आबादी सीमा नहीं तय की, इसलिए "विद्यार्थी" बच्चों से चिकित्सा प्रशिक्षुओं तक फैले हुए थे; एक पाठ्यक्रम, संस्था, विषय या देश किसी सामान्य दावे को लाइसेंस नहीं देता, और एक उपकरण के परिणाम शायद ही दूसरे में स्थानांतरित होते हैं। नवीनता प्रभाव, कार्य पर अतिरिक्त समय, और एक तुलना स्थिति जिसे सामान्य व्यवहार निर्देश मिला न कि सक्रिय नियंत्रण — ये बड़े प्रभाव के सामान्य स्पष्टीकरण हैं — इसलिए रिपोर्ट करें कि नियंत्रण ने वास्तव में क्या किया, प्रत्येक समूह ने कितना समय दिया, और उपकरण कितना नया था। आबादी सीमा भी बताएँ, क्योंकि प्रभाव शिक्षार्थी समूहों में भिन्न होते हैं और अकथित सीमा ही एकीकृत संख्या को उन सभी का प्रतिनिधि बनने देती है (शिक्षार्थी समूहों में भेदभावपूर्ण प्रभाव देखें)। उपकरण को चलती निशाने की तरह भी मानें: मालिकाना सिस्टम बिना सूचना बदलते हैं, इसलिए कोई निष्कर्ष किसी मॉडल संस्करण से बँधा रहता है, और वह बेंचमार्क जो एक रिलीज़ में रोमांचक था अगली में शायद टिक न हो।
तय करें कि आपका विश्लेषण क्या समर्थन कर सकता है — और उसकी अनिश्चितता रिपोर्ट करें, केवल मुख्य आंकड़ा नहीं
संश्लेषणों के लिए, केवल I² नहीं, बल्कि निर्भर-प्रभाव प्रबंधन, अध्ययनों के बीच विचरण, पूर्वानुमान अंतराल और प्रकाशन-पक्षपात आकलन रिपोर्ट करें। O'Neill ने पाया कि जहाँ भी विषमता दी गई वहाँ गंभीर थी (13 मेटा-विश्लेषणों में I² 77.2% से 94.4% तक, जिनमें 12, 80% से ऊपर) और कभी हल नहीं हुई (कोई भी संयमक विश्लेषण दस अध्ययनों की न्यूनतम उपसमूह आकार तक नहीं पहुँचा), कि 12 मेटा-विश्लेषणों ने एक ही अध्ययन के निर्भर प्रभाव आकारों को स्वतंत्र माना — दिखती साक्ष्य को फुलाते हुए — और केवल चार ने अध्ययनों के बीच विचरण (τ²) और केवल दो ने पूर्वानुमान अंतराल रिपोर्ट किया, दोनों में शून्य सम्मिलित था। प्रकाशन पक्षपात कहीं भी वैध रूप से आकलित नहीं हुआ।
क्योंकि I² परिशुद्धता-निर्भर है, विषमता का आंकड़ा अपने मॉडल के साथ यात्रा करना चाहिए: AIEd अनुसंधान की सीमाएँ एक संश्लेषण का दस्तावेज़ीकरण करता है जिसकी विषमता स्थिर-प्रभाव मॉडल के अंतर्गत I² = 82.98% और यादृच्छिक प्रभावों के अंतर्गत 15.75% है, इसलिए जिस पाठक को केवल पहला संख्या दिया जाए वह यह नहीं बता सकता कि संग्रह कितना असंगत है। इसके साथ τ² और एक पूर्वानुमान अंतराल रिपोर्ट करें; समीक्षा-पक्ष की परंपराओं के लिए मेटा-विश्लेषण और व्यवस्थित समीक्षा देखें, और मुख्य आंकड़ा को तदनुसार छूट दें — Bartoš et al. का पक्षपात-समायोजित औसत SMD = 0.196 था जिसका पूर्वानुमान अंतराल −1.521 से +1.908 तक था, जो किसी काल्पनिक नए अध्ययन के लिए पर्याप्त हानि से पर्याप्त लाभ तक फैला है।
तय करें कि नीतिशास्त्र, लागत, शासन — और अपने खुद के AI उपयोग के बारे में आप क्या प्रकट करते हैं
सभी AIED 2025 सम्मेलन पत्रों की एक समीक्षा ने एक "बिना प्रकटीकरण के LLM अपनाना" पैटर्न पाया: अधिकांश परियोजनाओं ने LLM इस्तेमाल किए, लेकिन बहुत कमों ने संसाधन खपत या कार्बन पादचिह्न रिपोर्ट किया। वह पेपर स्थानीय और क्लाउड हार्डवेयर के लिए माप उपकरणों के साथ एक खुला-स्रोत विधि और उन अग्रणी मॉडलों की कंप्यूटेशनल लागत आकलन का एक सूत्र देता है जिनके पैरामीटर संख्या अप्रकाशित हैं, और तर्क देता है कि इन लागतों को न रिपोर्ट करना स्वयं एक नैतिक चिंता है। डेटा शासन, सहमति, और सुगम्यता/सांस्कृतिक उपयुक्तता (RAISE मद; सार्वभौमिक शिक्षण डिज़ाइन, सुगम्यता) जोड़ें — इन दायित्वों के पूर्ण उपचार के लिए शिक्षा अनुसंधान में एआई में समानता, सुगम्यता, निजता, नैतिकता और शैक्षणिक सुरक्षा को कैसे शामिल किया जाना चाहिए? देखें।
अनुसंधान प्रक्रिया में आपका खुद का AI उपयोग उसी प्रकटीकरण की माँग करता है। Zabaleta और Lin का PRISMA-LLM विश्लेषण 888 समीक्षा-स्वचालन पत्रों में दिखाता है कि यह रिपोर्टिंग कितनी असमान है: 2023 से, 38.0% सॉफ़्टवेयर/उत्पाद पत्रों ने कोई मूल्यांकन नहीं रिपोर्ट किया (LLM पत्रों के 9.3% के विरुद्ध), औसत रिपोर्टिंग समृद्धि LLM पत्रों के लिए 6.3 बनाम सॉफ़्टवेयर/उत्पाद पत्रों के 3.3, और LLM उपयोग का 84.1% मालिकाना या होस्ट किए गए सिस्टम पर निर्भर था जिसमें केवल 4.9% खुला-भार। उनका ढाँचा कार्यान्वयन प्रकटीकरण को पाँच प्रकटीकरण स्तरों में परिणाम-संवेदी मूल्यांकन से अलग करता है — यह एक व्यवहार्य टेम्पलेट है कि किसी समीक्षा में किसी उपकरण ने क्या किया वर्णित करने के लिए। Dai और Chan (2026) लेखक-पक्ष की तस्वीर जोड़ते हैं: 28 में से 27 स्नातकोत्तर शोधार्थियों ने विचार, साहित्य समीक्षा, व्याख्या, डेटा प्रसंस्करण, प्रोग्रामिंग, शैक्षणिक लेखन, संपादन और अनुवाद तक GenAI का उपयोग किया, दांव और अनुशासनात्मक मानदंडों के अनुसार उपयोग कैलिब्रेट किया, साथ ही यह नोट किया कि संस्थागत नीतियाँ शिक्षण और मूल्यांकन को संबोधित करती हैं न कि अनुसंधान अभ्यास को।
शून्य परिणामों और संदर्भों के साथ क्या करना है
Denny et al. ने 14 पत्रों में 30 गढ़े संदर्भ सत्यापित किए, जिसमें एक तकनीकी संगोष्ठी में सत्यापित संख्या 2025 में 3 से 2026 में 17 तक गई (उस वर्ष की कार्यवाही पत्रों का 2.3%) — और LLM-सहायित प्रारूपण एक गढ़ा हुआ संदर्भ बनाना सस्ता बना देता है। उस ऑडिट का हवाला देते समय उनके प्रतिकारकारी बल मायने रखते हैं: अधिकांश चिह्नित संदर्भ हानिरहित थे — 229 ACM मेटाडेटा बेमेल थे जहाँ PDF सही था और 188 वैध ग्रंथालय विविधताएँ थीं — इसलिए गढ़ी गई संख्या एक जानबूझकर निचली सीमा है और हानिरहित बहुमत कोई गोल-मोड़न त्रुटि नहीं है। जिस प्रविष्टि को आप स्वयं जाँच नहीं सकते, उसे सत्यापित करें।
शून्य और नकारात्मक निष्कर्षों की रिपोर्टिंग उसी सिक्के का दूसरा पहलू है। Bartoš et al. (2026) ने दमित शून्य परिणामों के मज़बूत साक्ष्य (हर Egger परीक्षण p < .0001) और चरम विषमता (τ = 0.869) पाई, जिसमें कोई भी परिणाम, क्षेत्र, स्तर या AI-भूमिका उपसमूह संगत लाभ नहीं दिखाता था। उन्होंने जनवरी 2023 से पहले और बाद में प्रकाशित अध्ययनों में कोई अंतर भी नहीं पाया, जो उस दावे को कमज़ोर करता है कि आधुनिक जनरेटिव उपकरण विशेष रूप से लाभ पैदा करते हैं।
क्षेत्र की दस्तावेज़ीकृत कमज़ोरियाँ, उसके अपने आंकड़ों में
जिन आधार दरों के विरुद्ध किसी दावे को तौला जाना चाहिए:
- वैधता: 46 जाँचे गए प्राथमिक अध्यायनों में से 28 (61%) में वैधता संबंधी चिंताएँ; ऑडिट की गई तुलनाओं में केवल 21% में सुस्पष्ट रूप से परिभाषित उपचार, नियंत्रण समूह और वैध माप था।
- अनसुलझी विषमता: 13 मेटा-विश्लेषणों में I² 77.2% से 94.4% तक, 12 में 80% से ऊपर, कोई संयमक विश्लेषण दस-अध्ययन न्यूनतम तक नहीं, 12 में निर्भर प्रभावों को स्वतंत्र माना गया, और केवल चार संश्लेषणों में τ² बनाम केवल दो में पूर्वानुमान अंतराल।
- प्रकाशन पक्षपात: 14 ऑडिट किए गए मेटा-विश्लेषणों में अनाकलित; बड़े समुच्चय में हर Egger परीक्षण महत्वपूर्ण (p < .0001), τ = 0.869 के साथ।
- संदर्भ: 14 पत्रों में 30 गढ़े संदर्भ, एक 2026 संगोष्ठी में 17 — उस वर्ष की कार्यवाही का 2.3%।
जो आपत्तियाँ आप सुनेंगे
"समीक्षक नवीनता चाहते हैं, विधि विवरण नहीं।" पत्रिकाएँ उलट दिशा में बढ़ रही हैं: RAISE और TEP-AIED संपादकों को एक ऐसी संरचना देते हैं जिसे माँगा जा सके, और TEP-AIED का विधि-उपखंड कम-घर्षण का प्रवेश बिंदु है। विधि विवरण ही एक अनुमान-अयोग्य पेपर को उद्धृत-योग्य बनाता है।
"हमारे पास जगह नहीं है।" पाँच प्रकटीकरण स्तर रिपोर्टिंग स्तर हैं न कि जोखिम स्तर, इसलिए पाइपलाइन का मूल्यांकन गहरा एक या दो वाक्यों में हो सकता है। संस्करण, संकेत और भूमिका एक छोटे अनुच्छेद में समाते हैं; लागत और शासन एक सीमा वाक्य में समाते हैं।
"सब ऐसे ही रिपोर्ट करते हैं।" यह निष्कर्ष है, बचाव नहीं — 61% जाँचे गए प्राथमिक अध्ययन वैधता चिंताओं के साथ, 13 में से 12 मेटा-विश्लेषण 80% से ऊपर विषमता के साथ, 38.0% सॉफ़्टवेयर/उत्पाद पत्र बिना मूल्यांकन के। यह मानदंड ही दोष है।
"हमारा उपकरण मालिकाना है, इसलिए हम मॉडल रिपोर्ट नहीं कर सकते।" संस्करण, तक पहुँचने की तिथि, कॉन्फ़िगरेशन, आपके दिए संकेत, भूमिका और गार्डरेल रिपोर्ट करें। यदि विक्रेता नहीं बताएगा, तो वह बाधा सीमाओं में दावे की एक सीमा के रूप में जाती है।
"शून्य रिपोर्ट करने से हमें नुकसान होगा।" दमित शून्य परिणाम SMD = 0.196 पक्षपात-समायोजित औसत के पीछे का दस्तावेज़ीकृत तंत्र हैं; उन्हें प्रकाशित करना ही आपके सकारात्मक परिणाम को पढ़ने योग्य रखता है।
प्रस्तुति-पूर्व जाँच-सूची
- रिपोर्ट करें: मॉडल, संस्करण, कॉन्फ़िगरेशन और संकेत, और डिज़ाइन में AI की भूमिका। जाँचें: क्या आप केवल विधि अनुभाग से हस्तक्षेप को फिर से बना सकते थे?
- रिपोर्ट करें: शैक्षणिक औचित्य और सक्रिय तुलना स्थिति। जाँचें: क्या उपचार उत्पाद नाम के बजाय एक नामित विधि है?
- रिपोर्ट करें: प्रत्येक माप क्या कब्जा करता है, इस आबादी के लिए उसका सत्यापन, और विलंबित या बिना सहायता का परिणाम। जाँचें: क्या मुख्य दावा निर्भर चर से मेल खाता है?
- रिपोर्ट करें: स्वचालित निर्णयों में किसने निर्णय दिया, किस स्वर्ण-मानक के विरुद्ध, किस सहमति के साथ। जाँचें: क्या शुद्धता या सहमति का उपयोग गुणवत्ता की तरह किया जा रहा है?
- रिपोर्ट करें: निर्भर-प्रभाव प्रबंधन, τ², पूर्वानुमान अंतराल, संयमक उपसमूह आकार और प्रकाशन-पक्षपात आकलन। जाँचें: क्या विषमता अपने मॉडल और परिशुद्धता के साथ उद्धृत की गई है?
- रिपोर्ट करें: मानव भागीदारी, डेटा शासन, सहमति, सुगम्यता और सांस्कृतिक उपयुक्तता, साथ ही कंप्यूट और पर्यावरणीय लागत। जाँचें: क्या नीतिशास्त्र दावे वर्णित प्रक्रिया द्वारा समर्थित हैं न कि केवल घोषित सिद्धांतों से?
- रिपोर्ट करें: अनुसंधान प्रक्रिया के भीतर AI उपयोग, सभी पाँच प्रकटीकरण परतों में। जाँचें: क्या समीक्षा या विश्लेषण पाइपलाइन का मूल्यांकन बिल्कुल हुआ?
- रिपोर्ट करें: सकारात्मक के साथ शून्य, नकारात्मक और खंडनकारी परिणाम। जाँचें: क्या प्रभाव आकार संभावित प्रकाशन पक्षपात के लिए छूट दी गई है?
वास्तव में मानक क्या बढ़ाएगा
इस साहित्य के उपचार संस्थागत हैं न कि व्यक्तिगत। O'Neill मेटा-विश्लेषणों के लिए अनिवार्य डेटा पारदर्शिता की सलाह देता है — पूर्ण प्रभाव-आकार तालिकाएँ, निर्भरता संरचनाएँ, τ² और पूर्वानुमान अंतराल — साथ ही मज़बूत समीक्षक और संपादकीय द्वार-रक्षण और एक कार्यशील प्रत्याहार अभ्यास, इस तर्क पर कि ये विफलताएँ विफल द्वार-रक्षण की उत्पाद हैं न कि अलग-थलग त्रुटियाँ। PRISMA-LLM पाँच प्रकटीकरण स्तरों का प्रस्ताव रिपोर्टिंग स्तरों के रूप में देता है न कि जोखिम स्तरों के रूप में, ताकि किसी समीक्षा पाइपलाइन का मूल्यांकन गहरा स्पष्ट रूप से कहा जा सके; RAISE और TEP-AIED पत्रिकाओं को प्रस्तुतियों में माँगने योग्य एक संरचना देते हैं। संबंधित ज़मीन के लिए अनुसंधान साहित्य में उल्लेखनीय अंतराल, AIEd अनुसंधान की सीमाएँ, और AI-संबंधी हस्तक्षेपों के मूल्यांकन के माप और विधियाँ देखें। एक कम-लागत उपचार लेखकों के पास है: इस ज्ञान आधार का हर लेख पेपर अब एक अध्ययन को एक अभ्यास के लिए इसका क्या मतलब है अनुभाग और आमतौर पर एक सीमाएँ अनुभाग के साथ जोड़ता है, इसलिए पेपर को इस तरह लिखना कि दोनों ईमानदारी से भरे जा सकें — वह कार्य जो एक कार्यकारी कर सकता था, और उस पर बाधा — एक रिपोर्टिंग आदत है जितना कि एक लेखन आदत (AIEd अनुसंधान की व्याख्या और प्रयोग देखें)।