एक शिक्षक AI-संबंधी हस्तक्षेपों का मूल्यांकन करने के लिए कौन-से उपाय और अनुसंधान विधियाँ उपयोग कर सकता है?

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

दावे के अनुसार विधि चुनें। अगर आप जानना चाहते हैं कि छात्रों को कोई AI गतिविधि पसंद आई या नहीं, तो सर्वेक्षण मदद कर सकता है। अगर आप जानना चाहते हैं कि उन्होंने सीखा या नहीं, तो प्रदर्शन-आधारित मापों का उपयोग करें। सर्वेक्षण एक स्व-प्रतिवेदन माप है — अभिवृत्तियों के लिए सही उपकरण और सीखने के लिए गलत, जैसा कि उस पेज पर संकलित कारण बताते हैं। अगर आप जानना चाहते हैं कि AI ने सुधार का कारण बना, तो आपको एक विश्वसनीय तुलना स्थिति और अधिमानतः यादृच्छिक असाइनमेंट की आवश्यकता है।

विधि विकल्प

AIED में अनुसंधान विधियाँ पेज कई उपयोगी विकल्पों में अंतर करता है:

• यादृच्छिक प्रयोग (randomized experiments) सबसे मज़बूत कारणात्मक निष्कर्ष प्रदान करते हैं।
• अर्ध-प्रयोगात्मक (quasi-experimental) प्री/पोस्ट या मिलान-समूह डिज़ाइन अखंड कक्षाओं में अक्सर अधिक व्यावहारिक होते हैं, लेकिन वे कमज़ोर कारणात्मक दावों का समर्थन करते हैं।
• गुणात्मक साक्षात्कार, फोकस समूह, अवलोकन और कृति विश्लेषण तंत्रों तथा अप्रत्याशित अनुभवों को उजागर करते हैं।
• AI-सहायित गुणात्मक विश्लेषण मिनटों में साक्षात्कार या अवलोकन के संग्रहों को पुनर्गठित कर सकता है, इसलिए वारंट-योग्यता उतनी ही महत्वपूर्ण है जितनी शुद्धता या प्रकटीकरण: डेटा से दावे तक के मार्ग को पाठक जांच सके, उस पर चुनौती दे सके और उसे संशोधित कर सके, ऐसे दर्ज पुनर्गठनों को रिकॉर्ड करें।
• मिश्रित विधियाँ परिणाममूलक प्रमाणों को उन कारणों की व्याख्या के साथ जोड़ती हैं जिनसे प्रभाव उत्पन्न हुए।
• डिज़ाइन-आधारित अनुसंधान तब उपयोगी है जब शिक्षक किसी वास्तविक पाठ्यक्रम में हस्तक्षेप को पुनरावृत्ति रूप से विकसित और परिष्कृत कर रहे हों।

आप जो भी माध्यम चुनें, केवल तीन शर्तें किसी कारणात्मक दावे को व्याख्यायोग्य बनाती हैं: एक स्पष्ट रूप से वर्णित उपचार, एक सुस्पष्ट रूप से परिभाषित तुलना स्थिति, और टिकाऊ सीखने का एक वैध माप। Weidlich et al. (2025) ने ठीक इन्हीं मानदंडों के विरुद्ध शिक्षा में ChatGPT के 19 तुलनात्मक अध्ययनों का ऑडिट किया और पाया कि केवल 4 (21%) तीनों को पूरा करते हैं — 74% में सुस्पष्ट रूप से परिभाषित उपचार था, 42% में सुस्पष्ट नियंत्रण समूह, और 53% में ऐसा परिणाम जो सीखने के रूप में योग्य था। नई गतिविधियों, प्रतिपुष्टि या इंटरफ़ेस डिज़ाइन के साथ पेश किया गया एक सामान्य-उद्देश्यीय उपकरण माध्यम को विधि के साथ भ्रमित कर देता है, इसलिए किसी महत्वपूर्ण परिणाम को AI के श्रेय में नहीं रखा जा सकता।

कक्षा में एक प्रबंधनीय मूल्यांकन

किसी प्रबंधनीय कक्षा-आधारित मूल्यांकन के लिए एक उपयोगी न्यूनतम स्तर है: एक आधारमाप (baseline measure), हस्तक्षेप, तत्काल पोस्ट-माप, और एक बाद में दिया गया असहाय माप। जहाँ संभव हो, कोई तुलना स्थिति शामिल करें, जैसे मौजूदा अभ्यास, कोई AI नहीं, असीमित AI बनाम स्कैफ़ोल्डेड AI, या दो वैकल्पिक डिज़ाइन। सहायित प्रदर्शन और स्वतंत्र सीखने को अलग-अलग मापें।

AI शैक्षिक मूल्यांकन संकलन ऐसे परिणामों की सिफ़ारिश करता है जैसे असहाय सीखने की वृद्धि, विलंबित धारण, किसी नए कार्य में स्थानांतरण, तर्क की गुणवत्ता, एआई के बारे में गलतफहमियाँ, प्रतिपुष्टि का अवशोषण, और उपसमूहों का प्रदर्शन। व्यस्तता (engagement), संतुष्टि, AI-उपयोग लॉग, स्व-प्रभावकारिता (self-efficacy), और कथित उपयोगिता मूल्यवान द्वितीयक माप हो सकते हैं, लेकिन इन्हें सीखने के विकल्प के रूप में नहीं माना जाना चाहिए। शिक्षक के कार्यभार और समय की बचत भी वैध क्रियान्वयन परिणाम हैं।

परिणामों को कैसे पढ़ा जाए, इस पर दो सावधानियाँ लागू होती हैं। पहली, साहित्य से प्राप्त औसत प्रभाव किसी एक कक्षा के लिए कमज़ोर मार्गदर्शक है: O'Neill (2026) का ऑडिट ने 14 उच्च-प्रभाव वाले मेटा-विश्लेषणों की जाँच की और पाया कि उनमें से कोई भी अपने दावों के लिए वैध आधार प्रदान नहीं करता — पूल किए गए "शैक्षिक उपलब्धि" में टेस्ट स्कोर, अभिप्रेरणा, स्व-प्रभावशीलता, और अभिवृत्तियों को एक ही अनुमान में मिला दिया गया, रिपोर्ट की गई विषमता (heterogeneity) चरम थी (I² 77.2% से 94.4% तक था, उन 13 विश्लेषणों में जिन्होंने इसे रिपोर्ट किया, और उनमें से 12, 80% से ऊपर थे), सभी 14 ने प्रकाशन पूर्वाग्रह का मूल्यांकन अमान्य रूप से किया, और बेतरतीब ढंग से जाँचे गए प्राथमिक अध्ययनों के 61% में वैधता संबंधी समस्याएँ थीं, जबकि वे सांख्यिकीय आँकड़े जो यह दिखाते हैं कि व्यक्तिगत परिणाम कितनी दूर तक फैले हैं, बड़े पैमाने पर अनुपस्थित थे (केवल चार विश्लेषणों ने अध्ययनों के बीच का विचरण रिपोर्ट किया और केवल दो ने पूर्वानुमान अंतराल दिया, दोनों में शून्य शामिल था)। दूसरी, एक सुविधाजनक स्कोर गलत संकल्पना माप सकता है: आठ AI शिक्षण एजेंटों के एक मूल्यांकन में, प्लेटफ़ॉर्म के अपने स्कोर में तीसरे स्थान पर रखा गया एजेंट एक विशेषज्ञ-मान्य रूब्रिक पर अंतिम स्थान पर रहा, क्योंकि प्लेटफ़ॉर्म स्कोर ने इंटरैक्शन के दौरान छात्रों के प्रदर्शन को मापा, न कि एजेंट की शिक्षण गुणवत्ता को। किसी भी एकल डैशबोर्ड मीट्रिक को उस क्षमता से जुड़े माप के विरुद्ध मान्यता के लिए एक परिकल्पना मानें जिसे आप विकसित करना चाहते हैं।

वर्तमान प्रमाण क्या दिखाता है और क्या नहीं, तथा यह कहाँ पतला रह गया है, इसके लिए क्या AI का उपयोग वास्तव में मेरे छात्रों की सीखने में मदद करता है? और शिक्षा में AI (AIED) पर अनुसंधान साहित्य में उल्लेखनीय अंतराल क्या हैं? देखें।