हम कैसे जानें कि कोई शैक्षिक AI सही ढंग से काम कर रहा है, न कि केवल अच्छा स्कोर हासिल कर रहा है?

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

एक शैक्षिक AI दिख सकता है कि वह काम कर रहा है, जबकि ऐसा नहीं होता। वे आँकड़े जिन्हें आप सबसे अधिक देखते हैं — मॉडल का उत्तर किसी सही उत्तर से कितना मिलता-जुलता है, या उसके दिए ग्रेड किसी मानव के ग्रेड से कितनी बारीकी से मेल खाते हैं — मज़बूत दिख सकते हैं, जबकि वह चीज़ जिसकी आप वास्तव में परवाह करते हैं, टूटी हुई है।

इस ज्ञान-आधार के एक प्रोजेक्ट में, एक ही सिस्टम ने निबंधों की ग्रेडिंग के लिए अच्छा सहमति-स्कोर अर्जित किया, और उसी परिनियोजन में ऐसी प्रतिक्रिया (फीडबैक) पैदा की जो वाक्य के बीच में कट गई और अपठनीय थी। ग्रेडिंग काम कर रही थी। फीडबैक नहीं। सुर्खियों वाले किसी भी आँकड़े ने यह नहीं बताया।

यह पृष्ठ इस अंतर को पहचानने के बारे में है, और यह मापन के किसी पूर्व-ज्ञान की आवश्यकता नहीं मानता है।

सामान्य स्कोर वास्तव में क्या मापते हैं

इस साहित्य में दो प्रकार के आँकड़े प्रमुख हैं, और दोनों समानता को निर्णय की शुद्धता के बजाय मापते हैं।

• समानता स्कोर (आप इन्हें ROUGE और BLEU कहते हुए देखेंगे) मॉडल के उत्तर के शब्दों की तुलना किसी संदर्भ-उत्तर के शब्दों से करते हैं। एक मॉडल जो अपेक्षित पाठ के करीब कुछ लिखता है, अच्छा स्कोर पाता है — भले ही उसका तर्क गलत हो, और भले ही किसी विद्यार्थी के पास सही उत्तर तक पहुँचने का कोई ऐसा मार्ग हो जो कुछ भी न सिखाए।
• सहमति स्कोर (आप QWK, यानी क्वाड्रेटिक वेटेड कैपा देखेंगे) मापते हैं कि मॉडल के ग्रेड किसी मानव के ग्रेड से कितनी बारीकी से मेल खाते हैं। एक मॉडल अंतिम अंक पर ग्रेडर से सहमत हो सकता है, जबकि वह क्यों के बारे में गलत हो — और यही वह हिस्सा है जिससे विद्यार्थी सीखता है।

एक विद्यार्थी किसी ऐसे गलत मार्ग से गलत उत्तर पर पहुँच सकता है जो सही मार्ग जैसा दिखता है, और कोई भी समानता स्कोर इसे नोटिस नहीं करेगा। यदि आपकी चिंता तर्क की है, तो आपको कुछ ऐसा चाहिए जो तर्क को पढ़े — किसी व्यक्ति द्वारा लागू रूब्रिक, या उस विशेष चरण के लिए लिखा गया कोई जाँच-उपकरण।

Linear Control Systems कोर्स सहायक इसका एक अच्छा उदाहरण है कि कोई टीम इसे कितनी ईमानदारी से रिपोर्ट करती है। इसके सर्वोत्तम कॉन्फ़िगरेशन ने संदर्भ-उत्तरों के मुकाबले 0.4093 का समानता स्कोर प्राप्त किया, जिसमें सुधार शून्य से ऊपर भरोसेमंद ढंग से मापा गया, और लेखक स्पष्ट रूप से कहते हैं कि उनके आँकड़े शब्दों और प्रारूप को मापते हैं (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects)।

कोई सिस्टम एक परीक्षा में उत्तीर्ण और अगली में असफल हो सकता है

यह ज्ञान-आधार का सबसे उपयोगी पाठ है, क्योंकि यही वह पाठ है जो लोगों को चौंकाता है।

WrAFT प्रोजेक्ट में, एक फाइन-ट्यून किया गया मॉडल ने 360 हेल्ड-आउट TOEFL निबंधों पर मानव ग्रेडरों के साथ 0.84 का सहमति स्कोर प्राप्त किया। यह ग्रेडिंग के लिए एक मज़बूत परिणाम है। उसी प्रोजेक्ट का मॉडल जिसे फीडबैक लिखने के लिए प्रशिक्षित किया गया था, ने कटा-टूटा और अपार्सेबल आउटपुट दिया — जबकि किसी भिन्न मॉडल को सरलता से प्रॉम्प्ट करने से वही फीडबैक मिला जिसे शिक्षकों ने पसंद किया (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays)।

इसलिए अपने सिस्टम के प्रत्येक आउटपुट का मूल्यांकन एक-एक करके करें। ग्रेडिंग मॉड्यूल पर अच्छा स्कोर आपको उसके पड़ोस के फीडबैक मॉड्यूल के बारे में कुछ नहीं बताता।

जाँचें कि आपका स्वचालित जाँचकर्ता लोगों से सहमत है या नहीं

बहुत सी टीमें अब पहले AI की जाँच के लिए दूसरे AI का उपयोग करती हैं। यह उचित है, लेकिन दूसरा AI स्वतः ही सही नहीं होता।

एक अध्ययन जिसमें एक अग्रणी मॉडल से किसी बुद्धिमान ट्यूटरिंग सिस्टम के लिए संकेत (हिंट) लिखवाए गए, में लगभग 35% संकेत या तो बहुत सामान्य थे, गलत थे, या उत्तर खुल्ले में बता रहे थे — और मॉडल के अपने स्वचालित गुणवत्ता जाँच-उपकरण इस बारे में कि कौन-से बुरे थे, मानव निर्णय से असहमत थे (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models)।

व्यावहारिक रूप: लगभग पचास आउटपुटों का एक प्रतिदर्श लें, किसी व्यक्ति से उन्हें रेट करवाएँ, और उसकी तुलना आपके स्वचालित जाँचकर्ता की रेटिंग से करें। यदि दोनों असहमत हों, तो आपका स्वचालित आँकड़ा कोई प्रमाण नहीं है।

स्कोर को एक क्रियान्वयी नियम में बदलें

एक सहसंबंध आपको बताता है कि मॉडल आमतौर पर सही है। यह नहीं बताता कि उन अवसरों पर क्या करना है जब वह सही नहीं होता। कॉन्फिडेंस-रूटिंग परिणाम यहाँ सबसे स्पष्ट नमूना है, और इसे नकल करना इतना सरल है।

कॉन्फिडेंस एक भरोसेमंद चेतावनी संकेत निकला: जब मॉडल अनिश्चित था, तो वह गलत होने की अधिक संभावना रखता था (β = −0.602, p < .001)। इसलिए टीम ने सबसे कम आत्मविश्वास वाले प्रतिक्रियाओं के 20% भाग को किसी मानव को भेजा। इस एक नियम ने मानव ग्रेडों के साथ सहमति को 0.78 से 0.82 तक बढ़ाया और मैनुअल ग्रेडिंग के काम को लगभग 80% तक कम कर दिया (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment)।

ध्यान दें कि रिपोर्ट में क्या शामिल है: एक दहलीज़, एक व्यक्ति, और एक बचत। "सहमति 0.84" में इनमें से कुछ भी नहीं है, और इसीलिए उस पर कार्रवाई करना कठिन है।

जब संभव हो, वही चीज़ मापें जो मापनी है

सबसे साफ़ समाधान यह है कि मॉडल को उसी मात्रा पर प्रशिक्षित करें जिसे आप मापना चाहते हैं। एक फाइन-ट्यून किया गया मॉडल को परीक्षा प्रश्नों के सांख्यिकीय गुणों को पुनर्निर्मित करने के लिए प्रशिक्षित किया गया था — यानी वे आँकड़े जो बताते हैं कि प्रत्येक प्रश्न कितना कठिन है और यह मज़बूत विद्यार्थियों को कमज़ोर विद्यार्थियों से कितनी अच्छी तरह अलग करता है — और उसने ये पैटर्न सीख लिए, न कि उन्हें बता दिया गया (Multimodal Item Parameter Estimation using Simulated Response Probabilities)। लक्ष्य मूल्यांकन की ही एक विशेषता थी, इसलिए मूल्यांकन उस विशेषता के बारे में हो सकता था, शब्दों के बारे में नहीं।

अंतिम बिंदु के साथ-साथ प्रगति की रिपोर्ट भी करें। SWIM के राइटिंग सिम्युलेटर ने प्रत्येक चरण का स्कोर साथ-साथ प्रकाशित किया

— रूब्रिक-आधारित प्रॉम्प्टिंग 0.577, फाइन-ट्यूनिंग 0.474 ± 0.023, रिइन्फ़ोर्समेंट लर्निंग 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation) — और यही एक पाठक को यह देखने देता है कि प्रशिक्षण ने कुछ किया या नहीं। एक अंतिम आँकड़ा अकेला यह उन्हें नहीं बता सकता।

पूरी बातचीत में सुरक्षा जाँचें, एक उत्तर में नहीं

अधिकतर सुरक्षा परीक्षण एक ही वार्तालाप की जाँच करते हैं। ट्यूटरिंग में महत्वपूर्ण नुकसान जमा होते हैं। SafeTutors ने पाया कि विशेष रूप से शिक्षण के लिए बनाए गए मॉडल भी लंबी बातचीत में कमज़ोर हो जाते हैं और वे उत्तर खोल सकते हैं जिन्हें उन्हें छिपाना चाहिए (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems)।

सुरक्षा जाँच को पूरी बातचीत में चलाएँ, और उन मोड़ों को भी शामिल करें जहाँ विद्यार्थी गलत होता है, ज़िद करता रहता है, या मॉडल को उसकी भूमिका से बाहर निकालने की कोशिश करता है।

यदि आप नकली विद्यार्थियों से परीक्षा करते हैं, तो पहले उन्हीं की जाँच करें

वास्तविक विद्यार्थियों को भर्ती करने के बजाय सिम्युलेटेड विद्यार्थियों को बनाना मूल्यांकन को बहुत सस्ता बना देता है। लेकिन एक सिम्युलेटेड विद्यार्थी एक मापन उपकरण है, और यह उन्हीं तरीकों से गलत हो सकता है जिन्हीं कोई भी उपकरण हो सकता है।

ज्ञान-आधार में इसका सबसे सीधा परीक्षण सिम्युलेटेड और प्रॉम्प्ट किए गए विद्यार्थियों की तुलना वास्तविक विद्यार्थी–ट्यूटर गणितीय वार्तालापों के सबसे बड़े सार्वजनिक संग्रह के 382 हेल्ड-आउट वार्तालापों से की, और भाषा, व्यवहार और सोच को शामिल करने वाले सात मापों का उपयोग किया (Simulated Students in Tutoring Dialogues: Substance or Illusion?)। अन्य कार्य यथार्थवाद को भिन्न कोणों से आगे बढ़ाते हैं: INSIDE मॉडलों को विद्यार्थियों की तरह करने और सोचने दोनों के लिए प्रशिक्षित करता है, और इतिहास-जागरूक प्रोफ़ाइल सिम्युलेशन को किसी स्थिर व्यक्तित्व के बजाय किसी विद्यार्थी के अतीत पर आधारित करती हैं (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues)।

यदि आपका परीक्षण हार्नेस एक सिम्युलेटेड विद्यार्थी है, तो अपने ट्यूटर के बारे में उसके कहे पर भरोसा करने से पहले सिम्युलेटर की जाँच करें।

अपने प्रोजेक्ट से बाहर की किसी चीज़ से तुलना करें

यदि आपके पास अपनी कोई आधार-रेखा नहीं है, तो कोई बाहरी बेंचमार्क आपको बताता है कि आपका आँकड़ा कितना अच्छा है। CDPK पैडागॉजी बेंचमार्क पर, EduQwen ने Gemini-3 Pro के 90.55% के मुकाबले 96.52% प्राप्त किया (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)। Pedagogy Benchmark, जो वास्तविक शिक्षक पेशेवर-विकास परीक्षाओं से बना है और 97 मॉडलों को शामिल करता है, में शुद्धता 28% से 89% तक पाई गई (Lelièvre et al., 2025)।

यही विस्तार मुद्दे का सार है: शिक्षण के कार्य पर मॉडल खराब से अच्छे तक थे। बेंचमार्क परिणामों को किसी फैसले के रूप में नहीं, बल्कि उस सीमा के रूप में पढ़ें जिसके भीतर आप स्थित हैं।

लॉन्च से पहले एक जाँच-सूची

1. एक वाक्य में लिखें कि आप वास्तव में किस चीज़ की परवाह करते हैं, और एक माप चुनें जो समानता के बजाय उसी को पकड़े। 2. पहले एक आधार-रेखा प्राप्त करें, जिसमें कोई सरल आधार-रेखा भी शामिल हो। कोर्स सहायक का मॉडल जिसमें कोई ग्राउंडिंग नहीं थी, एक साधारण कीवर्ड खोज से भी नीचे स्कोर करता था। 3. अपने सिस्टम के प्रत्येक आउटपुट की अलग-अलग जाँच करें। 4. किसी व्यक्ति से एक प्रतिदर्श रेट करवाएँ और उसकी तुलना अपने स्वचालित जाँचकर्ता से करें। 5. शुद्धता को एक नियम में बदलें: एक दहलीज़, एक व्यक्ति, और एक बचत। 6. पूरी बातचीत में सुरक्षा का परीक्षण करें। 7. किसी भी सिम्युलेटेड विद्यार्थी पर भरोसा करने से पहले उसकी जाँच करें। 8. असफलताओं को सुरक्षित रखें। कटी हुई फीडबैक और उत्तर खोलने वाले संकेत ही निष्कर्ष हैं, शोर नहीं।

संबंधित प्रश्न

• हम अपने विषय में AI को सीखने में सहायता देने में बेहतर कैसे बना सकते हैं?
• हम AI ट्यूटर को विद्यार्थियों को उत्तर देने के बजाय मार्गदर्शन करने के लिए कैसे प्रशिक्षित कर सकते हैं?
• एक शिक्षक AI-संबंधी हस्तक्षेपों का मूल्यांकन करने के लिए कौन-से माप और अनुसंधान विधियाँ उपयोग कर सकता है? — इस प्रश्न का शिक्षक-केंद्रित संस्करण
• AI और शिक्षा अनुसंधान को रिपोर्ट करने और व्याख्या करने के लिए सर्वोत्तम प्रथाएँ क्या हैं? — इसका अनुसंधान-केंद्रित संस्करण
• LLM प्रशिक्षण और सूक्ष्म-अनुकूलन — पूर्ण अवधारणा पृष्ठ