क्या AI से विद्यार्थी-कार्य का आकलन निष्पक्ष और विश्वसनीय हो सकता है?

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

आपके पास एक रूब्रिक है जिस पर आपको भरोसा है, घंटों से ज़्यादा सबमिशन हैं, और एक उपकरण है जो एक निबंध पढ़ने में लगने वाले समय में एक अंक और कई आत्मविश्वासी पैराग्राफ लौटा देता है। आप उसे उसी काम पर आज़माते हैं जिसका अंकन आप पहले ही कर चुके हैं। आधे अंक सही लगते हैं। एक अजीब तरह से उदार है, एक अजीब तरह से कठोर, और आप अभी तय नहीं कर पाते कि गड़बड़ उपकरण में है या निबंध में।

सहकर्मी को देने लायक छोटा उत्तर: AI अंकन एक पर्यवेक्षित सहायक या दूसरे पाठक के रूप में जगह कमाता है—उन कार्यों पर जहाँ आपने उसे पहले अंकित किए जा चुके काम के सामने जाँचा है। सहमति एक आकलन-प्रकार से दूसरे पर स्थानांतरित नहीं होती। सोलह विद्यार्थियों की एक फार्मेसी परीक्षा में Falahat et al. (2026) ने वस्तुनिष्ठ प्रश्न-प्रकारों पर लगभग पूर्ण सहमति और खुले-अंत उत्तरों पर अविश्वसनीय सहमति पाई। तीन अंग्रेज़ी विश्वविद्यालयों में OpRaise परियोजना ने पाया कि AI और मानव मूल्यांकक संस्था के अनुसार 35% से 65% मामलों में डिग्री-बैंड पर सहमत होते हैं, और अंक मध्य की ओर संकुचित रहते हैं। धाराप्रवाह औचित्य इस बात का साक्ष्य नहीं है कि आपके मानदंड लागू हुए। परिणाम आपके निर्णय के लिए वैध है या नहीं, यह एक स्थानीय प्रश्न है जिसका उत्तर आपको स्वयं देना है, और जो कुछ दर्ज अंक बनता है उसके लिए एक व्यक्ति जवाबदेह रहता है।

संक्षिप्त संस्करण

1. कुछ भी चलाने से पहले भूमिका तय करें: प्रतिक्रिया सहायक, दूसरा पाठक, या प्राथमिक अंकनकर्ता। इन तीनों के लिए अलग-अलग मात्रा में साक्ष्य चाहिए।

2. उसी सबसे कम-परिणामी भूमिका से शुरू करें जो आपकी असली समस्या हल करती है। अगर एक नियतात्मक कुंजी काम चला देगी, तो LLM जोखिम जोड़ता है, मूल्य नहीं।

3. उस काम पर अंशांकन करें जिसका आप पहले ही अंकन कर चुके हैं—मज़बूत, कमज़ोर, सीमा-रेखा पर खड़े और असामान्य रूप से संरचित सबमिशन सहित। सुविधाजनक उदाहरण कुछ सिद्ध नहीं करते।

4. अंशांकन-सेट और परीक्षण-सेट अलग रखें, वरना आप यही माप रहे हैं कि आपने उपकरण को परिचित निबंधों के अनुरूप कितना ढाला।

5. सहसंबंध नहीं, बल्कि सटीक सहमति, अंक-अंतर और पूर्वाग्रह की दिशा बताएँ। पास/फेल की सीमाओं को अलग से जाँचें।

6. विद्यार्थियों को बताएँ कि उपकरण कौन-सी भूमिका निभाता है, अंक कौन तय करता है, और समीक्षा कैसे माँगी जाए।

तय करें कि AI को क्या करने की अनुमति है

तीन व्यवस्थाओं को "AI अंकन" कहा जाता है और उनके दायित्व अलग-अलग हैं।

एक प्रतिक्रिया सहायक टिप्पणियों का मसौदा बनाता है या संभावित छूटों को चिह्नित करता है जिन्हें आप स्वीकार करें, दोबारा लिखें या अस्वीकार करें। जोखिम टिप्पणी-गुणवत्ता तक सीमित रहता है, और विद्यार्थी तक पहुँचने से पहले आप सब कुछ पढ़ते हैं। एक दूसरा पाठक मानदंड-अंक प्रस्तावित करता है या असहमतियों को चिह्नित करता है ताकि आपका अपना अंकन एक ढाँचा पा सके। उसकी त्रुटियाँ केवल गलत नहीं, उपयोगी होनी चाहिए: ऐसा चिह्न जो आपको उस सबमिशन पर लौटा दे जिसे आप लापरवाही से अंकित कर देते, रखने लायक है। एक प्राथमिक अंकनकर्ता वे अंक बनाता है जो दर्ज ग्रेड बन जाते हैं। यही वह व्यवस्था है जिसे इस ज्ञान-आधार का साक्ष्य संकीर्ण, स्थानीय रूप से वैध मामलों से आगे समर्थन नहीं देता।

वह सबसे निचली सीढ़ी चुनें जो आपकी असली बाधा को संबोधित करती है। अगर आपका अंकन-भार किसी निश्चित उत्तर-कुंजी की जाँच से आता है, तो सामान्य नियतात्मक स्कोरिंग भाषा-मॉडल से अधिक पारदर्शी और लेखा-योग्य है, और फार्मेसी अध्ययन बताता है कि वस्तुनिष्ठ प्रश्नों पर LLM की बढ़त आंशिक रूप से इस बात का परिणाम थी कि अंकन के दौरान उसे सही उत्तर दिए गए थे। मॉडल को उस काम के लिए रखें जिसमें व्याख्या चाहिए, फिर उस व्याख्या को जाँचें।

स्वचालित मूल्यांकन स्कोरिंग, मॉडरेशन और प्रतिक्रिया-निर्माण की व्यापक मशीनरी को समेटता है। यह पेज उसके नीचे बैठा निर्णय-प्रश्न है।

साक्ष्य वास्तव में क्या दिखाता है

सहमति प्रश्न-प्रकार पर निर्भर करती है। Falahat et al. (2026) ने 16 विद्यार्थियों द्वारा हल की गई मिश्रित-प्रारूप फार्मेसी परीक्षा का अंकन किया और बहुविकल्पीय, सभी-लागू-चुनें तथा रिक्त-भरें प्रश्नों के लिए संकाय-अंकन के साथ 0.935 से 1.000 के बीच सहमति बताई। व्यक्तिपरक खुले-अंत उत्तरों पर सहमति अविश्वसनीय थी। दो ब्यौरे शीर्षक से अधिक मायने रखते हैं। अंकन के दौरान सही उत्तर दिए गए थे, जो वस्तुनिष्ठ-प्रश्न परिणामों को चापलूसीपूर्ण बनाता है, और रूब्रिक जोड़ने से सहमति निरंतर रूप से नहीं सुधरी, जो इस आम धारणा को कमज़ोर करता है कि एक अच्छा रूब्रिक LLM को संगत अंकनकर्ता बना देता है। सोलह विद्यार्थी आपके कोर्स के बारे में किसी दावे का समर्थन नहीं कर सकते। एक ही परीक्षा के भीतर का अंतर ही स्थानांतरणीय निष्कर्ष है: जो प्रणाली आपके बहुविकल्पीय खंड को संभाल लेती है, वह आपके निबंधों के बारे में कुछ नहीं कहती।

बैंड-सहमति मध्यम और असमान है। OpRaise रिपोर्ट ने वास्तविक स्नातक मनोविज्ञान निबंधों की जाँच की और पाया कि AI तथा मानव मूल्यांककों के बीच UK डिग्री-बैंड पर सहमति कैम्ब्रिज में 63%, नॉटिंघम में 53% और मैनचेस्टर मेट्रोपॉलिटन में 35% रही। अंक मध्य की ओर संकुचित हुए, और सिरे सबसे कम सटीकता से अंकित हुए: जिस निबंध को मानव ने 75 दिया, उसे हर AI प्रणाली ने कुछ अंक कम दिए, और जिसे 50 मिले, उसे कुछ अंक अधिक। यही संकुचन वह विफलता है जिस पर नज़र रखनी है, क्योंकि यह ठीक उन विद्यार्थियों को नुकसान पहुँचाती है जो आपके वितरण के सबसे ऊपर और सबसे नीचे हैं, जबकि मध्य ठीक दिखता रहता है। यह सहकर्मी-समीक्षित परीक्षण नहीं बल्कि एक परियोजना-रिपोर्ट है, और साक्ष्य-आधार में यही सबसे उपयोगी चेतावनी है।

आपके अपने अंक अपूर्ण संदर्भ हैं। शिक्षक एक-दूसरे से असहमत होते हैं, और किसी मिलते-जुलते निबंध पर आपका पिछला अंक एक निर्णय है, ज़मीनी सत्य नहीं। एक अंकनकर्ता के साथ सहमति उस अंकनकर्ता के साथ संगति सिद्ध करती है, जो निष्पक्षता से अलग बात है। जहाँ दाँव इसे उचित ठहराते हैं, कठिन मामलों का फ़ैसला करने के लिए दूसरा योग्य पाठक लें, और AI तथा मानव अंकनकर्ता के बीच असहमति को इस फ़ैसले के बजाय कि कौन सही है, काम को दोबारा पढ़ने का संकेत मानें।

संगति और सुदृढ़ निर्णय अलग-अलग रास्तों पर जाते हैं। एक मॉडल दोबारा चलाने पर लगभग एक जैसे अंक लौटा सकता है जबकि आपके मानदंड बुरी तरह लागू कर रहा हो, क्योंकि दोहराव स्थिरता मापता है, वैधता नहीं। OpRaise के सिरे यही पैटर्न दिखाते हैं: प्रणाली स्थिर थी और उन निबंधों के बारे में गलत थी जो सबसे अधिक मायने रखते थे।

किसी ग्रेड को छूने से पहले प्रक्रिया को वैध करें

इसे पहले से आकलित, उचित रूप से संरक्षित सबमिशनों पर पूरा करें जो उन उत्तरों की रेंज को कवर करें जो आपको वास्तव में मिलते हैं: मज़बूत, कमज़ोर, सीमा-रेखा पर खड़े, अधूरे, असामान्य रूप से संरचित, और अपरिचित ढंग से व्यक्त सही उत्तर।

1. मानदंड निर्दिष्ट करें और साक्ष्य माँगें। असाइनमेंट, रूब्रिक, स्कोरिंग-नियम और इसके उदाहरण दें कि वैध वैकल्पिक उत्तर कैसे अंक कमाते हैं। पहचाने जा सकने वाले अंशों से जुड़े संक्षिप्त मानदंड-स्तरीय औचित्य माँगें। फिर उन औचित्यों को स्वयं सबमिशन के सामने जाँचें।

2. अंशांकन को मूल्यांकन से अलग करें। एक सेट पर ढालें, दूसरे पर परखें। इस विभाजन के बिना आप वैध प्रक्रिया को अच्छी तरह फ़िट की गई प्रक्रिया से अलग नहीं कर सकते।

3. उन निर्णयों को मापें जो मायने रखते हैं। सटीक सहमति, अंक-अंतर का आकार और दिशा, और यह कि मॉडल व्यवस्थित रूप से ऊँचे या नीचे अंक देता है या नहीं—यह सब दर्ज करें। पास/फेल तथा अन्य परिणामी सीमाओं को अलग से देखें। एक ऊँचा सहसंबंध किसी व्यवस्थित खिसकाव के ऊपर बैठा हो सकता है।

4. दोहराव और उपसमूह-व्यवहार जाँचें। किसी उपसमुच्चय को समान सेटिंग्स में दोबारा चलाएँ। मानदंड-स्तरीय त्रुटियाँ खोजें, और यह भी कि भाषा, स्वरूपण या वैध शैली को कमज़ोर समझ मान लिया गया है या नहीं। छोटी उपसमूह-संख्या सतर्कता का समर्थन करती है, निष्पक्षता के दावे का नहीं।

5. एस्केलेशन-नियम लिखें। तय करें कि किन मामलों पर हमेशा मानव अंकन होगा और असहमतियाँ कैसे सुलझेंगी। मॉडल के घोषित आत्मविश्वास को फ़ैसला करने न दें; आत्मविश्वास का भार उठाने से पहले उसे देखी गई त्रुटियों के सामने वैध करना पड़ता है।

6. वर्कफ़्लो की रक्षा करें। स्वीकृत वातावरण का उपयोग करें, पहचान-सूचना कम रखें, और रूब्रिक तथा निर्देशों को सबमिशन-सामग्री से अलग रखें। यह अलगाव हेरफेर छिपाना कठिन बनाता है। असंभव नहीं।

7. दर्ज करें कि क्या इस जाँच को अमान्य कर देगा। मॉडल और संस्करण, प्रॉम्प्ट, रूब्रिक और सेटिंग्स रखें। मॉडल का अपडेट या रूब्रिक का संशोधन निरंतरता मान लेने के बजाय प्रतिनिधि जाँचें दोहराने का कारण है।

व्यवस्था को विद्यार्थियों के सामने दिखाएँ

विद्यार्थियों को यह जानने का अधिकार है कि उपकरण कौन-सी भूमिका निभाता है, अंक कौन तय करता है, और परिणाम को कैसे चुनौती दी जाए। अस्पष्ट खुलासा संदेह पैदा करता है; विशिष्टता एक काम करने योग्य संबंध बनाती है। कुछ ऐसा: "एक स्वीकृत AI उपकरण आपके मसौदे पर रूब्रिक-टिप्पणियों का मसौदा बना सकता है। मैं हर टिप्पणी की समीक्षा करता हूँ और आपका ग्रेड मैं ही तय करता हूँ। अगर कोई टिप्पणी आपके काम को गलत ढंग से प्रस्तुत करती है तो मुझसे संपर्क करें।" फिर इसे सच बनाइए।

विफलता की दो दिशाओं पर अलग ध्यान चाहिए। अत्यधिक कटौतियाँ वही हैं जिनकी शिकायत विद्यार्थी करते हैं, और अपीलों में वही छाई रहती हैं। अनर्जित अंक वह दिशा है जिसका ज़िक्र नहीं होता और जो चुपचाप रिकॉर्ड को दूषित करती है। दोनों के लिए नमूना लें, और यह तय करते समय कि वर्कफ़्लो ने आपका कुछ बचाया या नहीं, अपने सत्यापन-घंटों को भी शामिल करें।

जो आपके सामने फिर आएगा

"मानव भी पक्षपाती होते हैं।" होते हैं, इसीलिए तुलना के लिए स्पष्ट मानदंड चाहिए, किसी एक अंकनकर्ता का अंक मानक नहीं। यहाँ तर्क OpRaise का संस्थागत फैलाव है: अगर तीन विश्वविद्यालयों के मानव अंकनकर्ताओं ने उन्हीं प्रणालियों के साथ इतनी अलग बैंड-सहमति दी, तो मानव संदर्भ खुद उस चीज़ का हिस्सा है जिसे निर्दिष्ट करना है, कोई स्थिर मापदंड नहीं।

"रूब्रिक इसे वस्तुनिष्ठ बना देता है।" रूब्रिक अपेक्षाओं को स्पष्ट बनाता है। उसे लागू करना फिर भी व्याख्या है, और फार्मेसी अध्ययन में रूब्रिक देने से सहमति निरंतर रूप से नहीं सुधरी। रूब्रिक आपको औचित्य के लिए एक जाँचने योग्य मानक देता है, अंकों की गारंटी नहीं।

"मुझे तो सब कुछ जाँचना पड़ेगा, जिससे मकसद ही खत्म हो जाता है।" कुछ कार्यों के लिए यही सही निष्कर्ष है, और उत्तर है काम को संकीर्ण करना। अपने ही स्कोरिंग-नोट्स से टिप्पणियों का मसौदा बनाने पर निर्णय आपके पास रहता है और टाइपिंग हट जाती है। सीमा-रेखा वाले सबमिशनों पर दूसरे पाठक के चिह्न आपका ध्यान वहाँ केंद्रित करते हैं जहाँ वह परिणाम बदलता है।

"मेरे सहकर्मी ने आज़माया और अच्छा चला।" पूछें कि उन्होंने क्या मापा। इस साहित्य में सकारात्मक रेटिंग त्रुटियों के साथ नियमित रूप से साथ-साथ चलती है, और जिस सहकर्मी ने कुछ समझदार आउटपुट पढ़े हैं, उसने प्रदर्शन किया है, वैधता नहीं। प्रश्न यह है कि उनकी प्रक्रिया उन निबंधों के साथ क्या करेगी जिन्हें आप सबसे बाद में नोटिस करेंगे।

इस सप्ताह क्या करें

1. एक आकलन चुनें और लिखें कि AI कौन-सी एक भूमिका निभाएगा। यह भी लिखें कि कौन-सा साक्ष्य आपको उसे एक सीढ़ी ऊपर ले जाने देगा।

2. उसे पाँच ऐसे सबमिशनों पर चलाएँ जिनका आपने पहले अंकन किया है—एक मज़बूत, एक कमज़ोर, एक सीमा-रेखा पर खड़ा और एक असामान्य पर वैध संरचना वाला चुनकर।

3. हर असहमति को काम और मानदंड के साथ दर्ज करें, और उन त्रुटियों के नाम लिखें जिन्हें आप केवल गलत नहीं, अस्वीकार्य मानेंगे।

4. जाँचें कि अंक-अंतर एक ही दिशा में चलते हैं या नहीं, और अपनी पास/फेल सीमा को अलग से देखें।

5. विद्यार्थियों के लिए खुलासे का पैराग्राफ और समीक्षा का रास्ता लिखें, और अपने सत्यापन-समय की तुलना उस अंकन-समय से करें जो आपने बचाया।

आगे कहाँ जाएँ

आकलन वैधता वह संकल्पना है जो इन प्रश्नों का फ़ैसला करती है: क्या साक्ष्य उस अनुमान का समर्थन करता है जो आप लेना चाहते हैं। स्वचालित मूल्यांकन तकनीक और प्रारूपों के अनुसार उसके मापे गए प्रदर्शन को समेटता है, और AI मेरे लिए बड़े पैमाने पर बेहतर फीडबैक कैसे देने में मदद कर सकता है? उत्पन्न टिप्पणियों तथा यह कि विद्यार्थी उन पर कार्य करते हैं या नहीं—इस निकटवर्ती समस्या को संभालता है।

विद्यार्थियों के AI का उपयोग करने लगने पर ग्रेड का क्या अर्थ होना चाहिए—जिसमें संरचना-प्रतिस्थापन और प्रमाणित प्रक्रिया-साक्ष्य शामिल हैं—इसके लिए देखें AI युग में आकलन का पुनर्डिज़ाइन। क्या पहचान-पकड़ (डिटेक्शन) एक रक्षायोग्य कार्य-डिज़ाइन का विकल्प बन सकती है, इसके लिए देखें AI डिटेक्टरों का उपयोग करना चाहिए या नहीं। इन सबके नीचे बैठे मूल्यांकन-प्रश्न के लिए देखें शैक्षिक AI काम करता है या नहीं, यह जाँचना।