स्वचालित मूल्यांकन

इस पृष्ठ पर

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

स्वचालित मूल्यांकन — छात्रों के कार्य का मूल्यांकन करने के लिए AI का उपयोग, स्वरूपित प्रश्नोत्तरी से लेकर उच्च-दांव वाले परीक्षाओं तक। स्वचालित मूल्यांकन कई विधाओं में फैला है — बहुविकल्पीय, संक्षिप्त उत्तर, निबंध, कोड और प्रदर्शन-आधारित मूल्यांकन — और यह सीधे स्वचालित ग्रेडिंग से लेकर उन तंत्रों तक जाता है जो अपने स्कोर के साथ-साथ कैलिब्रेटेड अनिश्चितता भी रिपोर्ट करते हैं।

विचार करने योग्य प्रश्न

स्वचालित मूल्यांकन बहुविकल्पीय स्कोरिंग से लेकर निबंध, कोड और प्रदर्शन-आधारित मूल्यांकन तक फैला है। आपके अनुसार, AI के लिए बहुविकल्पीय प्रश्नोत्तरी के मूल्यांकन में विश्वसनीयता और एक मुक्त स्वरूप के निबंध के मूल्यांकन में विश्वसनीयता के बीच सबसे बड़ा अंतर क्या होगा — और क्यों?
यहाँ एक मूल डिज़ाइन विचार है 'आत्मविश्वास-जागरूकता': ऐसे AI ग्रेडर जो बताते हैं कि वे कितने निश्चित हैं, और एकमात्र असशर्त स्कोर देने के बजाय कम-आत्मविश्वास वाले मामलों को मानव समीक्षा के लिए चिह्नित करते हैं। यदि कोई ग्रेड कहे 'इस बारे में मुझे 70% भरोसा है', तो इससे आपका किसी स्वचालित स्कोर के प्रयोग या भरोसे का तरीका कैसे बदलेगा?
शोध बताता है कि स्वचालित स्कोरिंग गैर-मूल भाषियों को व्यवस्थित रूप से नुकसान पहुँचा सकती है — AI भाषा का मूल्यांकन करती है, समझ का नहीं। किसी स्वचालित ग्रेडर को इस प्रकार की अनुचितता के प्रति विशेष रूप से अधिक संवेदनशील क्यों होना पड़ सकता है, तब भी जब वह कुल मिलाकर मानव मूल्यांककों के साथ उच्च सहमति प्राप्त करता है?
एक अध्ययन में पाया गया कि सत्यापन का तरीका रिपोर्ट की गई प्रदर्शन को फुला सकता है: एक सरल क्रॉस-वैलिडेशन विधि ने लगभग-पूर्ण परिणाम दिखाए, जो अधिक कठोर, परीक्षण-स्वतंत्र सत्यापन में नाटकीय रूप से गिर गए। यह चेतावनीपूर्ण पाठ यह बताता है कि किसी भी दावे — कि कोई AI मूल्यांकन प्रणाली 'काम करती है' — को आप कैसे पढ़ें?
यह पेज तर्क देता है कि कैलिब्रेटेड आत्मविश्वास मानव-इन-द-लूप कार्यप्रवाहों को सक्षम बनाता है, भरोसे के कैलिब्रेशन का समर्थन करता है, और मापन वैधता को मज़बूत करता है। यदि कोई स्वचालित प्रणाली अपने सबसे अनिश्चित मामलों को मानव समीक्षक को भेजे, तो इस विभाजन पर भरोसा करने से पहले आप यह जानना चाहेंगे कि वे मामले कैसे चुने जाते हैं?
स्वचालित ग्रेडिंग को AIED के सबसे परिपक्व अनुप्रयोगों में से एक बताया गया है, फिर भी उपयोगी प्रतिपुष्टि के बिना ग्रेडिंग की शैक्षिक मूल्य सीमित है। यदि ध्यान केवल स्कोर बनाने पर हो — प्रयोग योग्य प्रतिपुष्टि देने के बजाय नहीं — तो छात्रों को AI-ग्रेडेड मूल्यांकन से वास्तव में क्या मिलेगा, यह कैसे बदल सकता है?

परिचय

मूल्यांकन की विधाएँ

संक्षिप्त उत्तर और निबंध: स्वचालित ग्रेडिंग, स्वचालित निबंध स्कोरिंग और आत्मविश्वास-जागरूक दृष्टिकोण मुक्त-पाठ मूल्यांकन को संभालते हैं।
कोड मूल्यांकन: Bash ग्रेडिंग और कोड समीक्षा प्रोग्रामिंग मूल्यांकन का प्रदर्शन करती हैं।
स्वरूपित मूल्यांकन: A-स्तरीय विज्ञान स्वचालन और CoTAL योगात्मक के बजाय स्वरूपित उपयोग पर केंद्रित हैं।
बड़े पैमाने पर AI-निर्मित मूल्यांकन: AI-निर्मित परीक्षाओं का मूल्यांकन दिखाता है कि बार-बार परिष्कृत, पाठ्यक्रम-अनुकूलित AI-निर्मित परीक्षाएँ विशेषज्ञ-लिखित मानकीकृत परीक्षा प्रश्नों के बराबर IRT-मापित गुणवत्ता प्राप्त करती हैं (कठिनाई β̄ = −0.45 बनाम 0.35; विभेदन ᾱ = 1.3 बनाम 1.2) 91 कॉलेज कक्षाओं में — यह प्रमाण है कि स्वचालित मूल्यांकन स्कोरिंग से पूर्ण प्रश्न निर्माण तक जा सकता है।
प्रदर्शन मूल्यांकन: वीडियो संलग्नता मूल्यांकन और चित्रांकन मूल्यांकन स्वचालन को पाठ से आगे बढ़ाते हैं।
बहु-माध्यम परीक्षा डेटा और रूब्रिक: विशेषज्ञ-डिज़ाइन किए गए Outcome-Based Education रूब्रिक के साथ एक बहु-माध्यम परीक्षा उत्तर डेटासेट विविध प्रतिक्रिया विधाओं में मानदंड-स्तरीय स्वचालित मूल्यांकन के लिए एक बेंचमार्क संसाधन प्रदान करता है, जो बहु-माध्यम छात्र कार्य पर बेंचमार्किंग और मापन अनुसंधान का समर्थन करता है।
तंत्रिका-शारीरिक मूल्यांकन: Nanayakkara और Halloluwa (2026) EEG-आधारित परिचितता पूर्वानुमान (चेहरे बनाम गणितीय समीकरण) के लिए ML/DL मॉडलों का बेंचमार्क करते हैं, जो ज्ञान अर्जन के प्रत्यक्ष, वस्तुनिष्ठ मापों की ओर एक कदम है। महत्वपूर्ण रूप से, वे दिखाते हैं कि मानक स्तरीकृत क्रॉस-वैलिडेशन अस्थायी रिसाव के माध्यम से प्रदर्शन को फुलाता है (0.9853 F1 तक), जबकि परीक्षण-स्वतंत्र Group K-Fold सत्यापन चरम को 0.6038 F1 तक गिरा देता है — यह सभी स्वचालित-मूल्यांकन बेंचमार्किंग के लिए एक चेतावनीपूर्ण कार्यविधि पाठ है।

स्वचालित ग्रेडिंग

स्वचालित ग्रेडिंग शिक्षा में AI के सबसे परिपक्व और व्यापक रूप से तैनात अनुप्रयोगों में से एक है — AI प्रणालियाँ जो छात्रों के कार्य का मूल्यांकन करती हैं, बहुविकल्पीय स्कोरिंग से लेकर निबंध मूल्यांकन और कोड समीक्षा तक। इसकी ग्रेडिंग विधाएँ इनमें शामिल हैं:

छात्र प्रतिपुष्टि की उपयोगिता और मूल्यांकनात्मक अधिकार को अलग करते हैं: AlGhamdi (2026) एक ऐसे मामले का दस्तावेज़ीकरण करता है जहाँ एक AI स्कोर को ग्रेड में गिना गया और छात्रों को यह पता था — 13 कंप्यूटिंग छात्रों जिनके स्कैन किए गए हस्तलिखित कार्य को स्पष्टता, संगठन, वाक्य-शुद्धता और संक्षिप्तता को शामिल करने वाली रूब्रिक के विरुद्ध ChatGPT द्वारा मूल्यांकित किया गया। प्रत्येक प्रतिभागी ने प्रतिपुष्टि को उपयोगी पाया, फिर भी सभी ने उस उपयोगिता को अधिकार से अलग किया, और कई ने स्वचालित ग्रेडिंग के एकतरफा, गैर-संवादात्मक स्वरूप को अस्वीकार किया — "ChatGPT लोगों जैसा नहीं है। आप उनसे बात करते हैं और बहाने समझाते हैं... मुझे अपना काम नियमित शिक्षक [से] ग्रेड करवाना पसंद है।" यह अध्ययन स्वचालित मूल्यांकन को सतही संशोधन के लिए स्वीकार्य स्थिति देता है, लेकिन अंतिम मूल्यांकक के रूप में नहीं, जिसमें सशर्त भरोसा शिक्षक की निगरानी से मध्यस्थता पाता है।
संक्षिप्त उत्तर ग्रेडिंग: आत्मविश्वास-जागरूक ASAG मुक्त-पाठ प्रतिक्रियाओं का मूल्यांकन करते हैं, जिसमें आत्मविश्वास कैलिब्रेशन महत्वपूर्ण है — तंत्रों को यह जानना आवश्यक है कि ग्रेडिंग कब विश्वसनीय है। विज्ञान (2017–2024 की शुरुआत) में संक्षिप्त-उत्तर स्वतः-अंकन की एक स्कोपिंग समीक्षा इस क्षेत्र के इतिहास का दस्तावेज़ीकरण करती है: Morley et al. ने पाया कि BERT-परिवार के मॉडल (base, RoBERTa, DistilBERT, SciBERT) प्रभुत्व रखते थे — 21 में से 20 अध्ययनों में उपयोग, 2021 में चरम पर — इससे पहले कि GPT-आधारित दृष्टिकोण लगभग 2022 से प्रॉम्प्ट इंजीनियरिंग के माध्यम से फाइन-ट्यूनिंग के बजाय अपनाए गए। डोमेन डेटा (पाठ्यपुस्तकें, रूब्रिक, आगे का प्री-ट्रेनिंग) से संवर्धित मॉडल लगातार बिना इनके मॉडलों से बेहतर रहे, फिर भी थोड़े ही मानव-समझने योग्य शब्दों में अंकों का औचित्य दे सके और जनसांख्यिकीय और भाषाई समूहों में पूर्वाग्रह शायद ही कभी जाँचा गया — जिससे लेखकों ने तर्क दिया कि स्वतः-अंकक मानव परीक्षकों का समर्थन करें, उन्हें प्रतिस्थापित न करें। 42 अनुभवजन्य ग्रेडिंग और प्रतिपुष्टि अध्ययनों (2023–2025) की एक PRISMA-निर्देशित व्यवस्थित समीक्षा इस सावधानी को पूरे क्षेत्र में सामान्यीकृत करती है: LLM बंद-अंत वाले कार्यों और संक्षिप्त-उत्तर प्रश्नों पर मानव मूल्यांककों के बराबर होते हैं, लेकिन गहन विश्लेषण या रचनात्मकता मांगने वाले जटिल, खुले-अंत या व्यक्तिपरक कार्य पर मानव निर्णय को पूरी तरह प्रतिस्थापित नहीं कर सकते, और सबसे अधिक ग्रेडिंग प्रभावशीलता उन संकर तंत्रों में प्राप्त होती है जो AI-चालित ग्रेडिंग को शिक्षक की निगरानी और सत्यापन से जोड़ती हैं (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback)।
निबंध स्कोरिंग: स्वचालित निबंध स्कोरिंग जैसी प्रणालियाँ एंकर-आधारित AES मानव-स्तरीय विश्वसनीयता के निकट पहुँचने के लिए प्रॉम्प्टिंग रणनीतियों का उपयोग करती हैं। AIAWE स्वचालित मूल्यांकन को व्यापक लेखन मूल्यांकन तक बढ़ाता है।
कोड समीक्षा: Linux Bash ग्रेडिंग और CS1 कोड समीक्षा कंप्यूटिंग शिक्षा में स्वचालित मूल्यांकन का प्रदर्शन करती हैं।
एक प्रॉम्प्ट व्यक्तित्व किसी ग्रेडर को गिरा सकता है, और फाइन-ट्यूनिंग उसे सुधार सकता है: Habibullah et al. (2026) ने एक व्यावहारिक कंप्यूटर विज़न परीक्षा (570 दोहरे-ग्रेडेड छात्र) को 171 विन्यासों के अंतर्गत और एक दूसरी मशीन लर्निंग परीक्षा (1,038 छात्र) को 162 और विन्यासों के अंतर्गत ग्रेड किया। एक छोटा "कठोर ग्रेडर" प्रस्तावना ने 17 खुले-भार वाले मॉडलों में से 14 को ग्रेडेड बैंड से बाहर कर दिया (MAE ≥ 8), तीन ने ग्रेडिंग पूरी तरह छोड़ दी; यह क्षति दो क्रेडिट-रोकने वाले वाक्यों तक पहुँची गई, स्वर या मॉडल आकार तक नहीं, और इसकी दिशा परीक्षा-विशिष्ट थी, जिसने दूसरी परीक्षा में सात मॉडलों को सुधारा। लगभग 3,900 संयुक्त ग्रेडेड उदाहरणों पर हल्की LoRA फाइन-ट्यूनिंग ने पाँच छोटे खुले मॉडल को मानव ग्रेडर के साथ समता या उससे बेहतर बनाया, इसलिए यह संवेदनशीलता एक प्रॉम्प्टिंग कलाकृति है, क्षमता की सीमा नहीं।
स्वरूपित एकीकरण: A-स्तरीय विज्ञान स्वचालन और CoTAL दिखाते हैं कि स्वचालित ग्रेडिंग निर्माणकारक मूल्यांकन चक्रों में कैसे जुड़ती है।
प्रतिपुष्टि प्रकारों की कवरेज शिक्षकों के साथ संरेखण नहीं है। Almousa et al. (2026) ने तीन विश्वविद्यालय लेखन पाठ्यक्रमों की अनुच्छेद-स्तरीय प्रतिपुष्टि को सात फोकस प्रकारों में एनोटेट किया; अधिकांश मॉडल लगभग हर प्रकार का उत्पादन करते हैं, फिर भी उनकी वितरण शिक्षक संदर्भ से भिन्न होती है, जिसमें शैक्षिक रूप से ट्यून किया गया LearnLM सबसे नज़दीक (Jensen–Shannon विचलन 0.1344) और Mistral-7B सबसे दूर (0.2695) है। श्रेणी परिभाषाओं या कार्यशील उदाहरणों के साथ प्रॉम्प्टिंग ने अधिकांश मॉडलों के लिए विचलन बढ़ा दिया।
पूर्वाग्रह और निष्पक्षता: भौतिकी स्कोरिंग में भाषा पूर्वाग्रह दस्तावेज़ीकृत करता है कि स्वचालित ग्रेडिंग गैर-मूल भाषियों को नुकसान पहुँचा सकती है — पूर्वाग्रह शमन और समानता से जुड़कर।
खुले-अंत ग्रेडिंग के लिए GenAI मॉडलों का बेंचमार्किंग: Pecuchova, Benko और Drlik (2025) ने 24 सॉफ्टवेयर-इंजीनियरिंग प्रश्नों के 1,885 खुले-अंत प्रतिक्रियाओं पर दो विशेषज्ञ मानव ग्रेडरों के विरुद्ध ग्यारह GenAI और वाक्य-एम्बेडिंग मॉडलों का बेंचमार� किया। केवल GPTo1 ने लगभग-पूर्ण सहमति (Fleiss' Kappa 0.82, ग्रेड श्रेणियों में कम गलत सकारात्मक और गलत नकारात्मक) प्राप्त की, जिसके तुरंत बाद Claude3 और PaLM2 हैं; संदर्भ-संवेदी GenAI मॉडलों ने छोटे, विविध रूप से वर्णित छात्र उत्तरों को मज़बूती से संभाला, जबकि संदर्भ-आधारित एम्बेडिंग मॉडलों (जैसे, BERT के 345 गलत सकारात्मक) ने सही-लेकिन-भिन्न ढंग से लिखे गए प्रतिक्रियाओं को व्यवस्थित रूप से दंडित किया — यह प्रमाण है कि मुक्त-पाठ खुले-अंत मूल्यांकन की विश्वसनीयता को केवल ग्रेडिंग प्रारूप नहीं, बल्कि मॉडल चुनाव भी आकार देता है।
प्रॉम्प्ट उदाहरण ही स्कोरिंग सहमति तय करते हैं: Takahashi et al. (2026) ने पदानुक्रमित नैदानिक तर्क (HDR) को स्वचालित किया, जो एक अनुप्रयुक्त-योग्यता कार्य है जिसमें शिक्षार्थी एक छोटे केस में जानबूझकर रखी गई त्रुटियाँ खोजते और समझाते हैं। GPT-4o का बिना फाइन-ट्यूनिंग उपयोग करते हुए, टीम ने नए समस्याएँ बनाईं और छात्रों के विवरणों को स्कोर किया: बनाई गई और मानव-रचित समस्याओं में एक ही आंतरिक संगतता (Cronbach's α = 0.78) थी और 100 प्रतिभागियों में कोई महत्वपूर्ण स्कोर-वितरण अंतर नहीं दिखा, और इस प्रारूप का एक पठन-बोध नियंत्रण के साथ सहसंबंध कम रहा (α = 0.36 और 0.41)। स्कोरिंग सटीकता मॉडल के बजाय प्रॉम्प्ट पर निर्भर थी — कार्यशील उदाहरणों के बिना Q2 परिशुद्धता 0.42 तक गिर गई, जबकि मानव-स्कोर किए सही और गलत उदाहरण जोड़ने से हर प्रश्न पर सहमति 98% या अधिक (Q1 और Q2 पर 100%) हो गई — जबकि 117 प्रतिक्रियाओं के लिए 138 मिनट विशेषज्ञ स्कोरिंग और सहमति के लिए 30 मिनट का मापा गया मानव लागत था।

किसी मॉडल का अपना तर्क मोड एक दूसरा विन्यास लीवर है: 32 अनाम सार्वजनिक-स्वास्थ्य मास्टर परीक्षा सबमिशन पर वही ChatGPT तेज़ मोड में भारित कैप्पा 0.269 से सोचने के मोड में 0.718 तक गया, जबकि Kimi 0.571 तक पहुँचा (Brevik et al. (2026)।

शिक्षकों की खुले-अंत प्रतिक्रियाओं का बहु-एजेंट कोडिंग, जहाँ विश्वसनीयता मॉडल के बजाय ढाँचे से आती है: Copur-Gencturk et al. (2026) स्वचालित मूल्यांकन को छात्र कार्य से आगे शिक्षकों के अपने विषय-ज्ञान (CK) और शैक्षणिक विषय-ज्ञान (PCK) के कोडिंग तक बढ़ाते हैं, यह पूछते हुए कि क्या AI 268 अमेरिकी मध्य विद्यालय गणित शिक्षकों की अनुपात और समानुपाती संबंधों के बारे में लिखित प्रतिक्रियाओं के प्रशिक्षित मानव कोडिंग को पुनरुत्पादित कर सकता है। एक उद्देश्य-निर्मित बहु-एजेंट LLM, GradeOpt, तीन GPT-4o-समर्थित भूमिकाएँ सौंपता है — एक ग्रेडर जो मानव कोडिंग मैनुअल लागू करता है, एक रिफ्लेक्टर जो मानव कोड से प्रत्येक असहमति का निदान करता है, और एक रिफाइनर जो स्पष्टीकरण बिंदुओं को छह चक्रों तक मैनुअल में वापस मोड़ता है — और CK पर प्रशिक्षित मानव कोडरों के बहुत नज़दीक मिला (κ = .88 और .85), जबकि बहुत अधिक व्याख्यात्मक PCK मदों पर कुल मिलाकर पर्याप्त सहमति (κ = .68; भारित κ = .79) तक पहुँचा। दो NLP बेसलाइन और एक एकल-प्रॉम्प्ट GPT-4o मॉडल PCK पर कभी κ = .39 या भारित κ = .55 से आगे नहीं गए, इसलिए लेखक विश्वसनीयता को कोडिंग मैनुअल के विरुद्ध निर्देशों के परिष्कार से जोड़ते हैं, मॉडल आकार से नहीं, और जहाँ आसन्न कोडिंग स्तर धुँधले हों वहाँ विशेषज्ञ समीक्षा की सिफ़ारिश करते हैं, क्योंकि GradeOpt की अवशिष्ट त्रुटियाँ आमतौर पर आसन्न कोड थीं, भारी चूक नहीं।
मिश्रित-प्रारूप परीक्षा ग्रेडिंग (2026): Falahat, Das, Bhaumik और Thambi (2026) ने 21 मदों वाली फार्मेसी परीक्षा (16 छात्र) के मानव संकाय ग्रेडिंग के विरुद्ध ChatGPT-5 का मूल्यांकन किया, जो बहुविकल्पीय, सभी-लागू-चुनें, रिक्त-स्थान-भरें, सूचीबद्ध करें, संक्षिप्त-उत्तर और निबंध मदों तक फैली थी। सहमति

वस्तुनिष्ठ मदों के प्रकारों के लिए पर्याप्त-से-लगभग-पूर्ण थी (CCC 0.935–1.000 — ग्रेडिंग के दौरान सही उत्तर दिए जाने की सहायता से) लेकिन सूचीबद्ध करने (0.621–0.708), संक्षिप्त-उत्तर (≈0 से ऋणात्मक) और निबंध (0.341–0.854) मदों के लिए गिर गई; एक संरचित रूब्रिक देने से पूर्ण-परीक्षा सहमति लगातार सुधरी नहीं (बिना 71.1% बनाम सहित 68.2%)। यह अध्ययन एक कार्यविधि बिंदु को तीखा करता है जो स्वचालित मूल्यांकन में बार-बार आता है — मध्यम प्रतिशत सटीकता अक्सर कम सहमति के साथ सह-अस्तित्व में रहती है — इसलिए अकेली सटीकता विश्वसनीयता को बढ़ा-चढ़ाकर बताती है, और यह जटिल, व्यक्तिपरक या उच्च-दांव मदों के लिए संकर ग्रेडिंग की सिफ़ारिश करता है।

प्रामाणिक अंकित निबंधों पर क्रॉस-परिवार ग्रेड-बैंड कैलिब्रेशन (2026): Kerwat, Donaldson और Mahomed (2026) ने चार मॉडल परिवारों (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B और Llama 3.1 8B, प्रत्येक दो तापमानों पर) से आठ पूर्व-निर्धारित विन्यासों को उन्हीं 114 BAWE/Coventry निबंधों के लॉक किए गए समूह पर चलाया, जिन पर संस्थागत Merit और Distinction लेबल थे, एक साझा प्रॉम्प्ट के साथ जिसने चार बैंडों की अनुमति दी। सटीक बैंड सहमति 18.4% से 54.4% तक थी: तापमान 0.5 पर Llama 3.1 8B आगे (54.4% सटीक, एक बैंड के भीतर 98.2%, MAE 0.474, लगभग-शून्य पूर्वाग्रह) जबकि GPT-OSS 120B सबसे कमज़ोर (18.4%) और व्यवस्थित रूप से अव-ग्रेडेड था, तापमान 0.5 पर औसतन 1.316 बैंड, जिसमें Distinction सटीकता पूरे समय Merit सटीकता से पीछे रही। लॉक किए गए समूह में कोई Pass या Fail संदर्भ नहीं था, इसलिए यह पूर्ण ग्रेड सीमा में विश्वसनीयता के बजाय Merit–Distinction विभेदन है, और तापमान कोई इलाज नहीं था — इसने एक परिवार को वर्णनात्मक रूप से मदद की, दूसरे को अपरिवर्तित छोड़ा, और GPT-OSS 20B को महत्वपूर्ण रूप से बिगाड़ा (54.4% से नहीं, 39.5% से 29.8% सटीक)। दो पाठ अध्ययन से आगे स्थानांतरित होते हैं: ग्रेड दूरी और दिशात्मक पूर्वाग्रह वह उजागर करते हैं जो सहमति आँकड़े छिपाते हैं, और मॉडल आकार मूल्यांकन वैधता का कोई प्रतिनिधि नहीं है।
चिकित्सा शिक्षा में खुले-अंत स्कोरिंग के लिए रूब्रिक अभियांत्रिकी: Olvet et al. (2026) ने यह पूछा कि क्या GPT-4 पूर्व-क्लर्कशिप चिकित्सा परीक्षाओं के खुले-अंत प्रश्नों को विश्वसनीय रूप से स्कोर कर सकता है। दो अमेरिकी विद्यालयों में मानव-चालित रूब्रिक परिष्कार की तीन पुनरावृत्तियों के बाद, विश्लेषणात्मक और समग्र रूब्रिक का उपयोग करते हुए चार में से तीन प्रश्नों पर संकाय के साथ अंतर-मूल्यांकक विश्वसनीयता पर्याप्त-से-लगभग-पूर्ण सहमति तक पहुँची (भारित कैप्पा 0.94 तक), जबकि समग्र-रूब्रिक मद पर मध्यम (κw = 0.54) पर अटक गया। त्रुटि-पैटर्न विश्लेषण ने दिखाया कि विसंगतियाँ दोनों मूल्यांककों तक पहुँची जा सकती हैं — GPT-4 ने तब अधिक स्कोर दिया जब छात्रों ने एकाधिक उत्तर दिए या रूब्रिक-अनुपस्थित शब्दावली का उपयोग किया, जबकि संकाय अक्सर "अत्यधिक उदार" ग्रेडर थे — जिससे लेखकों ने मानव को लूप में रखने (जैसे, सटीकता की पुष्टि के लिए एक उपसमुच्चय को संकाय द्वारा स्कोर करना) की सिफ़ारिश की। चूँकि लगभग 82% अमेरिकी चिकित्सा विद्यालय पूर्व-क्लर्कशिप कार्य को उत्तीर्ण/अनुत्तीर्ण में ग्रेड करते हैं, संचालन उपयोग के लिए सटीक AI स्कोर सहमति अक्सर अनावश्यक होती है।
एक बड़े पैमाने पर राष्ट्रीय लेखन मूल्यांकन के लिए HITL स्कोरिंग (2026): Curi et al. (2026) प्रॉम्प्ट-आधारित बड़े भाषा मॉडल (LLMs) स्कोरिंग को एक वास्तविक उच्च-दांव स्पेनिश लेखन परीक्षा (~5,000–6,000 प्रतिक्रियाएँ/वर्ष) तक स्केल करते हैं, 15-मद विश्लेषणात्मक रूब्रिक पर 60–80% मद सटीकता और 90%+ आउटपुट संगतता प्राप्त करते हैं, जिसमें वर्तनी मद पर LLM की जगह एक नियतात्मक NLP जाँचकर्ता (100% संगतता) रखा गया। इसका विशिष्ट योगदान मॉडल-केंद्रित मेट्रिक्स के बजाय निर्णय-उन्मुख सत्यापन है: AI का व्यवस्थित अव-ग्रेडिंग पूर्वाग्रह, IRT-और-बुकमार्क के माध्यम से दक्षता स्तरों में बदला गया, 15.3–16.5% मामलों में उत्तीर्ण/अनुत्तीर्ण विसंगतियाँ उत्पन्न करता है — इन सभी को मानव-इन-द-लूप कार्यप्रवाह विशेषज्ञ समीक्षा को भेजता है, जिससे पूर्ण मानव स्कोरिंग की आवश्यकता वाली प्रतिक्रियाएँ कम से कम 50% कम होती हैं और निर्णय गुणवत्ता बनी रहती है। यह संकर ग्रेडिंग को प्रमाण-अवधारणा डेटासेट के बजाय संचालन मूल्यांकन में स्थापित करता है।
प्रति-आयाम सहमति दिखाती है कि कोई मूल्यांकक परिवर्तन कहाँ नहीं पहचान सकता: SOPHIE 2.0 (Hasan et al., 2026) ने तीन-आयाम नैदानिक संचार रूब्रिक पर सभी मानव मूल्यांकन स्रोतों — मानकीकृत रोगियों और तृतीय-पक्ष मूल्यांककों — के आम सहमति के विरुद्ध एक LLM न्यायाधीश को सत्यापित किया, केवल प्रतिलेखों से Pearson 0.759 और ICC(A,1) 0.747 तक नहीं, 0.759 और ICC(A,1) 0.746 तक पहुँचा, व्यक्तिगत मानव मूल्यांककों की सीमा के भीतर न कि उससे बाहर। इसका सबसे कमज़ोर आयाम Be Explicit था (प्रत्याशी न्यायाधीशों में सहसंबंध 0.414–0.598), और यह एकमात्र आयाम भी था जिसके स्कोर दो सत्रों में मापने योग्य रूप से नहीं बदले (Δ = 0.014, p = 0.1204) — इसलिए प्रति-आयाम सहमति पहले ही संकेत कर सकती है कि किन आयामों पर कोई स्वचालित मूल्यांकक सुधार दिखाने में असमर्थ होगा।

आत्मविश्वास-जागरूक मूल्यांकन

स्वचालित मूल्यांकन के भीतर एक केंद्रीय डिज़ाइन लक्ष्य आत्मविश्वास-जागरूकता है: ऐसे AI मूल्यांकन तंत्र जो एकमात्र असशर्त पूर्वानुमान देने के बजाय अपने स्कोर के साथ-साथ कैलिब्रेटेड अनिश्चितता भी रिपोर्ट करते हैं। एक आत्मविश्वास-जागरूक ग्रेडर न केवल ग्रेड या वर्गीकरण उत्पन्न करता है बल्कि यह भी संकेत देता है कि वह कितना निश्चित है, जिससे कम-आत्मविश्वास वाले मामलों को मानव समीक्षा के लिए चिह्नित किया जा सकता है और उपयोगकर्ता तंत्र में अपने भरोसे को कैलिब्रेट कर सकते हैं। यह जिम्मेदार स्वचालित मूल्यांकन के लिए केंद्रीय है और मनोमापन-सचेत एआई और विश्वास कैलिब्रेशन से घनिष्ठ रूप से जुड़ता है।

ज्ञान आधार के अनुसंधान में आत्मविश्वास को कैसे मॉडल किया जाता है:

संक्षिप्त-उत्तर ग्रेडिंग के लिए संलयित आत्मविश्वास संकेत: आत्मविश्वास-जागरूक ASAG मॉडल-आधारित आत्मविश्वास संकेतों (वाच्यिकृत, सुप्त और संगतता-आधारित) को Random Forest प्रतिगमन के माध्यम से डेटासेट-व्युत्पन्न एलियोरेटोरिक अनिश्चितता के साथ संलयित करता है।
बहु-माध्यम छात्र कार्य में आत्मविश्वास: छात्र-बनाए गए वैज्ञानिक आकृतियों का आत्मविश्वास-जागरूक मूल्यांकन आत्मविश्वास मॉडलिंग को बहु-माध्यम छात्र प्रतिक्रियाओं तक बढ़ाता है।
LLM का मनोमापनात्मक कैलिब्रेशन: मनोमापनात्मक रूप से जागरूक AI बड़े भाषा मॉडल (LLMs) स्कोरिंग को मापन सिद्धांत के साथ संरेखित करने के मानक को आगे बढ़ाता है, जिसमें आइटम रिस्पॉन्स थ्योरी (IRT) संरेखण के साथ-साथ कैलिब्रेशन एक मूल आवश्यकता है।
कठिनाई और प्रतिक्रिया-समय कैलिब्रेशन: प्रोग्रामिंग-परीक्षा कठिनाई कैलिब्रेशन LLM को सहायक प्रमाण स्रोतों के रूप में पुनःस्थापित करता है, जिनकी कठिनाई आकलन छात्र उत्तीर्ण दरों के साथ सहसंबद्ध होते हैं।
स्वभाव-अनुकूली निबंध स्कोरिंग: PsyScore दिखाता है कि एक मनोमापनात्मक रूप से जागरूक ढाँचा निबंध प्रतिपुष्टि को शिक्षार्थी स्वभावों के अनुकूल बना सकता है।
दृश्य छात्र कार्य का मूल्यांकन: DiagramIR LLM-निर्मित गणित आकृतियों (TikZ) को एक मध्यवर्ती प्रतिनिधित्व में पश्च-अनुवाद करता है जिसमें नियतात्मक जाँचें होती हैं, जो मानव मूल्यांककों के साथ सहमति पर LLM-as-a-Judge को हराता है और छोटे मॉडलों को ~10× कम लागत पर बड़े मॉडलों के बराबर बनाता है — गैर-पाठ, आकृति-आधारित छात्र आउटपुट के मूल्यांकन का एक स्केलेबल मार्ग।
स्वचालित शिक्षक मूल्यांकन में भरोसा-नियंत्रित अनुमान: Li, Yang और Fang (2025) Monte Carlo ड्रॉपआउट कैलिब्रेशन को सीधे स्कोरिंग पथ में रखते हैं, जिससे सीखे गए सीमा से ऊपर ड्रॉपआउट विचरण स्कोर के बजाय एक अस्वीकार-और-संदर्भ आउटपुट को ट्रिगर करता है, साथ ही प्रतिपक्षी डीबायसिंग के साथ जो निष्पक्षता अंतराल को 1.8% तक रखती है जबकि बेसलाइन 6.4–8.2% सीमा में हैं और TeacherEval-2023 पर 0.032 अपेक्षित कैलिब्रेशन त्रुटि। उनका एबलेशन छोटे में कैलिब्रेशन तर्क है: भरोसा-नियंत्रित मॉड्यूल हटाने से अंतर-मूल्यांकक संगतता 78.6% तक गिर जाती है, और लेखक मानव समीक्षा कार्यभार में 41% कमी को इस नियंत्रण से जोड़ते हैं — पश्च-प्रक्रिया रिपोर्टिंग के बजाय ढांचे के रूप में अनिश्चितता प्रबंधन।
रूब्रिक-आधारित स्कोरिंग की व्याख्यायोग्यता: Bueno et al. दिखाते हैं कि रूब्रिक-आधारित स्कोर (जैसे, कक्षा प्रतिपुष्टि गुणवत्ता) की व्याख्या के लिए मॉडल-अज्ञेयवादी SHAP आरोप LLM-निर्मित औचित्यों से अधिक निष्ठावान और स्थानांतरणीय हैं, और किसी भी स्कोरिंग मॉडल की व्याख्याओं का मूल्यांकन करने के एक सिद्ध तरीके के रूप में विलोपन-आधारित + क्रॉस-मॉडल परीक्षण प्रस्तावित करते हैं।

कैलिब्रेटेड आत्मविश्वास क्यों मायने रखता है:

मानव-इन-द-लूप प्रतिनिधित्व सक्षम बनाता है: कम-आत्मविश्वास वाले मामले मानव समीक्षक को जाते हैं — अंध स्वचालन के बजाय मानव-इन-द-लूप कार्यप्रवाहों का समर्थन।
भरोसे के कैलिब्रेशन का समर्थन: कैलिब्रेटेड आत्मविश्वास उपयोगकर्ताओं को तंत्र की वास्तविक विश्वसनीयता से मेल खाते हुए अपना भरोसा मिलाने देता है, अति-भरोसा और अल्प-भरोसा दोनों से बचते हुए।
मापन वैधता सुधारता है: आत्मविश्वास-जागरूक स्कोरिंग अनिश्चितता को स्पष्ट बनाकर शैक्षणिक मापन और मूल्यांकन की वैधता को मज़बूत करती है।
निष्पक्षता और न्यायोचितता: कम-आत्मविश्वास वाले मामलों को समीक्षा के लिए चिह्नित करना आत्मविश्वासपूर्वक गलत स्कोर के जोखिम को कम करता है, विशेषकर असामान्य या कम प्रतिनिधित्व वाली प्रतिक्रियाओं के लिए।
रूब्रिक निर्माण और शिक्षक-निगरानी वाली ग्रेडिंग पाइपलाइनें: Mendonça et al. (2026) दिखाते हैं कि LLM-निर्मित मूल्यांकन रूब्रिक (HARMOGEN-R) तकनीकी सामग्री के लिए मानव-निर्मित रूब्रिकों के बराबर हो सकती हैं, ±5-अंक तुल्यता मार्जिन के भीतर, जिसमें संरचित निर्माण अधिक क्रॉस-मॉडल संगतता देता है। Cruz et al. (2026) एक समाप्रांत-से-समाप्रांत GPT-4o ग्रेडिंग पाइपलाइन का मूल्यांकन करते हैं जहाँ AI ग्रेड 362 सबमिशन में से 83% में शिक्षक के 0.5 अंक के भीतर थे (MAE 0.31) — इसे शिक्षक निर्णय का प्रतिस्थापन नहीं, बल्कि एक स्केलेबल पूरक के रूप में सर्वोत्तम रूप से ढाला गया है।

गुणवत्ता और निष्पक्षता

स्वचालित मूल्यांकन की गुणवत्ता मूल्यांकन की वैधता और पूर्वाग्रह शमन पर निर्भर करती है। भाषा पूर्वाग्रह अनुसंधान दिखाता है कि स्वचालित स्कोरिंग कुछ छात्र आबादी को व्यवस्थित रूप से नुकसान पहुँचा सकती है। मानदंड स्वयं त्रुटिपूर्ण हो सकता है। Bozdag और Qiu (2026) GCSE भौतिकी लेखपत्रों को एक AI प्रणाली से अंकित करते हैं और उन्हें आधिकारिक परीक्षा-बोर्ड के अंकों और अनुभवी शिक्षकों के निर्णय दोनों से तुलना करते हैं, जिसमें बोर्ड के साथ सहमति को सटीकता के प्रतिनिधि के रूप में माना जाता है, सटीकता स्वयं के बजाय।

परिनियोजन परिदृश्य और प्रत्येक की आवश्यकताएँ

एक संस्था को कितना संरेखण माँगना चाहिए, यह इस बात पर निर्भर करता है कि प्रणाली को क्या निर्णय लेने की अनुमति है। तीन यूके विश्वविद्यालयों में 761 प्रामाणिक स्नातक निबंधों के एक मिश्रित-विधि अध्ययन में, तीन अग्रणी मॉडलों ने प्रत्येक 27 प्रॉम्प्ट विन्यासों के साथ डिग्री बैंड पर मानव मूल्यांककों के साथ केवल 35–65 प्रतिशत सहमति प्राप्त की, और सटीकता संस्थाओं के बीच स्थानांतरित नहीं हुई — इसलिए रिपोर्ट उम्मीदवार उपयोगों को एक निर्णय के बजाय अलग-अलग परिदृश्यों के रूप में मानती है। मानव अंकन की गुणवत्ता आश्वासन, जहाँ AI समानांतर में अंकन करता है और महत्वपूर्ण अंतर मानव समीक्षा को ट्रिगर करते हैं, सबसे रूढ़िवादी है। एक अंकन सहायक, जो सबमिशन को अनुमानित गुणवत्ता या अनिश्चितता से क्रमबद्ध या श्रेणीबद्ध करता है, जटिल मामलों को ट्रिएज करता है, या संक्षिप्त मानव टिप्पणियों को पूर्ण प्रतिपुष्टि में विस्तृत करता है, एक वास्तविक मध्य मार्ग है। प्राथमिक मूल्यांकक के रूप में AI, जिसमें एक नमूने या अंक वितरण के मानव समीक्षा के साथ, को केवल तभी स्वीकार्य ठहराया गया जब प्रणाली प्रदर्शन सुधरता है, और किसी भी हितधारक समूह ने AI को एकमात्र मूल्यांकक के रूप में समर्थित नहीं किया।

इनमें से किसी के लिए भी तीन आवश्यकताएँ निकलती हैं। क्योंकि संरेखण मॉडल- और संस्था-विशिष्ट है, सत्यापन स्थानीय और निरंतर होना चाहिए — कहीं और की शीर्षक सटीकता तैयारी का प्रमाण नहीं है। क्योंकि अंक मध्य की ओर संपीड़ित हुए थे, AI ग्रेड सीमाओं पर और सबसे मज़बूत व सबसे कमज़ोर सबमिशन पर सबसे कम सटीक था, जहाँ मूल्यांकन निर्णय सबसे अधिक परिणाम रखते हैं। और क्योंकि AI और मानव अंक के बीच असहमति भिन्न निर्णय को दर्शाती है, केवल त्रुटि को नहीं, विसंगतियों को एल्गोरिदमिक ओवरराइड के बजाय मानव व्याख्या को ट्रिगर करना चाहिए, अंक पर अंतिम अधिकार लोगों के पास रहना चाहिए। अपनाने में शासन दायित्व भी हैं जिन्हें तकनीकी मेट्रिक्स नहीं पकड़ते: जहाँ स्वचालित निर्णय छात्रों को प्रभावित करते हैं वहाँ GDPR अनुच्छेद 22 के अंतर्गत व्याख्या का अधिकार, एक बार जब दर्जा स्तर और भाषा उपयोग अंकों को प्रभावित करने वाले दिख जाएँ तो समानता अधिनियम दायित्व, ऐसी त्रुटियों के लिए संशोधित अपील प्रक्रियाएँ जो आसानी से नहीं पकड़ी जातीं, और एक अपरिवर्तनीयता जोखिम — एक बार जब स्टाफिंग और निवेश बदल जाए, एक संस्था को वापस लौटने के लिए आवश्यक मानव अंकन एकत्र करना मुश्किल हो सकता है।

तीनों मॉडलों को मिलाने से वह त्रुटि हट नहीं पाई: क्योंकि उनकी गलतियाँ सहसंबद्ध थीं — असाइनमेंट के 63.4% पर एक ही दिशा — Corsi et al. (2026) का संयुक्त मॉडल सर्वोत्तम एकल मॉडल से सांख्यिकीय रूप से अपरिचित था, जिससे साझा केंद्रीय-प्रवृत्ति संपीडन ज्यों का त्यों रहा।

Venetsanos (2026) उन आवश्यकताओं के मानदंड देता है जिन्हें वे पूर्व-मानते हैं, यह तर्क देते हुए कि स्वचालन को क्या न्यायोचित बनाता है वह कार्य की ज्ञानात्मक स्थिति है, इसके बजाय नहीं कि तकनीक तकनीकी रूप से क्या कर सकती है। उनका ढाँचा AI को तथ्यात्मक और प्रक्रियात्मक दावों की सीमित सत्यापन तक सीमित करता है — स्पष्ट दस्तावेज़ित मानदंडों के सभी चार, स्थापित ज्ञान के विरुद्ध प्रत्यक्ष तुलना, वैकल्पिक वैध दृष्टिकोणों का कोई मूल्यांकन नहीं, और एक ही सही उत्तर या पूर्व-निर्धारित स्वीकार्य समुच्चय एक साथ होना चाहिए, जिसमें अस्पष्टता तयनात रूप से मानव को बढ़ती है — और उस स्तर पर AI भागीदारी को पाँच अलांघनीय सिद्धांतों पर सशर्त बनाता है जो एक साथ होना चाहिए: ज्ञान आधार मूल्यांकक-संकलित और मॉड्यूल सामग्री में पुनर्प्राप्ति-आधारित होना चाहिए, मॉडल की पैरामीट्रिक ज्ञान के बजाय नहीं; मानव मूल्यांकक छात्रों तक पहुँचने से पहले हर AI आउटपुट की समीक्षा करते हैं और बिना साझा जवाबदेही के पूर्ण ओवरराइड रखते हैं; प्रतिपुष्टि में स्पष्ट उत्पत्ति और विशेषता होनी चाहिए; और सुरक्षा शुरुआत से प्रतिपक्षी उपयोग के विरुद्ध डिज़ाइन की जानी चाहिए, सफेद या छोटे पाठ, एन्कोडिंग, चित्रों या दस्तावेज़ मेटाडेटा में छिपे निर्देशों के लिए इनपुट सैनिटाइज़ेशन के साथ, क्योंकि किसी स्वचालित प्रणाली की सफल परिक्रमा छात्र समूहों में फैलती है। वही शोधपत्र स्पष्ट है कि इसके सिद्धांत एक साथ व्यवहार्यता के लिए अपरीक्षित हैं और संकलन,

सुरक्षा अवसंरचना और उच्च-आवृत्ति निगरानी के लिए मूल्यांकक समय स्टाफ प्रयास को बढ़ा सकता है न कि घटा सकता है — यह चेतावनी ऊपर की स्थानीय-सत्यापन आवश्यकता के साथ-साथ बैठती है।

AI-मध्यस्थ ग्रेडिंग की सुरक्षा

एक रोज़मर्रा के ग्रेडिंग कार्यप्रवाह का रेड-टीम मूल्यांकन उस हमले की सतह को दिखाता है जिसे प्रतिपक्षी उपयोग के लिए नियोजन को कवर करना होगा। Humble (2026) ने एक कृतक निबंध के भीतर पाँच अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन एम्बेड किए, जिसे Microsoft Copilot (GPT-5.2) ने छह में से छह बेसलाइन रन में फेल ग्रेड दिया था, प्रत्येक को docx, pdf और htm फ़ाइलों पर पुनरावृत्त किया। दो रणनीतियों ने किसी दृश्य चेतावनी के बिना ग्रेड बदला — शुरुआत में एक निर्देश-हेरफेर और भूमिका-निभान वाला अनुच्छेद 9 में से 9 पुनरावृत्तियों पर (100%) और वही अनुच्छेद एक चित्र परत के पीछे छिपा हुआ 17 में से 18 (94%) पर — जबकि दस्तावेज़ के अंत में छोटे सफेद पाठ में एक अनुच्छेद सभी नौ पुनरावृत्तियों में विफल रहा, और फ़ाइल-मेटाडेटा इंजेक्शन कभी काम नहीं किए, जिसे लेखक मेटाडेटा पहुँच के परीक्षित संस्करण में अक्षम होने से जोड़ते हैं। भरोसे की समस्या शोषणों से बाहर रही: एक pdf रन में जिसने एक एम्बेड किया गया निर्देश पहचाना और कहा कि वह केवल आधिकारिक असाइनमेंट के विरुद्ध ग्रेड करेगा, उसी फ़ाइल को फिर से चलाने से ग्रेड बिना चेतावनी और छह बार बढ़ा, और एक पहचाने गए हमले से अवरुद्ध चैट चुपचाप अक्षम कर दी गई बजाय उपयोगकर्ता को रिपोर्ट किए जाने के। लेखक तर्क देते हैं कि परिणामी ग्रेड किसी भी दिशा में कोई वैधता दावा नहीं रखते, कि किसी प्रतिपक्षी को स्तरित गार्डरेल के विरुद्ध केवल एक काम करने वाला संयोजन चाहिए, और कि शिक्षक आउटपुट पर एकमात्र वास्तविक जाँच रहता है जब तक हेरफेर को दिखाई न देने के लिए डिज़ाइन किया गया है — जो ऊपर Venetsanos द्वारा निर्धारित इनपुट-सैनिटाइज़ेशन और प्रतिपक्षी-सुरक्षा दायित्व से सीधे जुड़ता है।

संबंध

स्वचालित मूल्यांकन मूल्यांकन की वैधता (गुणवत्ता आश्वासन), निर्माणकारक मूल्यांकन (उपयोग संदर्भ), पूर्वाग्रह शमन और समानता (निष्पक्षता), शिक्षण (स्वचालन शिक्षक के कार्य को कैसे बदलता है), और एआई फीडबैक की गुणवत्ता (बिना उपयोगी प्रतिपुष्टि वाली ग्रेडिंग की शैक्षिक मूल्य सीमित) से जुड़ता है। आत्मविश्वास-जागरूक मूल्यांकन मनोमापन-सचेत एआई के व्यापक एजेंडे के भीतर एक विशिष्ट तंत्र है और कैलिब्रेटेड भरोसे का एक योगदानकर्ता।

हस्तलिखित भौतिकी का बड़े पैमाने पर AI ग्रेडिंग (2026): एक बहु-माध्यम मॉडल (GPT-5.5) ने एक राष्ट्रीय भौतिकी ओलंपियाड सिद्धांत परीक्षा, चयन शिविर और विश्वविद्यालय क्वांटम-यांत्रिकी परीक्षा में 10,364 स्कैन किए गए पृष्ठों को ग्रेड किया, आधिकारिक अंकों के साथ 0.91–0.97 कुल-स्कोर सहसंबंध प्राप्त किए और वही शीर्ष-पाँच ओलंपियाड टीम पुनर्प्राप्त की। पृष्ठ-दर-पृष्ठ संशोधित, प्रमाण-स्थान निर्देशों ने सहमति सुधारी — यह प्रमाण है कि बहु-माध्यम AI सावधानीपूर्वक रूब्रिक और प्रॉम्प्ट अभियांत्रिकी के साथ उच्च-दांव योगात्मक ग्रेडिंग का समर्थन कर सकता है (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes)।
हस्तलिखित रसायन के लिए चयनात्मक स्वचालन (2026): Cvengros और Kortemeyer ने 296-छात्र हस्तलिखित सामान्य-रसायन अंतिम परीक्षा को रूब्रिक चित्रों के विरुद्ध पृष्ठ-दर-पृष्ठ एक बहु-माध्यम, तर्कशील LLM से ग्रेड किया, कुल स्कोर पर उच्च रन-से-रन विश्वसनीयता (ICC(A,1) = 0.967) और TA ग्रेडिंग के साथ मज़बूत कुल-स्कोर सहमति (R² = 0.91) प्राप्त की। क्योंकि मद-स्तरीय विश्वसनीयता प्रारूप के अनुसार तीखी रूप से भिन्न थी — पाठ्य और रासायनिक-प्रतिक्रिया उत्तर विश्वसनीय रूप से ग्रेड हुए जबकि चित्रांकन और ग्राफ़िंग यादृच्छिक से भी खराब स्कोर हुए — कचची सहमति को उच्च-दांव उपयोग के लिए अपर्याप्त ठहराया गया। वे मानव निलंबन को आत्मविश्वास फिल्टरों (आंशिक-क्रेडिट सीमाएँ, एक IRT-आधारित जोखिम सीमा, और समस्या-प्रकार बहिष्करण) के माध्यम से संचालित करते हैं जो कचचे AI स्कोर को एक स्वीकार/निलंबन नीति में बदलते हैं, और दिखाते हैं कि गलत सकारात्मक (AI द्वारा वास्तव में गलत उत्तरों को क्रेडिट देना) अपहचित रहते हैं क्योंकि छात्र शायद ही कभी उन्हें चुनौती देते हैं — चयनात्मक स्वचालन का एक ठोस मनोमापनात्मक रूप से आधारित मार्ग (Assisting the grading of a handwritten general chemistry exam with artificial intelligence)।
विश्वविद्यालय परीक्षा में अर्ध-खुली हस्तलिखित गणित (2026): Liu et al. ने एक जर्मन स्नातक गणित परीक्षा को GPT-4 से दो निष्कर्षण मार्गों (पूर्व-कटे उत्तर बॉक्स बनाम संपूर्ण पृष्ठ), दो ऑप्टिकल-कैरेक्टर-पहचान मार्गों और दो रूब्रिक प्रारूपों पर ग्रेड किया, मानव ग्रेड के विरुद्ध Krippendorff का अल्फा 0.22-0.44 और सर्वोत्तम कार्यप्रवाहों पर सटीकता 0.59-0.62 और प्रति-समस्या सटीकता 0.27-0.91 तक रिपोर्ट की - उच्च-दांव योगात्मक उपयोग के लिए स्वीकार्य नहीं। बहु-मानदंड ग्रेडिंग नियमों का मदबद्ध करना सामान्यतः सहमति सुधारा नहीं (इसने आंशिक-क्रेडिट समस्या में मदद की), बिना रूब्रिक के मुक्त ग्रेडिंग बहुत खराब थी (सटीकता 0.50-0.51), और मानव पुनः-जाँच के लिए ग्रेड चिह्नित करने के लिए एक संभाव्यात्मक आत्मविश्वास फिल्टर ने सटीकता को महत्वपूर्ण रूप से सुधारा नहीं जबकि प्रतिक्रियाओं के 7-41 प्रतिशत को गलत तरीके से विश्वसनीय चिह्नित किया। अध्ययन का स्थानांतरणीय पाठ प्रक्रियात्मक है: उत्तर बॉक्स काटने के बजाय मार्करों के साथ पूरी परीक्षा पत्रक स्कैन और लिप्यंतरित करें, क्योंकि छात्र बॉक्स सीमाओं के पार लिखते हैं; शिक्षण सहायकों के लिए लिखे ग्रेडिंग नियमों को फिर से लिखें, क्योंकि मॉडल ने मानव के लिए किए गए एक नियम से अनुरोधित नहीं किए गए व्युत्पत्ति का प्रयास किया; और ध्यान दें कि मानव-ग्रेडिंग नियम स्वयं पाँच रूपों में 0.88 अल्फा पर लाक्षणिक थे, इसलिए प्रॉम्प्ट मज़बूती अवरोध नहीं है।
लेखन स्क्रीनिंग के लिए LLM तुलनात्मक निर्णय (2026): Mercer और Reed ने सात LLM को युग्मवारी तुलनात्मक न्यायाधीशों के रूप में उपयोग किया ताकि तीन स्क्रीनिंग अवसरों पर कक्षा 3–6 के 1,208 छात्रों की सूचनात्मक लेखन को स्कोर किया जाए। LLM-CJ स्कोर विश्लेषणात्मक रूब्रिक स्कोर के साथ मज़बूती से सहसंबद्ध थे (r = .67–.73, Gemini-3.1 Pro के लिए सबसे मज़बूत) जिसमें दक्षता के लिए AUC .82–.86; निष्कर्ष मॉडलों में स्थिर थे, अधिक महँगे, अधिक सक्षम वालों से थोड़ा वैधता लाभ के साथ, जबकि तीन लेखन नमूनों को औसत में लेने से सटीकता सुधरी — नमूनागत चौड़ाई मॉडल चुनाव से अधिक मायने रखती थी। बहुभाषी शिक्षार्थियों के लिए पूर्वानुमान-पूर्वाग्रह पैटर्न मानव रूब्रिक स्कोरिंग से मेल खाए, जो LLM-CJ को एक कुशल, कम लागत वाले स्क्रीनिंग दृष्टिकोण के रूप में समर्थन देते हैं (Validity of Large Language Model Comparative Judgment for Universal Writing Screening)।
शिक्षक ग्रेडिंग के साथ गुणवत्ता-निर्भर संरेखण (2026): ChatGPT, सहपाठियों और एक शिक्षक की वही स्नातक समूह परियोजनाएँ ग्रेड करने की तुलना करते हुए, Usher और Faraon ने पाया कि ChatGPT का शिक्षक के साथ संरेखण परियोजना गुणवत्ता बढ़ने के साथ सुधरा — इसका सबसे बड़ा अति-आकलन कम-गुणवत्ता कार्य के लिए था (≈ +14 अंक), जो उच्च-गुणवत्ता परियोजनाओं के लिए ≈ +2.5 अंकों तक सिकुड़ गया। ChatGPT ने औसतन सहपाठियों और शिक्षक दोनों से अधिक ग्रेड किया, एक ग्रेड-मुद्रास्फीति प्रवृत्ति जो एक स्वतंत्र योगात्मक ग्रेडर के रूप में इसकी विश्वसनीयता को कमज़ोर करती है, विशेषकर कमज़ोर सबमिशन के लिए।
छोटे-संग्रह के सहमति आँकड़े परिनियोजन निर्णयों को भ्रमित कर सकते हैं। 60 मार्केटिंग पोस्ट (15 छात्र और 15 शोधकर्ता-रचित कम-गुणवत्ता एंकर) को दो स्वतंत्र मानव मूल्यांककों के विरुद्ध स्कोर करने से LLM के लिए .435, समान-भार नियम-प्लस-LLM संकर के लिए .266 और नियतात्मक नियमों के लिए .091 निरपेक्ष सहमति ICC(2,1) मिली, 0-100 पैमाने पर क्रमशः 6.28, 10.53 और 17.22 अंकों की MAE के साथ; संकर अकेले LLM से महत्वपूर्ण रूप से खराब था (युग्मित ICC अंतर -.169, 95% CI [-.260, -.106])। एंकर जोड़ने से अंतर-मूल्यांकक ICC .338 से .902 और LLM सहमति .435 से .846 बढ़ी, और एक लगभग-रिक्त पोस्ट को मानव औसत 30.5 के विरुद्ध 75 दिया गया, जो दिखाता है कि एक अधम पतन प्रतिक्रिया एक छोटे मूल्यांकन को प्रभावित कर सकती है। (Agreement and error in automated scoring of student marketing posts)
संरचित LLM ग्रेडिंग विश्लेषणात्मक दिख सकती है बिना नैदानिक होने (2026): 50 कंप्यूटर-विज्ञान प्रश्नों के 3,041 प्रतिक्रियाओं को स्कोर करते हुए, तीन व्यावसायिक LLM ने रूब्रिक उप-आयाम बनाए जो लगभग-अतिरेकी थे (r = 0.82–0.99, VIF 45 तक) और केवल 4.8–7.4% टिप्पणियों में गलतफहमियाँ नामित कीं, शिक्षकों के 15.0% के विरुद्ध (Zhao et al., 2026)।

मेटाडेटा

इच्छित पाठक	Instructors
प्रौद्योगिकियाँ और तकनीकें	बड़े भाषा मॉडल (LLMs)
मूल्यांकन और मापन	मूल्यांकन, मूल्यांकन की वैधता, स्वचालित मूल्यांकन, स्वचालित निबंध स्कोरिंग, निर्माणकारक मूल्यांकन
समानता, नैतिकता और जिम्मेदार उपयोग	पूर्वाग्रह शमन
शिक्षा में AI की नींव	शिक्षण

Source History Edit Chat