स्वचालित निबंध स्कोरिंग

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

स्वचालित निबंध स्कोरिंग (AES) — लिखित निबंधों के मूल्यांकन और स्कोरिंग के लिए AI का उपयोग, जिसमें पारंपरिक सांख्यिकीय दृष्टिकोण, सूक्ष्म-अनुकूलित (fine-tuned) भाषा मॉडल और तेज़ी से सुलभ होती बड़े भाषा मॉडल (LLMs)-आधारित प्रॉम्प्टिंग रणनीतियाँ शामिल हैं। इस ज्ञानकक्ष में AES अनुसंधान स्कोरिंग शुद्धता, निष्पक्षता और पूर्वाग्रह, मनोमितीय वैधता तथा शिक्षकों के लिए व्यावहारिक सुगम्यता को कवर करता है।

विचार करने योग्य प्रश्न

• स्वचालित निबंध स्कोरिंग पारंपरिक सांख्यिकीय मॉडलों से LLM-आधारित प्रॉम्प्टिंग की ओर बढ़ चुका है। इस पेज पर एक प्रमुख तनाव शुद्धता और सुलभता के बीच है — सूक्ष्म-अनुकूलित मॉडल अच्छा स्कोर करते हैं लेकिन अधिकांश शिक्षकों के लिए अव्यावहारिक हैं। आप अपने संदर्भ में किसे प्राथमिकता देंगे, और क्यों?
• एक प्रमुख खोज यह है कि केवल प्रॉम्प्ट में उदाहरण-निबंध शामिल करना ही LLM-मानव सहमति को मानव-मानव विश्वसनीयता के बहुत नज़दीक ले आता है — और एक सस्ता मॉडल एक महँगे मॉडल के बराबर का प्रदर्शन कर सकता है। यह AES गुणवत्ता का कितना हिस्सा मॉडल पर निर्भर है और कितना उस पर कि उसे कैसे प्रॉम्प्ट किया जाता है, इस बारे में क्या संकेत देता है?
• पेज चेतावनी देता है कि AI स्कोरिंग भाषाई रूप से विविध पृष्ठभूमि के विद्यार्थियों को व्यवस्थित रूप से कम आँक सकता है। पढ़ने से पहले, यदि आप देखते कि किसी गैर-मूल भाषी वक्ता के निबंध को AI कम स्कोर देता है, तो क्या आप इसे 'पूर्वाग्रह की समस्या' मानते या केवल 'स्कोर' मानते? आपकी प्रतिक्रिया को क्या बदल देगा?
• एक आत्म-संदर्भी (self-referential) दृष्टिकोण L2 लेखकों का मूल्यांकन उनके लेखन की तुलना मूल भाषी मानदंडों के बजाय उनके अपने पूर्व कार्य से करके करता है। तुलना-आधार (baseline) का चुनाव स्कोर के अर्थ को कैसे बदलता है — और किन विद्यार्थियों के साथ यह अधिक न्यायसंगत व्यवहार कर सकता है?
• AES प्रतिपादक (formative) मूल्यांकन के साथ प्रतिच्छेद करता है जब इसका उपयोग ग्रेडिंग के बजाय प्रतिपुष्टि के लिए होता है। किसी विकासशील लेखक के लिए किसी मशीन का निबंध पर प्रतिपुष्टि कब वास्तव में उपयोगी होगी, और कब यह उन गुणात्मक प्रतिपुष्टि के प्रकारों को समतल कर सकती है जो एक मानव संपादक देगा?

परिचय

स्वचालित निबंध स्कोरिंग की शैक्षणिक प्रौद्योगिकी में एक लंबी इतिहास है, शुरुआती सांख्यिकीय मॉडलों से लेकर आधुनिक LLM-आधारित दृष्टिकोणों तक जो बड़े पूर्व-स्कोर किए गए डेटासेट के बिना निबंधों का समग्र मूल्यांकन कर सकते हैं। AES अनुसंधान में मुख्य तनाव शुद्धता और सुलभता के बीच है — जहाँ सूक्ष्म-अनुकूलित मॉडल मज़बूत परिणाम प्राप्त करते हैं, वे संसाधन-गहन हैं और अधिकांश शिक्षकों के लिए अव्यावहारिक हैं।

• Zhang et al. RACES पुरस्कार-संरेखण (reward alignment) का उपयोग करके LLM निबंध स्कोरिंग को शुद्ध और सुसंगत दोनों बनाता है, जिससे एक मुख्य AES वैधता चिंता को संबोधित किया जाता है।

प्रमुख अनुसंधान थीम

प्रॉम्प्टिंग-आधारित AES सबसे अधिक सुलभ दृष्टिकोण के रूप में उभरा है। Choi et al. की एंकर पेपर अध्ययन दिखाता है कि प्रॉम्प्ट में उदाहरण-निबंध शामिल करने से LLM-मानव सहमति मानव-मानव विश्वसनीयता के बहुत नज़दीक पहुँच जाती है, जिसमें GPT-4o mini कम लागत पर GPT-4o के तुलनीय परिणाम प्राप्त करता है। यह व्यापक प्रॉम्प्ट इंजीनियरिंग अनुसंधान से जुड़ता है और AES को शिक्षक उपयोग के लिए व्यवहार्य बनाता है।

मनोमितीय और गुण-स्तरीय स्कोरिंग समग्र स्कोर से आगे जाती है। PsyScore ZPD-आधारित प्रतिपुष्टि के साथ गुण-अनुकूली स्कोरिंग के लिए एक मनोमितीय-सचेत ढाँचा प्रदान करता है। ICLE++ समग्र निबंध स्कोरिंग के लिए सूक्ष्म-स्तरीय गुणों को मॉडल करता है, जिससे स्वचालित मूल्यांकन की परिशुद्धता बढ़ती है।

• विमा-स्तरीय गुण स्कोरिंग प्रत्येक विमा के पीछे के डेटा द्वारा सीमित होती है। Firdausi et al. (2026) ने 106 इंडोनेशियाई ग्यारहवीं कक्षा के भौतिकी निबंधों (83 प्रशिक्षण के लिए, 23 परीक्षण के लिए, तीन शिक्षक मूल्यांककों द्वारा प्रत्येक विमा पर कैपा 0.78–0.84 पर सहमति) पर एनिस के FRISCO समालोचनात्मक-चिंतन ढाँचे की प्रत्येक विमा के लिए एक वर्गीकर्ता प्रशिक्षित किया। सहमति तर्क के बजाय अभिव्यक्ति पर केंद्रित थी: द्विघात-भारित कैपा स्पष्टता (Clarity) के लिए 0.763 और स्थिति (Situation) के लिए 0.728 तक पहुँचा, लेकिन फोकस (Focus) के लिए केवल 0.374, कारण (Reason) के लिए 0.332 और अनुमान (Inference) के लिए 0.227। क्रमिक संकेत निर्मित था, प्रेक्षित नहीं — सिंथेटिक स्तर-1 निबंध (टेम्पलेट निर्माण, मूल लंबाई के 20–40% तक अपचय, कीवर्ड हटाना) और LLM पराफ़्रेज़िंग ने फोकस को 0.028 आधार-रेखा से +0.346 कैपा बढ़ाया — और एक विन्यास ने 0.652 शुद्धता प्राप्त की जबकि कैपा लगभग शून्य या ऋणात्मक था, इसलिए क्रमिक AES में शुद्धता उपयोगी चयन-मानदंड नहीं है।

पूर्वाग्रह और निष्पक्षता एक महत्वपूर्ण चिंता है। Feser & Tschisgale ने पाया कि AI स्कोरिंग भाषाई रूप से विविध पृष्ठभूमि के विद्यार्थियों को व्यवस्थित रूप से कम आँकता है, जिससे AES तैनाती में पूर्वाग्रह शमन और समानता विचारों की आवश्यकता उजागर होती है।

मानव मूल्यांककों से असहमति व्यवस्थित है, यादृच्छिक नहीं। तैयार-निकले (out-of-the-box) GPT और Llama मॉडल मानव स्कोर के साथ केवल दुर्बल सहमति दिखाए (दो मानव मूल्यांककों के बीच 0.72 के मुकाबले QWK ≈ 0.17–0.28) और गुणवत्ता-निर्भर दिशा में पूर्वाग्रह — छोटे, अविकसित निबंधों के लिए अधिक और लंबे, मज़बूत निबंधों के लिए कम जिनमें मामूली सतही त्रुटियाँ हों (Mathew et al. (2026)).

L2 और आत्म-संदर्भी मूल्यांकन गैर-मूल लेखन संदर्भों का पता लगाता है। प्रोफ़ाइल-आधारित L2 मूल्यांकन एक आत्म-संदर्भी दृष्टिकोण का उपयोग करता है जो विद्यार्थी के लेखन की तुलना मूल भाषी मानदंडों के बजाय उनके अपने पूर्व कार्य से करता है।

व्याख्यायिता और विशेषता-भारण यह खोलता है कि LLM वास्तव में कैसे स्कोर करते हैं। Wang et al. (2026) ने गैर-मूल अंग्रेज़ी निबंधों पर सोलह पाठ्य विशेषताओं में तीन LLM (Qwen, GPT, Gemini) की तुलना मानव मूल्यांककों से की, जिससे मज़बूत समग्र संरेखण मिला लेकिन भारण में स्पष्ट अंतर: LLM ने व्याकरणिक शुद्धता, शब्दसागर की परिष्कृतता और वाक्य-रचना की जटिलता पर बल दिया, जबकि मानव मूल्यांककों ने सामग्री की पूर्णता और दृश्य प्रस्तुतीकरण को प्राथमिकता दी। महत्वपूर्ण रूप से, LLM ने दक्षता-स्तर के अनुसार अपना भारण बदला — कम-दक्षता वाले विद्यार्थियों के लिए भाषा त्रुटियों पर अधिक भार और अधिक-दक्षता वाले विद्यार्थियों के लिए बढ़ती भाषाई परिष्कृतता के पुरस्कार — जबकि मानव मूल्यांककों ने अधिक स्थिर ढाँचा बनाए रखा। Liu, Ye, and Yan (2026) इसे 60 लंबे निबंधों पर पाँच-मॉडल मूल्यांकन ढाँचे (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) के साथ विस्तारित करते हैं, जिसमें कारण-खोज (causal discovery) से अलग-अलग मूल्यांकनात्मक अनुमान पता चलते हैं: अधिकांश मॉडलों ने शब्दसागरीय परिशुद्धता और प्रवाह को प्राथमिकता दी, जबकि अन्य ने वाक्य-रचना जटिलता या अंतर-क्षेत्रीय एकीकरण पर बल दिया, और कुछ में असंगति, स्कोर संपीड़न या व्यवस्थित कम-आँकन दिखा। मिलाकर ये अध्ययन स्थापित करते हैं कि AES वैधता केवल समग्र सहमति पर नहीं, बल्कि इस पर निर्भर करती है कि मॉडल विशेषताओं को किस प्रकार भारित करते हैं और क्या वह भारण शिक्षार्थी उपसमूहों में स्थिर है — जो सीधे मूल्यांकन की वैधता और पूर्वाग्रह शमन ऑडिटिंग को सूचित करता है।

आइटम-प्रकार सीमाएँ और निबंध ग्रेडिंग की सीमाएँ। एक मिश्रित-प्रारूप विश्वविद्यालयीय परीक्षा में, Falahat, Das, Bhaumik & Thambi (2026) ने पाया कि ChatGPT-5 की संकल्पना (concordance) संकाय के साथ वस्तुनिष्ठ प्रश्नों पर पर्याप्त से लगभग-पूर्ण थी (CCC 0.935–1.000) लेकिन खुले प्रश्नों पर तेज़ी से गिर गई — अल्पोत्तर (short-answer) के लिए लगभग शून्य से ऋणात्मक और निबंध प्रश्नों के लिए केवल 0.341–0.854 — और एक संरचित रूब्रिक ने निबंध सहमति को लगातार सुधार नहीं दिया। यह AES वैधता को सीमित करता है: मॉडल प्रवाह अच्छी तरह निर्दिष्ट प्रश्नों पर मदद करता है लेकिन समग्र निबंध स्कोरिंग तक नहीं बढ़ता, जहाँ आंशिक-श्रेय प्रतिक्रियाओं की संदर्भगत व्याख्या अब भी मानव निर्णय के पक्ष में है।

नैदानिक सहमति में समस्या-प्रकार की सीमाएँ। Yao and Fan (2026) ने संशोधन से पहले विशिष्ट लेखन समस्याओं को लेबल करने के लिए DeepSeek-R1 का उपयोग किया और तीन चक्रों में उसके लेबलों की तुलना शिक्षक निदान से की (माध्य F1 = 0.768, SD = 0.037)। सहमति स्थानीय रूप से संकेतित समस्याओं जैसे शब्दावली शब्द-चयन (F1 = 0.824) पर सर्वाधिक और जहाँ समस्या दावा-प्रमाण संबंध पर निर्भर करती थी वहाँ सबसे कम थी (स्रोत उपयोग और प्रमाण, 0.579), इसलिए नैदानिक भूमिका में सहमति समस्या-प्रकार पर निर्भर करती है, केवल मॉडल या प्रॉम्प्ट पर नहीं।

• विकृत रूब्रिक वितरण समग्र स्कोरिंग मेट्रिक्स को भ्रामक बना सकता है। रूब्रिक विमा का स्वचालित मूल्यांकन एक वर्गीकरण कार्य हो सकता है जिसमें लेबल वितरण एकतरफा हो, न कि एक सतत स्कोर: 1,954 हंगेरियाई विद्यार्थी निबंधों में चिंतन-स्तर (reflection level) 0-3 को अंकित करने पर 68% निबंध स्तर 3 पर और 1.8% स्तर 0 पर थे, और सर्वश्रेष्ठ उथला विन्यास (Qwen3 एम्बेडिंग के साथ SMOTEBoost) ने शुद्धता, F1 और ROC-AUC पर औसतन 0.7176 का समग्र स्कोर प्राप्त किया, जबकि सर्वश्रेष्ठ सूक्ष्म-अनुकूलित ट्रांसफ़ॉर्मर के लिए 0.6872 — फिर भी एक RidgeClassifier विन्यास ने केवल 0.5162 शुद्धता पर 0.7131 ROC-AUC दिया, और वर्ग-संतुलन ने प्रत्येक मेट्रिक घटाया (शुद्धता 0.6672 से 0.6408 तक गिरी), इसलिए लेखक मॉडल-चयन को यह प्रश्न मानते हैं कि कौन-सा मेट्रिक मायने रखता है, और ट्रांसफ़ॉर्मर अल्पसंख्यक-वर्ग संवेदनशीलता के माध्यम से अपनी जगह बनाते हैं, समग्र सहमति से नहीं (Csibi et al., 2026)।

उच्च-दांव तैनाती के प्रमाण। एक वास्तविक उच्च-दांव तैनाती से क्षेत्रीय प्रमाण (उरुग्वे का Acredita EB, 2024–2025; Curi et al.) दिखाता है कि प्रॉम्प्ट-अभिकलित GPT-5 प्रशिक्षित मानव मूल्यांककों के साथ 15-मद वाले विश्लेषणात्मक स्पेनिश रूब्रिक पर 60–80% सहमति प्राप्त करता है, अधिकांश मदों के लिए मानव अंतर-मूल्यांकक सहमति से लगभग पाँच प्रतिशत अंक कम और कभी भी 15 अंक से अधिक कम नहीं, और लगभग सभी मदों के लिए चालान-से-चालान संगति 90% से अधिक। शब्दावली, वाक्य-रचना और वर्तनी सबसे कमज़ोर विमाएँ थीं, और वर्तनी मद को एक निर्धारक व्याकरण-जाँचकर्ता (LanguageTool, 68% शुद्धता, 100% संगति) को सौंपना पड़ा क्योंकि टोकन-स्तरीय ऑर्थोग्राफ़ी वह जगह है जहाँ मॉडल सबसे कम स्थिर है। एक परीक्षा संस्करण के लिए बने प्रॉम्प्ट अगले में केवल विषय-विशिष्ट संपादन के साथ स्थानांतरित हो गए, और AI व्यवस्थित रूप से मानवों से कठोर था — कम ग्रेडिंग, अधिक ग्रेडिंग नहीं। AES डिज़ाइन के लिए सबक यह है कि प्रॉम्प्टिंग-आधारित स्कोरिंग एक राष्ट्रीय परीक्षा में भी मानव सहमति के नज़दीक पहुँच सकती है, जबकि इसकी शेष कमज़ोरी निम्न-स्तरीय भाषा परंपराओं के स्तर पर है, समग्र लेखन गुणवत्ता पर नहीं।

टोकन-स्तरीय विश्वास, संभावना-भारित स्कोरिंग और एनसेंबलिंग में से प्रत्येक ने अपसरण-चिंतन (divergent-thinking) स्कोरिंग पर सहमति सुधारी — संचित तकनीकें r = 0.846 (RMSE = 0.4848) तक पहुँचीं, और केवल सबसे कम आत्मविश्वास वाले 20% प्रतिक्रियाओं को मानव समीक्षा के लिए भेजने से मैनुअल प्रयास लगभग 80% कम हुआ (Organisciak & Acar (2026)).

मानव बेंचमार्क, और वह क्या और क्या नहीं लाइसेंस दे सकता। OpRaise अध्ययन इस ज्ञानकक्ष का यह सबसे मज़बूत परीक्षण है कि LLM अंकन नियमित उपयोग के लिए तैयार है या नहीं, और इसका उत्तर बेंचमार्क पर निर्भर करता है, मॉडल पर नहीं। इसने तीन अग्रणी प्रणालियों (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash) की तुलना 27 प्रॉम्प्ट विन्यासों में से एक के अंतर्गत की — जो रूब्रिक विशिष्टता, अंशांकन (calibration) और स्कोरिंग रणनीति को पार करते थे — तीन ब्रिटिश विश्वविद्यालयों में 125 विद्यार्थियों के 761 प्रामाणिक मनोविज्ञान निबंधों के संयमित अंकों के साथ। मानव अंकों को सत्य-सत्य (ground truth) के रूप में अपनाया गया क्योंकि शैक्षणिक निर्णय सामाजिक रूप से स्वीकृत मानदंड है, और लेखक टिप्पणी करते हैं कि मानव अंकक एक-दूसरे से केवल मध्यम सहमति दिखाते हैं — जो यह सीमित करता है कि AI–मानव सहमति से कितनी मज़बूत माँग की जा सकती है। उस बेंचमार्क के मुकाबले, UK डिग्री बैंड पर सहमति संस्थान के अनुसार 35 से 65 प्रतिशत थी (कैम्ब्रिज में 63 प्रतिशत, नॉटिंघम में 53 प्रतिशत, मैनचेस्टर मेट्रोपॉलिटन में 35 प्रतिशत) और उनके बीच स्थानांतरित नहीं हुई, इसलिए रिपोर्ट की केंद्रीय सिफ़ारिश किसी संस्थान के अपने मूल्यांकन सामग्री पर स्थानीय सत्यापन है। इस संग्रह से परे दो खोजें सामान्यीकृत होती हैं। पहली, विश्वसनीयता और सहमति अलग होती हैं: प्रत्येक मॉडल ने लगभग समान रूप से पुनः अंकन किया (ICC 1.00, 1.00, 0.97) और मॉडल एक-दूसरे से मानवों से अधिक नज़दीक सहमत थे (तीन-मॉडल ICC 0.91), फिर भी तीनों केवल 56 प्रतिशत प्रस्तुतियों पर डिग्री बैंड पर सहमत हुए — आत्म-संगति वैधता नहीं है। दूसरी, AI अंक स्केल के मध्य की ओर संपीडित हुए (संपीडन स्कोर 0.47–0.82, जिसमें वह क्रॉसओवर जहाँ AI और मानव औसतन सहमत होते हैं ऊपरी 50s से निम्न 60s में है), जिससे AI ठीक उन ग्रेड सीमाओं पर सबसे कम सटीक होता है जो फर्स्ट (Firsts) और अपर सेकंड (Upper Seconds) तथा पास और फेल को अलग करती हैं। शब्दावली सीमा, संयोजक, वाक्य जटिलता और पाठ लंबाई ने AI अंकों की भविष्यवाणी छोटे लेकिन महत्वपूर्ण प्रभाव के साथ की, जबकि मानव अंकों के साथ उनका संबंध व्यापक रूप से नगण्य था — यह भाषाई-पूर्वाग्रह चिंता का सीधा प्रदर्शन है, और जिसे परखे गए किसी भी प्रॉम्प्टिंग रणनीति ने नहीं हटाया।

एक न्यायाधीश के बजाय प्रशिक्षण संकेत के रूप में AES। स्कोरिंग मॉडलों का सामान्यतः मूल्यांकक के रूप में अध्ययन किया जाता है, लेकिन SWIM एक का उपयोग पुरस्कार-फलन के रूप में करता है: Do, Kontak and Sachan (2026) एक बहु-गुण AES सत्यापक को स्थिर करते हैं और उसे उत्पन्न विद्यार्थी निबंधों के विरुद्ध स्कोर करते हैं, जिससे भविष्यवाणी किया गया गुण प्रोफ़ाइल GRPO के लिए एक घना प्रति-निबंध पुरस्कार बनता है (लक्ष्य प्रोफ़ाइल से माध्य गुण-सामान्यीकृत दूरी), जानबूझकर स्वयं द्विघात-भारित कैपा मेट्रिक नहीं, क्योंकि QWK लक्ष्य-भविष्यवाणी जोड़ों के बैच पर परिभाषित है और प्रति-नमूना संकेत नहीं है, जबकि बहु-गुण सेटिंग में सटीक-मेल पुरस्कार बहुत विरल होते हैं। लाभों की पुनः जाँच एक DeBERTa स्कोरर और एक केवल-मूल्यांकन सत्यापक के विरुद्ध की गई जिसके विरुद्ध नीति ने कभी प्रशिक्षण नहीं लिया (SFT के लिए 0.598 बनाम 0.479, और 0.647 बनाम 0.501), जो वह जाँच है जो वास्तविक दक्षता-नियंत्रण को पुरस्कार मॉडल के अनुकूलन से अलग करती है। AES अनुसंधान के लिए यह एक दूसरी वैधता माँग है: प्रशिक्षण लक्ष्य के रूप में उपयोग किया गया स्कोरर स्वयं के विरुद्ध अनुकूलित किया जा रहा है, इसलिए उसका अपना गुण भारण और भाषा पूर्वाग्रह जनरेटर द्वारा सीखी गई हर चीज़ में फैलता है — इस पेज पर कहीं और प्रलेखित वही विशेषता-भारण असमानताएँ (मानव मूल्यांककों से अधिक व्याकरणिक शुद्धता, शब्दसागरीय परिष्कृतता और वाक्य-रचना जटिलता), अब केवल अंकों के बजाय प्रशिक्षण को आकार देती हुई।

• स्कोरिंग और प्रतिपुष्टि अलग-अलग विधियाँ चाहती हैं, इसलिए एक प्रणाली को उन्हें अलग करना चाहिए। Labib et al. (2026) ने एक TOEFL तर्कसंगत-निबंध प्रणाली को तीन मॉड्यूल के रूप में बनाया — स्कोरिंग, व्याकरण और यांत्रिकी पर सतह-स्तरीय प्रतिपुष्टि, और संगठन, सुसंगति और तर्क पर गहराई-स्तरीय प्रतिपुष्टि — बजाय एक ही मॉडल के जो तीनों काम करता हो, और पाया कि एक मॉड्यूल में जो जीतता है वह दूसरे में हारता है: एक स्वामित्व-समूह के 480 बेंचमार्क-स्कोर किए गए निबंधों में से 120 पर GPT-4o का पर्यवेक्षित सूक्ष्म-अनुकूलन, शेष 360 पर परखा गया, ने 0-5 स्केल पर 0.84 द्विघात-भारित कैपा और 0.44 RMSE प्राप्त किया, Wang और Gayed (2024) आधार-रेखा (QWK 0.78, RMSE 0.57) से आगे, फिर भी उसी सूक्ष्म-अनुकूलन ने प्रतिपुष्टि मॉड्यूल के लिए अप्रयोग्य उत्पादन किया, जहाँ Claude 3.7 की सीधी प्रॉम्प्टिंग ने ही शिक्षक-स्वीकृत टिप्पणियाँ बनाईं।

अन्य अवधारणाओं से संबंध

AES स्वचालित मूल्यांकन, लेखन और जनरेटिव-AI के प्रतिच्छेदन पर स्थित है। यह निर्माणकारक मूल्यांकन से जुड़ता है जब इसका उपयोग ग्रेडिंग के बजाय प्रतिपुष्टि के लिए होता है, प्रतिपुष्टि चक्र से जब इसे पुनरावृत्त लेखन प्रक्रियाओं में एकीकृत किया जाता है, और AI साक्षरता से जब शिक्षक AES उपकरणों को समझते और अंशांकित करते हैं। मूल्यांकन की वैधता और शैक्षणिक मापन अवधारणाएँ यह सुनिश्चित करने के लिए आवश्यक हैं कि AES स्कोर सार्थक और निष्पक्ष हों।

• सहमति, त्रुटि और एक संकर स्कोरर क्या जोड़ता है। एक छोटे खुले विपणन-लेखन संग्रह में LLM ने मानव मूल्यांककों के साथ पूर्ण सहमति पर निर्धारक नियमों और समान-भार संकर दोनों से अधिक स्कोर पाया (ICC(2,1) .435 बनाम .266 और .091), संकर LLM अकेले से काफ़ी खराब, जबकि स्कोर वितरण और एक लगभग-खाली प्रतिक्रिया ने दिखाया कि ऐसे अनुमान संग्रह संरचना पर कितनी मज़बूत निर्भर करते हैं (Agreement and error in automated scoring of student marketing posts)।

खुली प्रणालियाँ भी इस चित्र का हिस्सा हैं: AiAWE एक LoRA-अनुकूलित Gemma-3-27B-it से तर्कसंगत निबंधों को स्कोर करता है, QWK 0.828 और 360 मूल्यांकन निबंधों में 90.56% पर मानव स्कोर के ±0.5 के भीतर सहमति प्राप्त करता है — और सूचित करता है कि LoRA अनुकूलन के तहत मॉडल स्केल ने डाउनस्ट्रीम प्रदर्शन की विश्वसनीय भविष्यवाणी नहीं की (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models)।

संबंधित अवधारणाएँ

• पूर्वाग्रह शमन
• समानता
• स्वचालित मूल्यांकन
• भाषा अधिगम
• शैक्षणिक मापन
• K-12
• प्रॉम्प्ट इंजीनियरिंग
• लेखन
• AI साक्षरता
• मूल्यांकन की वैधता

संबंधित लेख

• Automatic Reflection Level Classification in Hungarian Student Essays — हंगेरियाई विद्यार्थी निबंधों में चिंतन-स्तर का स्वचालित वर्गीकरण
• WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays — WrAFT: तर्कसंगत निबंधों के लिए एक मॉड्यूलीकृत स्वचालित लेखन मूल्यांकन प्रणाली
• Educational Innovation through Automated Essay Scoring: A Multidimensional Framework for Evaluating Critical Thinking in High School Physics Essays — शैक्षणिक नवाचार स्वचालित निबंध स्कोरिंग के माध्यम से: उच्च विद्यालय भौतिकी निबंधों में समालोचनात्मक चिंतन के मूल्यांकन के लिए एक बहु-विमीय ढाँचा
• AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — OpRaise रिपोर्ट: तीन ब्रिटिश विश्वविद्यालयों में 761 विश्वविद्यालयीय निबंधों का AI अंकन
• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — बड़े पैमाने के लेखन मूल्यांकन में AI-सहायित स्कोरिंग के लिए एक मानव-इन-द-लूप ढाँचा
• RACES: reward-aligned consistent essay scoring with large language models — RACES: LLM के साथ पुरस्कार-संरेखित सुसंगत निबंध स्कोरिंग
• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics
• Anchor Is the Key: Toward Accessible Automated Essay Scoring with Large Language Models Through Prompting
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
• LLMs Do Not Grade Essays Like Humans — LLM मानवों की तरह निबंध ग्रेड नहीं करते (Mathew et al. 2026)
• PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback
• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs
• AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models
• From automated scoring to learning diagnosis: a mechanism study of AI-supported formative assessment in English writing — स्वचालित स्कोरिंग से सीखने के निदान तक: अंग्रेज़ी लेखन में AI-समर्थित प्रतिपादक मूल्यांकन का एक तंत्र अध्ययन
• Opening the Blackbox of LLM-Based Automated Essay Scoring: Insights into Feature Weighting Patterns and Score Validity — LLM-आधारित निबंध स्कोरिंग में विशेषता-भारण पैटर्न (Wang et al. 2026)
• A Framework for Evaluation of Large Language Models in Essay Assessment: Reliability, Alignment, and Causal Reasoning — निबंध मूल्यांकन में LLM के मूल्यांकन के लिए ढाँचा (Liu, Ye & Yan 2026)
• Bridging technology and education: The use of ChatGPT in grading pharmacy student exams
• Know When to Trust: Making AI Scoring More Reliable for Educational Assessment — जानें कब भरोसा करें: आत्मविश्वास, भारित संभाव्य स्कोरिंग और एनसेंबलिंग LLM स्कोरिंग सहमति सुधारते हैं
• SWIM: Student Writing Simulation via Proficiency-Conditioned Generation — एक लेखन जनरेटर के लिए घना प्रशिक्षण पुरस्कार के रूप में उपयोग किया गया एक स्थिर AES सत्यापक