बेंचमार्क

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

बेंचमार्क — शिक्षा संबंधी कार्यों पर AI मॉडल के प्रदर्शन को मापने के लिए उपयोग किए जाने वाले मानकीकृत परीक्षण सूट और मूल्यांकन ढाँचे। बेंचमार्क मॉडलों और दृष्टिकोणों के बीच पुनरुत्पादनीय तुलना को संभव बनाते हैं, और शिक्षा प्रणालियों में AI की विश्वसनीयता, निष्पक्षता तथा शैक्षणिक गुणवत्ता के मूल्यांकन के लिए अनिवार्य हैं।

विचार के लिए प्रश्न

• बेंचमार्क शिक्षा संबंधी कार्यों पर AI मॉडल के प्रदर्शन मापने के लिए एक मानकीकृत परीक्षण सूट है। पढ़ने से पहले, आपकी धारणा के अनुसार अधिकांश AI बेंचमार्क वास्तव में क्या जाँचते हैं — और यह एक अच्छे शिक्षक को जो चाहिए उससे भिन्न क्यों हो सकता है?
• यह पेज एक शिक्षाशास्त्र बेंचमार्क (Pedagogy Benchmark) पर प्रकाश डालता है जो शैक्षणिक ज्ञान — शिक्षण रणनीतियाँ, मूल्यांकन विधियाँ, विशेष-शिक्षा शैक्षणिकी — को परीक्षित करता है, सामग्री ज्ञान को नहीं। कोई AI किसी विषय को शानदार ढंग से जानता हो फिर भी उसे पढ़ाने में असफल क्यों हो सकता है, और शैक्षणिकी को नज़रअंदाज़ करने वाला बेंचमार्क इसे क्यों मिस करेगा?
• यहाँ एक पाठ कार्यविधिगत है: आप किसी बेंचमार्क को किस प्रकार सत्यापित करते हैं, इससे परिणाम नाटकीय रूप से बदलते हैं, और अतुलनीय (naive) सत्यापन कठोर, परीक्षण-स्वतंत्र तरीकों की तुलना में बहुत अधिक प्रदर्शन दिखाता है। कोई मॉडल डेवलपर या विक्रेता अच्छा दिखने के लिए सत्यापन को किस प्रकार तैयार करने के लिए प्रेरित हो सकता है, और आप उसे कैसे पहचानेंगे?
• बेंचमार्क प्रदर्शन प्रायः वास्तविक-विश्व उपयोगिता में स्थानांतरित नहीं होता। क्या आप कोई ऐसी स्थिति सोच सकते हैं जहाँ AI किसी बेंचमार्क को 'जीतता' है पर वास्तविक कक्षा में असफल रहता है — और केवल बेंचमार्क अंकों पर भरोसा करने के बारे में यह अंतर आपको क्या बताता है?
• पेज उल्लेख करता है कि बेंचमार्क डिज़ाइन स्वयं पूर्वाग्रह को अभिव्यक्त या बढ़ा-चढ़ाकर प्रस्तुत कर सकता है। यदि कोई बेंचमार्क कुछ कार्यों से, कुछ भाषाओं में, कुछ आबादियों से बना हो, तो यह अंत में किसकी सीख को मापता है — और किसकी नज़रअंदाज़ करता है?

परिचय

बेंचमार्क शिक्षा में AI के अनुसंधान के प्रमाण-आधार के रूप में कार्य करते हैं। ये मानकीकृत डेटासेट, कार्य और मेट्रिक प्रदान करते हैं जिनसे शोधकर्ता मॉडलों की तुलना कर सकते हैं, प्रगति को ट्रैक कर सकते हैं और विफलता मोड पहचान सकते हैं। ज्ञानकक्ष के अनुसंधान में बेंचमार्क कई क्षेत्रों में दिखाई देते हैं:

• CSTutorBench CS ट्यूटरिंग कार्यों के लिए छोटे भाषा मॉडलों का मूल्यांकन करता है।

• ANVIL AI-निर्मित शैक्षणिक एनिमेशन का मानव-निर्मित विकल्पों के विरुद्ध बेंचमार्क करता है।

• शिक्षण प्रतिपुष्टि बेंचमार्क प्रतिपुष्टि गुणवत्ता वर्गीकरण के भाषाओं में पार-स्थानांतरण का आकलन करते हैं।

• शैक्षणिकी बेंचमार्क (CDPK + SEND) शैक्षणिक ज्ञान — शिक्षण रणनीतियाँ, मूल्यांकन विधियाँ और विशेष-शिक्षा शैक्षणिकी — को परीक्षित करता है, सामग्री ज्ञान को नहीं, और 97 मॉडलों में लागत-विरुद्ध-सटीकता का एक "मूल्य सीमा" (value frontier) रिपोर्ट करता है (अधिकांश सामान्य बेंचमार्क सामग्री ज्ञान परीक्षित करते हैं; शैक्षणिकी एक विशिष्ट, शिक्षा-संबंधी महत्वपूर्ण आयाम है)।

• ISD-Agent-Bench 25,795 शिक्षण-डिज़ाइन परिदृश्यों में बड़े भाषा मॉडल (LLMs)-आधारित शिक्षण-डिज़ाइन एजेंटों का बेंचमार्क करता है, और दिखाता है कि शास्त्रीय ISD ढाँचों (ADDIE, Dick & Carey, Rapid Prototyping) में आधारित संकर एजेंट शुद्ध सिद्धांत या शुद्ध तकनीक से बेहतर प्रदर्शन करते हैं — यह एजेंटिक AI डिज़ाइन पर सीधे निहितार्थ वाला एक बेंचमार्क परिणाम है।

• शिक्षार्थी अनुकूलन को एक स्पष्ट बेंचमार्क मानदंड के रूप में। टीचिंग मॉन्स्टर चैलेंज किसी निर्दिष्ट शिक्षार्थी व्यक्तित्व के लिए अनुकूलन को स्कोर करता है, पर उसका स्वचालित LLM-न्यायाधीश केवल एक कमज़ोर पूंछ को अलग कर पाया — शीर्ष प्रणालियाँ उसकी सीमा के पास स्कोर करती रहीं और उसकी रैंकिंग भीड़-प्राथमिकता से असहमत रही (स्पीयरमैन ρ = −0.17) (Lin et al. (2026))।

AIED में बेंचमार्क क्यों मायने रखते हैं

बेंचमार्क AI शिक्षा मूल्यांकन और मूल्यांकन की वैधता से जुड़े हैं — कठोर बेंचमार्क के बिना, AI ट्यूटरिंग प्रभावशीलता के बारे में दावे असत्यापनीय हैं। ये पूर्वाग्रह शमन से भी प्रतिच्छेद करते हैं, क्योंकि बेंचमार्क डिज़ाइन पूर्वाग्रहों को अभिव्यक्त या बढ़ा-चढ़ाकर प्रस्तुत कर सकता है। बेंचमार्क प्रदर्शन और वास्तविक-विश्व उपयोगिता के बीच तनाव कई लेखों में खोजा गया है, जो जनरेटिव-AI अनुप्रयोगों में सीखने का अंतरण चिंताओं से जुड़ता है।

• विफलता मीट्रिक में हो, प्रणाली में नहीं। AlgoRAG ने सभी 179 सैद्धांतिक कंप्यूटर विज्ञान परीक्षा प्रश्नों पर BLEU-4 = 0.0000 स्कोर किया, जबकि एक छह-मानदंडीय शैक्षणिक रूब्रिक ने 0.7620 दिया, क्योंकि तार्किक रूप से तुल्य प्रमेण नियमानुसार संकेतन, चर नाम और प्रमेण रणनीति में भिन्न होते हैं। शून्य स्कोर n-gram ओवरलैप के बारे में उत्तर की गुणवत्ता से अधिक कहता है, जो औपचारिक-क्षेत्र AIED प्रणालियों के लिए सतही मेट्रिक को मुख्य संख्या मानने के विरुद्ध सामान्य तर्क है।

• निर्माण-स्तरीय प्रतिबिंबित बेंचमार्क। CFES-P24 मल्टीमीडिया-शिक्षण सिद्धांतों को निर्धारक, प्रतिवर्ती स्लाइड रूपांतरणों के रूप में व्यक्त करता है ताकि यह ऑडिट कर सके कि MLLM विशिष्ट शिक्षण-डिज़ाइन निर्माणों का प्रतिक्रिया करते हैं या संभाव्य समग्र रेटिंग उत्पन्न करते हैं। एक स्थिर पायलट ने निर्माण पहचान (संक्रिया, सिद्धांत, मरम्मत, प्रमाण स्थानीयकरण) को 8/8 में देखा, जबकि तुलनात्मक निर्णय (दिशा 6/8) और गंभीरता अंशांकन (0/8) असफल रहा — समग्र अंकों के विरुद्ध स्तरित स्कोरकार्ड का तर्क देता है।(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

• भ्रम और ऊर्जा को मूल्यांकन में आधार दें, केवल सटीकता में नहीं। Shen et al. (2026) ने भ्रम को पुनर्प्राप्त खुले-लाइसेंस खंडों के विरुद्ध entailment के रूप में स्कोर किया (विशेषज्ञ निर्णय के साथ κ = 0.76) और प्रति क्वेरी 1.8 mWh लॉग किया, और उनका ablation पुनर्प्राप्ति को पहले रखा: बिना किसी स्थानीय LLM ने 52.3% स्कोर किया, जो 55.4% TF-IDF आधाररेखा से नीचे है।

• उत्पन्न सामग्री पर निर्णय के विरुद्ध सत्यापन जीत सकता है। Kumar et al. (2025) उत्पन्न गणित आरेखों को एक schema-बाधित मध्यवर्ती प्रतिनिधित्व में पुनरनुवादित करते हैं और निर्धारक नियम जाँच चलाते हैं, जिससे मानव रेटरों के साथ उच्च सहमति (Cohen's κ 0.48–0.56) मिलती है, LLM-as-a-Judge (0.39–0.47) से अधिक, और एक छोटे मॉडल को 10× कम लागत में सर्वोत्तम न्यायाधीश के बराबर पहुँचने देते हैं।

• शारीरिक बेंचमार्क में परीक्षण-स्वतंत्र मूल्यांकन। Nanayakkara & Halloluwa (2026) EEG-आधारित परिचय पूर्वानुमान के लिए 15 ML/DL मॉडलों का बेंचमार्क करते हैं और दिखाते हैं कि सत्यापन योजना का चुनाव मुख्य परिणामों को नाटकीय रूप से बदलता है: मानक स्तरीकृत क्रॉस-सत्यापन temporal leakage की अनुमति देता है और 0.9853 F1 तक रिपोर्ट करता है, जबकि परीक्षण-स्वतंत्र Group K-Fold सत्यापन शिखर को 0.6038 F1 तक गिराता है। सबक — temporal/leakage-जागरूक मूल्यांकन विश्वसनीय शैक्षणिक बेंचमार्क के लिए अनिवार्य है — EEG से परे किसी भी बेंचमार्क तक विस्तारित होता है जो क्रमिक या समय-संरचित डेटा का उपयोग करता है।

• वितरण-परिवर्तन (distribution shift) leakage के परे एक दूसरा बेंचमार्क अक्ष है। एक बेंचमार्क जो किसी वर्गीकृत का in-distribution स्कोर और उसका transfer स्कोर रिपोर्ट करता है, वह दो भिन्न मात्राएँ रिपोर्ट कर रहा है: एक Bloom-स्तर वर्गीकृत अपने संग्रहित बैंक पर macro F1 0.88 पर रहा, दो AI-उत्पन्न प्रश्न-समूहों पर 0.48 और 0.20 तक गिरा, और लेबल-युक्त out-of-distribution डेटा पर पुनः प्रशिक्षण से 0.82 तक पुनर्प्राप्ति हुई, इसलिए एक अकेला in-distribution लीडरबोर्ड संख्या यह अतिरंजित करती है कि तैनात उपकरण क्या करेगा (Castanares et al., 2026)।

• पार-कॉर्पस स्थानांतरण का परीक्षण करने के लिए बना एक कॉर्पस। ICLE++ निबंधों को समग्र और दस गुण-स्तरीय अंकों के साथ एनोटेट करता है ताकि AES अनुसंधान का ASAP पर निर्भरता उजागर हो, जिसके समयबद्ध, केवल-मूल-वक्ता निबंध लंबाई को गुणवत्ता के साथ मिश्रित करते हैं; गुण एनोटेशन पर प्रशिक्षित मॉडल समग्र अंकों के अलावा से बेहतर पार-कॉर्पस स्थानांतरित हुए (Li & Ng, 2026)।

• मानव-मानदंडीकृत बेंचमार्क LLM के लिए वही निर्माण न मापे। Strugatski et al. (2026) ने एक रसायन नैदानिक और एक मात्रात्मक-तर्क परीक्षा पर मानव और मल्टीमोडल-LLM प्रतिक्रिया संरचनाओं की तुलना की; LLM और मानवों के बीच कारक सामझौता मानव-मानव आधाररेखा से नीचे रहा और समानांतर विश्लेषण ने भिन्न कारक संख्याएँ बरकरार रखीं।

• मल्टीमोडलिटी ने प्रमाण-अंशांकन में सुधार नहीं किया। MathCog पर, 639 हस्तलिखित गणित प्रतिक्रियाओं में 3,036 शिक्षक-एनोटेटेड निर्णय, 18 LLM में से कोई भी macro F1 0.5 तक नहीं पहुँचा — सर्वोत्तम, GPT-4o-img, ने 0.448 स्कोर किया — और मल्टीमोडल मॉडल, जब प्रमाण अस्पष्ट था, केवल-पाठ मॉडलों से अधिक अवनमत हुए, प्रमाणों को अति-आरोपित करते और उद्धरण गढ़ते हुए (Kim et al. (2025))।

• AI ट्यूटरिंग के लिए संश्लेषित बेंचमार्क। AI ट्यूटरिंग के मूल्यांकन के लिए खुले, पुनरुत्पादनीय डेटासेट दुर्लभ हैं। ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) सामाजिक रूप से भिन्नीकृत एजेंटों के साथ सहयोगी प्रोग्रामिंग का अध्ययन करने के लिए एक बहु-एजेंट ट्यूटरिंग प्रोटोटाइप और बेंचमार्क ढाँचा है, जो alone-tutor, pair-tutor और pair-multiagent विन्यासों का समर्थन करता है (N=540; 360 सत्र; 1,440 एपिसोड) तथा अंतःक्रिया, भागीदारी संतुलन और सत्यापन के पुनरुत्पादनीय विश्लेषण के लिए trace-ready स्कीमा के साथ।

• क्षितिज एक बेंचमार्क अक्ष है, विवरण नहीं। Lee et al. (2026) एक ट्यूटर एजेंट को एक अनुकरणीय शिक्षार्थी के साथ निरंतर 30-दिवसीय संबंध में रखते हैं और पाते हैं कि प्रत्येक अडेप्टर दिन 5–10 तक plateaus पर पहुँच गया, कोई भी अडेप्टर एक से अधिक आधार-मॉडल स्तर पर सीख प्राप्ति का नेतृत्व नहीं किया, और पाँच स्कोरिंग अक्ष काफ़ी हद तक स्वतंत्र थे।

• एक ट्यूटरिंग बेंचमार्क जो लीडरबोर्ड के विरुद्ध मानव ट्यूटरों के सापेक्ष स्कोर किया गया। StudentBench नव्य लिखित GRE आइटम पर AI ट्यूटरिंग, लाइव विशेषज्ञ मानव ट्यूटरिंग और एक वीडियो नियंत्रण में 2,383 वयस्कों को यादृच्छिक बाँटता है, और पाता है कि समूहबद्ध AI ट्यूटरिंग मानव ट्यूटरिंग के सांख्यिकीय रूप से समतुल्य है (p=.015) और नियंत्रण से 5.5-6.9 प्रतिशत-अंक अधिक; इसके शिक्षण-गुणवत्ता लीडरबोर्ड, 2,028 विशेषज्ञ युग्म-तुलनाओं से बने, पाठयोजनाओं और संवादी व्यवहार को रैंक करते हैं न कि यह कि विद्यार्थियों ने कितना सीखा (Northcutt et al. (2026))।

• बेंचमार्क का ऑडिट अब अपने आप में एक अनुसंधान योगदान है। तीन 2026 कलाकृतियाँ बेंचमार्क कार्य को लीडरबोर्ड समुच्चय से आगे बढ़ाती हैं। EduFair-Bench एक अनुकरणीय विद्यार्थी को स्थिर रखता है और जनसांख्यिकीय गुणों को बदलता है, जिससे टर्न-स्तरीय शैक्षणिक मेट्रिक के साथ ट्यूटरिंग बेंचमार्क एक निष्पक्षता ऑडिट बन जाता है (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics)। GeoVAD-Bench अंतिम सत्यता के विरुद्ध मध्यवर्ती दृश्य निर्माणों — अनुभूति, सहायक गुणवत्ता, उपयोग — का निदान करता है, 600 ज्यामिति समस्याओं पर (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving)। छह भौतिकी बेंचमार्क का विशेषज्ञ पुनः-ग्रेडिंग ने ऐसे अंकों की त्रुटि को मात्रात्मित किया: ऑडिट किए गए अस्वीकृतियों में 57.20% आइटम दोष थे, 38.00% ग्रेडर त्रुटियाँ और केवल 4.80% वास्तविक मॉडल विफलताएँ (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)। साथ मिलकर ये तर्क देते हैं कि किसी बेंचमार्क अंक को हमेशा उसके अपने ऑडिट किए गए त्रुटि बजट के साथ पढ़ा जाना चाहिए, जो वही अनुशासन है जो मूल्यांकन की वैधता कक्षा उपकरणों से माँगता है।

• निर्माण प्रतिमान के रूप में विलगित एनोटेशन और प्रश्न उत्पादन। अधिकांश बेंचमार्क प्रति आइटम या छवि कार्य-विशिष्ट प्रश्न–उत्तर युग्म बनाते हैं, जिससे नए कार्यों तक विस्तार महँगा होता है, कार्यों में डेटा का पुनःउपयोग कठिन होता है, और प्रश्न रूप व जटिलता पर सीमित नियंत्रण रहता है। MUSE क्रम पलटता है: प्रत्येक कलाकृति को एक बार अपने दृश्य और अर्थपूर्ण सामग्री के पुनःउपयोगी संरचित प्रतिनिधित्व में एनोटेट करें, फिर पूर्वनिर्धारित उत्पादन नियमों से 12 कार्य तत्काल बनाएँ, जिससे एक छवि से एक बहु-दृश्य मूल्यांकन उदाहरण मिलता है जिसमें कठिनाई और प्रारूप को स्पष्ट डिज़ाइन चर के रूप में व्यवहृत किया जाता है, उप-उत्पाद के रूप में नहीं (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)। डिज़ाइन के लिए इसका सहसंबंध प्रमाण एक दूसरा तर्क है — 12 कार्य संबंधित परंतु गैर-अतिरिक्त क्षमताएँ मापते हैं (Jigsaw Puzzle अधिकांश अन्य से कमज़ोर सहसंबंधित है, ρ = 0.25 से −0.10), और छह बाह्य बेंचमार्कों पर सामान्य मल्टीमोडल अंक कलात्मक शैक्षणिक चित्रण में असमान रूप से स्थानांतरित होते हैं (BLINK Jigsaw बनाम MUSE Jigsaw ρ = −0.20), जो शैक्षणिक रूप से प्रासंगिक क्षमता के प्रतिनिधि के रूप में किसी एकल समुच्चय अंक को पढ़ने के विरुद्ध निर्माण-आवरण का मामला है (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)।

• मल्टीमोडल आउटपुट उत्पादन वह अक्ष है जिसे अधिकांश बेंचमार्क छोड़ देते हैं। Chen et al. (2026) मध्य विद्यालय से विश्वविद्यालय तक 15,246 भौतिकी प्रश्नों और 19,850 छवियों को स्कोर करते हैं, जिसमें एक आरेख-संपादन उपसमुच्चय शामिल है: संरचित भौतिकी आरेखों का संश्लेषण या संपादन उत्तर देने से कठिन सिद्ध हुआ, और अग्रणी मॉडल 70% कठोर दक्षता से नीचे रहे।

• K-12 विज्ञान कवरेज और संतृप्ति समस्या। मध्य और उच्च विद्यालय विज्ञान के लिए एक NGSS-संरेखित बेंचमार्क (1,078 + 1,150 संश्लेषित आइटम, तीन-न्यायाधीश सत्यापित) ने नौ खुले-भार मॉडलों को 90% एक-शॉट सटीकता से अधिक पाया, जबकि शास्त्रीय आइटम सांख्यिकी ने उच्च कठिनाई मान और निम्न विभेदन दिखाए: मॉडल आकार प्रदर्शन की भविष्यवाणी नहीं करता था, और लेखक पूछते हैं कि क्या परीक्षा बहुत आसान है (A Benchmark for LLM's Understanding of Middle School and High School Science Topics)। यह बेंचमार्क की अपनी आइटम सांख्यिकी को उसके लीडरबोर्ड के साथ पढ़ने का क्षेत्र-विशिष्ट मामला है।

• शीर्षक-सटीकता की जाँच के रूप में एक तुच्छ आधाररेखा और IRT सत्य। Worden et al. (2026) प्रश्न पाठ और वास्तविक विद्यार्थी प्रतिक्रियाओं को संरक्षित रखते हुए 1,722,169 ASSISTments अंतःक्रियाओं से FoundationalASSIST बनाते हैं, ज्ञान-ट्रेसिंग कार्य को एक 51.3 प्रतिशत always-correct आधाररेखा के विरुद्ध स्कोर करते हैं, और मॉडल दक्षता को उसी डेटा पर फिट की गई दो-पैरामीटर IRT आकलनों के विरुद्ध पढ़ते हैं। चार अग्रणी मॉडल तुच्छ आधाररेखा को लगभग पाँच अंकों से पार करते हैं (सर्वोत्तम 56.2 प्रतिशत), आइटम विभेदन को निर्णय में संयोग से नीचे गिरते हैं, और — एक ऐसे उद्देश्य के लिए बने बेंचमार्क जो देख सकता है वह विफलता — सही उत्तरों पर 85.4 प्रतिशत समय सत्यता की भविष्यवाणी करते हैं परंतु गलत उत्तरों पर केवल 12.6 प्रतिशत, इसलिए उनकी प्रत्यक्ष कुशलता आशावाद पूर्वाग्रह है।

• ग्रेडर का विन्यास स्वयं एक चर है। Habibullah et al. (2026) एक दोहरे-ग्रेडेड 570-विद्यार्थी परीक्षा पर 171 ग्रेडिंग विन्यासों का समीक्षण करते हैं और पाते हैं कि एक छोटा "कठोर ग्रेडर" प्रस्तावना 17 खुले-भार मॉडलों में से 14 को ग्रेडेड बैंड से बाहर धकेलती है, फिर एक स्वतंत्र 1,038-विद्यार्थी परीक्षा पर 162 विन्यासों के साथ पुनरावृत्ति करते हैं जिसके परिणाम भेद्यता को पुनरुत्पादित करते हैं परंतु उसकी दिशा नहीं। सर्वोत्तम विन्यास (MAE 1.64/35, जो 2.61/35 से नीचे है जो मानव ग्रेडर एक-दूसरे के सापेक्ष प्राप्त करते हैं) इसलिए यह प्रमाण नहीं कि LLM ग्रेडिंग कार्य करती है — हालाँकि समूहबद्ध मानव लेबल पर प्रशिक्षित एक LoRA अडेप्टर पाँच छोटे मॉडलों को मानव समता तक ले आता है और व्यक्तित्व संवेदनशीलता को लगभग मिटा देता है।

• क्षमता दावे को आरोपणीय बनाने के लिए कॉर्पस को बाधित करना। Li et al. (2026) FineWeb-Edu को 88B टोकन के U.S. K–5 सामग्री तक फ़िल्टर करते हैं और एक 5B मॉडल को उस पर शून्य से प्रशिक्षित करते हैं, फिर जोड़ को अंकों के विरुद्ध व्यवहार प्रोब से जाँचते हैं — Beyond-K–5 अनुच्छेदों पर लगभग शून्य प्रतिधारण, Beyond-K–5 Jeopardy आइटम पर पतन, और pass@1024 पर भी Grade 8 MathCAMPS समस्याओं का आधे से कम हल — क्योंकि पूर्व जोखिम ज्ञात है, क्षमता जो स्केलिंग, पोस्ट-ट्रेनिंग या संदर्भ-उदाहरणों के बाद प्रकट होती है उसे हस्तक्षेप में श्रेय दिया जा सकता है; लेखक यह भी रिपोर्ट करते हैं कि सीमा मानव-आकारी नहीं है, क्योंकि मॉडल कभी-कभी अपनी पूर्वापेक्षित कुशलता को असफल करते हुए भी एक अनुगामी कुशलता को हराता है।

• स्कोरिंग नियम उपकरण का हिस्सा है। Srivastava (2026) एक ही ASSISTments 2012–13 घटना क्रमों पर चार ज्ञान-ट्रेसिंग अद्यतन नियम चलाते हैं, जो केवल इस बात में भिन्न हैं कि वे संकेत-सहायित पंक्तियों को कैसे स्कोर करते हैं, और तुलनाओं को पूर्व-पंजीकृत करते हैं एक बाड़े के पीछे जो पुष्टिकारक आधे विद्यार्थियों को पंजीकरण फ़ाइल के मौजूद होने तक रोकता है। किसी भी पूर्णता को श्रेय देना एक कुशलता-कठिनाई स्थिरांक को कठिनाई से हराता है (985,813 स्कोर किए गए घटनाओं में समूहबद्ध AUC 0.604 बनाम 0.595) और 93.9 प्रतिशत विद्यार्थी–कुशलता युग्म को एक ऐसे नियम के विरुद्ध 72.8 प्रतिशत के विरुद्ध दक्ष घोषित करता है जो सहायित पंक्तियों को पहले असफल प्रयास मानता है (0.658) — सामान्य सबक यह है कि एक दक्षता लेबल प्रमाण नियम से परिभाषित होता है, लॉग से नहीं।

• मॉडल क्षमता को एक अंशांकित स्तर के रूप में रिपोर्ट करें, केवल सटीकता के रूप में नहीं। Min et al. (2026) 624 विशेषज्ञ-एनोटेटेड आइटम को 2,050 शिक्षार्थी प्रतिक्रियाओं का उपयोग करके नामित दक्षता स्तरों पर मैप करते हैं, और पाते हैं कि अग्रणी मॉडल अंशांकित सीमा से अधिक होते हैं — एक सीमा जिसे प्रतिशत छिपा देता है।

• एक स्कोरिंग नियम को उस मॉडल द्वारा गेम किया जा सकता है जिसे वह प्रशिक्षित करता है। एक अनुकूलन मेट्रिक जो एक सर्वोत्तम निर्णय को दोहराकर अधिकतम होता है, दिखाता है कि बेंचमार्क डिज़ाइन को argmax प्रकाशित करना चाहिए, अनुकूलन को एक अंतर के रूप में स्कोर करना चाहिए, और संयोग-से-अधिक आधाररेखाएँ रिपोर्ट करनी चाहिए (Domínguez Figaredo & Fernández De la Cruz, 2026)।

संबंधित अवधारणाएँ

• AI शिक्षा मूल्यांकन
• पूर्वाग्रह शमन
• मानव-लूप-में
• निर्माणकारक मूल्यांकन
• ज्ञान अनुरेखण
• जनरेटिव-AI
• स्वचालित निबंध स्कोरिंग

संबंधित लेख

• Standardized Assessment of LLM English Proficiency — एक 624-आइटम अंग्रेज़ी दक्षता बेंचमार्क जो मॉडल क्षमता को एक अंशांकित स्तर के रूप में रिपोर्ट करता है (Min et al. 2026)
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — क्या मूल्यांकन उपकरण मानवों और LLM के लिए वही चीज़ मापते हैं? (Strugatski et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — शैक्षणिकी बेंचमार्क: LLM शैक्षणिक ज्ञान (CDPK + SEND)
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD-Agent-Bench: LLM-आधारित शिक्षण-डिज़ाइन एजेंटों का बेंचमार्किंग
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — ऑन-प्रिमाइसेस OER AI ज्ञान-आधार सहायक: बहु-आयामी बेंचमार्क
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — प्रामाणिक उत्पादों से प्रमाणित प्रक्रियाओं तक: AI-समृध उच्च शिक्षा में प्रामाणिक मूल्यांकन
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — हस्तलिखित गणित कार्य से विद्यार्थियों की संज्ञानात्मक कुशलताओं के निदान के लिए बड़े भाषा मॉडलों का बेंचमार्किंग
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: अनुकरणीय शिक्षार्थियों के साथ शैक्षणिक LLM एजेंटों के लिए एक दीर्घ-क्षितिज बेंचमार्क
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — AI युग में उत्तरदायी मूल्यांकन: एक भविष्य-केंद्रित सम्मेलन से प्रमुख अंतर्दृष्टि
• ANVIL: Analogies and Videos for Lecturers — ANVIL: व्याख्याताओं के लिए उपमाएँ और वीडियो
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring — ICLE++: समग्र निबंध स्कोरिंग के लिए सूक्ष्म-गुणों का मॉडलिंग
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: स्लाइड ऑडिटिंग के लिए मल्टीमोडल LLM का बेंचमार्किंग
• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: उत्पन्न गणित आरेखों के मूल्यांकन के लिए बेंचमार्क
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — शिक्षार्थी मूल्यांकन का स्वचालन: EEG-आधारित परिचय पूर्वानुमान
• AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory — AlgoRAG: सैद्धांतिक कंप्यूटर विज्ञान शिक्षा के लिए रिट्रीवल-संवर्धित उत्पादन -- एल्गोरिदम विश्लेषण और जटिलता सिद्धांत के लिए एक व्यापक मूल्यांकन ढाँचा
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: एनोटेशन-प्रथम, कार्य-उत्पादक बेंचमार्क निर्माण, और 12 कलात्मक-चित्रण कार्यों में आयाम-स्तरीय गैर-अतिरिक्तता (Zhu et al. 2026)
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI और मानव ट्यूटरिंग समतुल्य GRE सीख प्राप्ति देती हैं
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — नवीन AI-सहायित शैक्षणिक प्रश्नों के शैक्षणिक मूल्यांकन के लिए पूर्व-प्रशिक्षित मॉडलों का मूल्यांकन
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — मध्य विद्यालय और उच्च विद्यालय विज्ञान विषयों की समझ के लिए LLM का एक बेंचमार्क
• The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — AI-ट्यूटर बेंचमार्क के लिए आठ डिज़ाइन सिद्धांत, जो एक ऐसे मेट्रिक से व्युत्पन्न हैं जिसे दोहराव में अनुकूलित किया गया (Domínguez Figaredo & Fernández De la Cruz 2026)