अवधारणाएँ
मनोमापन-सचेत एआई
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
मनोमापन-सचेत एआई — मापन सिद्धांत के अनुरूप एआई मूल्यांकन प्रणालियाँ — वह मानक है जिसे Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction, आत्मविश्वास-सचेत एआई मूल्यांकन, और आइटम रिस्पॉन्स थ्योरी (IRT) में आगे बढ़ाया गया है: अंशांकित, अनिश्चितता-सचेत एआई मूल्यांकन विश्वसनीयता और वैधता को संरक्षित करता है, बजाय इसके कि मॉडल के कच्चे आत्मविश्वास को मनोमापीय प्रमाण का विकल्प बनाया जाए।
विचार करने योग्य प्रश्न
- एक एआई किसी विद्यार्थी के उत्तर को ग्रेड करता है और एक आत्मविश्वास से भरा सुनने वाला स्कोर प्रस्तुत करता है। आप उस संख्या पर किस आधार पर भरोसा करेंगे — और जब आप जान लेते हैं कि मॉडल को किसी मापन मानक के विरुद्ध अंशांकित नहीं किया गया था, तो क्या आपका उत्तर बदल जाता है?
- यह पृष्ठ मनोमापीय प्रमाण के स्थान पर मॉडल के कच्चे आत्मविश्वास का प्रयोग करने से सावधान कराता है। ऐसा एक समय याद कीजिए जब आपने किसी आत्मविश्वासपूर्ण एआई आउटपुट पर विश्वास किया जो गलत निकला। उसके आत्मविश्वास को क्या अनर्जित बनाता था, और इसके बजाय 'अनिश्चितता-सचेत' आउटपुट कैसा दिखता?
- शोध में पाया गया कि उसी मूल्यांकन उपकरण पर मानव और एलएलएम की प्रतिक्रिया संरचनाएँ भिन्न होती हैं — अर्थात् एक मॉडल अच्छा स्कोर कर सकता है फिर भी परीक्षा के इरादे से भिन्न कुछ माप सकता है। यदि आप एक शिक्षक हों जो एआई ग्रेडर का उपयोग कर रहा है, तो आप यह कभी कैसे पहचानेंगे कि परीक्षा का अर्थ मशीन के लिए आपके विद्यार्थियों से भिन्न है?
- प्रश्न-कठिनाई की भविष्यवाणी एलएलएम का उपयोग यह अनुमान लगाने के लिए करती है कि कोई प्रश्न कितना कठिन है। पढ़ने से पहले सोचिए: 'यह प्रश्न कितना कठिन है?' — यह प्रश्न के बारे में एक तथ्य है, या उत्तर देने वाले लोगों (या मॉडलों) के बारे में — और परीक्षाओं को अंशांकित करने में एआई के उपयोग के लिए इस अस्पष्टता का क्या अर्थ है?
- अंशांकन, विश्वसनीयता और वैधता मापन संकल्पनाएँ हैं जिनका सटीक अर्थ है। इनमें से किन पर आपने वास्तव में अपनी मूल्यांकन प्रथाओं में विचार किया है, और कहाँ आप किसी ऐसे एआई आउटपुट पर निर्भर हो सकते हैं जिसे इनके विरुद्ध कभी जाँचा नहीं गया?
- किसी प्रशासक या डेवलपर के लिए: यदि जिस एआई मूल्यांकन उपकरण पर आप विचार कर रहे हैं, वह केवल कच्ची सटीकता प्रस्तुत करता है, तो वास्तविक विद्यार्थियों के साथ उसे तैनात करने से पहले आप अब उसके विक्रेता से कौन-से विशिष्ट प्रश्न पूछेंगे?
परिचय
जैसे-जैसे एआई प्रणालियाँ अधिक से अधिक प्रतिक्रियाओं को स्कोर करती हैं, कठिनाई की भविष्यवाणी करती हैं और प्रतिपुष्टि प्रदान करती हैं, एक प्रमुख जोखिम यह है कि वे आत्मविश्वास से भरे सुनने वाले आउटपुट प्रस्तुत करती हैं जिन्हें मापन सिद्धांतों के विरुद्ध मान्य नहीं किया गया है। मनोमापन-सचेत एआई इसका समाधान एआई मूल्यांकन को स्थापित मनोमापन में आधार देकर करता है — आउटपुट को अंशांकित करके, अनिश्चितता को मात्रात्मक बनाकर, और कच्ची सटीकता या स्व-रिपोर्ट किया गया आत्मविश्वास पर निर्भर रहने के बजाय मूल्यांकन की वैधता और शैक्षणिक मापन मानकों को संरक्षित करके।
शोध में मनोमापन-सचेत एआई का आभास
- अंशांकन और आत्मविश्वास: आत्मविश्वास-सचेत मूल्यांकन और एलएलएम मनोमापीय अंशांकन सुनिश्चित करते हैं कि एआई अतिविश्वासपूर्ण बिंदु-अनुमानों के बजाय सार्थक, अनिश्चितता-सचेत स्कोर प्रस्तुत करे।
- मॉडल का आत्मविश्वास पर्याप्त नहीं है। SciEntsBank पर, बोलचाल में बताया गया, लैटेंट और संगतता-आधारित आत्मविश्वास — प्रत्येक सही और गलत लघु उत्तरों को अलग करने में विफल रहा; सर्वोत्तम अंशांकन डेटासेट-व्युत्पत्त अलेटोरिक अनिश्चितता जोड़ने से मिला — संसाधित प्रतिक्रियाओं के भीतर-समूह एन्ट्रॉपी — रैंडम फ़ोरेस्ट और प्लाट स्केलिंग के माध्यम से, जिससे चयनात्मक स्वतः-ग्रेडिंग और मानव समीक्षा संभव हुई (कांग व अन्य (2026))।
- आत्मविश्वास समीक्षा के क्रमबद्ध करने का संकेत देता है, स्वीकृति का नहीं। उच्च-दांव पर संबंधी हस्तलेखित भौतिकी ग्रेडिंग में, एआई आत्मविश्वास लेबल उच्च-आत्मविश्वास भागों पर स्कोर त्रुटि को बहुत कम रखते रहे, फिर भी कुछ उच्च-आत्मविश्वास, अचिह्नित भाग आधिकारिक अंकों से असहमत रहे, इसलिए लेबल परीक्षक समीक्षा को प्राथमिकता देने में उपयोगी हैं, स्वतः स्वीकृति को अधिकृत करने में नहीं (पाठक व अन्य (2026))।
- कठिनाई की भविष्यवाणी: प्रश्न-कठिनाई की भविष्यवाणी दिखाती है कि एलएलएम-आधारित अनुमानों को मनोमापीय मॉडलों के विरुद्ध मान्य किया जाना चाहिए (देखें आइटम रिस्पॉन्स थ्योरी (IRT))। रज़वी और पावर्स (2026) एक बड़े पैमाने का प्रदर्शन देते हैं: राश आईआरटी मॉडल के अंतर्गत अंशांकित 5,170 के-5 गणित और पठन प्रश्नों में, जीपीटी-4o की शून्य-शॉट कठिनाई रेटिंग वास्तविक कठिनाइयों के साथ मध्यम से मजबूत सहसंबंध दिखाती थी (गणित में r = 0.83, पठन में r = 0.81) लेकिन कक्षाओं में असमान थी, जबकि एक विशेषता-आधारित दृष्टिकोण (एलएलएम-निकाली विशेषताओं को ट्री-आधारित मॉडलों में) r = 0.87 तक सहसंबंध पहुँचा। अध्ययन की व्याख्यायोग्य विशेषता महत्व (कक्षा स्तर और शब्द संख्या शीर्ष भविष्यवक्ता) और इसका व्यावहारिक सात-चरणीय कार्यप्रवाह दिखाते हैं कि मनोमापन-सचेत एआई को कैसे संचालित किया जा सकता है — जबकि इसकी प्रारंभिक कक्षा सीमा-प्रतिबंध खोज और सामान्यीकरण संबंधी चेतावनियाँ फिट किए गए मनोमापीय मापदंडों के विरुद्ध एलएलएम अनुमानों को मान्य करने की आवश्यकता को रेखांकित करती हैं।
- वक्र की पुनर्प्राप्ति हर मापदंड की पुनर्प्राप्ति नहीं है। एक बहुमाध्यम मॉडल, जिसे अनुकारित प्रतिवादी के रूप में सूक्ष्म-प्रशिक्षित किया गया, ने रोके गए प्रश्नों की कठिनाई का अनुमान r = 0.85 पर लगाया और अनुमान मापदंड को 0.48 पर पुनर्प्राप्त किया, लेकिन विभेदन 0.31 पर कमजोर था — इसलिए कोई विधि कौन-सा मापदंड पुनर्प्राप्त करती है, वही खोज है (ऑर्मरोड और किम, 2026)।
- मापन वैधता: यह अवधारणा मूल्यांकन की वैधता और शैक्षणिक मापन से जुड़ती है, जो यह परिभाषित करने वाले ढाँचे हैं कि वैध, विश्वसनीय एआई मूल्यांकन कैसा दिखता है।
- लैटेंट-संरचना वैधता: स्ट्रुगात्स्की व अन्य (2026) दिखाते हैं कि एक मनोमापन-सचेत रुख को यह भी सत्यापित करना चाहिए कि कोई मूल्यांकन एलएलएम में वही लैटेंट निर्माण मापता है जो मानवों में। क्योंकि उन्हीं उपकरणों पर एलएलएम और मानव की प्रतिक्रिया कारक-संरचनाएँ भिन्न होती हैं, अच्छा स्कोर करने वाले मॉडल भी वह निर्माण नहीं माप सकते जिसे परीक्षा मापने का दिखावा करती है — यह किसी भी ऐसे एआई मूल्यांकन के लिए चेतावनी है जो मानव वैधता प्रमाणों को उधार लेता है।
- एक लेबल नाम से अधिक भी माप सकता है और कम भी। 12 एआई साक्षरता उपकरणों के 55 निर्माणों और 272 प्रश्नों को एम्बेड करने से जैंगल युग्म (एक ही लेबल, भिन्न मापन) और जिंगल युग्म (भिन्न लेबल, लगभग समान शब्दावली) सामने आए, जिनमें विश्वसनीयता r = 0.49 पर पुनर्प्राप्त हुई — यह एक संग्रह-पूर्व जाँच है कि निर्माणों के भेद प्रश्न शब्दावली में बचे रहते हैं (हे व अन्य (2026))।
- लैटेंट-क्षमता पाइपलाइन और मानक निर्धारण: क्यूरी व अन्य (2026) एक राष्ट्रीय परीक्षा में मनोमापन-सचेत स्कोरिंग के लिए एक ठोस टेम्पलेट देते हैं: रूब्रिक प्रश्न स्कोर कभी सीधे जोड़े नहीं जाते बल्कि एक आईआरटी मॉडल में खिलाए जाते हैं, जिनकी लैटेंट-क्षमता कल्पनाओं को बुकमार्क मानक-निर्धारण विधि से दक्ष / दक्षता के निकट / अपर्याप्त कटऑफ में काटा जाता है, जहाँ उत्तीर्ण होने के लिए कम से कम दो दक्ष खंड और शेष एक कम से कम दक्षता के निकट आवश्यक है। लेखकों ने उस पाइपलाइन को स्वचालित रूप में पुनर्निर्मित किया (निचले कटऑफ के लिए कम से कम 7 रूब्रिक प्रश्नों का सही उत्तर देने की 67% संभावना और ऊपरी कटऑफ के लिए कम से कम 10), जिससे एआई और मानव प्रश्न स्कोरों की कच्चे सहमति के बजाय समान निर्णय मानदंडों के विरुद्ध तुलना की जा सके।
संबंध
मनोमापन-सचेत एआई शैक्षणिक मापन, मूल्यांकन की वैधता, आइटम रिस्पॉन्स थ्योरी (IRT), और आत्मविश्वास-सचेत एआई मूल्यांकन के चौराहे पर स्थित है। यह AI शिक्षा मूल्यांकन (क्या एआई मूल्यांकन विश्वसनीय है) के लिए केंद्रीय है और बड़े भाषा मॉडल (LLMs)-आधारित स्वचालित मूल्यांकन और स्वतः ग्रेडिंग से जुड़ता है। वैधता पर इसका ज़ोर मापन संबंधी सीमाओं की ओर भी संकेत करता है जो एआईईडी शोध में हैं।
संबंधित अवधारणाएँ
- शैक्षणिक मापन
- मूल्यांकन की वैधता
- आइटम रिस्पॉन्स थ्योरी (IRT)
- स्वचालित मूल्यांकन
- AI शिक्षा मूल्यांकन
- बड़े भाषा मॉडल (LLMs)
- AIEd अनुसंधान की सीमाएँ
- शिक्षा में AI
संबंधित लेख
- A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — बड़े पैमाने की लेखन मूल्यांकन में एआई-सहायित स्कोरिंग के लिए एक मानव-पाश्र्व ढाँचा
- Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — क्या मूल्यांकन उपकरण मानवों और एलएलएम के लिए एक ही चीज़ मापते हैं? (स्ट्रुगात्स्की व अन्य 2026)
- Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — मनोमापीय अंशांकन के साथ एलएलएम मूल्यांकन को संरेखित करना
- Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — प्रश्न कठिनाई की एलएलएम भविष्यवाणी
- Confidence Estimation in Automatic Short Answer Grading with LLMs — आत्मविश्वास-सचेत स्वतः लघु-उत्तर ग्रेडिंग
- Multimodal Item Parameter Estimation using Simulated Response Probabilities — बहुमाध्यम प्रश्न-मापदंड कल्पना
- Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — जेनएआई के साथ दक्षता-आधारित शिक्षा
- Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — हस्तलेखित भौतिकी मूल्यांकनों की एआई ग्रेडिंग (ओलंपियाड)
- Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — एलएलएम और ट्री-आधारित एमएल का उपयोग करके प्रश्न कठिनाई का अनुमान
- Clarifying the Conceptual Landscape in AI Literacy Measurement: A Large Language Model Based Approach — एआई साक्षरता उपकरणों की तुलना: 55 निर्माणों में जैंगल और जिंगल युग्म
- Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — डेटा विज्ञान पाठ्यक्रमों में एलएलएम का विद्यार्थी उपयोग और एआई-निर्मित प्रश्न कठिनाई की सीमाएँ