अवधारणाएँ
शैक्षणिक मापन
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
शैक्षणिक मापन — सीखने और उसके निर्माणों (constructs) को मात्रात्मक रूप से व्यक्त करने तथा मान्य करने के लिए मनोमापीय सिद्धांत और विधियाँ — ज्ञान आधार के आइटम रिस्पॉन्स थ्योरी (IRT), ज्ञान अनुरेखण और मूल्यांकन की वैधता पृष्ठों में व्याप्त हैं। बड़े भाषा मॉडल (LLMs) युग मापन को शास्त्रीय मनोमापन को नई AI-जनित प्रतिक्रिया धाराओं के साथ समेटने के लिए बाध्य करता है: स्वचालित स्कोरिंग, AI-पूर्वानुमानित कठिनाई और बहुमाध्यमी AI ट्रेस की जाँच स्थापित मापन सिद्धांतों के विरुद्ध की जानी चाहिए, ताकि विश्वसनीयता और वैधता बनी रहे।
विचार के लिए प्रश्न
- एक LLM पूर्वानुमान लगाता है कि एक परीक्षा प्रश्न आसान है, परंतु अनुभवजन्य परीक्षण आँकड़े बताते हैं कि छात्रों को वह कठिन लगता है। आप किस पर भरोसा भरोसा करेंगे, और मशीन के अनुमान पर भरोसा करने के लिए आपको क्या विश्वास दिलाएगा?
- शैक्षणिक मापन सीखने के प्रेक्षणों — प्रतिक्रियाओं, व्यवहारों, अंकों — को विश्वसनीय मात्रात्मक दावों में बदलने का विषय है। जब कोई AI निबंध को ग्रेड करता है या किसी प्रतिक्रिया को अंक देता है, तो क्या एक 'अंक' स्वतः ही एक माप होता है — या पहले किसी चीज़ की मान्यता सिद्ध होनी चाहिए? किसकी?
- कुछ शोध बताते हैं कि मूल्यांकन उपकरण मनुष्यों के लिए जिस चीज़ को मापते हैं वही LLM के लिए न मापते हों — गुप्त संरचना अलग होती है। यदि निर्माण वास्तव में मनुष्यों और AI में भिन्न हैं, तो इसका AI-जनित ग्रेड या कठिनाई रेटिंग के बारे में क्या अर्थ निकलता है?
- AI अभूतपूर्व स्तर पर अंक लगा सकता है, प्रश्न बना सकता है और कठिनाई की भविष्यवाणी कर सकता है। क्या 'अधिक मापन' 'बेहतर मापन' के समान है? किसी अंक को विश्वसनीय और वैध क्या बनाता है, और जब मापन कोई जनक मॉडल करता हो तो क्या ये मानक बनाए रखे जा सकते हैं?
- बेंचमार्क और AI-जनित अंक अब हर जगह हैं। किसी AI-आधारित मूल्यांकन को किसी शिक्षार्थी की वास्तविक समझ के प्रमाण के रूप में मानने से पहले आपको क्या देखना होगा, न कि केवल एक संख्या के रूप में?
परिचय
शैक्षणिक मापन सीखने के बारे में प्रेक्षणों — प्रतिक्रियाओं, व्यवहारों, अंकों — को विश्वसनीय मात्रात्मक दावों में बदलने का अनुशासन है। इसमें निर्माण की परिभाषा, प्रश्न/परीक्षा का डिज़ाइन, मापन (scaling), विश्वसनीयता और वैधता शामिल हैं। AI in education में मापन के प्रश्न हर जगह हैं: क्या बेंचमार्क अंक वही मापता है जो हम सोचते हैं? क्या AI-जनित ग्रेड विश्वसनीय और वैध है? क्या AI-पूर्वानुमानित प्रश्न कठिनाइयाँ अनुभवजन्य रूप से अनुमानित कठिनाइयों से मेल खाती हैं?
शोध में शैक्षणिक मापन कैसे दिखता है
-
इस क्षेत्र के दशकभर के AI-पुनर्गठन: Xiong और Li (2026) तीन युगों में AI के प्रभाव को एक Efficiency–Enhancement–Transformation ढाँचे के माध्यम से मानचित्रित करते हैं (रूपात्मक 2015–2018, विस्तार 2019–2022, जनक 2023–वर्तमान), जिसमें स्कोरिंग और प्रश्न निर्माण पर AI, मनोमापीय मॉडलिंग, मूल्यांकन नवाचार और प्रक्रिया आँकड़े, तथा निष्पक्षता/नैतिकता/समानता शामिल हैं। वे मापन सिद्धांत को AI विधियों के साथ एकीकृत करने वाले नए प्रतिमान तथा मनुष्य–AI अंतःक्रिया के संदर्भ में निर्माणों के पुनर्संकल्पना की वकालत करते हैं — वही सीमा जिसे गुप्त-संरचना तुलना अनुभवजन्य रूप से जाँचती है।
-
AI-पूर्वानुमानित कठिनाई और अंशतःकलन (calibration): LLM कठिनाई अंशतःकलन और प्रश्न-कठिनाई पूर्वानुमान प्रश्न की कठिनाई का अनुमान लगाने के लिए LLM का उपयोग करते हैं, जिसकी मनोमापीय अनुमानों के विरुद्ध मान्यता सिद्ध होनी चाहिए (देखें आइटम रिस्पॉन्स थ्योरी (IRT))। Razavi और Powers (2026) इस परिकल्पना का बड़े पैमाने पर K-5 परीक्षण जोड़ते हैं: Rasch IRT मॉडल के अंतर्गत अंशतःकलित 5,170 गणित और पठन प्रश्नों में, GPT-4o के ज़ीरो-शॉट कठिनाई रेटिंग वास्तविक कठिनाइयों से मध्यम से मजबूत सहसंबंध रखते थे (r = 0.83 गणित, r = 0.81 पठन) लेकिन कक्षाओं में असमान थे और K तथा 1 कक्षाओं के लिए ग्रेड-माध्य डमी प्रतिगामनकर्ता (regressor) से बेहतर नहीं थे। एक विशेषता-आधारित दृष्टिकोण — LLM-निकाली गई संज्ञानात्मक और भाषाई विशेषताओं को वृक्ष-आधारित मॉडलों में दाखिल करना — r = 0.87 तक के सहसंबंध तक पहुँचा, जिसमें कक्षा स्तर और शब्द संख्या शीर्ष पूर्वानुमानकारक थे। यह अध्ययन एक मापन इनपुट के रूप में AI-पूर्वानुमानित कठिनाई के वादे और सीमाओं दोनों को दर्शाता है, तथा परीक्षण पेशेवरों के लिए व्यावहारिक सात-चरणीय कार्यप्रवाह प्रस्तुत करता है।
-
जब जनित कठिनाई लेबल कठिनाई को न मापते हों। 311 परिनियोजित LLM-जनित प्रश्नों के निर्माण-वैधता ऑडिट में पाया गया कि जनित कठिनाई लेबल अपने ही सह-जनित Bloom स्तर से ρ=0.90 सहसंबंध रखता था लेकिन अनुभवजन्य कठिनाई (Classical Test Theory का 1−p सूचकांक) से केवल ρ=0.06 पर, जबकि विकल्प की लंबाई विपरीत दिशा में चलती थी (ρ=−0.18) — यह एक लेबल-को-सतही-रूप परिणाम है जो ऊपर की ओर AI-पूर्वानुमानित कठिनाई के आशावादी पठनों को सीमित करता है (An और Wang (2026))।
-
एक श्रेणीबद्ध लेबल वस्तु व्यवहार की भविष्यवाणी नहीं करता। 265 गणित वस्तुओं में, इच्छित ब्लूम स्तर ने कठिनाई के विचलन का 5% से कम (ε² = .043) और विभेदन का कोई हिस्सा नहीं समझाया (क्रुस्कल–वालिस H = 0.54, p = .77), जबकि एक LLM वर्गीकरण विशेषज्ञ कोडरों से केवल उचित रूप से सहमत रहा (कोहेन का κ = .22) और वस्तुओं को लागू/विश्लेषण बैंड की ओर खींचा (Altaweel और Moussa (2026))।
-
जनित प्रश्नों का निर्णय शब्दावली पर नहीं, समाधान पथ पर करें। प्रत्येक प्रश्न के सत्यापित तर्क वृक्ष (reasoning tree) को एन्कोड करने से संकल्पना मूल्यांकन में दूसरी-सर्वोत्तम विधि से 7.5%, कठिनाई अनुमान में 6.3% और दक्षता मूल्यांकन में 19.5% उच्च प्रदर्शन मिला, जहाँ एक ज़ीरो-शॉट आधाररेखा ने एक टेम्पलेट-पालन करने वाले प्रश्न को "तर्क" और एक ज्यामितीय प्रश्न को "जानना" के रूप में गलत लेबल किया (Tong et al. (2026))।
-
मूल्यांकन में मनोमापीय जागरूकता: मनोमापीय रूप से जागरूक AI वह मानक है कि AI-आधारित मूल्यांकन मापन सिद्धांत के साथ संरेखित हो — अंशतःकलित, अनिश्चितता-जागरूक और वैधता-संरक्षी (देखें Confidence Aware AI Assessment)।
-
दक्षता लेबल निर्मित होते हैं, प्रेक्षित नहीं। जहाँ निदान को ज़मीनी सत्य (ground truth) की आवश्यकता होती है, वहाँ Jia और Dong (2026) ने इसे एक वैधता-नियंत्रण प्रक्रिया से बनाया — पाठ्यक्रम संकल्पना ग्राफ़, शिक्षक-समीक्षित ज्ञान-बिंदु मैपिंग और अभिसरणी मूल्यांकन प्रमाण — व्यवहार ट्रेसों को सीधे बदलने के बजाय, और उनके निदान शैक्षणिक मनोविज्ञानियों से Cohen's kappa 0.78 पर मेल खाए, जबकि IRT के लिए 0.65 था।
-
स्वचालित स्कोरिंग और वैधता: AI स्कोरिंग और भाषा पूर्वाग्रह और मल्टीमोडल प्रश्न-पैरामीटर अनुमान जाँचते हैं कि स्वचालित स्कोरिंग और मल्टीमोडल आँकड़े मापन गुणवत्ता को कैसे प्रभावित करते हैं।
-
वैधता ढाँचे: मूल्यांकन की वैधता और शैक्षिक एनएलपी LLM-आधारित मापन की मान्यता सिद्ध करने के लिए मानक और उपकरण प्रदान करते हैं।
-
गुप्त-संरचना तुलना: Strugatski et al. (2026) शैक्षणिक मापन को LLM परिस्थिति में इस प्रश्न की जाँच करके विस्तारित करते हैं कि क्या मूल्यांकन उपकरण मनुष्यों और LLM दोनों के लिए वही गुच्छ संरचना दिखाते हैं। EFA, गुच्छ सांगत्य और पुनःप्रतिदर्शन का उपयोग करते हुए, वे दिखाते हैं कि LLM–मानव गुप्त संरचनाएँ रसायन विज्ञान और मात्रात्मक-तर्क उपकरणों में व्यवस्थित रूप से अलग होती हैं, जिसका अर्थ है कि मापे गए निर्माण जनसंख्या के अनुसार भिन्न होते हैं — यह एक आवश्यक जाँच है इससे पहले कि मानव वैधता प्रमाण को AI पर लागू माना जाए।
-
मापनीय त्रुटि के साथ AI एक मूल्यांकक के रूप में: Cvengros और Kortemeyer AI-दिए गए अंकों को असफल प्रेक्षणों के रूप में मानते हैं जिनमें सामान्यीकरणीयता सिद्धांत और Kane के तर्क-आधारित वैधता के अंतर्गत कई त्रुटि स्रोत (प्रश्न, रन, कार्य) होते हैं। 296 विद्यार्थियों की हस्तलिखित सामान्य रसायन परीक्षा की विश्वसनीयता विश्लेषण में पाँच AI रनों में कुल अंकों की उच्च स्थिरता (ICC(A,1) = 0.967, Kendall's W = 0.959, 95% पुनरावृत्ति गुणांक 60 अंकों में से 5.33) तथा प्रश्न-स्तरीय कम स्थिरता (ICC(A,1) = 0.836) दिखी — अस्वचालित त्रुटियाँ योग करने पर आंशिक रूप से समाप्त होती हैं (एक Spearman–Brown समुच्चय प्रभाव जो कुल-अंक सहमति को R² = 0.91 तक ऊपर उठाता है), जबकि ढलान < 1 के साथ एक छोटा सकारात्मक अंतःखंड ने एक "डरपोक ग्रेडर" अंक-संक्षिपण पूर्वाग्रह प्रकट किया। यह रन-औसतीकरण और समुच्चय को मापन डिज़ाइन निर्णयों के रूप में ढालता है, तथा IRT जोखिम के लिए अंशतःकलित विश्वास फ़िल्टरों को स्वचालित उपायों पर भरोसा करने से पहले एक वैधता सुरक्षा के रूप में प्रेरित करता है।
-
मॉडल संस्करण एक मापन स्थिति है। Hao (2026) ने पाया कि चार LLM में मॉडल-अंतर्गत उत्तर समानता (0.715–0.795) लगातार मॉडल-अंत: समानता (0.443–0.604) से अधिक थी, अतः एक परिनियोजन के लिए स्थापित स्कोरिंग तर्क स्वतः ही उसके उत्तराधिकारी में हस्तांतरित नहीं होता।
-
समता के प्रमाण नहीं है जब तक शून्य परिणाम सीमित न हो। StudentBench ने जाँचा कि संचित AI ट्यूटरिंग क्या विशेषज्ञ मानव ट्यूटरिंग के बराबर है, जिसमें अंतर के परीक्षण के बजाय ±0.25 संचित मानक विचलन के विरुद्ध दो एकतरफा परीक्षण किए गए, और −0.58 प्रतिशत अंकों का समायोजित अंतर (90% CI [-2.18, 1.03]) सूचित किया — यही चुनाव एक अल्प-सशक्त शून्य परिणाम को समता दावे में बदलता है (Northcutt et al. (2026))।
-
नए आँकड़ों के साथ मापने वाला अंशतःकलन, पूरे इतिहास के साथ नहीं: Jewsbury et al. (2026) AI प्रश्न निर्माण के परिचालन परिणाम का सामना करते हैं — पारंपरिक से बड़े, विरल और अधिक बार अद्यतित बैंक, जहाँ प्रत्येक अद्यतन पर सभी संचित प्रतिक्रिया आँकड़ों को पुनः अनुरूप करना महँगा है और उपलब्ध स्मृति से अधिक हो सकता है। उनका सहमति अंशतःकलन स्वतंत्र रूप से अंशतःकलित त्रैमासिक कालों को एक साझा माप पर मैप करके संयोजित करता है, जिसमें प्रत्येक आकर्षण (draw) पर एक मज़बूत Haebara संबद्धता है (जिससे संबद्धता अनिश्चितता फैलती है, न कि उसे स्थिर रूपांतरण माना जाए), फिर Gaussian पश्चोद्गारों के गुणनफल के रूप में समुच्चय करता है जिनमें से प्रत्येक काल की अनुमानित, पदानुक्रमित पूर्वाडम्बर घटाया जाता है और एक सहमति पूर्वाडम्बर बहाल की जाती है। चार कालों के परिचालन Duolingo English Test आँकड़ों पर समुच्चय ने पश्चोद्गार माध्यों पर एक संचित एकल-रन बेंचमार्क से मेल खाया (कठिनाई के लिए r = .998, लॉग-भेदभाव के लिए r = .991) और मानक विचलनों पर (r = .970 और .920), जिसमें संचित SD अनुपात में 0.91–0.98 की अवशिष्ट कम-फैलावटा थी — सबसे विरल प्रश्न तृतीयक में केंद्रित, जहाँ पूर्वाडम्बर का अधिक गणना सबसे अधिक काटती है। मापन की शिक्षा दोहरी है: एक अनुमानित पूर्वाडम्बर को समानांतर बेज़ियन गणना के मानक उपसमुच्चय-पूर्वाडम्बर उपकरणों से नहीं संभाला जा सकता, और पश्चोद्गार फैलावटा — वह अनिश्चितता जो अनुकूली चयन और स्कोरिंग उपभोग करती हैं — पश्चोद्गार माध्य जितना ही सुधार का लक्ष्य है।
-
प्रकाशित दो संख्याओं से किसी प्रणाली का फैलावटा पहचानना: Restrepo Morales et al. (2026) दिखाते हैं कि किसी उपलब्धि वितरण का मानक विचलन केवल प्रकाशित सारांश सांख्यिकीयी से पुनर्प्राप्त किया जा सकता है — माध्य और एक निश्चित दक्षता कट-अंक या उससे ऊपर के विद्यार्थियों की हिस्सेदारी — क्योंकि एक वितरणीय मान्यता के अंतर्गत σ = (c − μ) / z(1 − p)। PISA 2025 El Salvador (गणित माध्य 346, स्तर-2 के कट 420.07 या उससे ऊपर 12.28%) पर लागू होने पर निहित σ 63.8 है (पठन 76.8, विज्ञान 63.8), जो 100 के अंतरराष्ट्रीय बेंचमार्क से काफ़ी कम है, जैसा कि स्तर के तल पर दबे वितरण के लिए अपेक्षित है; तीनों अनुमान स्वतंत्र युग्मों से प्राप्त किए गए थे और एक-दूसरे से लगभग 13 अंकों के भीतर हैं, जो एक हल्की आंतरिक संगति जाँच है। स्तर 2 पर हिस्सेदारी प्रत्येक PISA प्रणाली के लिए सूचित होती है और SDG 4.1.1 सूचकांक का आधार है, अतः इस पहचान को किसी सूक्ष्म आँकड़े की आवश्यकता नहीं, और वही पेपर प्रभाव आकारों में हर (denominator) समस्या को एक गणित अंतर को तीन तरीकों से सूचित करके प्रदर्शित करता है — 129 अंक, 1.29 अंतरराष्ट्रीय मानक विचलन, या स्वयं साल्वाडोरन वितरण के 2.02 मानक विचलन — इस तर्क पर कि मानकीकृत प्रभाव आकारों को अपने ही प्रतिदर्श के फैलावटा से भाग देने पर वे अध्ययनों में वैध रूप से तुलनीय नहीं होते।
ज्ञान आधार में मापन उपकरण
शैक्षणिक मापन का एक केंद्रीय कार्य उपकरणों — निर्माणों को परिचालनात्मक बनाने वाली ठोस मापनीय स्तर, परीक्षाएँ और कोडिंग योजनाएँ — का विकास, मान्यता सिद्ध करना और उपयोग है। ज्ञान आधार के लेख AI-in-education निर्माणों के लिए उपकरणों की एक विस्तृत श्रृंखला का दस्तावेज़ीकरण करते हैं, जिन्हें इस आधार पर वर्गीकृत किया जा सकता है कि वे क्या मापते हैं और उनकी मापन दृष्टिकोण क्या है।
AI / GenAI साक्षरता उपकरण
AI साक्षरता वह निर्माण है जिसका सबसे समृद्ध उपकरण परिधान ज्ञान आधार में है। दो व्यापक परिवार मौजूद हैं: प्रदर्शन-आधारित परीक्षाएँ (वस्तुनिष्ठ, स्व-रिपोर्ट पूर्वाग्रह के लिए कम संवेदनशील) और स्व-रिपोर्ट स्तर (व्यक्तिपरक, अनुभवित दक्षता को पकड़ने वाले)। उस दूसरे परिवार की व्यापार-निष्पत्तियाँ स्वयं-रिपोर्ट मापन का विषय हैं: स्व-रिपोर्ट दृष्टिकोणों और धारणाओं तक सस्ते में पहुँचती है, लेकिन दक्षता या व्यवहार के बारे में कोई दावा नहीं रख सकती, और ज्ञान आधार दस्तावेज़ित करता है कि समानांतर स्व-रिपोर्ट और प्रदर्शन मापों की तुलना में 40% का अधिक-अनुमान अंतर है।
- प्रदर्शन-आधारित (वस्तुनिष्ठ) उपाय। प्रमुख है GLAT (Generative AI Literacy Assessment Test), चार आयामों (जानें और समझें, उपयोग और लागू करें, मूल्यांकन और रचनाएँ, नैतिकता) में 25-संकल्पना ब्लूप्रिंट पर बनी 20 प्रश्नों की बहुविकल्पीय परीक्षा, 355 विद्यार्थियों पर CTT + 2PL IRT से मान्यता सिद्ध (RMSEA = 0.03, CFI = 0.97, α = 0.80, ω = 0.81)। महत्वपूर्ण रूप से, GLAT अंकों ने AI-सहायित कार्य प्रदर्शन की भविष्यवाणी की जहाँ स्व-रिपोर्ट ने नहीं की — यह प्रमाण है कि प्रदर्शन-आधारित मापन स्व-रिपोर्ट से बेहतर प्रदर्शन करता है AI साक्षरता के लिए। How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures में संबंधित कार्य स्व-रिपोर्टित और प्रदर्शन-आधारित AI साक्षरता के बीच के अंतर को मात्रात्मक बनाता है (शिक्षक ~40% अधिक अनुमान लगाते हैं), और Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing रिपोर्टित उपयोग पर निर्भर रहने के बजाय वास्तविक छात्र–AI अंतःक्रिया पैटर्न को ट्रेस करता है।
- शिक्षक क्या करते हैं वह मापना, केवल क्या जानते हैं वह नहीं। एक 486-शिक्षक मान्यता ने शिक्षकों के GenAI के शैक्षणिक उपयोगों के लिए छह-आयामी उपकरण तैयार किया — प्रबंधन, सामग्री निर्माण, मूल्यांकन, सशक्तिकरण, विविधता और प्रेरणा — यह पुष्टि करते हुए कि उपयोग बहुआयामी है, यद्यपि स्व-रिपोर्ट कक्षागत अभ्यास के बारे में कोई दावा नहीं रख सकती (Pérez-Montesdeoca et al. (2026))।
- स्व-रिपोर्ट स्तर। SAIL तीन क्षेत्रों (AI संकल्पनाएँ; अनुप्रयोग और तकनीकी कौशल; AI डिजिटल नागरिकता) और चार मेखला-समर्थित स्तरों में AI साक्षरता को परिचालनात्मक बनाता है; AI Literacy Heptagon सात आयामों (तकनीकी, अनुप्रयोग, आलोचनात्मक सोच, नैतिकता, सामाजिक प्रभाव, एकीकरण, कानूनी/नियामक) को चार Bloom-संरेखित दक्षता स्तरों के साथ ढाँचेबद्ध करता है। The GenAI Skill Bypass: Mapping Divergent Pathways of University Students and Staff AI Literacy छात्रों बनाम कर्मचारियों के लिए विभिन्न AI-साक्षरता मार्गों को मानचित्रित करता है, और Towards AI literacy: A proposal of a framework based on the Episodes of Situated Learning साक्षरता मूल्यांकन को स्थितिजन्य सीख एपिसोडों में स्थापित करता है। छोटे शिक्षार्थियों के लिए उपकरण विकास भी आगे बढ़ रहा है: Thianwan और Srikoon (2025) का AI Literacy Self-Assessment Questionnaire (AIL-SAQ) कक्षा 4 से 6 के विद्यार्थियों के लिए 15 प्रश्नों की स्व-रिपोर्ट स्तर है, जो AI के बारे में सीखना, AI कैसे काम करता है इसके बारे में सीखना, और AI के साथ जीवन के लिए सीखना के इर्द-गिर्द व्यवस्थित है, 335 विद्यार्थियों पर अन्वेषणात्मक गुच्छ विश्लेषण और 579 और पर पुष्टिकारक गुच्छ विश्लेषण से मान्यता सिद्ध, समग्र Cronbach's alpha .934 के साथ।
- क्षेत्र-विशिष्ट AI साक्षरता। Teacher education for artificial intelligence literacy through a self-determination theory perspective स्वनिर्धारण सिद्धांत ढाँचे के भीतर शिक्षक AI-साक्षरता उपाय विकसित करता है (382 शिक्षक, गुच्छ-मान्यता सिद्ध); Conceptualizing pre-service teachers' readiness for AI integration into teaching practices: An intelligent-TPACK approach बुद्धिमान-टेक्नोलॉजिकल पेडागॉजिकल कंटेंट नॉलेज (TPACK) के माध्यम से पूर्व-सेवा शिक्षक AI तत्परता को मापता है; AI literacy alone is not enough: Student AI readiness and career adaptability in business and management education छात्र AI तत्परता और करियर अनुकूलनशीलता का आकलन व्यावसायिक शिक्षा में करता है; और Can Large Language Models Foster Critical Thinking, Teamwork, and Problem-Solving Skills in Higher Education?: A Literature Review LLM-समर्थित आलोचनात्मक-सोच और टीमवर्क परिणामों के लिए उपकरणों की समीक्षा करता है। शिक्षक मापन में विस्तार करते हुए, Teachers' AI Literacy Scale (TAILS) ED-AI ढाँचे के छह आयामों को भाषा शिक्षक शिक्षा के भीतर विशेष रूप से AI साक्षरता मापने के लिए परिचालनात्मक बनाता है (गुच्छ विश्लेषण से मान्यता सिद्ध), जो छात्रों या सामान्य उपयोगकर्ताओं को लक्षित करने वाले मूल्यांकनों में एक अंतराल भरता है।
दृष्टिकोण, स्वीकृति और प्रेरणा उपकरण
- प्रौद्योगिकी स्वीकृति। TAM/UTAUT में निहित उपकरण अनुभवित उपयोगिता, उपयोग में सुगमता और AI के उपयोग की व्यवहारिक आशय को मापते हैं। देखें तकनीक अपनाने के मॉडल और इसका अनुप्रयोग Acceptance of AI-Assisted English Language Learning Tools in Higher Education: Psychological Correlates Across Disciplinary and Proficiency Groups (AI-सहायित अंग्रेज़ी सीखने के उपकरण, अनुशासनात्मक/दक्षता समूहों में मनोमापीय मान्यता) और GenAI अपनाने के मार्ग में।
- स्व-प्रभाविता और प्रेरणा। स्व-प्रभावशीलता उपकरण और प्रेरणा स्तर (जैसे, Teacher education for artificial intelligence literacy through a self-determination theory perspective में स्वायत्तता/दक्षता/संबंधिता के SDT-आधारित उपाय) AI उपयोग के प्रेरणात्मक पूर्वपद और परिणामों को पकड़ते हैं। ये छात्र सहभागिता और पूर्व ज्ञान मापन से जुड़ते हैं।
- परियोजना-आधारित सीखने की धारणाएँ। Zhu और Kong (2026) एक संदर्भ-निहित AI परियोजना-आधारित सीखने स्तर (AI-PBLS) विकसित और मान्यता सिद्ध करते हैं जो AI साक्षरता पाठ्यक्रमों में समस्या समाधान के लिए AI का उपयोग करते समय PBL की छात्र धारणाओं को मापता है (1,027 माध्यमिक और विश्वविद्यालय छात्रों पर EFA और CFA, 446 पूर्ण), और उनका SEM अनुप्रयोग दिखाता है कि सशक्तिकरण और नैतिक जागरूकता कैसे PBL-से-संतुष्टि संबंधों को मध्यस्थता करते हैं — AI अनुप्रयोगों में अनुभवित PBL अनुभवों का आकलन करने के लिए एक मज़बूत उपकरण।
मूल्यांकन-गुणवत्ता और वैधता उपकरण
- स्वचालित स्कोरिंग और मूल्यांकन-रूब्रिक उपकरण। HARMOGEN-R मूल्यांकन रूब्रिक बनाता है; AI-assisted, instructor-supervised grading and feedback in higher education: Design and evaluation of an end-to-end pipeline AI-ग्रेडिंग गुणवत्ता का मूल्यांकन Elaborated-प्रतिपुष्टि मानदंडों के विरुद्ध करता है; A bit of chaos and madness: The AI Assessment Scale and the work of assessment reform इस बात को संबोधित करता है कि AI पारंपरिक मूल्यांकन स्तरों को कैसे विघटित करता है।
- वैधता-सुदृढ़ीकरण डिज़ाइन। मूल्यांकन जुड़वाँ एक GenAI-असुरक्षित कार्य को एक कम-असुरक्षित समकक्ष के साथ जोड़ते हैं जो उन्हीं परिणामों का आकलन करता है, Messick की वैधता प्रमाण के छह क्षेत्रों में खतरों को मानचित्रित करते हैं।
- सहायता द्वारा परिणाम स्थान का विभाजन। एक मापन कार्यक्रम मॉडल लेखन को परिभाषित करता है — किसी कलात्मक रचना के क्षेत्र-स्तरीय सामग्री का उद्गम कहाँ तक शिक्षार्थी करता है, प्रणाली नहीं — एक चार-पहलू, चार-स्तरीय निर्माण के रूप में, और सूचित करता है कि 24 ऑडिट किए गए अध्ययनों में लगभग सभी ने प्रदर्शन को AI उपलब्ध रहते हुए मापा और किसी ने वापस लेने के बाद नहीं मापा (Gousopoulos (2026))।
- प्रवचन और संलग्नता कोडिंग। Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents ICAP ढाँचे को 7-अंकीय संज्ञानात्मक-संलग्नता कोडिंग योजना में विस्तारित करता है, मानव टिप्पणीकरण (κ = 0.906–0.998) की तुलना LLM-आधारित लेबलिंग (κ = 0.541–0.609) से करता है — एक मापन-उपकरण अध्ययन जो दिखाता है कि स्वचालित कोडिंग अब भी प्रशिक्षित मनुष्यों से पीछे है। स्वचालित कोडिंग संदर्भ-जागरूक प्रॉम्प्टिंग के माध्यम से भी आगे बढ़ रहा है, जो संदर्भीय निर्भरताओं को मॉडल करती है और संज्ञानात्मक तथा सामाजिक क्षमताओं को संयोजित करके प्रक्रिया आँकड़ों से सहयोगात्मक समस्या-समाधान कौशल को मजबूत आधाररेखाओं से उच्च प्रदर्शन पर कोड करती है — बड़े पैमाने पर, वास्तविक समय के मूल्यांकन को सक्षम बनाते हुए हाथ से कोडिंग की श्रम-तीव्रता को संबोधित करती है।
- कौशल निष्कर्षण। Principal Trait Analysis: Towards Deriving 'Skills' in Human-AI Collaboration मुख्य-लक्षण विश्लेषण के माध्यम से मानव–AI सहयोग में "कौशल" निकालता है — सहयोग दक्षता का एक आँकड़ा-चालित मापन।
मापन दृष्टिकोण मायने रखता है
ज्ञान आधार के प्रमाण बार-बार दिखाते हैं कि किसी निर्माण को कैसे मापा जाता है वह निष्कर्षों को बदलता है। स्व-रिपोर्टित AI साक्षरता प्रदर्शन-आधारित उपायों से तीव्र रूप से भिन्न होती है (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures); संलग्नता की LLM टिप्पणी प्रशिक्षित मानव कोडिंग से भिन्न होती है (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents); और गुप्त संरचनाएँ मनुष्यों और LLM के बीच भिन्न होती हैं (Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis)। कठोर उपकरण मान्यता सिद्ध करना — विश्वसनीयता, संरचनात्मक वैधता, बाह्य/पूर्वानुमानीय वैधता — इसलिए औपचारिकता नहीं बल्कि विश्वसनीय AI-in-education प्रमाण की नींव है, जो मूल्यांकन की वैधता और मनोमापन-सचेत एआई से जुड़ती है। एक हालिया सामग्री-स्तरीय अध्ययन दिखाता है कि एक साधारण स्वीकृति दावे के पीछे कितना मान्यता कार्य होता है: Wang, Chuang और Wu (2026) ने दो आयु-स्तरीय AI साक्षरता गाइडबुक के लिए विभाजित-आधा डिज़ाइन (विकास प्रतिदर्श पर EFA, रोके गए आधे पर CFA) का उपयोग किया, जिसमें KMO = .820, 67.3% व्याख्यायित विचरण, स्वीकार्य छात्र अनुरूपता (CFI = .943, RMSEA = .059, SRMR = .059), .84 से .90 तक संयुक्त विश्वसनीयता, और संस्करणों में मापन अपरिवर्तनशीलता सूचित की — फिर यह दस्तावेज़ीकरण किया कि उपकरण कहाँ तनावग्रस्त होता है, HTMT मान .950 तक और एक बाध्य खेलपूर्णता-आशय सहसंबंध जिसकी एकता के लिए जाँच करनी पड़ी। अंतर-प्रश्न कार्य (DIF) के लिए उनकी पूरक जाँचें उस ईमानदारी का एक आदर्श हैं जिसकी वकालत यह पृष्ठ करता है: अपरिवर्तनशीलता बनी रही, लेकिन छोटे विद्यार्थियों में कम-भिन्नता प्रतिक्रिया पैटर्न का अर्थ था कि एक समूह अंतर उन उत्तरदाताओं को बाहर करने पर कमज़ोर हो गया, और पेपर उसे मुख्य परिणाम के बजाय उसके साथ सूचित करता है।
Oliveira et al. (2025) एक नए प्रक्रिया उपाय के लिए मान्यता अनुक्रम दिखाते हैं: छात्रों के GenAI अंतःक्रिया लॉग को 35-उपश्रेणी वर्गीकरण के विरुद्ध स्कोर करने पर केवल मध्यम अंतर-मूल्यांकक सहमति (Cohen's κ = 0.44) मिली, फिर भी निबंध अंकों से r = 0.54 सहसंबंध मिला, जिससे नए उपाय को अभिसरणी समर्थन मिला।
- सहमति गुणांक संग्रह के गुण हैं, और अंक संयुक्त उत्पाद हैं। 60 विपणन पोस्ट के एक स्वचालित-स्कोरिंग मान्यता में एक LLM के लिए निरपेक्ष सहमति ICC(2,1) .435, नियम-प्लस-LLM संकर के लिए .266 और निर्धारक नियमों के लिए .091 सूचित हुआ, 2,000 लेखक-समूह बूटस्ट्रैप प्रतिदर्शों से अनिश्चितता का अनुमान लगाया गया और 6.28–17.22 अंकों का MAE था; शोधकर्ता-रचित एंकर जोड़ने से अंतर-मूल्यांकक सहमति .338 से .902 हो गई, जो दिखाता है कि ये अनुमान संदर्भ समुच्चय पर कितनी मज़बूती से निर्भर करते हैं (Agreement and error in automated scoring of student marketing posts)। भौतिकी बेंचमार्क के एक विशेषज्ञ पुनः-ग्रेडिंग ऑडिट उपकरण स्तर पर पूरक बिंदु बनाता है: ऑडिट किए गए अस्वीकृतियों में 95.20% बेंचमार्क या ग्रेडर त्रुटियाँ थीं, मॉडल विफलताएँ नहीं, अतः एक मापा गया अंक प्रश्न बैंक, रूब्रिक और ग्रेडर तीनों के एक गुण के रूप में सूचित किया जाना चाहिए (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)।
विश्वसनीयता आंशिक रूप से मॉडल से ही पुनर्प्राप्त की जा सकती है। Organisciak और Acar (2026) Alternative Uses Test के 20,000 से अधिक प्रतिक्रियाओं पर LLM-आधारित स्कोरिंग के तीन सस्ते उन्नयनों का मूल्यांकन करते हैं: मॉडल की अपनी टोकन-स्तरीय विश्वास पढ़ना, एक ही सर्वोत्तम अनुमान के बजाय उसके शीर्ष-n पूर्वानुमानित अंकों का संभावना-भारित माध्य लेना, और मॉडलों में समुच्चय बनाना। प्रत्येक ने मानव अंकों के साथ सहमति में सुधार किया (सर्वोत्तम विन्यास में सहसंबंध r = 0.781 से 0.823 और RMSE 0.599 से 0.498 तक गिरा), और उनके निदान एकल-पास स्कोरिंग की एक विशिष्ट विफलता का पता लगाते हैं: मॉडल के व्यक्त विश्वास का उसकी सटीकता से ऋणात्मक संबंध था (β = −0.602)। यह एक मापन-दृष्टिकोण परिणाम है, मॉडल परिणाम नहीं — वही मॉडल, भिन्न रूप से स्कोर किया गया, एक अधिक विश्वसनीय उपकरण है — और यह ऊपर के संग्रह-स्तरीय सहमति प्रमाण के साथ मौजूद है।
2026 के 33 शिक्षक AI साक्षरता उपकरणों के एक आकलन में दिखता है कि उपकरण विकास कहाँ परिपक्व है और कहाँ नहीं। Zainal, Mohd Matore और Maat (2026) ने उपकरणों का COSMIN और Terwee et al. (2007) से अनुकूलित निर्णय मैट्रिक्स के विरुद्ध ग्रेडिंग की और पाया कि आंतरिक संगति सबसे मज़बूत क्षेत्र है (33 में से 28 ग्रेड A, 84.8%) और निष्पक्षता सबसे कमज़ोर, जिसमें केवल पाँच उपकरण (15.2%) मापन अपरिवर्तनशीलता या अंतर-प्रश्न कार्य प्रमाण सूचित करते हैं। संरचनात्मक वैधता मज़बूत थी, 24 उपकरण (72.7%) CFA, PLS-SEM या IRT मॉडलिंग के माध्यम से ग्रेड A पर, फिर भी सामग्री वैधता ज्यादातर गुणात्मक समीक्षा पर टिकी थी, 21 उपकरण (63.6%) मात्रात्मक विशेषज्ञ सहमति सांख्यिकीयी के अभाव में ग्रेड B पर।
स्वचालित प्रश्न चयन किसी उपकरण को उसे बदले बिना छोटा कर सकता है: एक विलयित दो-तरंग प्रतिदर्श (N = 305, 342) पर चींटी उपयुक्तकरण से एक 12-प्रश्न लघु रूप मिला जो प्रत्येक आयाम पर पूर्ण स्तर से r = 0.910–0.944 सहसंबंध रखता है, यद्यपि प्रत्येक आयाम पर दो प्रश्न संकुचित सामग्री श्रेणी को कवर करते हैं (Wang, Zhang और Zhang (2026))।
समस्याएँ और सीमाएँ: मापन क्या चूक सकता है या गलत कर सकता है
शैक्षणिक मापन शक्तिशाली है लेकिन असफल भी। AI-in-education प्रमाणों को आलोचनात्मक रूप से पढ़ने के लिए — और यह पहचानने के लिए कि कोई प्रत्यक्ष सीखने की वृद्धि या निर्माण दावा वास्तविक प्रभाव के बजाय मापन की कलात्मकता हो सकता है — इसके विफलता मोडों को समझना आवश्यक है।
-
विश्वसनीयता सीमाएँ। मापन कभी भी पूर्णतः विश्वसनीय नहीं होता; त्रुटि विचरण सदा मौजूद रहता है। जब उपकरणों में कम आंतरिक संगति या परीक्षा–पुनःपरीक्षण स्थिरता होती है, तो प्रेक्षित अंतर शोर हो सकते हैं। AI संदर्भों में नए विफलता मोड इसे गहराते हैं: LLM-जनित प्रतिक्रियाओं को उच्च मशीन सहमति के साथ स्कोर किया जा सकता है फिर भी मानव स्कोरिंग से भिन्न हो सकती हैं (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents), और स्वचालित स्कोरिंग आंतरिक रूप से संगत हो सकती है जबकि व्यवस्थित रूप से गलत — वैधता के बिना परिशुद्धता। मापन सीमाएँ AIEd शोध की अविश्वसनीय उपकरणों को एक अनुप्रस्थ कमज़ोरी के रूप में दस्तावेज़ित करती हैं।
-
अनिश्चितता के रूप में कोडिंग त्रुटि दो विफलताओं को मिला देती है। एक 30-कथन मानसिक-स्वास्थ्य ज्ञान परीक्षा में, सटीकता स्कोरिंग ने जानता नहीं को असटीक गिना, फिर भी एक तथ्य पर 67.3% विद्यार्थियों ने उसे चुना जबकि 60.6% मॉडल प्रतिक्रियाएँ सक्रिय रूप से गलत थीं — एक बलपूर्वक सही/गलत प्रारूप अनिश्चितता को गलत विश्वास से अलग नहीं कर सकता (Richter et al., 2026)।
-
मूल्यांकक सहमति व्यावहारिक सीमा निर्धारित करती है। Uruguay के Acredita EB पर एक बड़े पैमाने की मान्यता में पाया गया कि मानव मूल्यांकक सहमति ही AI स्कोरिंग की व्यावहारिक सीमा निर्धारित करती है: दस विशेषज्ञों द्वारा स्वतंत्र रूप से 50 ग्रंथों को स्कोर करने में, किसी रूब्रिक प्रश्न पर सहमति के साथ सर्वसम्मति नहीं हुई, सबसे अधिक भिन्न मूल्यांकक प्रायः 80% सहमति से नीचे रहा जबकि सर्वोत्तम 90% से ऊपर था, और कई तिरछे प्रश्नों के लिए Cohen's Kappa केवल हल्की या औसत थी जिन्हें लगभग सभी प्रतिक्रियाएँ संतुष्ट करती हैं। लेखक इसलिए स्वचालित अंकों का मूल्यांकन एक संदर्भ मानक के विरुद्ध करते हैं जो स्वयं अधूरा है — दस मूल्यांकक, अधिकांश प्रतिक्रियाओं के लिए एक ही परिचालन अंक, और कई प्रश्न पारंपरिक 70% स्वीकार्यता क्षेत्र में — यह किसी भी मापन दावे के लिए एक चेतावनी है जो एकल-मूल्यांकक परिचालन लेबल पर आधारित हो।
-
वैधता — गलत चीज़ का मापन। वैधता पूछती है कि क्या कोई उपकरण वही निर्माण मापता है जिसका दावा करता है। सामान्य विफलताओं में निर्माण अधः-प्रतिनिधित्व (एक AI-साक्षरता परीक्षा जो केवल तकनीकी ज्ञान को नमूना लेती है, नैतिकता छोड़ती है) और निर्माण-अप्रासंगिक विचरण (एक प्रश्न जो लक्ष्य कौशल के बजाय पठन प्रवाहता को पुरस्कृत करता है) शामिल हैं। AI स्कोरिंग और भाषा पूर्वाग्रह दिखाता है कि सतही विशेषताएँ — भाषा, वाक्यांश, शैली — कैसे स्वचालित अंकों को इच्छित निर्माण से असंबंधित तरीकों से प्रेरित कर सकती हैं। मूल्यांकन की वैधता इन खतरों के विरुद्ध सुरक्षा-कवच है।
-
एक स्तर इच्छित संख्या में गुच्छ लौटा सकता है बिना इच्छित निर्माणों को मापे। Kang, Lee और Kang (2026) ने एक 42-प्रश्न AI सहानुभूति स्तर से छह गुच्छ बनाए रखे, लेकिन प्रश्नों ने छह इच्छित उपगुच्छों को पुनर्प्राप्त नहीं किया — Prosocial Intention ने कोई गुच्छ नहीं बनाया — अतः संरचना को अस्थायी के रूप में प्रस्तुत किया गया है।
-
स्व-रिपोर्ट अंतर। स्व-रिपोर्ट उपाय अनुभवित दक्षता को पकड़ते हैं, वास्तविक दक्षता को नहीं। ज्ञान आधार बार-बार दिखाता है कि स्व-रिपोर्टित AI साक्षरता प्रदर्शन-आधारित उपायों से तीव्र रूप से भिन्न होती है (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures, शिक्षकों द्वारा ~40% अधिक अनुमान) और स्व-रिपोर्ट वास्तविक AI-सहायित प्रदर्शन की भविष्यवाणी में विफल होती है जहाँ प्रदर्शन परीक्षाएँ सफल होती हैं (GLAT)। स्व-रिपोर्ट पर निर्भर उपाय व्यवस्थित रूप से निर्माणों को बढ़ा-चढ़ाकर बता सकते हैं और सच्चे कौशल अंतरालों को छिपा सकते हैं।
-
संचित अनुमान नाज़ुक है। 2026 की एक संरचित समीक्षा जो केवल समान-प्रतिदर्श व्यक्तिपरक–वस्तुनिष्ठ AI-साक्षरता सहसंबंधों को संचित करती है (N = 2,765), r = .055 देती है (Hartung-Knapp 95% CI [−.047, .156])। k = 3 पर, जहाँ विषमता अनुमानक एकमत नहीं करते और एक अध्ययन 77.2% भार वहन करता है, यह कोई दक्षता कट-अंक निर्धारित नहीं कर सकती (Verí (2026))।
-
जनसंख्या में हस्तांतरित न होने वाले निर्माण। Strugatski et al. दिखाते हैं कि मूल्यांकन उपकरणों की मनुष्यों और LLM के लिए भिन्न गुच्छ संरचना हो सकती है — अर्थात् वही प्रश्न जनसंख्या के अनुसार वही गुप्त निर्माण न मापते हों। मनुष्यों के भीतर भी, एक समूह पर मान्यता सिद्ध उपकरण (जैसे, पश्चिमी, संसाधन-युक्त उच्च शिक्षा) दूसरों पर सामान्यीकृत नहीं हो सकते (ग्लोबल साउथ), जो AI-in-education उपायों की सामान्यीकरणीयता के लिए एक चिंता है।
-
मापन क्या चूक सकता है। AI-in-education सीखने के केंद्र में कुछ निर्माण अच्छी तरह से मापना सबसे कठिन हैं — और इसलिए उपकरणों द्वारा सबसे आसानी से चूके जाने या विकृत होने वाले:
- प्रक्रिया और रणनीति। मानक परिणाम उपाय सीखने के उत्पाद को पकड़ते हैं, प्रक्रिया को नहीं। वे छूट सकते हैं कि छात्र वास्तव में AI के साथ कैसे जुड़ते हैं — अतिरिक्त निर्भरता, अविवेचित स्वीकृति, या आलोचनात्मक सत्यापन। Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing अंतःक्रिया ट्रेस का उपयोग ठीक इसलिए करता है क्योंकि स्व-रिपोर्ट और परिणाम परीक्षाएँ इन गतिशीलताओं से चूकती हैं।
- अनुदैर्ध्य और टिकाऊ सीख। एक एकल पश्च-परीक्षा AI सहायता से फूला हुआ प्रदर्शन दिखा सकती है जबकि टिकाऊ, असहायित ज्ञान के क्षरण से चूक सकती है (प्रदर्शन–सीख अंतर)। एक समय बिंदु पर मापन सीखने के बारे में सक्रिय रूप से भ्रामक हो सकता है।
- समानता और पहुँच। ऐसे उपकरण जो एकसमान डिवाइस/संपर्क पहुँच मानते हैं, या विशेषाधिकार-प्राप्त प्रतिदर्शों पर मानकित हैं, वे कम-संसाधित शिक्षार्थी की क्षमताओं से चूक सकते हैं — या व्यवस्थित रूप से कम माप सकते हैं — पहुँच अंतरालों को क्षमता अंतरालों में गलत रूप से समझते हुए।
- भावनात्मक और प्रेरणात्मक अवस्थाएँ। संलग्नता, प्रेरणा और स्व-प्रभाविता का मापन प्रायः स्व-रिपोर्ट से होता है, जिसमें ऊपर का स्व-रिपोर्ट अंतर विरासत में आता है; वे स्थितिजन्य, क्षणभंगुर गतिशीलताओं को न पकड़ें जो सीखने को चलाती हैं।
-
स्वचालित मापन आत्मविश्वास से गलत हो सकता है। उच्च मशीन विश्वास और अपारदर्शी स्कोरिंग का संयोजन एक विशिष्ट AI-युग जोखिम है: एक LLM ग्रेडर या टिप्पणीकार अत्यधिक स्व-संगत अंक पैदा कर सकता है जो व्यवस्थित रूप से पूर्वाग्रहित हैं, और कठोरता का बाह्य रूप (बड़ा N, उच्च अंतर-LLM सहमति) अवैधता को छिपा सकता है। AI शिक्षा मूल्यांकन और मनोमापन-सचेत एआई ढाँचे प्रतिकार हैं — स्वचालित उपायों पर भरोसा करने से पहले अंशतःकलन, अनिश्चितता जागरूकता और वैधता प्रमाण की आवश्यकता।
संक्षेप में, शैक्षणिक मापन वह चूक सकता है जो वह नमूना नहीं लेता (प्रक्रिया, टिकाऊपन, पहुँच, भाव), और वह गलत कर सकता है जिसे वह खराब रूप से नमूना लेता है (स्व-धारणा, सतही विशेषताएँ, अनु-जनसंख्या निर्माण)। AI-in-education निष्कर्षों को पढ़ने के लिए इसलिए केवल यह नहीं पूछना आवश्यक है कि क्या मापा गया बल्कि कैसे — और उपकरण ने क्या पकड़ने में विफलता की हो सकती है।
- ऑडिट-योग्य कोडिंग परिभाषात्मक त्रुटि को मॉडल त्रुटि से अलग करती है। EduBehaviors किसी निर्माण को अलग-अलग टिप्पणीकृत प्रेक्ष्य व्यवहारों और एक स्पष्ट समुच्चय नियम में विघटित करता है, जिससे एक समीक्षक देख सकता है कि किस प्रमाण ने लेबल बनाया और नए मॉडल कॉल के बिना नियम परिवर्तन के बाद लेबल पुनः निकाल सकता है; इसने Teacher TalkMoves पर मैक्रो-F1 0.673 प्राप्त किया, जो सीधे LLM प्रॉम्प्टिंग के साथ प्रतिस्पर्धी है (Bernado et al., 2026)।
संबंध
शैक्षणिक मापन आइटम रिस्पॉन्स थ्योरी (IRT), मूल्यांकन की वैधता, ज्ञान अनुरेखण और शिक्षार्थी मॉडलिंग और अनुकूली शिक्षण की नींव है। यह लर्निंग एनालिटिक्स (सीखने के आँकड़ों का मापन), शैक्षिक एनएलपी (भाषा का मापन) और मनोमापन-सचेत एआई (मापन सिद्धांत के साथ संरेखित AI) से जुड़ता है। इसकी वैधता और विश्वसनीयता चिंताएँ AI शिक्षा मूल्यांकन और इस क्षेत्र की मापन सीमाओं का आधार हैं। जिन निर्माणों को वह मापता है उनके साथ यह AI साक्षरता, तकनीक अपनाने के मॉडल, स्व-प्रभावशीलता, प्रेरणा और छात्र सहभागिता से प्रतिच्छेद करता है।
- सहायक हस्तक्षेपों का कारणीय मॉडलिंग (2026): एक संरचनात्मक कारणीय मॉडलिंग प्रोटोकॉल शैक्षणिक मूल्यांकन को संबद्ध प्रश्न-प्रतिक्रिया सिद्धांत विश्वास अद्यतन से परे हस्तक्षेपीय और प्रतिहेतु तर्क (जैसे, संकेतों का प्रभाव) की ओर ले जाता है, जिसमें विशेषज्ञों से केवल तार्किक सूचना का उपयोग करके संरचनात्मक समीकरण प्राप्त किए जाते हैं — अनिवार्य-विद्यालय एल्गोरिथमिक-कौशल कार्यों पर उदाहरित (Causal Modelling of Support Interventions for Student Competency Assessment)।
संबंधित अवधारणाएँ
- AIEd शोध का व्याख्या और अनुप्रयोग
- आइटम रिस्पॉन्स थ्योरी (IRT)
- मूल्यांकन की वैधता
- मनोमापन-सचेत एआई
- ज्ञान अनुरेखण
- शिक्षार्थी मॉडलिंग और अनुकूली शिक्षण
- शैक्षिक एनएलपी
- लर्निंग एनालिटिक्स
- AI शिक्षा मूल्यांकन
- एआई-सहायक शैक्षिक अनुसंधान — AI-सहायित शैक्षणिक शोध
- स्वचालित मूल्यांकन
- AIEd अनुसंधान की सीमाएँ
- AI साक्षरता
- तकनीक अपनाने के मॉडल
- स्व-प्रभावशीलता
- बेंचमार्क
- स्वयं-रिपोर्ट मापन
- प्रेरणा
- छात्र सहभागिता
संबंधित लेख
- A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — बड़े पैमाने के लेखन मूल्यांकन में AI-सहायित स्कोरिंग के लिए एक मानव-इन-द-लूप ढाँचा
- Semantic Variability of LLM-Generated Replies Across LLMs: Implications for Designing Conversation-Based Assessment
- Causal Modelling of Support Interventions for Student Competency Assessment — छात्र दक्षता मूल्यांकन के लिए सहायक हस्तक्षेपों का कारणीय मॉडलिंग
- Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — क्या मूल्यांकन उपकरण मनुष्यों और LLM के लिए वही चीज़ मापते हैं? (Strugatski et al. 2026)
- GLAT: The Generative AI Literacy Assessment Test — GLAT: IRT-मान्यता सिद्ध GenAI साक्षरता परीक्षा (Jin et al. 2025)
- Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents — विस्तारित ICAP ढाँचे के साथ संज्ञानात्मक संलग्नता का मापन
- Assessment twins: An approach for strengthening assessment validity in the age of generative AI — GenAI के अंतर्गत मूल्यांकन वैधता सुदृढ़ीकरण के लिए मूल्यांकन जुड़वाँ
- The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education — AI Literacy Heptagon
- How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures — स्व-रिपोर्टित बनाम प्रदर्शन AI साक्षरता असंरेखण
- Teacher education for artificial intelligence literacy through a self-determination theory perspective — स्व-निर्धारण सिद्धांत के माध्यम से शिक्षक AI साक्षरता
- Acceptance of AI-Assisted English Language Learning Tools in Higher Education: Psychological Correlates Across Disciplinary and Proficiency Groups — अंग्रेज़ी सीखने के उपकरणों के लिए AI स्वीकृति उपाय
- From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — मूल्यांकित मॉडलों से मूल्यांकन सहायकों तक
- Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — LLM प्रश्न-कठिनाई पूर्वानुमान का संज्ञानात्मक मूल्यांकन
- Multimodal Item Parameter Estimation using Simulated Response Probabilities — मल्टीमोडल प्रश्न-पैरामीटर अनुमान
- AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics — भौतिकी में AI स्कोरिंग और भाषा पूर्वाग्रह
- The AI Writes the Code, the Student Writes the Model: A Theory and Measurement Programme for Learning by Construction with Generative AI — मॉडल लेखन: GenAI के साथ निर्माण द्वारा सीखने के लिए सिद्धांत और मापन
- Assessing students' DRIVE: A framework to evaluate learning through interactions with generative AI — DRIVE: GenAI अंतःक्रिया के माध्यम से सीखने का आकलन (DRI + Visible Expertise)
- A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — शैक्षणिक मापन में AI का दशक-विषयगत समीक्षा
- Design and Validation of a Questionnaire on Teachers' Uses of Generative Artificial Intelligence — जनक AI के शिक्षकों के उपयोगों पर प्रश्नावली (Pérez-Montesdeoca et al. 2026)
- Personalized neural cognitive architecture search — शिक्षार्थी प्रोफ़ाइल के लिए AutoML व्यक्तिगत तंत्रिका संज्ञानात्मक वास्तुकला खोज
- Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — LLM और वृक्ष-आधारित ML का उपयोग करके प्रश्न कठिनाई का अनुमान
- Assisting the grading of a handwritten general chemistry exam with artificial intelligence
- Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers — अपरिवर्तनशीलता, HTMT और DIF जाँचों के साथ विभाजित-आधा EFA/CFA मान्यता, जिसमें खेलपूर्णता-आशय निर्माण अतिव्याप्ति की ईमानदार व्याख्या शामिल है
- ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: प्रक्रिया-आधारित गणित प्रश्न गुणवत्ता मूल्यांकन
- Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use — AI साक्षरता से परे: सक्षम जनक-AI उपयोग के उपायों की एक संरचित समीक्षा और अन्वेषणात्मक मेटा-विश्लेषण
- Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — बेज़ियन सहमति अंशतःकलन: लगातार विकसित हो रहे IRT प्रश्न बैंक का बाँट-और-जीत पुनरांशतःकलन (Jewsbury et al. 2026)
- How much selection would be enough? Bounding the learning claim of El Salvador's artificial intelligence tutoring pilot — El Salvador के AI ट्यूटरिंग पायलट के सीखने के दावे को सीमित करना (Restrepo Morales et al. 2026)
- Know When to Trust: Making AI Scoring More Reliable for Educational Assessment — Know When to Trust: स्कोरिंग विश्वसनीयता उत्तोलकों के रूप में मॉडल स्व-विश्वास, संभाविता-आधारित स्कोरिंग और समुच्चय
- Development of an AI literacy self-assessment questionnaire in upper primary school students — उच्च-प्राथमिक AI साक्षरता के लिए एक मान्यता सिद्ध 15-प्रश्न स्व-मूल्यांकन प्रश्नावली (Thianwan और Srikoon 2025)
- Assessing teachers' AI literacy: a systematic review of measurement tools — COSMIN-शैली गुणवत्ता क्षेत्रों में 33 शिक्षक AI साक्षरता उपकरणों का व्यवस्थित आकलन (Zainal et al. 2026)
- Mental Health Literacy Across Psychology Students and Large Language Models — मनोविज्ञान विद्यार्थियों और बड़े भाषा मॉडल में मानसिक स्वास्थ्य साक्षरता
- StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI और मानव ट्यूटरिंग समकक्ष GRE सीखने की वृद्धि देती है
- Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — छात्रों का LLM उपयोग और डेटा विज्ञान पाठ्यक्रमों में AI-जनित प्रश्न कठिनाई की सीमाएँ
- EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues — EduBehaviors: शैक्षणिक संवादों के ऑडिट-योग्य कोडिंग के लिए अभिकथन-आधारित स्कीमा
- What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — निष्ठा मापक क्या चूकते हैं: संश्लेषित शैक्षणिक आँकड़ों पर एक संरचनात्मक जाँच
- AI Empathy as a Human Disposition in Generative AI Interaction: Development and Preliminary Psychometric Evaluation of a Cognitive–Affective–Motivational Scale — एक 42-प्रश्न AI सहानुभूति स्तर जिसके छह गुच्छों ने छह इच्छित उपगुच्छों को पुनर्प्राप्त नहीं किया
- Generative artificial intelligence-supported self-regulated learning (GenAI-SRL) in L2 writing: scale development, validation, and short-form construction — L2 लेखन के लिए एक छह-आयामी GenAI-SRL स्तर; चींटी-उपयुक्तकृत 12-प्रश्न लघु रूप पूर्ण स्तर (r = 0.910–0.944) को ट्रैक करता है लेकिन सामग्री परिधान संकुचित करता है
- Do Cognitive Classifications Predict Empirical Item Behaviour? Aligning Bloom's Taxonomy with the Psychometric Properties of National Centralized Mathematics Items across Grades 4–12 — क्या संज्ञानात्मक वर्गीकरण अनुभवजन्य वस्तु व्यवहार की भविष्यवाणी करते हैं? कक्षाओं 4–12 के राष्ट्रीय केंद्रीकृत गणित वस्तुओं के मनोमापीय गुणों के साथ ब्लूम के वर्गीकरण को संरेखित करना