हैलुसिनेशन जोखिम

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

हैलुसिनेशन जोखिम — शैक्षणिक संदर्भों में AI सिस्टम द्वारा ऐसी सामग्री उत्पन्न करने का खतरा जो विश्वसनीय प्रतीत होती है लेकिन तथ्यात्मक रूप से गलत या मनगढ़ी होती है, जहाँ ऐसी त्रुटियाँ शिक्षार्थी को भटका सकती हैं, भरोसा को कमज़ोर कर सकती हैं, और अमान्य आकलन तैयार कर सकती हैं। हैलुसिनेशन शिक्षा में विशेष रूप से परिणामकारी है क्योंकि विद्यार्थियों में AI की त्रुटियों का पता लगाने के लिए डोमेन ज्ञान की कमी हो सकती है, और शिक्षक ऐसे AI-जनित निदान या फीडबैक पर भरोसा कर सकते हैं जो आधिकारिक प्रतीत होते हैं लेकिन निराधार हैं।

विचार के लिए प्रश्न

• विद्यार्थियों में अक्सर AI की त्रुटि पहचानने के लिए डोमेन ज्ञान की कमी होती है, और शिक्षक आधिकारिक लगने वाले AI निदानों पर भरोसा कर सकते हैं। AI और शिक्षार्थी के बीच ज्ञान की यह असमानता हैलुसिनेशन को शिक्षा में विशेष रूप से खतरनाक कैसे बनाती है?
• एक अध्ययन में पाया गया कि विद्यार्थियों के हस्तलिखित गणित का निदान करते हुए AI ऐसी साक्ष्य-उद्धरणों का मनगढ़ापन कर सकता है जो वास्तव में उपस्थित नहीं थीं, और साथ ही आत्मविश्वास भी दावा करता रहता है। जब AI निश्चित लगता है और 'साक्ष्य' का उल्लेख करता है, तो कौन-सी बात आपको रुककर जाँचने के लिए विवश करे?
• यदि कोई AI ट्यूटर गलत हलों को अत्यधिक मान्य करता है और वैध लेकिन उप-इष्टतम तर्क को अत्यधिक अस्वीकार करता है, तो उस पर भरोसा करने वाले विद्यार्थियों और शिक्षकों पर दीर्घकालिक प्रभाव क्या होगा?
• पृष्ठ मानव-इन-द-लूप समीक्षा, साक्ष्य-जागरूक आत्मविश्वास-अंशांकन, और सत्यापित स्रोतों में आधारित रहने को शमन उपायों के रूप में सुझाता है। इनमें से कौन-सा आपके अपने संदर्भ में सबसे अधिक व्यवहार्य प्रतीत होता है, और उससे क्या अभी भी कुछ चूक सकता है?
• हैलुसिनेशन अति-निर्भरता के साथ कैसे अंतःक्रिया कर सकता है: AI की त्रुटि सबसे अधिक तब खतरनाक होती है जब उपयोगकर्ता उत्पादन पर अक्रिय विश्वास करते हैं, न कि जब वे संदेहवादी हों?
• यदि आप अपने विद्यार्थियों के लिए कोई AI फीडबैक उपकरण डिज़ाइन कर रहे हों, तो विश्वसनीय लेकिन गलत उत्पादन से बचाव के लिए आप कौन-कौन से विशिष्ट सुरक्षा उपाय अनिवार्य मानेंगे — और आप कैसे जानेंगे कि वे काम कर रहे हैं?

परिचय

इस ज्ञान-आधार के लेखों में दर्ज शैक्षणिक AI में हैलुसिनेशन कई रूपों में आता है: विद्यार्थी आकलन में मनगढ़ा साक्ष्य, शिक्षार्थी के ज्ञान का अति-आत्मविश्वासी गलत निदान, और ऐसी विश्वसनीय लेकिन गलत व्याख्याएँ जिन्हें विद्यार्थी सत्य मान लेते हैं। जोखिम शिक्षा में इसलिए बढ़ता है क्योंकि AI और शिक्षार्थी के बीच ज्ञान की असमानता का अर्थ है कि शिक्षार्थी AI के उत्पादनों को सत्यापित करने की स्थिति में नहीं है। एक और स्थिति AI-जनित पाठ्य-सामग्री है जो पाठ्यपुस्तक का स्थान लेती है: एक स्नातकोत्तर पाठ्यक्रम ने जिसने अपने व्यावसायिक पाठ्यपुस्तक को इस प्रकार बदला, 4,487 लॉग किए गए पृष्ठों में केवल लगभग 0.80% पर APA-शैली का इन-टेक्स्ट संदर्भ था और DOI स्ट्रिंग लगभग अनुपस्थित थीं, इसलिए अधिकांश दावों की कलाकृति के भीतर से जाँच संभव नहीं थी (सिदोरकिन, 2026). यह अनुरूपता-अंतराल एक गलत उत्तर से अलग है, क्योंकि पाठ आधिकारिक पढ़ा जाता है जबकि पुष्टि के आंतरिक साधन सीमित रहते हैं।

125 अध्ययनों की एक समीक्षा व्यापकता और पहचान-अंतराल पर एक सीमा रखती है: 10–40% की हैलुसिनेशन दरें, जिसमें चिकित्सा विद्यार्थी AI की त्रुटियों को केवल 44–55% मौकों पर पहचानते हैं (रथनायके (2026)).

आकलन-हैलुसिनेशन विशेष रूप से हानिकारक है। MathCog ने पाया कि संज्ञानात्मक कौशलों का निदान करते समय LLM विद्यार्थी के हस्तलेखन में उपस्थित न होने वाली साक्ष्य-उद्धरणों का मनगढ़ापन करते हैं, और 58.5% गलत निदानों के साथ साक्ष्यात्मक आत्मविश्वास के झूठे दावे होते हैं। The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows ने बड़े भाषा मॉडल (LLMs) तर्क में साक्ष्यों की व्यवस्थित अति-आरोपण का दस्तावेज़ीकरण किया — मॉडल वहाँ साक्ष्यात्मक समर्थन का दावा करते हैं जहाँ कोई नहीं है। दोनों AI शिक्षा मूल्यांकन और ज्ञान अनुरेखण की मूल्यांकन की वैधता संबंधी चिंताओं से जुड़े हैं। आइवरी एट अल. (2026) दो विफलता मोड जोड़ते हैं जो तब दिखाई देते हैं जब AI उत्पादन का केवल अंकन किया जाता है, निरीक्षण नहीं: मनगढ़े विशिष्ट तथ्य जो ग्रेडिंग में टिक जाते हैं — एक ऐसा समीक्षित शोधपत्र जो अस्तित्व में नहीं है, जिसमें एक अनसुलझे DOI के साथ, और एक नमूना आकार जो 378 बताया गया जबकि स्रोत ने 329 कहा था — और एक ही प्रतिक्रिया के भीतर स्व-विरोधाभास, जहाँ मॉडल ने तर्क द्वारा सही विकल्प तक पहुँचा और फिर अपने अंतिम सारांश में एक भिन्न विकल्प बताया। क्योंकि संदर्भ-सूचियों की वर्तमान में शुद्धता के बजाय प्रारूपण के लिए जाँच की जाती है, यह त्रुटि-श्रेणी उत्तीर्ण अंक प्राप्त करती है जबकि उस विद्यार्थी को भटकाती है जो संशोधन के लिए उसी उपकरण का उपयोग करता है।

एक आकलन-डिज़ाइन पायलट में, पॉला एट अल. (2026) ने मनगढ़े संदर्भ और अवास्तविक समय-आकलन पाए जो बार-बार प्रॉम्प्टिंग के बावजूद टिके और जिन्हें पर्याप्त शैक्षणिक संशोधन की आवश्यकता हुई — शिक्षक-उन्मुख ड्राफ्टिंग उपकरण में हैलुसिनेशन, न कि विद्यार्थी के कार्य में।

रणनीतिक एआई के बारे में गलतफहमियाँ खुले हैलुसिनेशन के एक अधिक सूक्ष्म संबंधी हैं। मिलिसेविच एट अल. (2026) ने सात ओपन-वेट मॉडलों से 35 मूल कंप्यूटर-विज्ञान संकल्पनाओं के लिए एक "सुक्रातीय फंदा" बनाने के लिए कहा — एक ऐसी व्याख्या जो प्रवाहपूर्ण और आधिकारिक है लेकिन एक सूक्ष्म, डोमेन-विशिष्ट त्रुटि पर टिकी है — और तीन डोमेन विशेषज्ञों ने 241 प्रॉम्प्ट किए गए खंडों में से 221 (91.7%) को रणनीतिक भ्रम माना, CS डोमेनों के बीच कोई उल्लेखनीय अंतर नहीं। त्रुटियाँ मुख्यतः वैचारिक थीं न कि तथ्यात्मक (66.5% बनाम 33.5%) और कोई भी पूर्णतः तार्किक नहीं थी, और उन्हें मध्यम से उच्च स्तर का प्रभावशाली मान्यता मिली (पाँच-बिंदु पैमाने पर M = 3.71), जिसमें मॉडल की पहचान 43% विचलन समझाती है। क्योंकि व्यक्तिगत कथन सही हो सकते हैं जबकि उनके बीच का संबंध गलत हो, तो तथ्य-जाँच अपर्याप्त है; लेखक तर्क देते हैं कि शिक्षार्थियों को वैचारिक सत्यापन और मानसिक-मॉडल प्रमाणीकरण की आवश्यकता है। वे यह भी चेतावनी देते हैं कि यह दर प्रतिकूल प्रॉम्प्टिंग के तहत क्षमता मापती है, न कि सामान्य उपयोग में ऐसी त्रुटियों की व्यापकता, और किसी भी विद्यार्थी का परीक्षण नहीं हुआ, इसलिए न कोई धोखा न ही कोई शिक्षण परिणाम मापा गया।

हेरफेर किया गया साक्ष्य, न कि मनगढ़ा। स्वचालित ग्रेडिंग में एक संबंधित विफलता मोड बाहर से स्थानांतरित किया गया उत्पादन है। हंबल (2026) ने एक नियमित AI ग्रेडिंग कार्यप्रवाह का रेड-टीमिंग किया और पाया कि प्रस्तुत की गई फ़ाइल के भीतर छिपे निर्देशों ने एक असफल निबंध की श्रेणी को बिना किसी दृश्य चेतावनी के बढ़ा दिया — एक रणनीति के लिए 9 में से 9 पुनरावृत्तियों में और दूसरी के लिए 18 में से 17 में। दो विवरण trust पर बल देते हैं: एक पहचानी गई इंजेक्शन को चैट को चुपचाप अक्षम करके रोका गया और उपयोगकर्ता को कभी सूचित नहीं किया गया, और एक चाल में जहाँ उपकरण ने घोषणा की कि वह केवल आधिकारिक असाइनमेंट निर्देशों का पालन करेगा, उसी फ़ाइल के छह पुनः-चालन भी श्रेणी बढ़ाते रहे। इस प्रकार प्राप्त अंक के साथ कोई वैधता दावा नहीं है, और क्योंकि हेरफेर कोई स्थायी निशान नहीं छोड़ता, प्रशिक्षक ऐसे उत्पादन पर एकमात्र वास्तविक जाँच बने रहते हैं जिसे दिखाई न देना ही रचा गया था।

ऐसे हेरफेर के विरुद्ध बचाव अपना ही समझौता लेकर आते हैं: एक बहु-स्तरीय गार्डरेल पाइपलाइन ने 46.34% इंजेक्शन को सफल होने दिया और प्रॉम्प्ट गार्ड ने 38.48%, जबकि NeMo गार्डरेल्स ने हर हमले को रोका लेकिन 16.22% सामान्य विद्यार्थी प्रश्नों को ध्वजांकित किया — एक झूठी-सकारात्मक दर जो स्वयं एक ट्यूटर में शैक्षणिक हानि है (मायोरानो (2026)।

ट्यूटरिंग हैलुसिनेशन सीखे को सीधे प्रभावित करता है। Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most ने पाया कि LLM गलत हलों को अति-मान्य करते हैं जबकि वैध लेकिन उप-इष्टतम तर्क को अति-अस्वीकार करते हैं — व्यवस्थित विफलताएँ जो विद्यार्थियों और शिक्षकों दोनों को भटकाएँगी। Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks और EduGuard: A Safe RAG-Based LLM Tutor for Programming Education शैक्षणिक LLM के लिए सुरक्षा तंत्रों से संबंधित हैं। ये जोखिम पाठ्य-सुरक्षा: शिक्षा में पेडागॉजिकल सेफ्टी और मानव-लूप-में आवश्यकताओं से जुड़े हैं।

शमन उपाय में मानव-लूप-में डिज़ाइन शामिल हैं जहाँ AI शिक्षक के निर्णय का समर्थन करता है न कि प्रतिस्थापित करता है, साक्ष्य-जागरूक संरचनाएँ जो साक्ष्यात्मक गुणवत्ता के आधार पर आत्मविश्वास को अंशांकित करती हैं (जैसा MathCog ने प्रस्तुत किया), और RAG (रिट्रीवल-ऑगमेंटेड जनरेशन)-आधारित आधारित रहना जो LLM उत्पादनों को सत्यापित स्रोतों तक सीमित करता है। अति-निर्भरता संकल्पना इससे निकट से संबंधित है — हैलुसिनेशन सबसे अधिक तब खतरनाक है जब उपयोगकर्ता AI उत्पादनों पर अक्रिय विश्वास करते हैं। सिदोरकिन (2026) एक ऐसी विफलता मोड जोड़ते हैं जिसे शमन-स्तंभ पूरी तरह नहीं ढकता: अति-विशिष्ट संस्थागत दावे, जिसमें लॉग किए गए पृष्ठों का लगभग 1.03% "Sacramento State" जैसे नामित परिसर को संशोधित रिटेंशन, टेन्योर और पदोन्नति नियमों या CSU कार्यपालिका आदेशों के बारे में दावा करने वाले मुखर क्रिया-क्रियाओं के साथ जोड़ता है, जिनमें से कोई भी पाठ से सत्यापित नहीं है। विशिष्टता ही इसे महँगा बनाती है, क्योंकि एक मनगढ़ा स्थानीय विवरण पाठक की विश्वसनीयता-जाँच में टिकने के लिए पर्याप्त सटीक दिखता है, और अध्ययन द्वारा प्रस्तावित उपाय तकनीकी नहीं बल्कि प्रक्रियात्मक है: उत्पादन को प्रशिक्षक-समीक्षा के अंतर्गत ड्राफ्ट-निर्माण मानें, फिर स्रोतों को एक रिट्रीवल-संवर्धित डिज़ाइन में क्यूरेट करें।

लेबल लगी अनिश्चितता ने घोषित निर्भरता घटाई, न कि बढ़ाई। जब 546 प्रतिभागियों ने एक ही GAI संवाद पढ़ा जिसे या तो मनगढ़ी सूचना युक्त बताया गया या सत्यापित सटीक, तो मनगढ़ा लेबल ने कम भरोसा और कम अनुभूत नियंत्रणीयता तथा अधिक संज्ञानात्मक असंगति और निराशा के साथ कम निर्भरता स्कोर दिए (M = 2.935 बनाम 3.254) (लिउ एट अल. (2026)। परिणाम इस पृष्ठ के अति-निर्भरता तर्क को संशोधित करता है: यह देखना कि कोई उत्पादन मनगढ़ा हो सकता है, उस पर झुकते रहने के समान नहीं है।

संबंधित अवधारणाएँ

• संज्ञानात्मक ऑफलोडिंग
• मानव-लूप-में
• AI शिक्षा मूल्यांकन
• पाठ्य-सुरक्षा: शिक्षा में पेडागॉजिकल सेफ्टी
• ज्ञान अनुरेखण
• RAG (रिट्रीवल-ऑगमेंटेड जनरेशन)
• शैक्षणिक इमानदारी
• शिक्षण
• बहुमाध्यमी AI
• जनरेटिव-AI
• बड़े भाषा मॉडल (LLMs)
• उत्पादक विफलता

संबंधित लेख

• GAI hallucinations and user dependence: cognitive-affective responses and individual differences — किसी GAI संवाद को मनगढ़ा बताने से विश्वास और निर्भरता दोनों घटीं

• The Integrity of Psychology Assessments in the AI Age: A Critical Examination — उत्तीर्ण योग्य विद्यार्थी कार्य के भीतर मनगढ़े संदर्भ और स्व-विरोधाभासी उत्पादन (आइवरी एट अल. 2026)

• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work

• The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows

• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most

• Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks

• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs

• VeriForge: Mitigating Latent Knowledge Gaps in Narrative Drafting via Mixed-Initiative Scaffolding

• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025)

• From One-Size Texts to Tailored Readings: Student Experiences with AI-Generated Course Materials

• The Socratic trap: Benchmarking the capacity of large language models to generate strategic misconceptions in computer science education — SocraticTrap-CS: प्रवाहपूर्ण विश्वसनीय व्याख्याएँ जो वैचारिक स्तर पर गलत हैं (मिलिसेविच एट अल. 2026)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — छिपी प्रॉम्प्ट इंजेक्शन AI-द्वारा दिए गए अंकों को अपहृदय रूप से बढ़ाती हैं, और पहचाने गए हमले असूचित रहते हैं (हंबल 2026)

• Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education — Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education