अपने विषय में सीखने की सहायता के लिए AI को बेहतर कैसे बनाएँ?

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

एक सामान्य-उद्देश्य (general-purpose) मॉडल खुशी-खुशी छात्र के प्रश्न का उत्तर ही दे देगा, और उसे आपके पाठ्यक्रम, आपके रूब्रिक, या आपके छात्रों की वास्तविक गलतियों के बारे में कुछ भी नहीं पता होता। इस अंतर को पाटना आमतौर पर एक प्रशिक्षण (training) समस्या के रूप में प्रस्तुत किया जाता है। इस ज्ञान-आधार में यह मुख्य रूप से एक ग्राउंडिंग और प्रॉम्प्टिंग की समस्या है, और इस क्रम के पक्ष में साक्ष्य असाधारण रूप से सीधा है: एक कोर्स-सहायक अध्ययन में पाया गया कि पहले-क्रम का निर्णय मॉडल नहीं, बल्कि रिट्रीवल था, और यह कि बिना किसी ग्राउंडिंग वाला एक सामान्य मॉडल एक साधारण TF-IDF बेसलाइन से भी नीचे स्कोर करता था।

प्रशिक्षण वास्तविक है और कभी-कभी आवश्यक भी है, लेकिन यह आज़माने का तीसरा या चौथा कदम है, पहला नहीं। नीचे दी गई सीढ़ी उसी क्रम में है जो गणना की बर्बादी से बचाती है।

संक्षिप्त संस्करण

पाँच उपकरण (levers) हैं, लागत और प्रतिबद्धता के बढ़ते क्रम में: प्रॉम्प्टिंग, आपकी अपनी सामग्री पर रिट्रीवल, पैरामीटर-कुशल अनुकूलन (LoRA और समान), पूर्ण फाइन-ट्यूनिंग, और प्राथमिकता या इनाम संकेतों के साथ पोस्ट-प्रशिक्षण। प्रत्येक सीढ़ी नीचे वाली की तुलना में अधिक डेटा, अधिक गणना और अधिक मूल्यांकन अनुशासन की माँग करती है, और प्रत्येक पहली पसंद के रूप में खराब है जब तक कोई माप चढ़ाई को उचित न ठहराए।

शोध साहित्य मुख्य रूप से उस सीढ़ी के शीर्ष की रिपोर्ट करता है, इसीलिए जब ग्राउंडिंग ही काफी होती है तब भी प्रशिक्षण की ओर पहुँचना आसान है।

चरण 1: ऐसा बेसलाइन प्राप्त करें जिसे आप वास्तव में हरा सकें

कुछ भी बदलने से पहले, एक साधारण प्रॉम्प्ट से मिलने वाला परिणाम लॉग करें। फिर एक तुच्छ (trivial) विधि से मिलने वाला परिणाम भी लॉग करें, क्योंकि यही संख्या आपको ईमानदार रखती है।

कोर्स नॉलेज-बेस सहायक अध्ययन अकेले इसी कारण पढ़ने योग्य है। बिना रिट्रीवल वाला एक स्थानीय LLM 52.3% सटीकता तक पहुँचा। एक TF-IDF बेसलाइन — दशकों पुरानी एक शब्दिक (lexical) विधि — 55.4% तक पहुँचा। मॉडल शास्त्रीय विधि से खराब था।

अगर आप यह चरण छोड़ दें तो आप यह बता नहीं सकते कि आपका फाइन-ट्यून मददगार रहा या नहीं, और हो सकता है आप ऐसा कुछ भेज दें जिसे एक कीवर्ड खोज आसानी से हरा दे।

चरण 2: मॉडल को अपनी सामग्री में ग्राउंड करें

कोर्स सामग्री पर रिट्रीवल-ऑगमेंटेड जनरेशन जोड़ने से — बिल्कुल बिना फाइन-ट्यूनिंग के — उसी प्रणाली ने 52.3% से 66.6% तक प्रदर्शन बढ़ाया। इस ज्ञान-आधार में लागत के सापेक्ष यही सबसे बड़ी एकल वृद्धि है, और यह प्रतिवर्ती (reversible) भी है: जब आपके दस्तावेज़ बदलते हैं, तो आप पुनः-अनुक्रमित (re-index) करते हैं, पुनः-प्रशिक्षित नहीं करते।

दो अन्य परिणाम इसी दिशा में इशारा करते हैं। लेखन शिक्षण के लिए AI को अनुकूलित करने पर 23 अनुभवजन्य अध्ययनों के एक PRISMA समीक्षा ने फाइन-ट्यूनिंग (N = 7) से आगे प्रॉम्प्ट इंजीनियरिंग को प्रमुख (N = 13) पाया (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design)। और जहाँ एक ज्ञान-आधार को अद्यतित रहना होता है, वहाँ रिट्रीवल ही एकमात्र ऐसा उपकरण है जो प्रशिक्षण कार्य दोबारा चलाए बिना अद्यतित रहता है।

रिट्रीवल का एक शैक्षणिक रूप भी है। मॉडल को अपने हल किए गए उदाहरणों और रूब्रिक में ग्राउंड करना ही इस तरीका है कि वह आपके द्वारा डिज़ाइन किए गए स्कैफोल्ड के भीतर रहे, सामान्य सलाह की ओर बहने के बजाय।

चरण 3: रूब्रिक के विरुद्ध प्रॉम्प्ट इंजीनियर करें

प्रॉम्प्ट का काम कोई ऐसी प्रारंभिक प्रक्रिया नहीं है जो आप प्रशिक्षण का इंतज़ार करते हुए करें। यहाँ दो परिणाम दिखाते हैं कि यह अकेले क्या हासिल करता है:

• रूब्रिक-निर्देशित प्रॉम्प्टिंग, पुनरावृत्त रूप से सह-परिष्कृत, ने छात्र डिज़ाइन कार्य पर LLM–मानव सहमति को 54.75% से 81.25% तक बढ़ाया (क्रोनबैक का अल्फ़ा 0.393 → 0.798), बिल्कुल बिना फाइन-ट्यूनिंग के (From evaluation to emulation: LLMs as agents of iterative pedagogical design)।
• साहित्य-आधारित एक कस्टम प्रॉम्प्ट ने लक्षित गणितीय एआई के बारे में गलतफहमियाँ को 0.98 उपस्थिति पर प्राप्त किया, जबकि एक व्यापक प्रॉम्प्ट के लिए 0.40 था (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching)।

व्यावहारिक संकेत प्लेटो (plateau) है। आइटम-जनरेशन अध्ययन में, पुनरावृत्त प्रॉम्प्ट परिष्कृति से सुधार रुक गया, और फिर GPT-4.1 का अनुकूलित प्रॉम्प्ट पर फाइन-ट्यूनिंग ने शेष वृद्धि जोड़ दी (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment)। वास्तविक प्रॉम्प्ट कार्य के बाद आया प्लेटो आपका साक्ष्य है कि प्रशिक्षण कुछ जोड़ सकता है। प्लेटो पहुँचने से पहले प्रशिक्षण की ओर बढ़ना अनुमान लगाना है।

चरण 4: जब लक्ष्य स्थिर और विशिष्ट हो तो मॉडल को अनुकूलित करें

अनुकूलन तब लाभदायक है जब आपको मॉडल से किसी गुण को भरोसेमंद रूप से बनाए रखने की आवश्यकता हो: एक पठन स्तर, एक आउटपुट प्रारूप, कोई क्षेत्र जो उसमें नहीं है। बार-बार आने वाला परिणाम यह है कि लक्ष्यीकरण आकार को हराता है।

• विशेषज्ञ-डिज़ाइन बाल पठन पाठ्यक्रम पर फाइन-ट्यून किए गए तीन 8B मॉडल ने कठिनाई-संबंधी मेट्रिक्स पर शून्य-शॉट GPT-4o और Llama 3.3 70B से बेहतर प्रदर्शन किया, और सुरक्षा संबंधी समस्याएँ नगण्य थीं। लेखकों ने इसे आकार पर नियंत्रणीयता (controllability over scale) के रूप में प्रस्तुत किया (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety)।
• भारतीय ज्ञान परंपराओं (Indian Knowledge Systems) में आधारित एक 24,795-उदाहरण निर्देश डेटासेट ने एक 7B फाइन-ट्यून उत्पन्न किया, जिसने पाँच-न्यायाधीश बाह्य पैनल पर 6.39 स्कोर किया — तैनाती लागत के एक अंश पर एक मजबूत सामान्य संदर्भ मॉडल के 0.15 के भीतर — जबकि उसी बेस मॉडल ने फाइन-ट्यून के बिना डोमेन-विशिष्ट आयामों पर लगभग शून्य स्कोर किया (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems)। "सामान्य रूप से सक्षम" और "यहाँ सक्षम" के बीच यही अंतर डोमेन अनुकूलन का पूरा तर्क है।
• लगभग 3,900 पूल किए गए अंकित उदाहरणों पर प्रशिक्षित एक एकल LoRA अडैप्टर ने पाँच छोटे खुले मॉडलों (4B–30B) को दो कंप्यूटर-विज्ञान परीक्षाओं में मानव ग्रेडर के बराबर या बेहतर स्तर तक पहुँचाया (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams)। एक अडैप्टर, एक डेटासेट, कई बेस मॉडल: यही उस तैनाती का आकार है जिसे एक छोटी टीम वास्तव में चला सकती है।

शीर्षक में स्थिर शब्द पर ध्यान दें। प्रारूप, रूब्रिक, पठन स्तर और डोमेन शब्दावली स्थिर लक्ष्य हैं। निर्णय-युक्त गद्य नहीं है, और अनुकूलन वहीं विफल होता है।

चरण 5: यह बदलें कि वह कैसे व्यवहार करे, न कि केवल यह कि वह क्या उत्पन्न करे

अनुकूलन मॉडल को सिखाता है कि क्या उत्पन्न करना है। पोस्ट-प्रशिक्षण उसे सिखाता है कि कैसे व्यवहार करना है, और ट्यूटरिंग के लिए यही भेद पूरी समस्या है: सामान्य मॉडल सहायक होने के मानव प्राथमिकता पर पोस्ट-प्रशिक्षित होते हैं, जिसका अर्थ है शीघ्र उत्तर देना, जबकि शिक्षण के लिए उत्तर रोक कर रखना आवश्यक है।

यहीं सबसे मजबूत शैक्षिक परिणाम रहते हैं। EduQwen का इनाम मॉडल ने स्पष्ट रूप से प्रत्यक्ष उत्तरों के ऊपर मार्गदर्शक प्रतिक्रियाओं को प्राथमिकता दी, और उसकी तीन-चरणीय पाइपलाइन ने CDPK बेंचमार्क पर Gemini-3 Pro के 90.55% के मुकाबले 96.52% प्राप्त किया (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)। SWIM का लेखन सिम्युलेटर रूब्रिक-आधारित प्रॉम्प्टिंग (सर्वोत्तम QWK 0.577) से पर्यवेक्षित फाइन-ट्यूनिंग (0.474 ± 0.023) और सुदृढीकरण अधिगम (0.618 ± 0.005) तक गया, प्रत्येक गुणधर्म और प्रॉम्प्ट पर (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)।

इस क्षेत्र की एक खोज को नज़रअंदाज़ करना आसान और महँगा दोनों है: पर्यवेक्षण की गुणवत्ता पर्यवेक्षण की मात्रा को हराती है। निर्देश-ट्यून किए गए मॉडलों ने बीजगणितीय भ्रम तभी सीखा जब उन्हें चरण-स्तरीय समाधान पथों पर प्रशिक्षित किया गया; केवल अंतिम उत्तरों पर प्रशिक्षित होने पर सटीकता प्रत्येक डेटा आकार पर 30% से नीचे रही (Misconception Acquisition Dynamics in Large Language Models)। यदि आपके प्रशिक्षण उदाहरण प्रश्न-और-सही-उत्तर जोड़े हैं, तो आप गलत चीज़ का प्रशिक्षण करा रहे हैं।

जब मॉडल का अनुकूलन मदद नहीं करता

यह वह हिस्सा है जिसे उत्साह आमतौर पर छोड़ देता है।

• निर्णय-युक्त पाठ। WrAFT में, उसी प्रोजेक्ट ने जिसने निबंधों के स्कोरिंग के लिए सफलतापूर्वक फाइन-ट्यून किया (QWK 0.84), उसने फीडबैक के लिए फाइन-ट्यून करने पर कटा हुआ और अपार्स करने योग्य आउटपुट उत्पन्न किया, जबकि Claude 3.7 को सीधे प्रॉम्प्ट करने से वही फीडबैक मिला जिसे शिक्षकों ने सर्वश्रेष्ठ बताया (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays)। फाइन-ट्यूनिंग ने मॉडल को एक स्कोर मारना सिखाया; उसे लिखना नहीं सिखाया।
• स्केल एक भरोसेमंड भविष्यवक्ता नहीं है LoRA अनुकूलन के तहत डाउनस्ट्रीम प्रदर्शन का, और समान हाइपरपैरामीटर ने विभिन्न आर्किटेक्चरों में गुणात्मक रूप से भिन्न व्यवहार उत्पन्न किया (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models)। एक मॉडल पर काम करने वाली विधि विधि नहीं होती।
• आर्किटेक्चर पैरामीटर गणना से अधिक मायने रख सकता है। 1,000 कैप्शन वाली नाभिकीय-इंजीनियरिंग छवियों पर तीन खुले टेक्स्ट-टू-इमेज मॉडलों को फाइन-ट्यून करने से Stable Diffusion XL में उल्लेखनीय सुधार हुआ, SD-v3.5-Medium के लिए सीमित लाभ मिले, और Flux.1 के लिए कोई मापने योग्य सुधार बिल्कुल नहीं (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts)।
• कभी-कभी उत्तर प्रशिक्षण के बजाय सत्यापन है। एक अप्रशिक्षित अग्रणी GPT-4 ने ट्यूटरिंग फीडबैक लिखते समय लगभग 35% बहुत सामान्य, गलत या उत्तर प्रकट करने वाले संकेत उत्पन्न किए, और उसके अपने स्वचालित गुणवत्ता जाँच मानव निर्णय से असहमत थीं (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models)।

व्यवहार में क्या चाहिए

अनुकूलन सीढ़ी के लिए दरवाज़ा अधिकांश टीमों की धारणा से नीचे है: कुछ सौ से कुछ हज़ार उदाहरण और एक GPU। LoRA जोड़े गए पैरामीटरों की एक छोटी संख्या को प्रशिक्षित करता है और बेस भारों को जमी हुई छोड़ देता है, इसलिए एक अडैप्टर से कई मॉडल परोसे जा सकते हैं।

रैंक एक व्यापार-विनिमय है, अधिकतम करने का कोई घुंडी नहीं: रैंक बढ़ने पर प्रति दस लाख अडैप्टर पैरामीटर लाभ एकसमान रूप से घटा, और कोर्स-स्तरीय संरेखण एक स्केल-और-रैंक निर्णय था, कोई मुफ़्त उन्नयन नहीं (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects)। आप किन परतों को अनुकूलित करते हैं यह भी एक वास्तविक पसंद है — एक BERT-आधारित प्रवचन विश्लेषक की केवल अंतिम चार ट्रांसफॉर्मर परतों को अद्यतन करना, केवल शीर्ष परत को अनुकूलित करने और पूर्ण-गहराई फाइन-ट्यूनिंग दोनों को हरा दिया (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model)।

वह लागत जिसे नीचे आँकना आसान है, वह मूल्यांकन है, गणना नहीं। देखें हमें कैसे पता चले कि कोई शैक्षिक AI सही ढंग से काम कर रहा है, न कि केवल अच्छा स्कोर कर रहा है?

अपनी अपेक्षाओं को अंशांकित करें

मॉडल और प्रॉम्प्ट पसंद मिलकर LLMs और छात्र अधिगम लाभ के बीच असंरेखण के केवल लगभग 15% की व्याख्या करती हैं, और उस अध्ययन में बेंचमार्क-भारण और एकमत-मतदान एन्सेम्बल ने संरेखण को खराब किया (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact)। पूर्व-प्रशिक्षण डेटा यह है कि मॉडल कैसे व्यवहार करता है, उस पर प्रभावी सबसे बड़ा उपकरण है, और यह एकमात्र उपकरण है जिसे आप खींच नहीं सकते।

यह ऊपर दिए कार्य के विरुद्ध तर्क नहीं है। यह इस अपेक्षा के विरुद्ध तर्क है कि एक फाइन-ट्यून किसी डिज़ाइन समस्या को ठीक कर देगा। यदि समस्या यह है कि आपका ट्यूटर बहुत आसानी से उत्तर दे देता है, तो प्रशिक्षण उस पर असर कर सकता है। यदि समस्या यह है कि आपके शिक्षार्थी उसके साथ जुड़ाव नहीं बनाते, तो प्रशिक्षण नहीं करेगा।

एक संक्षिप्त निर्णय क्रम

1. केवल-प्रॉम्प्ट बेसलाइन लॉग करें, जिसमें एक तुच्छ भी शामिल हो। 2. अपनी सामग्री पर रिट्रीवल जोड़ें। 3. रूब्रिक के विरुद्ध पुनरावृत्त रूप से प्रॉम्प्ट इंजीनियर करें, और प्लेटो पर नज़र रखें। 4. जब लक्ष्य एक स्थिर प्रारूप, रूब्रिक, स्तर या डोमेन हो तब LoRA से मॉडल को अनुकूलित करें। 5. केवल तभी पोस्ट-प्रशिक्षित करें जब आपको यह बदलने की आवश्यकता हो कि वह कैसे व्यवहार करता है, और इनाम को एक बेंचमार्क के विरुद्ध लिखें, क्योंकि उसका दुरुपयोग किया जाएगा। 6. उत्तर स्तर पर नहीं, चरण स्तर पर पर्यवेक्षण करें। 7. जहाँ विश्वास कम हो, लूप में एक मानव रखें। 8. एकल बारी के बजाय पूरी बातचीत में सुरक्षा का परीक्षण करें।

संबंधित प्रश्न

• हम छात्रों के उत्तर देने के बजाय मार्गदर्शन करने के लिए AI ट्यूटर को कैसे प्रशिक्षित करें? — पोस्ट-प्रशिक्षण आधी बात विस्तार से
• हमें कैसे पता चले कि कोई शैक्षिक AI सही ढंग से काम कर रहा है, न कि केवल अच्छा स्कोर कर रहा है? — यह बताने के लिए कि उसमें से कुछ भी काम करता रहा या नहीं
• प्रभावी AI ट्यूटर के विकास के लिए सर्वोत्तम प्रथाएँ क्या हैं? — उसी लक्ष्य की अंतःक्रिया-डिज़ाइन ओर
• प्रभावी शैक्षिक AI सॉफ़्टवेयर के डिज़ाइन के लिए सर्वोत्तम प्रथाएँ और सुझाव क्या हैं?
• LLM प्रशिक्षण और सूक्ष्म-अनुकूलन — पूर्ण अवधारणा पेज