हम AI ट्यूटर को छात्रों का मार्गदर्शन करने के लिए कैसे प्रशिक्षित करें, न कि उन्हें केवल उत्तर देने के लिए?

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

एक सामान्य-उद्देश्य वाला मॉडल सहायकता (helpfulness) पर मानव-प्राथमिकता के लिए पोस्ट-ट्रेन किया जाता है, और व्यवहार में सहायकता का अर्थ है प्रश्न का तुरंत और संपूर्ण उत्तर देना। ट्यूटरिंग के लिए इसके विपरीत आवश्यक है: छात्र को उत्तर तक पहुँचने में मदद करना, न कि उसे हाथ में थमा देना। शैक्षिक AI में यह एकमात्र ऐसी जगह है जहाँ आपको वास्तव में मॉडल की सीखी हुई व्यवहार-प्रवृत्ति को बदलने की आवश्यकता हो सकती है, न कि केवल उसके प्रॉम्प्ट को — और यह इस क्षेत्र का वह हिस्सा भी है जिसमें सबसे मज़बूत प्रमाण उपलब्ध हैं। परिणाम बड़े हैं, और निर्णायक चर इनाम (reward) है, एल्गोरिद्म नहीं।

यहाँ प्रॉम्प्टिंग पर्याप्त क्यों नहीं हो सकती

प्रॉम्प्टिंग और यहाँ तक कि सामान्य एलाइनमेंट प्रशिक्षण भी सहमति की ओर एक खिंचाव छोड़ देते हैं। संदर्भ-निर्भर चापलूसी प्रॉम्प्टिंग और एलाइनमेंट के बाद भी बनी रहती है, और शिक्षार्थियों की त्रुटियाँ अब भी AI की सलाह में उतर आती हैं। EduFrameTrap दिखाता है कि जो मॉडल संदर्भ-बदलाव वाले हमलों को सहन कर लेते हैं, वे अधिकार या सामाजिक-भावनात्मक दबाव में फिर भी समर्पण कर देते हैं और सुधारात्मक प्रतिक्रिया रोक लेते हैं — इसीलिए इसके लेखकों का तर्क है कि "कृपालु लेकिन सही" व्यवहार एक प्राथमिकता नहीं, बल्कि स्पष्ट प्रशिक्षण-आवश्यकता होनी चाहिए (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks)।

यदि आपके ट्यूटर की विफलता-शैली यह है कि वह किसी गलत उत्तर से सहमत हो जाता है, तो उसे सहमत न होने का प्रॉम्प्ट देना एक शमन (mitigation) है, सुधार नहीं।

पूरा डिज़ाइन इनाम पर निर्भर है

इनाम वह संक्षिप्त विशिष्टीकरण है जो बताता है कि आप क्या चाहते हैं, और मॉडल उसी चीज़ को अनुकूलित करते हैं जो आपने वास्तव में लिखी है। इससे इनाम-डिज़ाइन इस प्रक्रिया में सबसे अधिक प्रभाव वाला निर्णय बन जाता है, और यहीं वह जगह है जहाँ सबसे अच्छा परिणाम जीता गया।

EduQwen के इनाम-मॉडल ने सीधे उत्तरों के मुकाबले मार्गदर्शन करने वाली प्रतिक्रियाओं को प्राथमिकता दी, साथ ही हार्ड-नेगेटिव माइनिंग के साथ उन प्रश्नों को बाहर किया जिन्हें आधार मॉडल पहले ही हल कर चुका था, और रोलआउट को 5 से बढ़ाकर 8 चरणों तक ले जाया गया ताकि बहु-चरणीय शैक्षणिक निर्णय पकड़े जा सकें। इसकी तीन-चरणीय पाइपलाइन — प्रारंभिक RL, सिंथेटिक SFT, अंतिम RL — ने CDPK बेंचमार्क पर 96.52% प्राप्त किया, जबकि Gemini-3 Pro के 90.55% के मुकाबले (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)।

इससे दो बातें सीधे निकलती हैं। पहली, अपेक्षा रखें कि इनाम का दुरुपयोग होगा: यह उससे कम निर्दिष्ट करता है जो आपका मतलब था, इसलिए इसे किसी अंतर्ज्ञान के विरुद्ध नहीं, बल्कि किसी बेंचमार्क के विरुद्ध लिखें। दूसरी, मध्यवर्ती आँकड़े भी शिक्षाप्रद हैं — केवल पहला RL चरण 94.13% तक पहुँचा, 40,000 स्व-निर्मित प्रतिक्रियाओं पर SFT ने इसे 96.20% कर दिया, और अंतिम RL चक्र ने आखिरी अंश जोड़ा। अधिकांश लाभ शुरुआत में ही मिल गया।

शैक्षिक कार्य के लिए सुदृढ़ीकरण अधिगम नकल से बेहतर है

यदि आप केवल पर्यवेक्षित फाइन-ट्यूनिंग करते हैं, तो आप मॉडल को अपने प्रदर्शनों की नकल करना सिखाते हैं। यह प्रारूप के लिए पर्याप्त है, और निर्णय के लिए पर्याप्त नहीं। LearnLM की खोज स्पष्ट है: लंबी बातचीत में सूक्ष्म शैक्षणिक निर्देशों का पालन करने के लिए RL, अकेले SFT से काफ़ी अधिक प्रभावी है (LearnLM: Improving Gemini for Learning)।

इसका निर्देश-सशर्त रूपरेखा डेवलपर्स और शिक्षकों को ट्यूटर के व्यवहार को निर्दिष्ट करने देता है बिना किसी एक शिक्षाशास्त्र की परिभाषा से बँधे, और यह सह-प्रशिक्षण (co-training) द्वारा Gemini के पोस्ट-ट्रेनिंग चरणों में मिश्रित किया जाता है। विशेषज्ञों ने इसे GPT-4o (+31%), Claude 3.5 Sonnet (+11%) और आधारभूत Gemini 1.5 Pro (+13%) के मुकाबले पसंद किया।

प्रक्रिया का पर्यवेक्षण करें, उत्तर का नहीं

इस क्षेत्र में सबसे अधिक क्रियान्वयन-योग्य खोज यह है कि प्रशिक्षण-डेटा में क्या होना चाहिए। निर्देश-ट्यून किए गए मॉडलों ने बीजगणितीय भ्रांतियाँ तभी सीखीं जब उन्हें चरण-स्तरीय समाधान-ट्रेस पर प्रशिक्षित किया गया। केवल अंतिम उत्तरों पर प्रशिक्षित होने पर शुद्धता हर डेटा-आकार पर 30% से नीचे रही (Misconception Acquisition Dynamics in Large Language Models)।

उस अध्ययन के दो और विवरण उन सभी के लिए महत्वपूर्ण हैं जो ट्यूटर का कोई भी पक्ष बना रहे हैं:

• छात्र भूमिका ने सीखी हुई त्रुटि को तब तक अति-सामान्यीकृत किया जब तक सही उदाहरणों को स्पष्ट रूप से एक में चार जितने न्यूनतम अनुपात पर मिश्रित नहीं किया गया।
• ट्यूटर भूमिका ने ऐसी कोई कमी नहीं दिखाई, और दस संयुक्त रूप से प्रशिक्षित भ्रांतियों में सही शुद्धता 93% से 98% तक बनी रही।

यदि आप किसी ट्यूटर को निदान (diagnose) करने के लिए प्रशिक्षित कर रहे हैं, तो आपके उदाहरणों में केवल निर्णय नहीं, तर्क भी होना चाहिए। प्रश्न-और-सही-उत्तर युग्मों का कोई डेटासेट मॉडल को यह नोटिस करना नहीं सिखा सकता कि छात्र ने कहाँ गलती की।

प्रशिक्षन-डेटा में ही शिक्षाशास्त्र को समाहित करें

यदि पर्यवेक्षण में तर्क होना ही चाहिए, तो लेबलिंग योजना एक पाठ्यक्रम-निर्णय है, डेटा-सफाई का एक चरण नहीं। यहाँ दो परिणाम सीधे इस बात पर प्रकाश डालते हैं।

हर उदाहरण को उस व्यवहार के साथ लेबल करें जो आप चाहते हैं। पर्यवेक्षण-लेबल पर एक अध्ययन में पाया गया कि प्रत्येक प्रशिक्षन-उदाहरण को एक लक्ष्य व्यवहार — विषय-दक्षता, पाठ्यक्रम-आधारितता, निदानकर्मी तर्क, या स्कैफोल्डिंग — देना प्रत्येक परखे गए मॉडल-आकार को ऊपर उठाता है, जिसमें स्कैफोल्डिंग में और शिक्षार्थी के इतिहास के उपयोग में सबसे बड़ा लाभ मिला। ज्ञान-अवस्था निदान सबसे कमज़ोर व्यवहार बना रहा, 54.04% पर — जो एक उपयोगी अपेक्षा है: इस सूची में सिखाने के लिए निदान सबसे कठिन चीज़ है (OmniEdu: Open Foundation Models for Learning and Teaching)।

डेटा-चयन को एक स्वतंत्र प्रशिक्षन-समस्या मानें। Edu-QuRating प्राथमिकता-आसवन (preference distillation) को शैक्षिक डेटा-संकलन के लिए अनुकूलित करता है, और एक "क्या यह शैक्षिक है?" स्कोर के स्थान पर तथ्यात्मक शुद्धता, शैक्षणिक संरचना और स्तर-उपयुक्तता को शामिल करने वाले 20 रूब्रिक आयाम रखता है (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements)। यदि आप वेब-पाठ से कोई संग्रह बना रहे हैं, तो यही प्रकार का फ़िल्टर तय करता है कि आपका मॉडल किस तरह बोलना सीखेगा।

इनाम की घनत्व उतनी ही महत्वपूर्ण है जितनी इनाम स्वयं

सटीक-मिलान वाला इनाम बहुत विरल होता है जब वह चीज़ जिसकी आप परवाह करते हैं, कई आयामों वाली हो। SWIM का लेखन-सिम्युलेटर इस प्रगति को स्पष्ट रूप से दिखाता है:

• रूब्रिक-आधारित प्रॉम्प्टिंग: सर्वोत्तम औसत गुण QWK 0.577 (Claude Sonnet), 0.422 (GPT-5.4), और किसी खुले 7B मॉडल के लिए लगभग शून्य
• पर्यवेक्षित फाइन-ट्यूनिंग: उस 7B मॉडल के लिए 0.474 ± 0.023
• घने, गुण-सामान्यीकृत शुद्धता-इनाम के साथ GRPO: 0.618 ± 0.005, प्रत्येक गुण और प्रॉम्प्ट पर (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)

इनाम-डिज़ाइन ही इसका मूल बिंदु था: एक घना गुण-सामान्यीकृत संकेत, सटीक मिलान के बजाय, क्योंकि बहु-गुण वाली स्थिति में सटीक मिलान बहुत विरल है। यदि आपका इनाम केवल एक परिपूर्ण प्रतिक्रिया पर सक्रिय होता है, तो आपका अधिकांश प्रशिक्षन-संकेत मौन रहता है।

निर्णय को प्रशिक्षित करें, केवल उक्ति को नहीं

पोस्ट-ट्रेनिंग को केवल यह नहीं आकार देना चाहिए कि मॉडल क्या कहता है। TACT ने एक ट्यूटर को 13-रणनीति वाली एक वर्गीकरण और दो-अक्ष वाली छात्र-चाल वर्गीकरण पर पोस्ट-ट्रेन किया, और अपने Qwen3.5-4B आधार-संरचना के मुकाबले 20.30 अंक का लाभ हासिल किया, साथ ही एक निदान-बेंचमार्क के साथ जो प्रशिक्षन के दौरान उपलब्ध शिक्षार्थी-अवस्था लेबलों को रोककर रखता है ताकि मॉडल को बातचीत से अवस्था का अनुमान लगाना पड़े (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring)।

यही तर्क विशेष शिक्षा के सुदृढ़ीकरण में भी चलता है (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) और उस अनु-heuristic-RL कार्य में भी जो मॉडलों को उत्तर देने वालों के बजाय सुकरातीय मार्गदर्शकों के रूप में संरेखित करता है (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning)। एक मंच और आगे जाता है और गद्य के बजाय नीति को प्रशिक्षित करता है: एक सुदृढ़ीकरण-अधिगम एजेंट अगला अभ्यास-प्रश्न चुनता है, इसलिए यह कि शिक्षार्थी अगला क्या करेगा, प्रशिक्षित मॉडल तय करता है (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning)।

आपको कौन-सा डेटा चाहिए?

दो विपरीत दाँव इस क्षेत्र को परिभाषित करते हैं, और आप कौन-सा चुनें यह इस पर निर्भर करता है कि आपके पास पहले से क्या है:

• जब आपका डेटा दुर्लभ हो, तो निर्देश-सशर्त पोस्ट-ट्रेनिंग। LearnLM सिस्टम-स्तरीय निर्देश रखता है जो शिक्षकों और डेवलपर्स को ट्यूटर का व्यवहार निर्दिष्ट करने देते हैं, और यह ट्यूटरिंग प्रतिलेखों के बड़े संग्रह के बजाय सह-प्रशिक्षण पर निर्भर करता है।
• जब आपके पास वह हो, तो प्रामाणिक संपर्क-डेटा पर फाइन-ट्यूनिंग। TeachLM इस दाँव पर है कि प्रॉम्प्ट इंजीनियरिंग एक अस्थायी व्यवहार है और दुर्लभ घटक वास्तविक शिक्षार्थी–ट्यूटर संपर्क है। कठोर गुमनामीकरण के तहत एक-पर-एक सत्रों के 100,000 घंटे पर प्रशिक्षित होकर यह छात्रों के बोलने के समय को दोगुना करता है, प्रश्न पूछने की शैली में सुधार करता है, और संवाद-चक्रों को 50% बढ़ाता है (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data)।

शैक्षणिक व्यवहार की एक सस्ती राह आसवन (distillation) है: Pedagogy-R1 (1.5B और 7B) को एक QwQ-32B शिक्षक से आसवित, शैक्षणिक रूप से फ़िल्टर किए गए आउटपुट पर निर्देश-ट्यून किया गया, जो Chain-of-Pedagogy प्रॉम्प्टिंग के साथ जोड़ा गया (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark)।

इसे संवाद की लंबाई पर परखें

प्रशिक्षण किसी मॉडल को लंबी बातचीत में सुरक्षित नहीं बनाता। SafeTutors दिखाता है कि यहाँ तक कि विशेष शैक्षणिक मॉडल भी निरंतर संवाद में कमज़ोर पड़ते हैं और उत्तर के अति-प्रकटीकरण से जुड़ी हानियाँ कर सकते हैं (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems)। शैक्षणिक सुरक्षा का परीक्षण एकल चक्र के बजाय संवाद की पूरी लंबाई पर होना चाहिए — उन चक्रों सहित जहाँ छात्र गलत हो, जिद्दी हो, या दबाव डाल रहा हो।

आगे कहाँ जाएँ

• हम अपने ही विषय में सीखते समय AI की सहायता को कैसे बेहतर बना सकते हैं? — यह कि प्रशिक्षन ही सही उपकरण है या नहीं
• हम कैसे जानें कि कोई शैक्षिक AI सही ढंग से काम कर रहा है, न कि केवल अच्छा स्कोर हासिल कर रहा है? — यह मापना कि व्यवहार वास्तव में बदला है या नहीं
• प्रभावी AI ट्यूटर विकसित करने के लिए सर्वोत्तम प्रथाएँ क्या हैं? — संपर्क-डिज़ाइन का समकक्ष, जो प्रशिक्षण के बजाय स्कैफोल्डिंग और संकेत-सीढ़ियों के माध्यम से इसी मार्गदर्शन व्यवहार को आकार देता है
• LLM प्रशिक्षण और सूक्ष्म-अनुकूलन — पूर्ण संकल्पना पृष्ठ