अवधारणाएँ
संस्थागत AI अवसंरचना
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
संस्थागत AI अवसंरचना — वह कंप्यूटिंग, सर्विंग, रूटिंग और नियंत्रण परत जिसे कोई संस्था इसलिए संचालित करती है ताकि मॉडलों का उपयोग शिक्षण, शोध और प्रशासन में उसके अपने नियमों के अंतर्गत किया जा सके। इसमें वे GPU और क्लस्टर शामिल हैं जिनमें वज़न (weights) रखे जाते हैं, वे इनफ़ेरेंस सर्वर जो अनुरोधों के जवाब देते हैं, गेटवे जो उन्हें मीटर करता और रूट करता है, मॉडल कार्ड और ऑडिट लॉग जो इस व्यवस्था को जाँचने योग्य बनाते हैं, वे डेटा पाइपलाइन जो छात्र रिकॉर्ड को मॉडल से जोड़ती हैं, और वे कर्मचारी जो यह सब चलाते हैं। यह एडटेक प्लेटफ़ॉर्म (छात्र-अभिमुख कंटेनर) या शासन (वह नीति जो दोनों को सीमित करती है) जैसी वस्तु नहीं है।
विचार करने योग्य प्रश्न
- आपकी संस्था में मॉडल वास्तव में कहाँ चलता है, और क्या कोई बिना जाँच-पड़ताल किए उस व्यक्ति का नाम बता सकता है जो इसका जवाब दे सके?
- नीचे दिए गए अडॉप्शन के छह आकारों में से आप पहले से किसमें हैं, और आपने सोचा था कि आप किसमें हैं?
- यदि उपयोग का नब्बे प्रतिशत दस प्रतिशत उपयोगकर्ताओं से आता है, तो क्या प्रति-सीट लाइसेंस या मीटरयुक्त गेटवे आपके बजट के लिए बेहतर रहेगा, और क्या आप जानते हैं कि आपके उपयोग का आकार कैसा है?
- एक नीति दस्तावेज़ कहता है कि अनुरोध अधिक्षेत्र से बाहर नहीं जाने चाहिए। आपके स्टैक में ऐसा क्या है जो इसे लागू करता है, बजाय इसके कि लोगों से याद रखने के लिए कहा जाए?
- जब कोर्स-आर्टिकुलेशन की सिफ़ारिश गलत हो, तो जवाबदेह कौन है, और क्या आपकी अवसंरचना बाद में इसका जवाब देने के लिए पर्याप्त रिकॉर्ड रखती है?
- प्राथमिक विद्यालय के लिए, जब मॉडल छोटा होता है और भवन के अंदर चलता है, बजाय अग्रिम-स्तरीय और दूरस्थ होने के, तो क्या बदलता है?
परिचय
संस्थाओं ने जनरेटिव AI के पहले वर्ष एक्सेस खरीदने में बिताए: यहाँ एक चैटबॉट लाइसेंस, वहाँ एक राइटिंग असिस्टेंट, हर एक के अपने नियम और अपना डेटा पथ। परिणाम एक ऐसा पोर्टफ़ोलियो है जिसे कोई एक वाक्य में वर्णन नहीं कर सकता, और ऐसे प्रश्नों का एक समूह (वह प्रॉम्प्ट कहाँ गया, इस मॉडल को किसने स्वीकृति दी, हमने कितना खर्च किया) जिनका जवाब कोई एक कार्यालय नहीं दे सकता।
AI को अवसंरचना मानना ही जवाब है। इसका अर्थ है एक साझा सर्विंग परत, एक गेटवे जो हर अनुरोध पर संस्था के नियम लागू करता है, और लागत, लोड और विफलता देखने के लिए पर्याप्त टेलीमेट्री। साहित्य में जो दावा किया जाता है वह यह नहीं कि यह सस्ता है। वह यह है कि यह संस्था को वह पक्ष बना देता है जो निर्णय लेता है — यह एक अलग तरह का दावा है और जाँचने में भी अधिक कठिन।
यहाँ एकत्रित पत्रों ने यह भी व्यापक किया है कि अवसंरचना क्या मानी जाती है। दो चैट और शिक्षण के लिए इनफ़ेरेंस से संबंधित हैं, एक रजिस्ट्रार के कार्यालय से, और एक मूल्यांकन रिकॉर्ड से। जब कोर्स आर्टिकुलेशन, कार्यभार एनालिटिक्स और साक्ष्य संचय एम्बेडिंग और मॉडल कॉल पर निर्भर हो जाते हैं, तो बैक ऑफ़िस GPU रैक जितना ही स्टैक का हिस्सा है। तर्क यह है कि अवसंरचना वहीं है जहाँ कोई संस्था चुपचाप किसी निर्णय को मॉडल को सौंप चुकी है।
आप वास्तव में क्या चुन रहे हैं
यह क्षेत्र दो नहीं, छह आकार वर्णित करता है। वे इस बात में भिन्न हैं कि डेटा किसके पास रहता है, मॉडल कौन बदल सकता है, और विफलता कौन सहन करता है।
मुफ़्त आउटसोर्स किए गए उपकरण। कर्मचारी या छात्र किसी विक्रेता की सेवा निःशुल्क उपयोग करते हैं। कनाडा के Contact North का AI Tutor Pro सबसे स्पष्ट उदाहरण है: मुफ़्त, बेनामी, खाते की आवश्यकता नहीं, और चर्चा, स्व-जाँच तथा अध्ययन-गाइड बनाने के मोड के साथ। Playlab उसी श्रेणी में है, जो शिक्षकों को अपने पाठ्यक्रम पर आधारित ऐप बनाने देता है, जबकि विक्रेता मॉडल होस्ट करता है। लागत शून्य नहीं, बल्कि स्थगित है: कोई संस्थागत ऑडिट ट्रेल नहीं, कोई कोटा नियंत्रण नहीं, और ऐसे नियम जिन्हें बिना सूचना बदला जा सकता है। यह पायलट करने के लिए एक समर्थनीय स्थान है और बसने के लिए एक खराब स्थान।
वाणिज्यिक शिक्षा टेनेंट पर सीटें। कोई जिला या विश्वविद्यालय ChatGPT Edu, Microsoft 365 Copilot, Google Gemini for Education या कोई तुल्य टेनेंट खरीदता है। खरीद तेज़ होती है, SSO और एडमिन कंसोल सम्मिलित आते हैं, और मॉडल की पसंद तथा प्रतिधारण (retention) विक्रेता के पास रहता है। संस्था को पहचान एकीकरण मिलता है और किसी प्रदाता के इर्द-गिर्द रूट करने की क्षमता खो देती है।
एक ऐसा प्लेटफ़ॉर्म जिसे आप होस्ट करते हैं। Amplify GenAI संस्था के अपने AWS खाते में तैनात होता है, इसलिए दस्तावेज़ और बातचीत उस अवसंरचना में रहते हैं जिसे संस्था नियंत्रित करती है, जबकि विक्रेता एप्लिकेशन प्रदान करता है। वैंडरबिल्ट के पायलट ने 1,300 उपयोगकर्ताओं पर प्रति उपयोगकर्ता प्रति माह लगभग $3 बताया, जिनमें से आधे पर टोकन खर्च $1 से कम था। यह आकार GPU खरीदे बिना डेटा नियंत्रण खरीदता है।
मिश्रित प्रदाताओं पर एक गेटवे। स्थानीय और वाणिज्यिक बैकएंड के सामने एक ही फ्रंट डोर, जिसमें कोटा, SSO, लॉगिंग और क्षेत्रीय रूटिंग जुड़ी हुई हैं। Fontys ने इसे तीन परतों के रूप में बनाया; MindRouter और SPIN इसके रूपांतर लागू करते हैं। यह वह आकार है जो नीति दस्तावेज़ को लागू किए गए प्रतिबंध में बदल देता है, और वह जिसे किसी खरीद अधिकारी के बजाय प्लेटफ़ॉर्म इंजीनियर की ज़रूरत होती है।
आपका अपना इनफ़ेरेंस। GPU, शेड्यूलर, मॉडल सर्वर और जो लोग उन्हें चलाते हैं। आइडाहो विश्वविद्यालय का MindRouter संदर्भ उदाहरण है; जॉर्जिया टेक का SPIN HPC केंद्र के अंदर की गई वही दांव है। यह एकमात्र आकार है जिसमें संस्था किसी सब्पोएना, नियामक या विक्रेता की कीमत-परिवर्तन का जवाब अनुमति माँगे बिना दे सकती है।
आपके पहले से चल रहे उपकरणों के अंदर AI। Moodle का एक प्रश्न प्रकार, किसी चर्चा प्लेटफ़ॉर्म का AI साथी, एक निबंध-फ़ीडबैक उपकरण। संगठनात्मक बोझ छोटा है और बदलाव पाठ्यक्रम-दर-पाठ्यक्रम आता है, जो इसकी सीमा भी है: केंद्र को इससे कुछ नहीं सीखने को मिलता।
ये आकार एक-दूसरे के अंदर घुसते हैं। कोई गेटवे किसी होस्ट किए गए प्लेटफ़ॉर्म के सामने आ सकता है; कोई होस्ट किया गया प्लेटफ़ॉर्म किसी स्थानीय मॉडल को कॉल कर सकता है; कोई मुफ़्त उपकरण वह पायलट हो सकता है जिससे उपरोक्त में से किसी की भी औचित्य-सिद्धि न हो। उपयोगी प्रश्न यह नहीं कि कौन-सा आकार सर्वोत्तम है, बल्कि यह कि हर आकार आपके लिए चुपचाप कौन-सा निर्णय कर लेता है।
इस क्षेत्र का वास्तविक डिफ़ॉल्ट विक्रेता टेनेंट पर एक सीट है। हर संस्था यह चुनाव जानबूझकर नहीं करती। 127 संस्थाओं का अध्ययन करने वाले OfS और Advance HE (2026) पाते हैं कि अधिकांश अपने मौजूदा Microsoft 365 लाइसेंस के माध्यम से उपकरण उपलब्ध कराती हैं — सबसे अधिक Copilot Chat — जिसकी कद्र इसलिए है कि इसका बंद वातावरण संस्थागत डेटा को अनुपालन सीमा (compliance envelope) के अंदर रखता है। जिन संस्थाओं के पास लाइसेंस नहीं है, उनके कर्मचारी अधिक शक्तिशाली मुफ़्त उपकरणों की ओर पहुँचते हैं, कभी-कभी छात्र डेटा के साथ, और प्रतिभागियों ने यह चेतावनी दी कि आज का मुफ़्त या सस्ता स्तर कल की बिना-बजट बढ़ोतरी बन जाता है।
गेटवे परत
तीन कार्यान्वयन अब उसी वास्तुशिल्प चाल का असामान्य संगति से वर्णन करते हैं।
फोंटिस ICT के Huijts और Suilen संस्थागत पहचान से जुड़े ChatGPT-जैसे फ्रंटएंड, बजट और क्षेत्रीय प्रतिबंध लागू करने वाले रूटिंग कोर, तथा स्थानीय और वाणिज्यिक मॉडलों की प्रदाता परत को अलग करते हैं। छह महीने और 300 उपयोगकर्ताओं के बाद, $500 की मासिक सीमा कभी भी नहीं टूटी, और हर सत्र एक मॉडल कार्ड के साथ शुरू हुआ जिसमें क्षमताएँ, होस्टिंग क्षेत्र, लागत और विकल्प बताए गए थे।
MindRouter उसी विचार को शेड्यूलिंग तक बढ़ाता है। अनुरोधों को भूमिका के अनुसार भार दिया जाता है (प्रशासक 10, शिक्षण संकाय 5, कर्मचारी 2, छात्र 1) Weighted Deficit Round Robin के माध्यम से, और बैकएंड चयन में विलंबता, लोड और प्रशासक की पसंद के लिए सॉफ़्ट स्कोर जुड़ते हैं। गेटवे ऑडिट लॉग रखता है, और यह टोकन के साथ-साथ ऊर्जा को भी मीटर करता है।
जॉर्जिया टेक का SPIN API सीमा पर यह विभाजन स्पष्ट करता है: CPU-केवल वर्चुअल मशीन पर LiteLLM और PostgreSQL, Slurm के अंदर GPU नोड्स पर vLLM और Triton, तथा बैकएंड होस्ट, पोर्ट और कुंजी का निर्धारण अनुरोध के समय डेटाबेस से होता है। मॉडल बदलना ग्राहकों के लिए अदृश्य डेटाबेस अपडेट बन जाता है।
अंतर सीखने योग्य हैं। Fontys बहु-प्रदाता पोर्टफ़ोलियो को शासित करता है, MindRouter दुर्लभ साझा क्षमता को, और SPIN ऐसे बैच शेड्यूलर पर इनफ़ेरेंस को जो कार्यों को समाप्त करने के लिए बना है। तीनों एक ही दावे पर अभिसरण करते हैं: API सतह ही संविदा है, और उसके पीछे का मॉडल बदला जा सकता है।
सर्विंग एक नीति है, बेंचमार्क नहीं
पर्ड्यू की दो सेवाएँ लगभग $100,000 के हार्डवेयर पर 10+ मुक्त स्रोत मॉडलों पर 1000 से अधिक उपयोगकर्ताओं तक पहुँचीं, जिनमें से लगभग 40% मासिक सक्रिय थे। जो निर्णय महत्वपूर्ण है वह यह है कि टीम vLLM के 4-5x थ्रूपुट लाभ के बावजूद vLLM के बजाय Ollama रखे, क्योंकि ऐसे समुदाय के लिए कई मॉडलों का समर्थन करना कच्ची गति से अधिक मायने रखता था, जो चीज़ें आज़माना चाहता है।
SPIN का लोड परीक्षण तस्वीर का दूसरा आधा देता है। प्रति सेकंड 1000 समवर्ती अनुरोधों वाले मॉक किए गए इंजन के सामने, 8-vCPU गेटवे VM आदर्श कुल दर के 76% तक पहुँचा, जबकि 8-वर्कर बेयर मेटल 98% तक पहुँचा। प्रॉक्सी स्तर तब तक सस्ता है जब तक सस्ता ही रहता है, और वह सीमा रहस्यमय बजाय मापने योग्य है।
किसी भी परिणाम से सामान्य नियम नहीं बनता। वे स्थापित करते हैं कि थ्रूपुट, मॉडल-विस्तार और परिचालन सरलता एक-दूसरे के साथ व्यापार-संबंध में हैं, और यह सौदा जानबूझकर किया जाना चाहिए, न कि विक्रेता के डिफ़ॉल्ट से विरासत में मिला।
किनारा तर्क को बदलता है
Zulfiqar और Iqbal स्कूल-पैमाने का एक विकल्प वर्णित करते हैं: 1B से 13B पैरामीटर के बीच का मॉडल होस्ट करने वाला, प्रारंभिक-स्तर का GPU लगा रीफ़र्बिश किया गया डेस्कटॉप या मिनी PC, जिसकी संकेतात्मक कीमत प्रति सर्वर कई सौ से कई हज़ार ऑस्ट्रेलियाई डॉलर है। उनका आर्थिक मामला 400 छात्रों वाला एक स्कूल है जो कक्षाओं भर में जमा होने वाली क्लाउड API लागत को सहन नहीं कर सकता। उनकी ईमानदारी यह स्वीकारोक्ति है कि कोई व्यापक जीवनचक्र-लागत तुलना मौजूद नहीं है, इसलिए बचत एक निष्कर्ष नहीं, परिकल्पना है।
पाठ्यक्रम-पैमाने पर, CourseChat भिन्न प्रतिबंध के अंतर्गत वही तर्क दिखाता है: एक 8B उत्पादन मॉडल, जो बड़े उम्मीदवारों की अपेक्षा रखा गया क्योंकि वे कक्षा-विलंबता गेट में असफल रहे। Guadalupe, Topón और Iza 5 सेकंड के माध्यिका लक्ष्य को 3.57 s पर पूरा करते हैं, लेकिन p95 पर 6.47 s के साथ चूकते हैं, और अंत-से-अंत समय का लगभग 96% जनरेशन को ज़िम्मेदार ठहराते हैं।
स्थानीय रूप से चलाने से गोपनीयता का प्रश्न संविदात्मक से भौतिक हो जाता है, और यह उसका उत्तर नहीं देता। पूर्ण प्रॉम्प्ट लॉगिंग वाला स्थानीय तैनाती भी फिर भी एक प्रतिधारण प्रणाली है; जो बदलता है वह है कि इसे सौंपने के लिए किसे बाध्य किया जा सकता है।
बैक ऑफ़िस भी अवसंरचना है
Pardos और Borchers तर्क देते हैं कि शिक्षा में AI का नतीजा बिठाने वाला स्थल चैट खिड़की नहीं, बल्कि रजिस्ट्रार, परामर्श कार्यालय और पाठ्यक्रम समिति है। उनके उदाहरण बातचीत नहीं, एम्बेडिंग हैं: नामांकन इतिहास से सीखे गए पाठ्यक्रम वेक्टर, दो संस्थाओं के वेक्टर स्थानों के बीच मशीन अनुवाद, और टैगिंग पाइपलाइन जो खुले संसाधनों को किसी मानक पर मैप करती है।
संख्याएँ विशिष्ट हैं। एम्बेडिंग-आधारित ट्रांसफर भविष्यवाणी ने 65 मौजूदा आर्टिकुलेशन का सत्यापन किया और अब 59 संस्थाओं तथा उच्च शिक्षा के चार प्रणालियों के साथ पायलट है। क्रेडिट घंटों ने अनुभूत कार्यभार में केवल 6% भिन्नता समझाई, जबकि LMS गतिविधि विशेषताओं ने 36% समझाई। सहयोगी AI टैगिंग ने समय लगभग 50% कम किया, लेकिन सटीकता 35% घटाई।
अडॉप्शन-संबंधी निष्कर्ष वह है जिसे अवसंरचना-योजकों को याद रखना चाहिए। एक 2×2 प्रयोग में, कम-विश्वास बाह्यस्थ सिफ़ारिशों को छिपाने से प्रशासकों की स्वीकृति और उत्पादकता बढ़ी, जबकि उपयोगकर्ताओं से सिफ़ारिशों को चिह्नित करने के लिए कहने से स्वीकृति घटी, जब तक कि बाह्यस्थ सिफ़ारिशें न दिखाई गईं। अधिक सटीक सिफ़ारिश-उपकरण भी अपने आउटपुट के प्रस्तुतीकरण के कारण विफल हो सकता है, जो इंटरफ़ेस डिज़ाइन को अवसंरचना का हिस्सा बनाता है, किसी अंतिम सजावट के बजाय।
मूल्यांकन एक प्लंबिंग समस्या
AIM-CAI तर्क देता है कि सीख की व्याख्या के लिए आवश्यक साक्ष्य पहले से मौजूद है, लेकिन वह ऐसी प्रणालियों में खंडित है जो एक-दूसरे को नहीं पढ़ सकतीं। इसके ढाँचे में छह कार्यात्मक परतें, तीन निष्कर्षात्मक सीमाएँ जो किसी स्नैपशॉट को समर्थन देने की सीमा तय करती हैं, और सात शासन-आवश्यकताएँ शामिल हैं जिनमें ऑडिटेबिलिटी, अनिश्चितता-अनुमान और मानव ओवरराइड शामिल हैं। यह एक कार्यान्वयन नहीं, ढाँचा है, और लेखक खुद ऐसा कहते हैं।
LaTA अधिक संकीर्ण मामला प्रस्तुत करता है: एक स्थानीय तर्क मॉडल जो छात्र के काम को विक्रेता को भेजने के बजाय उसे प्रबंधित करने के FERPA प्रश्न को हटा देता है। मिलकर वे सुझाव देते हैं कि मूल्यांकन अवसंरचना किसी सीखने वाले प्लेटफ़ॉर्म की विशेषता नहीं, बल्कि अपने डेटा मॉडल और अपनी विफलता-रूपों वाली अलग समस्या है।
लागत, विलंबता और दृश्यता समस्या
कार्यान्वयनों में बार-बार आने वाला विषय यह है कि लागत और विलंबता तभी दिखती हैं जब कोई उन्हें मापता है। पर्ड्यू का $100,000 हार्डवेयर आँकड़ा एक पूँजीगत आँकड़ा है जिसके साथ कर्मियों की अनकही लागत है। SPIN का गेटवे बेंचमार्क प्रॉक्सी ओवरहेड को सीमित करता है और अंत-से-अंत विलंबता के बारे में कुछ नहीं कहता। MindRouter का ऊर्जा लेखा-जोखा सामान्य खपत 9.4 kW बनाम देखा गया शिखर 14.1 kW और सैद्धांतिक अधिकतम 22.1 kW बताता है, और 17-दिवसीय अंतराल में 872,997,430 टोकन का पत्र की दरों पर वाणिज्यिक समकक्षों के मुकाबले $82,843 से $251,806 की वार्षिक बचत का अर्थ देते हैं।
जिला-पैमाने के होस्ट किए गए प्लेटफ़ॉर्म उसी तरह का हिसाब बताते हैं: PSD401 AI Studio दावा करता है कि प्रति-टोकन लागत वाणिज्यिक विकल्पों से 67 से 90% कम है। इनमें से कोई भी आँकड़ा उसी हर (denominator) के बिना संस्थाओं के बीच तुलनीय नहीं है। तुलनीय चीज़ तो मापने की ही प्रथा है।
संप्रभुता का एक समता आयाम है
कोई गेटवे ऐसे स्थानीय मॉडल की ओर रूट कर सकता है जो संस्था की भाषा को ठीक से संभाल न सके, और उससे जो मौन बनता है वह तटस्थ नहीं है। अवसंरचना का तर्क और डिजिटल विभाजन का तर्क यहीं मिलते हैं: जिन संस्थाओं के पास क्लस्टर और कर्मी हैं, वे क्षमता हासिल करती हैं, और जिनके पास नहीं हैं, वे वह सहन करती हैं जो भी विक्रेता उपलब्ध कराता है, जिस भी कीमत पर विक्रेता तय करता है। मुफ़्त स्तर वास्तव में उपयोगी हैं और वास्तव में नाज़ुक, जिससे उन्हें स्थायी रणनीति मानना यह निर्णय बन जाता है कि किन संस्थाओं की सेवा होती है।
अभ्यास के लिए निहितार्थ
वरिष्ठ प्रशासक इस बात का नाम बताकर शुरू कर सकते हैं कि हर इकाई वास्तव में किस आकार में है। छहों आकार इस बात में भिन्न हैं कि डेटा किसके पास रहता है और विफलता कौन सहन करता है, और अधिकांश संस्थाएँ एक साथ कई आकारों में होती हैं: कर्मचारियों के लिए एक टेनेंट, एक विभाग में एक मुफ़्त उपकरण, दूसरे में एक होस्ट किया गया प्लेटफ़ॉर्म। किस चीज़ का उपयोग हो रहा है, डेटा कहाँ जाता है और मॉडल कौन बदल सकता है, इसकी एक-पृष्ठ सूची उस रणनीति दस्तावेज़ से अधिक उपयोगी है जो उनमें से किसी एक का वर्णन करता है।
आईटी और पुस्तकालय नेतृत्व गेटवे को वह स्थान बना सकते हैं जहाँ नीति लागू होती है। Fontys, MindRouter और SPIN उसी संविदा पर अभिसरण करते हैं: एक API सतह, प्रति-उपयोगकर्ता कोटा, पहचान एकीकरण, क्षेत्रीय रूटिंग, और अनुरोध जाने से पहले दिखाया गया मॉडल कार्ड। PDF में रहने वाला नियम और राउटर में रहने वाला नियम अलग-अलग वस्तुएँ हैं, और नया मॉडल आने पर केवल दूसरा नियम टिकता है।
वित्त और खरीद कर्मी ठिकाणा चुनने से पहले लागत माप सकते हैं। प्रति-सीट लाइसेंस, होस्ट किए गए प्लेटफ़ॉर्म और मीटरयुक्त गेटवे अलग-अलग उपयोग-आकारों को पुरस्कृत करते हैं, और यह जानने का एकमात्र तरीका कि कौन सस्ता है, टोकन, सक्रिय उपयोगकर्ता और शिखर लोड मापना है। पर्ड्यू की सेवा लगभग $100,000 हार्डवेयर पर लगभग 1000 उपयोगकर्ताओं तक पहुँची; एक होस्ट किया गया पायलट प्रति उपयोगकर्ता प्रति माह लगभग $3 बताता है। उसी हर के बिना वे आँकड़े तुलनीय नहीं हैं।
शिक्षण और सीखने के केंद्र मुफ़्त स्तरों पर किए गए पायलटों को पायलट ही मान सकते हैं। मुफ़्त उपकरण ही ऐसा कारण हैं कि बहुत से शिक्षक कुछ भी आज़मा सकते हैं, और वे बिना ऑडिट ट्रेल, बिना कोटा और बदले जा सकने वाले नियमों के आते हैं। सफल होने वाला पायलट उस आकार में जाना चाहिए जिसे संस्था शासित कर सके।
डेटा केंद्र के बिना भी स्कूल नेता स्थानीय मॉडल चला सकते हैं। प्रारंभिक-स्तर का GPU लगा रीफ़र्बिश किया गया डेस्कटॉप एक भवन के लिए छोटा मॉडल होस्ट करता है, और गोपनीयता-लाभ संविदात्मक नहीं, भौतिक है। यह फिर भी एक प्रतिधारण प्रणाली है, इसलिए लॉगिंग और पहुँच अब भी डिज़ाइन-निर्णय हैं।
विभागाध्यक्ष चैट खिड़की से आगे देख सकते हैं। आर्टिकुलेशन, कार्यभार एनालिटिक्स, टैगिंग और मूल्यांकन रिकॉर्ड वहीं हैं जहाँ संस्थाओं ने पहले ही निर्णय मॉडल को सौंप दिए हैं, और उन प्रणालियों को चैटबॉट जितना ही शासन चाहिए, आमतौर पर कम जाँच के साथ।
सामान्य ग़लत धारणाएँ
"ऑन-प्रिमाइसिस सस्ता है।" लाइसेंस शुल्क गायब हो जाता है और हार्डवेयर, बिजली, कूलिंग और कर्मी जुड़ आते हैं। पर्ड्यू की सेवा की लागत किसी को उसे चलाने के लिए मुआवजा देने से पहले लगभग $100,000 हार्डवेयर की थी, और कर्मियों का हिस्सा वह हिस्सा है जो नीचे स्केल नहीं होता।
"गेटवे तो बस प्रॉक्सी है।" प्रॉक्सी आगे भेजता है। गेटवे तय करता है कि कौन-सा मॉडल, कौन-सा क्षेत्र, कौन-सा बजट, कौन-सा उपयोगकर्ता, क्या लॉग होगा, और उपयोगकर्ता द्वारा भेजने के पहले उसे क्या बताया जाए।
"स्थानीय मतलब निजी।" स्थानीयता यह बदलती है कि डेटा के लिए किसे सब्पोएना किया जा सकता है, यह नहीं कि वह प्रतिधारित होता है या नहीं। ऑडिट लॉगिंग, प्रॉम्प्ट भंडारण और प्रशासक पहुँच डिज़ाइन-चुनाव हैं, और पूर्ण लॉगिंग वाली स्थानीय तैनाती भी एक निगरानी-सतह ही रहती है।
"GPU खरीदना ही रणनीति है।" बिना शेड्यूलिंग, कोटा और सहायता के क्षमता एक कतार बन जाती है। सफल उदाहरण हार्डवेयर जितना ही शासन और संचालन का वर्णन करते हैं।
"AI की समस्या चैटबॉट है।" इस साहित्य में वर्णित अधिकांश संस्थागत मूल्य आर्टिकुलेशन, कार्यभार एनालिटिक्स, टैगिंग और मूल्यांकन रिकॉर्ड में है, जहाँ कोई भी छात्र कभी चैट खिड़की नहीं खोलता।
संबंधित अवधारणाएँ
संबंधित लेख
- Institutional AI Sovereignty Through Gateway Architecture: Implementation Report from Fontys ICT
- Providing On-Prem GenAI Inference Services to a Campus Community
- Service-Oriented Architecture for an On-Premises AI Gateway Without an On-Premises Cloud
- MindRouter: Open-Source LLM Inference Gateway for Institutional AI Sovereignty
- An academic chatbot with hybrid retrieval and local large language models
- Conceptualising local AI infrastructure using small language models (SLMs) for primary education
- AI in institutional workflows: Learning from higher education to unlock new affordances for education systems and institutions
- AI-Mediated Continuous Assessment Infrastructure (AIM-CAI): Connecting Learning Evidence Across Contexts and Time
- On-Premises Multi-Course RAG Tutoring for Business Education: Hardware–Software Trade-offs in a Campus AI Tutor
- LaTA: A drop-in, FERPA-compliant local-LLM autograder for upper-division STEM coursework
- Making AI Work for Students: Reflections on Institutional Practice
संबंधित संसाधन
- MindRouterUniversity of Idaho का Apache-2.0 इन्फ़रेंस गेटवे, जो vLLM और Ollama जीपीयू नोड्स के परिसर क्लस्टर को एक OpenAI-संगत API के पीछे रखता है और निष्पक्ष-हिस्सा शेड्यूलिंग, प्रति-उपयोगकर्ता टोकन कोटा, SSO, ऑडिट लॉगिंग तथा जीवंत जीपीयू और ऊर्जा निगरानी जोड़ता है।
- Amplify GenAIVanderbilt का MIT-लाइसेंस प्राप्त एंटरप्राइज़ जनरेटिव एआई प्लेटफ़ॉर्म, जो संस्थान के अपने AWS खाते में तैनात होता है: स्थानीय दस्तावेज़ों पर कस्टम सहायक, रिट्रीवल-ऑगमेंटेड उत्तर, संगठन भर में साझाकरण, और प्रत्येक संदेश तक लागत लेखांकन।
- Canvas MCPएक ओपन-सोर्स MCP सर्वर जो Claude, Cursor, Codex और अन्य एजेंटों को Canvas LMS के भीतर पढ़ने और कार्य करने देता है — छात्र, शिक्षक और शिक्षण-डिज़ाइनर टूल, लेखन-क्रियाएँ गेटेड और छात्र-डेटा के लिए वैकल्पिक अनामीकरण के साथ।