MindRouter

यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।

परिसर में एआई की अधिकांश चर्चाएँ इससे शुरू होती हैं कि कौन-सा मॉडल ख़रीदना है और उससे भी कठिन सवाल से पहले रुक जाती हैं: यह कहाँ चलेगा, इसका मीटर कौन रखेगा, और लॉग कौन देख सकेगा। MindRouter उस दूसरे सवाल का जवाब है। यह एक स्व-होस्टेड गेटवे है जो LLM सर्वरों के विषम क्लस्टर के सामने बैठता है — संस्थान के स्वामित्व वाले जीपीयू पर vLLM और Ollama नोड्स — और एक ऐसा API देता है जो OpenAI, Anthropic और Ollama बोलियाँ बोलता है, उनके बीच अनुवाद करता है ताकि मौजूदा क्लाइंट कोड काम करता रहे।

इसके साथ आप क्या कर सकते हैं

किसी उपकरण को विक्रेता एंडपॉइंट के बजाय गेटवे की ओर इंगित करें। पीछे, MindRouter वे हिस्से संभालता है जो साझा तैनाती को चाहिए: भारित डेफ़िसिट राउंड रॉबिन के साथ निष्पक्ष-हिस्सा शेड्यूलिंग, प्रति-उपयोगकर्ता टोकन और अनुरोध कोटा, Azure AD/Entra, Google, किसी भी OIDC प्रदाता या SAML 2.0 के ज़रिए वैकल्पिक SSO के साथ भूमिका-आधारित पहुँच, और प्रॉम्प्ट, प्रतिक्रियाओं तथा आर्टिफ़ैक्ट का पूरा ऑडिट लॉग। एक जीपीयू साइडकार एजेंट प्रति-नोड उपयोग, मेमोरी, तापमान और बिजली बताता है, जिससे प्रशासक प्रति अनुरोध ऊर्जा लागत देख सकता है और रखरखाव के समय किसी बैकएंड को सहजता से खाली कर सकता है। यह चैट से आगे जाता है — एम्बेडिंग, विज़न, चित्र और वीडियो जनरेशन, टेक्स्ट-टू-स्पीच और स्पीच-टू-टेक्स्ट, दस्तावेज़ OCR — और कोडिंग सहायकों के लिए MCP सर्वर तथा एजेंट स्किल्स के साथ आता है।

किसी कॉलेज को इसकी परवाह क्यों हो, वह कारण परियोजना स्वयं बताती है: संस्थागत एआई संप्रभुता। प्रॉम्प्ट और दस्तावेज़ उसी अवसंरचना पर रहते हैं जिसे संस्थान चलाता है, किसी तीसरे पक्ष के क्लाउड से गुज़रने के बजाय, जिसे किसी विक्रेता के डेटा प्रोसेसिंग समझौते की तुलना में फ़ैकल्टी सीनेट या गोपनीयता कार्यालय के सामने खड़ा करना आसान है। यह तर्क टिकता है या नहीं, यह इस पर निर्भर है कि संस्थान के पास जीपीयू, बिजली और स्टाफ़ हैं या नहीं — गेटवे स्थानीय होस्टिंग को प्रबंधनीय बनाता है, सस्ता नहीं।

यह किसके लिए है

मौजूदा जीपीयू क्षमता वाले शोध-कंप्यूटिंग और केंद्रीय IT समूह; वे शिक्षण-अधिगम केंद्र जो शिक्षकों और छात्रों के उपयोग को मापने के लिए एक ही जगह चाहते हैं; और वे प्रशासक जो होस्टेड एंटरप्राइज़ प्लेटफ़ॉर्म की तुलना स्वयं इन्फ़रेंस चलाने से कर रहे हैं। यह Docker Compose तैनाती है जिसमें प्रलेखित SSO कॉन्फ़िगरेशन और कस्टम ब्रांडिंग है, और इसे University of Idaho में बनाए रखा जाता है, जहाँ लेखक ने इसे PEARC '26 में प्रस्तुत किया; नवंबर 2026 तक परियोजना के 22 स्टार और 3 फ़ोर्क हैं।

टिप्पणियाँ और सतर्कताएँ

Apache-2.0 के अंतर्गत मुफ़्त और खुला स्रोत, लेकिन लागत हटती नहीं, खिसकती है: हार्डवेयर, बिजली, और क्लस्टर चलाने का स्टाफ़-समय। अवसंरचना के मानकों से यह सॉफ़्टवेयर नया है — तीन योगदानकर्ता, एक ही उद्गम संस्थान, और सैकड़ों टैग में क्रमांकित रिलीज़ — इसलिए कॉलेज को इसे मौजूदा सेवा के साथ पायलट करना चाहिए, मॉडल तक का एकमात्र रास्ता मानकर नहीं। वास्तविक परिसर भार के तहत शेड्यूलिंग और कोटा व्यवहार का प्रकाशित मूल्यांकन रिपॉज़िटरी में नहीं है; लेखकों का अपना विवरण PEARC पेपर में देखना चाहिए।

संबंधित अवधारणाएँ

• बड़े भाषा मॉडल (LLMs)
• ओपन सोर्स
• एडटेक प्लेटफ़ॉर्म