وسائل
MindRouter
انگریزی صفحے کا خودکار ترجمہ، جو ابھی تک کسی مقامی بولنے والے کے ذریعے جانچا نہیں گیا۔
کیمپس میں AI کی بیشتر گفتگو اس سے شروع ہوتی ہے کہ کون سا ماڈل خریدیں، اور اس سے پہلے رک جاتی ہے جو زیادہ مشکل سوال ہے: یہ کہاں چلتا ہے، اسے کون ناپتا ہے، اور لاگز کون دیکھ سکتا ہے۔ MindRouter اسی دوسرے سوال کا جواب ہے۔ یہ ایک خود میزبانی والا گیٹ وے ہے جو LLM سرورز کے مختلف کلسٹر کے سامنے بیٹھتا ہے — ادارے کی ملکیت والے GPUs پر vLLM اور Ollama نوڈز — اور ایک API پیش کرتا ہے جو OpenAI، Anthropic اور Ollama کی بولیاں بولتا ہے اور ان کے درمیان ترجمہ کرتا ہے تاکہ موجودہ کلائنٹ کوڈ چلتا رہے۔
اس سے آپ کیا کر سکتے ہیں
کسی ٹول کو وینڈر کے اینڈ پوائنٹ کے بجائے گیٹ وے کی طرف موڑ دیں۔ پیچھے MindRouter وہ حصے سنبھالتا ہے جو مشترکہ تعیناتی کو درکار ہیں: وزنی ڈیفسیٹ راؤنڈ روبن کے ساتھ منصفانہ شیئر شیڈولنگ، فی صارف ٹوکن اور درخواست کے کوٹے، کردار پر مبنی رسائی جس میں Azure AD/Entra، Google، کسی بھی OIDC فراہم کنندہ یا SAML 2.0 کے ذریعے اختیاری SSO ہے، اور پرامپٹس، جوابات اور آرٹیفیکٹس کی مکمل آڈٹ لاگنگ۔ ایک GPU سائیڈ کار ایجنٹ فی نوڈ استعمال، میموری، درجہ حرارت اور بجلی بتاتا ہے، تاکہ منتظم فی درخواست توانائی کی لاگت دیکھ سکے اور دیکھ بھال کے وقت کسی بیک اینڈ کو نرمی سے خالی کر سکے۔ یہ چیٹ سے زیادہ ڈھانپتا ہے — ایمبیڈنگز، وژن، تصویر اور ویڈیو جنریشن، ٹیکسٹ ٹو اسپیچ اور اسپیچ ٹو ٹیکسٹ، دستاویز OCR — اور کوڈنگ معاونین کے لیے MCP سرورز اور ایجنٹ اسکلز کے ساتھ آتا ہے۔
کالج کی دلچسپی کی وجہ وہی ہے جو منصوبہ بتاتا ہے: ادارتی AI خودمختاری۔ پرامپٹس اور دستاویزات ادارے کے چلائے ہوئے انفراسٹرکچر پر رہتے ہیں، کسی تیسرے فریق کے کلاؤڈ سے نہیں گزرتے، جس کا دفاع فیکلٹی سینیٹ یا پرائیویسی دفتر کے سامنے وینڈر کے ساتھ ڈیٹا پروسیسنگ معاہدے سے آسان ہے۔ یہ دلیل قائم رہتی ہے یا نہیں، اس پر منحصر ہے کہ ادارے کے پاس GPUs، بجلی اور عملہ ہے یا نہیں — گیٹ وے مقامی میزبانی کو قابلِ انتظام بناتا ہے، سستا نہیں۔
یہ کس کے لیے ہے
وہ ریسرچ کمپیوٹنگ اور مرکزی IT گروپس جن کے پاس GPU صلاحیت موجود ہے، وہ تدریسی و سیکھنے کے مراکز جو اساتذہ اور طلبہ کے استعمال کو ناپنے کے لیے ایک جگہ چاہتے ہیں، اور وہ منتظمین جو ہوسٹڈ انٹرپرائز پلیٹ فارمز کا انفرنس خود چلانے سے موازنہ کر رہے ہیں۔ یہ Docker Compose تعیناتی ہے جس میں SSO کی دستاویزی ترتیب اور حسبِ ضرورت برانڈنگ ہے، اور یہ University of Idaho میں برقرار رکھی جاتی ہے، جہاں مصنف نے اسے PEARC '26 میں پیش کیا؛ نومبر 2026 تک منصوبے کے 22 اسٹارز اور 3 فورکس ہیں۔
نوٹس اور احتیاطیں
Apache-2.0 کے تحت مفت اور اوپن سورس، مگر لاگت ہٹتی نہیں، جگہ بدلتی ہے: ہارڈ ویئر، بجلی، اور کلسٹر چلانے کا عملے کا وقت۔ سافٹ ویئر انفراسٹرکچر کے معیار سے نیا ہے — تین شراکت دار، ایک ہی اصل ادارہ، اور ریلیزز جن کے نمبر سینکڑوں ٹیگز میں ہیں — اس لیے کالج کو اسے موجودہ خدمت کے ساتھ پائلٹ کرنا چاہیے، ماڈل تک واحد راستے کے طور پر نہیں۔ حقیقی کیمپس بوجھ تلے شیڈولنگ اور کوٹہ کے رویے کی کوئی شائع شدہ جانچ ریپوزٹری میں نہیں؛ مصنفین کا اپنا بیان PEARC مقالے میں دیکھیں۔
منسلک تصورات
متعلقہ وسائل
- Amplify GenAIوینڈربلٹ کا MIT لائسنس یافتہ انٹرپرائز جنریٹو AI پلیٹ فارم، جو ادارے کے اپنے AWS اکاؤنٹ میں تعینات ہوتا ہے: مقامی دستاویزات پر حسبِ ضرورت معاونین، ریٹریول سے تقویت یافتہ جوابات، تنظیم بھر میں اشتراک، اور ہر پیغام تک لاگت کا حساب۔