MindRouter

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

ক্যাম্পাসে এআই নিয়ে বেশিরভাগ আলোচনা শুরু হয় কোন মডেল কিনব তা নিয়ে এবং কঠিন প্রশ্নটির আগেই থেমে যায়: এটি কোথায় চলবে, কে এর মিটার রাখবে, আর লগ কে দেখতে পাবে। MindRouter সেই দ্বিতীয় প্রশ্নের একটি উত্তর। এটি একটি স্ব-হোস্টেড গেটওয়ে যা LLM সার্ভারের একটি বিষম ক্লাস্টারের সামনে বসে — প্রতিষ্ঠানের মালিকানাধীন জিপিইউ-তে vLLM ও Ollama নোড — এবং একটি API দেয় যা OpenAI, Anthropic ও Ollama উপভাষা বলে, তাদের মধ্যে অনুবাদ করে, যাতে বিদ্যমান ক্লায়েন্ট কোড কাজ করতে থাকে।

এটি দিয়ে যা করতে পারেন

কোনো টুলকে বিক্রেতার এন্ডপয়েন্টের বদলে গেটওয়ের দিকে নির্দেশ করুন। পিছনে MindRouter সেই অংশগুলো সামলায় যা একটি ভাগাভাগি স্থাপনার দরকার: ওয়েটেড ডেফিসিট রাউন্ড রবিনসহ ন্যায্য-অংশ সময়সূচি, প্রতি-ব্যবহারকারী টোকেন ও অনুরোধ কোটা, Azure AD/Entra, Google, যেকোনো OIDC সরবরাহকারী বা SAML 2.0-এর মাধ্যমে ঐচ্ছিক SSO সহ ভূমিকা-ভিত্তিক প্রবেশাধিকার, এবং প্রম্পট, প্রতিক্রিয়া ও আর্টিফ্যাক্টের পূর্ণ অডিট লগিং। একটি জিপিইউ সাইডকার এজেন্ট প্রতি-নোড ব্যবহার, মেমরি, তাপমাত্রা ও বিদ্যুৎ জানায়, ফলে প্রশাসক প্রতি অনুরোধে শক্তির খরচ দেখতে পারেন এবং রক্ষণাবেক্ষণের সময় কোনো ব্যাকএন্ড মসৃণভাবে খালি করতে পারেন। এটি চ্যাটের চেয়ে বেশি কিছু ঢাকে — এমবেডিং, ভিশন, ছবি ও ভিডিও জেনারেশন, টেক্সট-টু-স্পিচ ও স্পিচ-টু-টেক্সট, নথির OCR — এবং কোডিং সহায়কদের জন্য MCP সার্ভার ও এজেন্ট স্কিল নিয়ে আসে।

কোনো কলেজ কেন এটি নিয়ে ভাববে, সেই কারণটি প্রকল্প নিজেই বলে: প্রাতিষ্ঠানিক এআই সার্বভৌমত্ব। প্রম্পট ও নথি থাকে সেই অবকাঠামোয় যা প্রতিষ্ঠান চালায়, তৃতীয় পক্ষের কোনো ক্লাউডের মধ্য দিয়ে যাওয়ার বদলে, যা কোনো বিক্রেতার ডেটা প্রসেসিং চুক্তির তুলনায় ফ্যাকাল্টি সেনেট বা গোপনীয়তা দপ্তরের সামনে দাঁড় করানো সহজ। এই যুক্তি টেকে কি না তা নির্ভর করে প্রতিষ্ঠানের জিপিইউ, বিদ্যুৎ ও কর্মী আছে কি না তার উপর — গেটওয়ে স্থানীয় হোস্টিংকে পরিচালনযোগ্য করে, সস্তা নয়।

এটি কার জন্য

বিদ্যমান জিপিইউ সক্ষমতাসম্পন্ন গবেষণা-কম্পিউটিং ও কেন্দ্রীয় IT দল, যে শিক্ষণ-শিখন কেন্দ্রগুলো শিক্ষক ও শিক্ষার্থীর ব্যবহার মাপার জন্য এক জায়গা চায়, এবং যে প্রশাসকরা হোস্টেড এন্টারপ্রাইজ প্ল্যাটফর্মের সঙ্গে নিজে ইনফারেন্স চালানোর তুলনা করছেন। এটি Docker Compose স্থাপনা, নথিভুক্ত SSO কনফিগারেশন ও কাস্টম ব্র্যান্ডিংসহ, এবং এটি University of Idaho-তে রক্ষণাবেক্ষণ করা হয়, যেখানে লেখক এটি PEARC '26-এ উপস্থাপন করেছেন; নভেম্বর 2026 পর্যন্ত প্রকল্পটির 22 স্টার ও 3 ফর্ক আছে।

টীকা ও সতর্কতা

Apache-2.0-এর অধীনে বিনামূল্যে ও মুক্ত উৎস, কিন্তু খরচ সরে যায়, মিলিয়ে যায় না: হার্ডওয়্যার, বিদ্যুৎ, আর ক্লাস্টার চালানোর কর্মীর সময়। অবকাঠামোর মানদণ্ডে সফটওয়্যারটি তরুণ — তিনজন অবদানকারী, একটি উৎস প্রতিষ্ঠান, আর শত শত ট্যাগে সংখ্যায়িত রিলিজ — তাই কলেজের এটি বিদ্যমান সেবার পাশে পাইলট করা উচিত, মডেলে পৌঁছানোর একমাত্র পথ হিসেবে নয়। প্রকৃত ক্যাম্পাস লোডে সময়সূচি ও কোটা আচরণের প্রকাশিত মূল্যায়ন রিপোজিটরিতে নেই; লেখকদের নিজস্ব বিবরণের জন্য PEARC কাগজটিই দেখার জায়গা।

সংযুক্ত ধারণা

• বৃহৎ ভাষা মডেল (এলএলএম)
• মুক্ত সোর্স
• এডটেক প্ল্যাটফর্ম