MindRouter

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Повечето кампусни дискусии за AI започват с това кой модел да се купи и спират преди по-трудния въпрос: къде работи, кой го измерва и кой може да вижда логовете. MindRouter е отговор на този втори въпрос. Това е самостоятелно хостван шлюз, който стои пред хетерогенен клъстер от LLM сървъри — възли с vLLM и Ollama на GPU, които институцията притежава — и предоставя един API, който говори диалектите на OpenAI, Anthropic и Ollama, като превежда между тях, така че съществуващият клиентски код продължава да работи.

Какво можете да правите с него

Насочете инструмент към шлюза вместо към крайна точка на доставчик. Зад него MindRouter поема частите, които са нужни на споделено разполагане: справедливо планиране с претеглен deficit round robin, квоти за токени и заявки на потребител, достъп, базиран на роли, с опционален SSO през Azure AD/Entra, Google, който и да е OIDC доставчик или SAML 2.0, и пълен одитен журнал на подканите, отговорите и артефактите. Страничен агент на GPU отчита използването, паметта, температурата и мощността на всеки възел, така че администраторът може да види енергийния разход на заявка и да източи бекенд плавно, когато предстои поддръжка. Покрива повече от чат — вграждания, зрение, генериране на изображения и видео, синтез и разпознаване на реч, OCR на документи — и доставя MCP сървъри и агентски умения за асистенти за програмиране.

Причината един колеж да се заинтересува е тази, която проектът назовава: институционален AI суверенитет. Подканите и документите остават на инфраструктура, която институцията управлява, вместо да преминават през облак на трета страна, което е по-лесно за защита пред факултетен сенат или служба за защита на данните, отколкото споразумение за обработка на данни с доставчик. Дали този аргумент издържа зависи от това дали институцията разполага с GPU, мощност и персонал — шлюзът прави локалния хостинг управляем, а не евтин.

За кого е предназначен

Изследователски изчислителни и централни IT групи с наличен GPU капацитет; центрове за преподаване и учене, които искат едно място за измерване на използването от преподаватели и студенти; и администратори, които претеглят хостинг корпоративни платформи срещу собствена инференция. Това е разполагане с Docker Compose с документирана SSO конфигурация и персонализиран брандинг и се поддържа в Университета на Айдахо, където авторът го представи на PEARC '26; проектът има 22 звезди и 3 разклонения към ноември 2026 г.

Бележки и предупреждения

Безплатен и отворен код под Apache-2.0, но разходът се мести, а не изчезва: хардуер, електричество и времето на персонала за управление на клъстер. Софтуерът е млад по инфраструктурни стандарти — трима сътрудници, една институция на произход и издания, номерирани в стотици тагове — така че колежът трябва да го пилотира до съществуваща услуга, а не като единствения път към модел. Публикувана оценка на поведението на планирането и квотите при реален кампусен товар не е в хранилището; докладът от PEARC е мястото, където да се търси собственият разказ на авторите.

Свързани понятия

• Large Language Models (LLMs)
• Open Source
• Edtech Platform