Ресурси
MindRouter
Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.
Більшість кампусних обговорень ШІ починаються з того, яку модель купити, і зупиняються перед складнішим питанням: де вона працює, хто її обліковує і хто бачить журнали. MindRouter — відповідь на друге питання. Це самостійно розміщений шлюз, який стоїть перед гетерогенним кластером серверів LLM — вузлів vLLM і Ollama на GPU, що належать закладу, — і надає один API, який говорить діалектами OpenAI, Anthropic і Ollama, перекладаючи між ними так, щоб наявний клієнтський код і далі працював.
Що з ним можна робити
Спрямуйте інструмент на шлюз замість кінцевої точки постачальника. За ним MindRouter бере на себе те, що потрібне спільному розгортанню: справедливе планування зі зваженим deficit round robin, квоти токенів і запитів на користувача, доступ на основі ролей з додатковим SSO через Azure AD/Entra, Google, будь-якого провайдера OIDC або SAML 2.0 і повне аудит-журналювання промптів, відповідей та артефактів. Агент-сайдкар на GPU повідомляє завантаження, пам’ять, температуру й потужність кожного вузла, тож адміністратор бачить енерговитрати на запит і може акуратно вивести бекенд із роботи, коли наближається обслуговування. Він покриває більше, ніж чат, — ембединги, зір, генерацію зображень і відео, синтез і розпізнавання мовлення, OCR документів, — і постачається із серверами MCP та навичками агентів для асистентів програмування.
Причина, чому коледжу це важливо, — та, яку називає проєкт: інституційний суверенітет ШІ. Промпти й документи залишаються на інфраструктурі, якою керує заклад, а не проходять через сторонню хмару, що легше захистити перед радою факультетів або службою приватності, ніж угоду про обробку даних із постачальником. Чи тримається цей аргумент, залежить від того, чи має заклад GPU, потужність і персонал, — шлюз робить локальний хостинг керованим, а не дешевим.
Для кого це
Групи дослідницьких обчислень і центральні ІТ-підрозділи з наявними GPU, центри викладання й навчання, яким потрібне одне місце для обліку використання викладачами й студентами, та адміністратори, які зважують розміщені корпоративні платформи проти запуску інференсу самостійно. Це розгортання через Docker Compose із документованим налаштуванням SSO і кастомним брендингом, і його підтримують в Університеті Айдахо, де автор представив його на PEARC '26; станом на листопад 2026 року проєкт має 22 зірки й 3 форки.
Примітки та застереження
Безкоштовно й з відкритим вихідним кодом під Apache-2.0, але вартість переміщується, а не зникає: обладнання, електроенергія й час персоналу на експлуатацію кластера. За інфраструктурними мірками програма молода — три учасники, одна установа-засновник і релізи, нумеровані сотнями тегів, — тож коледжу варто пілотувати її поряд з наявною службою, а не як єдиний шлях до моделі. Опублікованої оцінки поведінки планувальника й квот під реальним кампусним навантаженням у репозиторії немає; стаття PEARC — те місце, де шукати власний звіт авторів.
Пов’язані поняття
Пов’язані ресурси
- Amplify GenAIКорпоративна платформа генеративного ШІ від Vanderbilt під ліцензією MIT, розгорнута у власному акаунті AWS закладу: власні асистенти по локальних документах, відповіді з генерацією, доповненою пошуком, спільний доступ в організації та облік витрат аж до окремого повідомлення.