MindRouter

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

De fleste campusdiskusjoner om AI starter med hvilken modell man skal kjøpe, og stopper før det vanskeligere spørsmålet: hvor den kjører, hvem som måler den, og hvem som kan se loggene. MindRouter er et svar på det andre spørsmålet. Det er en selvdriftet gateway som sitter foran en heterogen klynge av LLM-servere – vLLM- og Ollama-noder på GPU-er institusjonen eier – og eksponerer ett API som snakker OpenAI-, Anthropic- og Ollama-dialektene, og oversetter mellom dem slik at eksisterende klientkode fortsatt virker.

Hva du kan gjøre med den

Pek et verktøy mot gatewayen i stedet for mot et leverandørendepunkt. Bak den håndterer MindRouter delene en delt distribusjon trenger: rettferdig planlegging med vektet deficit round robin, token- og forespørselskvoter per bruker, rollebasert tilgang med valgfri SSO via Azure AD/Entra, Google, en hvilken som helst OIDC-leverandør eller SAML 2.0, og full revisjonslogging av prompts, svar og artefakter. En GPU-sidevognagent rapporterer utnyttelse, minne, temperatur og effekt per node, slik at en administrator kan se energikostnaden per forespørsel og tømme en backend på en smidig måte når vedlikehold nærmer seg. Den dekker mer enn chat – embeddings, visjon, bilde- og videogenerering, tekst-til-tale og tale-til-tekst, dokument-OCR – og leverer MCP-servere og agentferdigheter for kodeassistenter.

Grunnen til at et college skulle bry seg, er den prosjektet selv navngir: institusjonell AI-suverenitet. Prompts og dokumenter blir på infrastruktur institusjonen driver i stedet for å passere en tredjepartssky, noe som er lettere å forsvare for et fakultetsråd eller et personvernkontor enn en databehandleravtale med en leverandør. Om argumentet holder, avhenger av om institusjonen har GPU-ene, kraften og personalet – gatewayen gjør lokal drift håndterbar, ikke billig.

Hvem den er for

Forskningsdatagrupper og sentral IT med eksisterende GPU-kapasitet, sentre for undervisning og læring som vil ha ett sted å måle underviseres og studenters bruk, og administratorer som veier driftede bedriftsplattformer mot å kjøre inferens selv. Det er en Docker Compose-distribusjon med dokumentert SSO-konfigurasjon og tilpasset merkevareprofilering, og den vedlikeholdes ved University of Idaho, der forfatteren presenterte den på PEARC '26; prosjektet hadde 22 stjerner og 3 forks i november 2026.

Merknader og forbehold

Gratis og åpen kildekode under Apache-2.0, men kostnaden flytter seg i stedet for å forsvinne: maskinvare, strøm og personaltiden med å drive en klynge. Programvaren er ung etter infrastrukturmålestokk – tre bidragsytere, én opprinnelig institusjon og utgivelser nummerert i hundrevis av tagger – så et college bør pilotere den ved siden av en eksisterende tjeneste snarere enn som den eneste veien til en modell. Publisert evaluering av planleggings- og kvotatferden under reell campuslast finnes ikke i repoet; PEARC-artikkelen er stedet å lete for forfatternes egen redegjørelse.

Tilknyttede begreper

• Large Language Models (LLMs)
• Open Source
• Edtech Platform