Πόροι
MindRouter
Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.
Οι περισσότερες συζητήσεις για την ΤΝ σε μια πανεπιστημιούπολη ξεκινούν με το ποιο μοντέλο θα αγοράσουν και σταματούν πριν από το δυσκολότερο ερώτημα: πού τρέχει, ποιος το μετρά και ποιος βλέπει τα αρχεία καταγραφής. Το MindRouter είναι μια απάντηση σε αυτό το δεύτερο ερώτημα. Είναι μια αυτοφιλοξενούμενη πύλη που κάθεται μπροστά σε ένα ετερογενές σύμπλεγμα διακομιστών LLM — κόμβους vLLM και Ollama σε GPU που κατέχει το ίδρυμα — και εκθέτει ένα API που μιλά τις διαλέκτους OpenAI, Anthropic και Ollama, μεταφράζοντας μεταξύ τους ώστε ο υπάρχων κώδικας πελάτη να συνεχίσει να δουλεύει.
Τι μπορείτε να κάνετε με αυτό
Στρέψε ένα εργαλείο στην πύλη αντί στο τελικό σημείο ενός προμηθευτή. Πίσω της, το MindRouter χειρίζεται τα μέρη που χρειάζεται μια κοινόχρηστη ανάπτυξη: δίκαιη δρομολόγηση με σταθμισμένο deficit round robin, ποσοστώσεις token και αιτημάτων ανά χρήστη, πρόσβαση βάσει ρόλων με προαιρετικό SSO μέσω Azure AD/Entra, Google, οποιουδήποτε παρόχου OIDC ή SAML 2.0, και πλήρη καταγραφή ελέγχου προτροπών, απαντήσεων και τεκμηρίων. Ένας sidecar agent GPU αναφέρει χρήση, μνήμη, θερμοκρασία και ισχύ ανά κόμβο, ώστε ένας διαχειριστής να βλέπει το ενεργειακό κόστος ανά αίτημα και να αποστραγγίζει ομαλά ένα backend όταν πλησιάζει συντήρηση. Καλύπτει περισσότερα από συνομιλία — embeddings, όραση, παραγωγή εικόνας και βίντεο, σύνθεση και αναγνώριση ομιλίας, OCR εγγράφων — και παρέχει διακομιστές MCP και δεξιότητες agent για βοηθούς κώδικα.
Ο λόγος που θα ενδιέφερε ένα κολέγιο είναι αυτός που ονομάζει το έργο: θεσμική κυριαρχία της ΤΝ. Οι προτροπές και τα έγγραφα μένουν σε υποδομή που λειτουργεί το ίδρυμα αντί να περνούν από cloud τρίτου, κάτι που είναι ευκολότερο να υπερασπιστείς σε μια σύγκλητο ή σε ένα γραφείο προστασίας δεδομένων από μια συμφωνία επεξεργασίας δεδομένων με προμηθευτή. Το αν αυτό το επιχείρημα στέκει εξαρτάται από το αν το ίδρυμα έχει τις GPU, την ισχύ και το προσωπικό — η πύλη κάνει την τοπική φιλοξενία διαχειρίσιμη, όχι φθηνή.
Σε ποιους απευθύνεται
Σε ομάδες υπολογιστικής έρευνας και κεντρικής πληροφορικής με υπάρχουσα χωρητικότητα GPU, σε κέντρα διδασκαλίας και μάθησης που θέλουν ένα σημείο για να μετρούν τη χρήση διδασκόντων και φοιτητών, και σε διαχειριστές που ζυγίζουν φιλοξενούμενες επιχειρησιακές πλατφόρμες απέναντι στη λειτουργία δικής τους συμπερασματολογίας. Είναι ανάπτυξη Docker Compose με τεκμηριωμένη διαμόρφωση SSO και προσαρμοσμένη εμπορική ταυτότητα, και συντηρείται στο Πανεπιστήμιο του Αϊντάχο, όπου ο συγγραφέας το παρουσίασε στο PEARC '26· το έργο είχε 22 αστέρια και 3 forks τον Νοέμβριο του 2026.
Σημειώσεις και επιφυλάξεις
Δωρεάν και ανοιχτού κώδικα με άδεια Apache-2.0, αλλά το κόστος μετατοπίζεται και δεν εξαφανίζεται: υλικό, ηλεκτρισμός και χρόνος προσωπικού για τη λειτουργία συμπλέγματος. Το λογισμικό είναι νέο με τα μέτρα της υποδομής — τρεις συνεισφέροντες, ένα ίδρυμα προέλευσης και εκδόσεις με εκατοντάδες tags — οπότε ένα κολέγιο θα πρέπει να το δοκιμάσει πιλοτικά δίπλα σε υπάρχουσα υπηρεσία και όχι ως τη μόνη διαδρομή προς ένα μοντέλο. Δημοσιευμένη αξιολόγηση της συμπεριφοράς δρομολόγησης και ποσοστώσεων υπό πραγματικό φόρτο πανεπιστημιούπολης δεν υπάρχει στο αποθετήριο· η εργασία PEARC είναι το μέρος για να αναζητήσεις την εκδοχή των ίδιων των συγγραφέων.
Συνδεδεμένες έννοιες
Συνδεδεμένοι πόροι
- Amplify GenAIΗ πλατφόρμα επιχειρησιακής παραγωγικής ΤΝ του Vanderbilt με άδεια MIT, που αναπτύσσεται στον λογαριασμό AWS του ίδιου του ιδρύματος: προσαρμοσμένοι βοηθοί πάνω σε τοπικά έγγραφα, απαντήσεις με ανάκτηση, κοινή χρήση σε όλο τον οργανισμό και κοστολόγηση μέχρι το μεμονωμένο μήνυμα.