Πόροι
Amplify GenAI
Αυτόματη μηχανική μετάφραση αυτής της αγγλικής σελίδας, που δεν έχει ακόμη ελεγχθεί από φυσικό ομιλητή.
Το Amplify GenAI είναι το αντίθετο στοίχημα από μια άδεια σε επίπεδο πανεπιστημιούπολης για έναν εμπορικό βοηθό: το ίδρυμα τρέχει το ίδιο την πλατφόρμα, μέσα στον δικό του λογαριασμό Amazon Web Services, και πληρώνει για ό,τι χρησιμοποιεί. Το Vanderbilt το έφτιαξε για τη δική του κοινότητα, το κυκλοφόρησε με άδεια MIT σε τρία αποθετήρια και τώρα το προσφέρει σε άλλους οργανισμούς ως εναλλακτική στα εταιρικά συμβόλαια ανά θέση — με το επιχείρημα ότι το ακριβό μέρος πρέπει να είναι τα μοντέλα, όχι ο αριθμός των θέσεων.
Τι μπορείτε να κάνετε με αυτό
Οι χρήστες φτιάχνουν προσαρμοσμένους βοηθούς ανεβάζοντας έγγραφα ή συνδέοντας πηγές δεδομένων, και οι βοηθοί απαντούν με παραγωγή επαυξημένη με ανάκτηση πάνω σε αυτό το υλικό και όχι μόνο από τη γενική εκπαίδευση. Οι βοηθοί μπορούν να μοιράζονται σε όλο τον οργανισμό, να αλυσοδένονται σε μία συνομιλία και να παίρνουν πρότυπα προτροπών· η πλατφόρμα παράγει επίσης αρχεία PowerPoint και Word, διαγράμματα και οπτικοποιήσεις. Οι διαχειριστές παίρνουν ό,τι χρειάζεται μια κοινόχρηστη υπηρεσία: κοστολόγηση μέχρι το επίπεδο του μηνύματος, όρια ανά χρήστη, φακέλους και χώρους εργασίας, και SSO, όλα σε μια ανάπτυξη που ελέγχει το ίδρυμα.
Η σχεδιαστική απόφαση που μετρά περισσότερο για ένα κολέγιο είναι το μοντέλο κοστολόγησης. Το Vanderbilt αναφέρει ότι με 1,300 πιλοτικούς χρήστες το κόστος ανά χρήστη ήταν περίπου $3 τον μήνα μαζί με το AWS, και ότι οι μισοί από αυτούς τους χρήστες κατανάλωναν λιγότερο από $1 τον μήνα σε tokens — νούμερα που το πανεπιστήμιο παρουσιάζει ως μελέτη περίπτωσης, όχι ως ελεγμένο σημείο αναφοράς. Η χρέωση με βάση τη χρήση επιβραβεύει μια πανεπιστημιούπολη όπου μια μειοψηφία χρηστών κάνει το μεγαλύτερο μέρος της δουλειάς, που είναι το συνηθισμένο σχήμα υιοθέτησης ΤΝ, και κάνει την ερώτηση του οικονομικού γραφείου («πόσο κοστίζει αυτό ανά φοιτητή;») απαντήσιμη από τα αρχεία καταγραφής και όχι από ένα συμβόλαιο.
Σε ποιους απευθύνεται
Σε κεντρικές υπηρεσίες πληροφορικής και γραφεία CIO που ήδη τρέχουν φόρτους στο AWS και θέλουν μια εναλλακτική υποστηριζόμενη από την κοινότητα απέναντι σε έναν εμπορικό επιχειρησιακό βοηθό· σε διδάσκοντες που χρειάζονται βοηθούς θεμελιωμένους σε υλικό μαθήματος χωρίς να το στέλνουν στο καταναλωτικό προϊόν ενός προμηθευτή· και σε ιδρύματα που θέλουν ένα σημείο για να βλέπουν τι κάνουν οι άνθρωποι με τα μοντέλα. Επειδή αναπτύσσεται στον λογαριασμό του ίδιου του ιδρύματος, το ζήτημα της διαμονής δεδομένων απαντιέται από την ανάπτυξη και όχι από μια υπόσχεση προμηθευτή.
Σημειώσεις και επιφυλάξεις
Δωρεάν ως άδεια, όχι δωρεάν στη λειτουργία: το ίδρυμα πληρώνει το AWS και τους παρόχους μοντέλων. Η επιλογή μοντέλου περνά από το Amazon Bedrock (Anthropic, Mistral) ή το OpenAI και το Microsoft Azure, και η λειτουργία δικών σου τοπικών μοντέλων δεν έχει υλοποιηθεί. Το έργο δηλώνει ρητά ότι δεν μπορεί να υποστηρίξει μεμονωμένες αναπτύξεις και παραπέμπει τους οργανισμούς σε εμπορικούς συνεργάτες — άρα το ρεαλιστικό κόστος περιλαμβάνει προσωπικό ή εργολάβο. Είναι ανάπτυξη τριών αποθετηρίων (frontend, backend, υποδομή) με δεκάδες αστέρια και όχι χιλιάδες, και η σύγκριση κόστους παραπάνω είναι η εμπειρία του ίδιου του Vanderbilt και όχι ελεγχόμενη μελέτη. Ιδρύματα που θα προτιμούσαν να κρατήσουν τη συμπερασματολογία σε υλικό που κατέχουν θα πρέπει να δουν το MindRouter και να διαβάσουν τα δύο μαζί: το Amplify είναι επίπεδο εφαρμογής πάνω σε μοντέλα προμηθευτών, το MindRouter είναι πύλη πάνω στις δικές σου GPU.
Συνδεδεμένες έννοιες
Συνδεδεμένοι πόροι
- MindRouterΜια πύλη συμπερασματολογίας με άδεια Apache-2.0 από το Πανεπιστήμιο του Αϊντάχο, που τοποθετεί ένα πανεπιστημιακό σύμπλεγμα κόμβων GPU με vLLM και Ollama πίσω από ένα API συμβατό με OpenAI, προσθέτοντας δίκαιη δρομολόγηση, ποσοστώσεις token ανά χρήστη, SSO, καταγραφή ελέγχου και ζωντανή παρακολούθηση GPU και ενέργειας.