Zdroje
Amplify GenAI
Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.
Amplify GenAI je opačná sázka než celokampusová licence na komerčního asistenta: instituce provozuje platformu sama, na vlastním účtu Amazon Web Services, a platí za to, co spotřebuje. Vanderbilt ji postavil pro vlastní komunitu, uvolnil pod licencí MIT ve třech repozitářích a nyní ji nabízí dalším organizacím jako alternativu ke korporátním smlouvám za místo — argument zní, že drahou částí mají být modely, nikoli počet míst.
Co s ní můžete dělat
Uživatelé vytvářejí vlastní asistenty nahráním dokumentů nebo připojením datových zdrojů a asistenti odpovídají pomocí generování s rozšířeným vyhledáváním nad tímto materiálem, nikoli jen z obecného tréninku. Asistenty lze sdílet v celé organizaci, řetězit do jedné konverzace a vybavit šablonami promptů; platforma také vytváří soubory PowerPoint a Word, diagramy a vizualizace. Administrátoři dostanou to, co sdílená služba potřebuje: účtování nákladů až na úroveň zprávy, limity na uživatele, složky a pracovní prostory a SSO, to vše v nasazení, které instituce kontroluje.
Návrhovým rozhodnutím, na kterém pro vysokou školu záleží nejvíc, je model účtování. Vanderbilt uvádí, že při 1 300 uživatelích pilotu činily náklady na uživatele zhruba $3 měsíčně včetně AWS a že polovina těchto uživatelů spotřebovala méně než $1 měsíčně na tokenech — čísla, která univerzita předkládá jako případovou studii, nikoli jako auditovaný benchmark. Účtování podle spotřeby odměňuje kampus, kde většinu práce dělá menšina uživatelů, což je běžný tvar zavádění AI, a umožňuje odpovědět na otázku finančního oddělení („kolik to stojí na studenta?“) z logů, nikoli ze smlouvy.
Pro koho je určena
Centrální IT a kanceláře CIO, které už provozují zátěž v AWS a chtějí alternativu komunitně podporovanou namísto komerčního podnikového asistenta; akademičtí pracovníci, kteří potřebují asistenty postavené na materiálu kurzu, aniž by ho posílali do spotřebitelského produktu dodavatele; a instituce, které chtějí jedno místo, kde uvidí, co lidé s modely dělají. Protože se platforma nasazuje na vlastní účet instituce, otázku umístění dat řeší nasazení, nikoli slib dodavatele.
Poznámky a upozornění
Licence je zdarma, provoz nikoli: instituce platí AWS a poskytovatelům modelů. Volba modelu probíhá přes Amazon Bedrock (Anthropic, Mistral) nebo OpenAI a Microsoft Azure a provoz vlastních lokálních modelů není implementován. Projekt výslovně uvádí, že nemůže podporovat individuální nasazení, a odkazuje organizace na komerční partnery — realistické náklady tedy zahrnují personál nebo dodavatele. Jde o nasazení ze tří repozitářů (frontend, backend, infrastruktura) s desítkami hvězd, nikoli tisíci, a výše uvedené srovnání nákladů je vlastní zkušenost Vanderbilta, nikoli kontrolovaná studie. Instituce, které raději drží inferenci na vlastním hardwaru, by se měly podívat na MindRouter a číst oba texty společně: Amplify je aplikační vrstva nad modely dodavatelů, MindRouter je brána nad vlastními GPU.
Související pojmy
Související zdroje
- MindRouterBrána inferencí s licencí Apache-2.0 z University of Idaho, která staví kampusový klaster uzlů GPU vLLM a Ollama za jediné rozhraní API kompatibilní s OpenAI a přidává spravedlivé plánování, kvóty tokenů na uživatele, SSO, auditní logování a živé sledování GPU a spotřeby energie.