Amplify GenAI

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Amplify GenAI е противоположният залог на общокампусния лиценз за комерсиален асистент: институцията сама управлява платформата, в собствения си акаунт в Amazon Web Services, и плаща за това, което използва. Vanderbilt я създаде за собствената си общност, публикува я под MIT в три хранилища и сега я предлага на други организации като алтернатива на корпоративните договори на работно място — аргументът е, че скъпата част трябва да са моделите, а не броят на местата.

Какво можете да правите с нея

Потребителите създават персонализирани асистенти, като качват документи или свързват източници на данни, и асистентите отговарят с генериране с извличане на информация върху този материал, а не само от общото обучение. Асистентите могат да се споделят в цялата организация, да се свързват във верига в един разговор и да получават шаблони за подкани; платформата също създава файлове на PowerPoint и Word, диаграми и визуализации. Администраторите получават това, което е нужно на споделена услуга: отчитане на разходите до ниво съобщение, лимити на потребител, папки и работни пространства и SSO — всичко в разположение, което институцията контролира.

Решението за дизайна, което е най-важно за един колеж, е моделът на отчитане. Vanderbilt съобщава, че с 1,300 пилотни потребители разходът на потребител е бил около $3 на месец, включително AWS, и че половината от тези потребители са консумирали под $1 на месец в токени — числа, които университетът представя като казус, а не като одитиран бенчмарк. Ценообразуването според потреблението възнаграждава кампус, в който малцинство от потребителите върши по-голямата част от работата, което е нормалната форма на въвеждане на AI, и прави въпроса на финансовата служба („колко струва това на студент?“) отговорим от логове, а не от договор.

За кого е предназначена

Централни IT и CIO служби, които вече изпълняват работни натоварвания в AWS и искат поддържана от общността алтернатива на комерсиален корпоративен асистент; преподаватели, които се нуждаят от асистенти, основани на учебен материал, без да го изпращат към потребителски продукт на доставчик; и институции, които искат едно място, където да виждат какво правят хората с моделите. Тъй като се разполага в собствения акаунт на институцията, въпросът за местоположението на данните се решава от разполагането, а не от обещание на доставчик.

Бележки и предупреждения

Безплатна за лицензиране, но не и за работа: институцията плаща на AWS и на доставчиците на модели. Изборът на модел минава през Amazon Bedrock (Anthropic, Mistral) или OpenAI и Microsoft Azure, а пускането на собствени локални модели не е реализирано. Проектът заявява пряко, че не може да поддържа индивидуални разполагания и насочва организациите към комерсиални партньори — така че реалистичният разход включва персонал или изпълнител. Това е разполагане в три хранилища (фронтенд, бекенд, инфраструктура) с десетки звезди, а не хиляди, и горното сравнение на разходите е собственият опит на Vanderbilt, а не контролирано изследване. Институциите, които предпочитат да държат инференцията на хардуер, който притежават, трябва да погледнат MindRouter и да прочетат двете заедно: Amplify е приложен слой върху модели на доставчици, MindRouter е шлюз върху вашите собствени GPU.

Свързани понятия

• RAG (Retrieval-Augmented Generation)
• Open Source
• Edtech Platform
• AI Governance