Amplify GenAI

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Amplify GenAI — це ставка, протилежна ліцензії на комерційного асистента для всього кампусу: заклад сам запускає платформу у власному акаунті Amazon Web Services і платить за те, що використовує. Vanderbilt створив її для своєї спільноти, випустив під MIT у трьох репозиторіях і тепер пропонує іншим організаціям як альтернативу корпоративним контрактам за місце — аргумент у тому, що дорогою частиною мають бути моделі, а не кількість місць.

Що з нею можна робити

Користувачі створюють власних асистентів, завантажуючи документи або підключаючи джерела даних, і асистенти відповідають за допомогою генерації, доповненої пошуком по цих матеріалах, а не лише із загальних тренувальних даних. Асистентів можна поширювати організацією, зчіплювати в одну розмову й наділяти шаблонами промптів; платформа також створює файли PowerPoint і Word, діаграми та візуалізації. Адміністратори отримують те, що потрібне спільній службі: облік витрат аж до рівня повідомлення, ліміти на користувача, теки й робочі простори та SSO — і все це в розгортанні, яке контролює заклад.

Проєктне рішення, яке найважливіше для коледжу, — модель обліку. Vanderbilt повідомляє, що при 1 300 пілотних користувачах вартість на користувача становила близько $3 на місяць включно з AWS і що половина цих користувачів споживала менше $1 на місяць на токени, — цифри, які університет подає як кейс, а не як перевірений бенчмарк. Оплата за фактичним використанням винагороджує кампус, де меншість користувачів робить більшість роботи, що є звичайною формою ухвалення ШІ, і дозволяє відповісти на питання фінансового офісу («скільки це коштує на студента?») за журналами, а не за контрактом.

Для кого це

Центральні ІТ-підрозділи й офіси CIO, які вже запускають робочі навантаження в AWS і хочуть підтримувану спільнотою альтернативу комерційному корпоративному асистенту; викладачі, яким потрібні асистенти на основі навчальних матеріалів без надсилання цих матеріалів у споживчий продукт постачальника; і заклади, які хочуть одного місця, де видно, що люди роблять із моделями. Оскільки платформа розгортається у власному акаунті закладу, питання про місце зберігання даних вирішується розгортанням, а не обіцянкою постачальника.

Примітки та застереження

Безкоштовно ліцензувати, але не безкоштовно експлуатувати: заклад платить AWS і постачальникам моделей. Вибір моделі йде через Amazon Bedrock (Anthropic, Mistral) або OpenAI і Microsoft Azure, а запуск власних локальних моделей не реалізовано. Проєкт прямо заявляє, що не може підтримувати індивідуальні розгортання, і скеровує організації до комерційних партнерів, тож реалістична вартість включає персонал або підрядника. Це розгортання з трьох репозиторіїв (фронтенд, бекенд, інфраструктура) з десятками зірок, а не тисячами, і наведене вище порівняння витрат — власний досвід Vanderbilt, а не контрольоване дослідження. Закладам, які воліли б тримати інференс на власному обладнанні, варто подивитися на MindRouter і прочитати ці дві сторінки разом: Amplify — прикладний шар над моделями постачальників, MindRouter — шлюз над вашими власними GPU.

Пов’язані поняття

• RAG (генерація з доповненням пошуком)
• Відкритий код
• Платформа EdTech
• Урядування ШІ