Amplify GenAI

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Amplify GenAI — это ставка, противоположная общекампусной лицензии на коммерческого ассистента: учреждение само запускает платформу, в собственном аккаунте Amazon Web Services, и платит за то, что использует. Vanderbilt построил её для своего сообщества, выпустил под MIT в трёх репозиториях и теперь предлагает другим организациям как альтернативу корпоративным контрактам за место — аргумент в том, что дорогой частью должны быть модели, а не число мест.

Что с ней можно делать

Пользователи создают собственных ассистентов, загружая документы или подключая источники данных, и ассистенты отвечают с помощью генерации, дополненной поиском по этим материалам, а не только из общих обучающих данных. Ассистентов можно распространять по организации, связывать в один разговор и снабжать шаблонами промптов; платформа также создаёт файлы PowerPoint и Word, диаграммы и визуализации. Администраторы получают то, что нужно общей службе: учёт затрат вплоть до уровня сообщения, лимиты на пользователя, папки и рабочие пространства и SSO — и всё это в развёртывании, которое контролирует учреждение.

Проектное решение, которое важнее всего для колледжа, — модель учёта. Vanderbilt сообщает, что при 1 300 пилотных пользователях стоимость на пользователя составляла около $3 в месяц включая AWS и что половина этих пользователей потребляла менее $1 в месяц на токены, — цифры, которые университет представляет как кейс, а не как проверенный бенчмарк. Оплата по фактическому использованию вознаграждает кампус, где меньшинство пользователей делает большую часть работы, что является обычной формой принятия ИИ, и позволяет ответить на вопрос финансового офиса («сколько это стоит на студента?») по журналам, а не по контракту.

Для кого это

Центральные ИТ-подразделения и офисы CIO, которые уже запускают рабочие нагрузки в AWS и хотят поддерживаемую сообществом альтернативу коммерческому корпоративному ассистенту; преподаватели, которым нужны ассистенты на основе учебных материалов без отправки этих материалов в потребительский продукт поставщика; и учреждения, которые хотят одного места, где видно, что люди делают с моделями. Поскольку платформа развёртывается в собственном аккаунте учреждения, вопрос о местонахождении данных решается развёртыванием, а не обещанием поставщика.

Примечания и оговорки

Бесплатно лицензировать, но не бесплатно эксплуатировать: учреждение платит AWS и поставщикам моделей. Выбор модели идёт через Amazon Bedrock (Anthropic, Mistral) или OpenAI и Microsoft Azure, а запуск собственных локальных моделей не реализован. Проект прямо заявляет, что не может поддерживать индивидуальные развёртывания, и направляет организации к коммерческим партнёрам, поэтому реалистичная стоимость включает персонал или подрядчика. Это развёртывание из трёх репозиториев (фронтенд, бэкенд, инфраструктура) с десятками звёзд, а не тысячами, и приведённое выше сравнение затрат — собственный опыт Vanderbilt, а не контролируемое исследование. Учреждениям, которые предпочли бы держать инференс на собственном оборудовании, стоит посмотреть на MindRouter и прочитать эти две страницы вместе: Amplify — прикладной слой над моделями поставщиков, MindRouter — шлюз над вашими собственными GPU.

Связанные понятия

• RAG (генерация с дополненным поиском)
• Открытый код
• Edtech-платформа
• Управление ИИ