Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

Amplify GenAI est le pari inverse d'une licence à l'échelle du campus pour un assistant commercial : l'établissement exploite lui-même la plateforme, dans son propre compte Amazon Web Services, et paie ce qu'il utilise. Vanderbilt l'a construite pour sa propre communauté, l'a publiée sous MIT dans trois dépôts, et la propose désormais à d'autres organisations comme alternative aux contrats d'entreprise par siège — l'argument étant que la partie coûteuse devrait être les modèles, pas le nombre de sièges.

Ce que vous pouvez en faire

Les utilisateurs construisent des assistants personnalisés en téléversant des documents ou en connectant des sources de données, et les assistants répondent par génération augmentée par récupération sur ce matériel plutôt qu'à partir de l'entraînement général seul. Les assistants peuvent être partagés dans toute l'organisation, enchaînés dans une même conversation et dotés de modèles d'invite ; la plateforme produit aussi des fichiers PowerPoint et Word, des diagrammes et des visualisations. Les administrateurs obtiennent ce dont un service partagé a besoin : comptabilisation des coûts jusqu'au niveau du message, limites par utilisateur, dossiers et espaces de travail, et SSO, le tout dans un déploiement que l'établissement contrôle.

Le choix de conception qui compte le plus pour un établissement d'enseignement supérieur est le modèle de comptabilisation. Vanderbilt rapporte qu'avec 1 300 utilisateurs pilotes, son coût par utilisateur était d'environ $3 par mois, AWS inclus, et que la moitié de ces utilisateurs consommaient moins de $1 par mois en jetons — des chiffres que l'université présente comme une étude de cas, non comme une référence auditée. La facturation à l'usage récompense un campus où une minorité d'utilisateurs fait l'essentiel du travail, ce qui est la forme normale de l'adoption de l'IA, et elle permet de répondre à la question du service financier (« combien cela coûte-t-il par étudiant ? ») à partir des journaux plutôt que d'un contrat.

À qui cela s'adresse

Les services informatiques centraux et les directions des systèmes d'information qui exploitent déjà des charges de travail dans AWS et veulent une alternative soutenue par la communauté à un assistant d'entreprise commercial ; les enseignants qui ont besoin d'assistants ancrés dans le matériel de cours sans l'envoyer au produit grand public d'un fournisseur ; et les établissements qui veulent un lieu unique pour voir ce que les gens font avec les modèles. Comme elle se déploie dans le compte de l'établissement, la question de la résidence des données est réglée par le déploiement plutôt que par la promesse d'un fournisseur.

Remarques et réserves

Gratuite à licencier, pas gratuite à exploiter : l'établissement paie AWS et les fournisseurs de modèles. Le choix de modèle passe par Amazon Bedrock (Anthropic, Mistral) ou OpenAI et Microsoft Azure, et l'exploitation de modèles locaux n'est pas implémentée. Le projet déclare clairement qu'il ne peut pas prendre en charge les déploiements individuels et renvoie les organisations vers des partenaires commerciaux — le coût réaliste inclut donc du personnel ou un prestataire. C'est un déploiement en trois dépôts (frontend, backend, infrastructure) avec des dizaines d'étoiles plutôt que des milliers, et la comparaison de coûts ci-dessus est l'expérience de Vanderbilt plutôt qu'une étude contrôlée. Les établissements qui préfèrent garder l'inférence sur du matériel qu'ils possèdent devraient regarder MindRouter et lire les deux ensemble : Amplify est une couche applicative au-dessus de modèles de fournisseurs, MindRouter est une passerelle au-dessus de vos propres GPU.

Concepts liés

Ressources liées

  • MindRouter
    Une passerelle d'inférence Apache-2.0 de l'université de l'Idaho qui place un cluster de campus de nœuds GPU vLLM et Ollama derrière une API compatible OpenAI, en ajoutant un ordonnancement équitable, des quotas de jetons par utilisateur, le SSO, la journalisation d'audit et une surveillance en direct des GPU et de l'énergie.

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.