Rasilimali
Amplify GenAI
Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.
Amplify GenAI ni dau kinyume na leseni ya chuo kikuu kwa msaidizi wa kibiashara: taasisi huendesha jukwaa yenyewe, ndani ya akaunti yake ya Amazon Web Services, na hulipa kile inachotumia. Vanderbilt iliijenga kwa ajili ya jamii yake, ikaiachia chini ya MIT katika hazina tatu, na sasa inaitoa kwa mashirika mengine kama mbadala wa mikataba ya biashara kwa kila kiti — hoja ikiwa sehemu ghali inapaswa kuwa modeli, si idadi ya viti.
Unachoweza kufanya nacho
Watumiaji hujenga wasaidizi maalum kwa kupakia nyaraka au kuunganisha vyanzo vya data, na wasaidizi hujibu kwa uzalishaji unaoboreshwa kwa urejeshaji juu ya nyenzo hizo badala ya mafunzo ya jumla pekee. Wasaidizi wanaweza kushirikiwa kote katika shirika, kuunganishwa katika mazungumzo moja, na kupewa violezo vya ilani; jukwaa pia huzalisha faili za PowerPoint na Word, michoro na taswira. Wasimamizi hupata kile huduma ya pamoja inahitaji: uhasibu wa gharama hadi ngazi ya ujumbe, mipaka kwa kila mtumiaji, folda na nafasi za kazi, na SSO, yote katika usambazaji unaodhibitiwa na taasisi.
Uamuzi wa muundo unaojali zaidi kwa chuo ni modeli ya uhasibu. Vanderbilt inaripoti kwamba kwa watumiaji 1,300 wa jaribio, gharama kwa mtumiaji ilikuwa takriban $3 kwa mwezi ikiwa ni pamoja na AWS, na nusu ya watumiaji hao walitumia chini ya $1 kwa mwezi katika tokeni — takwimu ambazo chuo kikuu huziwasilisha kama funzo la kesi, si kipimo kilichokaguliwa. Bili inayotegemea matumizi huthawabisha chuo ambapo wachache wa watumiaji hufanya kazi nyingi, ambayo ni umbo la kawaida la upitishaji wa AI, na hufanya swali la ofisi ya fedha ("hii inagharimu kiasi gani kwa mwanafunzi?") liweze kujibiwa kutoka kwa kumbukumbu badala ya mkataba.
Ni kwa nani
IT kuu na ofisi za CIO ambazo tayari zinaendesha kazi katika AWS na zinataka mbadala unaoungwa mkono na jamii kwa msaidizi wa biashara; waalimu wanaohitaji wasaidizi waliotegemea nyenzo za kozi bila kuzituma kwa bidhaa ya mtumiaji ya muuzaji; na taasisi zinazotaka mahali pamoja pa kuona watu wanafanya nini na modeli. Kwa sababu inasambazwa katika akaunti ya taasisi yenyewe, swali la makazi ya data linajibiwa na usambazaji badala ya ahadi ya muuzaji.
Vidokezo na tahadhari
Bure kulipa leseni, si bure kuendesha: taasisi hulipa AWS na watoa modeli. Uchaguzi wa modeli hupitia Amazon Bedrock (Anthropic, Mistral) au OpenAI na Microsoft Azure, na kuendesha modeli zako za ndani hakujatekelezwa. Mradi unasema wazi kuwa hauwezi kusaidia usambazaji wa mtu mmoja mmoja na unaelekeza mashirika kwa washirika wa kibiashara — hivyo gharama halisi inajumuisha wafanyakazi au mkandarasi. Ni usambazaji wa hazina tatu (frontend, backend, miundombinu) wenye nyota kadhaa badala ya maelfu, na ulinganisho wa gharama hapo juu ni uzoefu wa Vanderbilt wenyewe, si utafiti uliodhibitiwa. Taasisi ambazo zingependelea kuweka inference kwenye vifaa vinavyomilikiwa nazo ziangalie MindRouter na kusoma vyote viwili pamoja: Amplify ni tabaka la programu juu ya modeli za wauzaji, MindRouter ni gateway juu ya GPU zako mwenyewe.
Dhana zinazohusiana
Rasilimali Zilizounganishwa
- MindRouterGateway ya inference ya Apache-2.0 kutoka Chuo Kikuu cha Idaho inayoweka kundi la chuo la nodi za GPU za vLLM na Ollama nyuma ya API moja inayolingana na OpenAI, ikiongeza upangaji wa usawa, kwota za tokeni kwa mtumiaji, SSO, uwekaji kumbukumbu wa ukaguzi na ufuatiliaji wa moja kwa moja wa GPU na nishati.