संसाधन
Amplify GenAI
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
Amplify GenAI किसी वाणिज्यिक सहायक के परिसर-व्यापी लाइसेंस से उलटा दाँव है: संस्थान प्लेटफ़ॉर्म को स्वयं चलाता है, अपने ही Amazon Web Services खाते के भीतर, और जो उपयोग करता है उसका भुगतान करता है। Vanderbilt ने इसे अपने समुदाय के लिए बनाया, तीन रिपॉज़िटरी में MIT के अंतर्गत जारी किया, और अब अन्य संगठनों को प्रति-सीट एंटरप्राइज़ अनुबंधों के विकल्प के रूप में पेश करता है — तर्क यह है कि महँगा हिस्सा मॉडल होना चाहिए, सीटों की संख्या नहीं।
इसके साथ आप क्या कर सकते हैं
उपयोगकर्ता दस्तावेज़ अपलोड करके या डेटा स्रोत जोड़कर कस्टम सहायक बनाते हैं, और सहायक उस सामग्री पर रिट्रीवल-ऑगमेंटेड जनरेशन से उत्तर देते हैं, केवल सामान्य प्रशिक्षण से नहीं। सहायकों को संगठन भर में साझा किया जा सकता है, एक ही बातचीत में जोड़ा जा सकता है, और प्रॉम्प्ट टेम्पलेट दिए जा सकते हैं; प्लेटफ़ॉर्म PowerPoint और Word फ़ाइलें, आरेख और विज़ुअलाइज़ेशन भी बनाता है। प्रशासकों को वह मिलता है जो एक साझा सेवा को चाहिए: संदेश-स्तर तक लागत लेखांकन, प्रति-उपयोगकर्ता सीमाएँ, फ़ोल्डर और वर्कस्पेस, और SSO — सब कुछ ऐसी तैनाती में जिसे संस्थान नियंत्रित करता है।
कॉलेज के लिए सबसे मायने रखने वाला डिज़ाइन निर्णय लेखांकन मॉडल है। Vanderbilt बताता है कि 1,300 पायलट उपयोगकर्ताओं के साथ उसका प्रति-उपयोगकर्ता ख़र्च AWS सहित लगभग $3 प्रति माह था, और उनमें आधे उपयोगकर्ताओं ने टोकन पर प्रति माह $1 से कम ख़र्च किया — ये आँकड़े विश्वविद्यालय एक केस स्टडी के रूप में प्रस्तुत करता है, ऑडिट किया हुआ बेंचमार्क नहीं। उपयोग-आधारित बिलिंग ऐसे परिसर को पुरस्कृत करती है जहाँ अल्पमत उपयोगकर्ता अधिकांश काम करते हैं, जो एआई अपनाने का सामान्य आकार है, और यह वित्त कार्यालय के सवाल ("प्रति छात्र इसका ख़र्च क्या है?") को अनुबंध के बजाय लॉग से जवाब देने योग्य बनाती है।
यह किसके लिए है
केंद्रीय IT और CIO कार्यालय जो पहले से AWS में वर्कलोड चलाते हैं और वाणिज्यिक एंटरप्राइज़ सहायक के बजाय समुदाय-समर्थित विकल्प चाहते हैं; वे शिक्षक जिन्हें पाठ्यक्रम सामग्री पर आधारित सहायक चाहिए बिना उसे किसी विक्रेता के उपभोक्ता उत्पाद तक भेजे; और वे संस्थान जो एक ही जगह देखना चाहते हैं कि लोग मॉडलों के साथ क्या कर रहे हैं। चूँकि यह संस्थान के अपने खाते में तैनात होता है, डेटा-निवास का सवाल विक्रेता के वादे से नहीं, तैनाती से हल होता है।
टिप्पणियाँ और सतर्कताएँ
लाइसेंस मुफ़्त, चलाना मुफ़्त नहीं: संस्थान AWS और मॉडल प्रदाताओं को भुगतान करता है। मॉडल चुनाव Amazon Bedrock (Anthropic, Mistral) या OpenAI और Microsoft Azure से होता है, और अपने स्थानीय मॉडल चलाना लागू नहीं है। परियोजना स्पष्ट कहती है कि वह व्यक्तिगत तैनातियों का समर्थन नहीं कर सकती और संगठनों को वाणिज्यिक साझेदारों की ओर भेजती है — इसलिए वास्तविक लागत में स्टाफ़ या ठेकेदार शामिल है। यह तीन-रिपॉज़िटरी तैनाती है (फ़्रंटएंड, बैकएंड, अवसंरचना) जिसके हज़ारों के बजाय दसियों स्टार हैं, और ऊपर दी गई लागत तुलना Vanderbilt का अपना अनुभव है, नियंत्रित अध्ययन नहीं। जो संस्थान इन्फ़रेंस अपने स्वामित्व वाले हार्डवेयर पर रखना चाहते हैं, उन्हें MindRouter देखना चाहिए और दोनों को साथ पढ़ना चाहिए: Amplify विक्रेता मॉडलों के ऊपर एक एप्लिकेशन परत है, MindRouter आपके अपने जीपीयू के ऊपर एक गेटवे।
संबंधित अवधारणाएँ
संबंधित संसाधन
- MindRouterUniversity of Idaho का Apache-2.0 इन्फ़रेंस गेटवे, जो vLLM और Ollama जीपीयू नोड्स के परिसर क्लस्टर को एक OpenAI-संगत API के पीछे रखता है और निष्पक्ष-हिस्सा शेड्यूलिंग, प्रति-उपयोगकर्ता टोकन कोटा, SSO, ऑडिट लॉगिंग तथा जीवंत जीपीयू और ऊर्जा निगरानी जोड़ता है।