রিসোর্স
Amplify GenAI
ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।
Amplify GenAI কোনো বাণিজ্যিক সহায়কের ক্যাম্পাসব্যাপী লাইসেন্সের ঠিক উল্টো বাজি: প্রতিষ্ঠানই প্ল্যাটফর্মটি চালায়, নিজের Amazon Web Services অ্যাকাউন্টের ভেতরে, আর যা ব্যবহার করে তার দাম দেয়। Vanderbilt এটি নিজেদের সম্প্রদায়ের জন্য বানিয়েছিল, তিনটি রিপোজিটরিতে MIT-এর অধীনে প্রকাশ করেছে, আর এখন অন্য সংগঠনগুলোকে প্রতি-সিট এন্টারপ্রাইজ চুক্তির বিকল্প হিসেবে দেয় — যুক্তিটি হলো ব্যয়বহুল অংশটি মডেল হওয়া উচিত, সিটের সংখ্যা নয়।
এটি দিয়ে যা করতে পারেন
ব্যবহারকারীরা নথি আপলোড করে বা ডেটা-উৎস যুক্ত করে কাস্টম সহায়ক বানান, আর সহায়কগুলো সেই উপাদানের উপর রিট্রিভাল-অগমেন্টেড জেনারেশন দিয়ে উত্তর দেয়, কেবল সাধারণ প্রশিক্ষণ থেকে নয়। সহায়কগুলো সংগঠনজুড়ে ভাগ করা যায়, একই কথোপকথনে শৃঙ্খলাবদ্ধ করা যায়, এবং প্রম্পট টেমপ্লেট দেওয়া যায়; প্ল্যাটফর্মটি PowerPoint ও Word ফাইল, ডায়াগ্রাম এবং ভিজুয়ালাইজেশনও তৈরি করে। প্রশাসকরা পান যা একটি ভাগাভাগি সেবার দরকার: বার্তা-স্তর পর্যন্ত খরচের হিসাব, প্রতি-ব্যবহারকারীর সীমা, ফোল্ডার ও ওয়ার্কস্পেস, এবং SSO — সবই এমন এক স্থাপনায় যা প্রতিষ্ঠান নিয়ন্ত্রণ করে।
কলেজের জন্য সবচেয়ে গুরুত্বপূর্ণ নকশা-সিদ্ধান্তটি হলো হিসাবের মডেল। Vanderbilt জানায়, 1,300 পাইলট ব্যবহারকারীর সঙ্গে প্রতি ব্যবহারকারীর খরচ ছিল মাসে প্রায় $3, AWS সহ, এবং সেই ব্যবহারকারীদের অর্ধেকের টোকেন খরচ মাসে $1-এর কম — এই সংখ্যাগুলো বিশ্ববিদ্যালয় একটি কেস স্টাডি হিসেবে উপস্থাপন করে, নিরীক্ষিত বেঞ্চমার্ক নয়। ব্যবহারভিত্তিক বিলিং এমন ক্যাম্পাসকে পুরস্কৃত করে যেখানে অল্পসংখ্যক ব্যবহারকারীই বেশিরভাগ কাজ করেন, যা এআই গ্রহণের স্বাভাবিক আকৃতি, আর এটি অর্থ দপ্তরের প্রশ্নটি ("প্রতি শিক্ষার্থী এর খরচ কত?") চুক্তির বদলে লগ থেকে উত্তরযোগ্য করে তোলে।
এটি কার জন্য
যে কেন্দ্রীয় IT ও CIO দপ্তর ইতিমধ্যেই AWS-এ ওয়ার্কলোড চালায় এবং বাণিজ্যিক এন্টারপ্রাইজ সহায়কের বদলে সম্প্রদায়-সমর্থিত বিকল্প চায়; যে শিক্ষকদের পাঠ্যসূচির উপাদানের উপর ভিত্তি করে সহায়ক দরকার কিন্তু যাঁরা তা কোনো বিক্রেতার ভোক্তা পণ্যে পাঠাতে চান না; এবং যে প্রতিষ্ঠান এক জায়গায় দেখতে চায় মানুষ মডেল দিয়ে কী করছে। যেহেতু এটি প্রতিষ্ঠানের নিজের অ্যাকাউন্টে স্থাপিত হয়, ডেটা-অবস্থানের প্রশ্নটির উত্তর আসে বিক্রেতার প্রতিশ্রুতি থেকে নয়, স্থাপনা থেকেই।
টীকা ও সতর্কতা
লাইসেন্স বিনামূল্যে, চালানো বিনামূল্যে নয়: প্রতিষ্ঠান AWS ও মডেল সরবরাহকারীদের টাকা দেয়। মডেল নির্বাচন হয় Amazon Bedrock (Anthropic, Mistral) অথবা OpenAI ও Microsoft Azure দিয়ে, আর নিজের স্থানীয় মডেল চালানো বাস্তবায়িত নেই। প্রকল্পটি স্পষ্ট বলে যে এটি ব্যক্তিগত স্থাপনা সমর্থন করতে পারে না এবং সংগঠনগুলোকে বাণিজ্যিক অংশীদারদের কাছে পাঠায় — তাই বাস্তব খরচে কর্মী বা ঠিকাদারও ধরা পড়ে। এটি তিন-রিপোজিটরির স্থাপনা (ফ্রন্টএন্ড, ব্যাকএন্ড, অবকাঠামো) যার স্টার হাজার হাজার নয়, কয়েক ডজন, আর উপরের খরচ-তুলনাটি Vanderbilt-এর নিজস্ব অভিজ্ঞতা, নিয়ন্ত্রিত গবেষণা নয়। যে প্রতিষ্ঠান ইনফারেন্স নিজেদের হার্ডওয়্যারে রাখতে চায়, তাদের MindRouter দেখা উচিত এবং দুটো একসঙ্গে পড়া উচিত: Amplify বিক্রেতার মডেলের উপরে একটি অ্যাপ্লিকেশন স্তর, MindRouter আপনার নিজের জিপিইউ-এর উপরে একটি গেটওয়ে।
সংযুক্ত ধারণা
সংযুক্ত রিসোর্স
- MindRouterUniversity of Idaho-র একটি Apache-2.0 ইনফারেন্স গেটওয়ে, যা vLLM ও Ollama জিপিইউ নোডের একটি ক্যাম্পাস ক্লাস্টারকে একটি OpenAI-সামঞ্জস্যপূর্ণ API-র পিছনে রাখে এবং ন্যায্য-অংশ সময়সূচি, প্রতি-ব্যবহারকারী টোকেন কোটা, SSO, অডিট লগিং এবং জীবন্ত জিপিইউ ও শক্তি পর্যবেক্ষণ যোগ করে।