משאבים
Amplify GenAI
תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.
Amplify GenAI הוא ההימור ההפוך מרישיון אוניברסיטאי לעוזר מסחרי: המוסד מפעיל את הפלטפורמה בעצמו, בתוך חשבון Amazon Web Services שלו, ומשלם על מה שהוא משתמש בו. ואנדרבילט בנתה אותה עבור הקהילה שלה, שחררה אותה תחת MIT בשלושה מאגרים, וכעת מציעה אותה לארגונים אחרים כחלופה לחוזי ארגון לפי מקום — בטענה שהחלק היקר צריך להיות המודלים, לא מספר המקומות.
מה אפשר לעשות איתה
משתמשים בונים עוזרים מותאמים על ידי העלאת מסמכים או חיבור מקורות נתונים, והעוזרים עונים באמצעות יצירה מבוססת שליפה מעל החומר הזה ולא מהאימון הכללי בלבד. אפשר לשתף עוזרים בארגון, לשרשר אותם לשיחה אחת ולתת להם תבניות הנחיה; הפלטפורמה גם מפיקה קובצי PowerPoint ו-Word, תרשימים והמחשות. מנהלים מקבלים את מה ששירות משותף צריך: הקצאת עלויות עד רמת ההודעה, מגבלות פר משתמש, תיקיות וסביבות עבודה ו-SSO, הכול בפריסה שהמוסד שולט בה.
החלטת העיצוב החשובה ביותר למכללה היא מודל הקצאת העלויות. ואנדרבילט מדווחת שעם 1,300 משתמשי פיילוט העלות למשתמש הייתה כ-$3 לחודש כולל AWS, ושמחצית מהמשתמשים האלה צרכו פחות מ-$1 לחודש בטוקנים — נתונים שהאוניברסיטה מציגה כמקרה בוחן, לא כבנצ'מרק מבוקר. חיוב לפי שימוש מתגמל קמפוס שבו מיעוט משתמשים עושה את רוב העבודה, וזו הצורה הרגילה של אימוץ בינה מלאכותית, והוא הופך את שאלת משרד הכספים ("כמה זה עולה לסטודנט?") לניתנת למענה מתוך יומנים ולא מתוך חוזה.
למי זה מיועד
IT מרכזי ומשרדי CIO שכבר מריצים עומסי עבודה ב-AWS ורוצים חלופה נתמכת-קהילה לעוזר ארגוני מסחרי; סגל שזקוק לעוזרים שמבוססים על חומרי קורס בלי לשלוח אותם למוצר הצרכני של ספק; ומוסדות שרוצים מקום אחד לראות מה אנשים עושים עם מודלים. משום שהיא נפרסת לחשבון של המוסד עצמו, שאלת מיקום הנתונים נענית על ידי הפריסה ולא על ידי הבטחה של ספק.
הערות ואזהרות
חינמית ברישיון, לא חינמית להפעלה: המוסד משלם ל-AWS ולספקי המודלים. בחירת המודל עוברת דרך Amazon Bedrock (Anthropic, Mistral) או OpenAI ו-Microsoft Azure, והרצת מודלים מקומיים משלכם אינה מיושמת. הפרויקט מצהיר בפשטות שאינו יכול לתמוך בפריסות בודדות ומפנה ארגונים לשותפים מסחריים — כך שהעלות הריאלית כוללת כוח אדם או קבלן. זוהי פריסה בשלושה מאגרים (חזית, אחור ותשתית) עם עשרות כוכבים ולא אלפים, והשוואת העלויות לעיל היא הניסיון של ואנדרבילט עצמה ולא מחקר מבוקר. מוסדות שמעדיפים להשאיר את ההסקה על חומרה בבעלותם צריכים להסתכל על MindRouter ולקרוא את השניים יחד: Amplify היא שכבת יישום מעל מודלים של ספקים, MindRouter הוא שער מעל ה-GPUs שלכם.
מושגים מחוברים
משאבים קשורים
- MindRouterשער הסקה ברישיון Apache-2.0 מאוניברסיטת איידהו שמציב אשכול קמפוסי של צומתי GPU מסוג vLLM ו-Ollama מאחורי API אחד תואם OpenAI, ומוסיף תזמון חלוקה הוגנת, מכסות טוקנים פר משתמש, SSO, תיעוד ביקורת וניטור חי של GPU וצריכת אנרגיה.