בעמוד הזה

העמוד הזה מתורגם לעברית. עמודי המאמרים עדיין כתובים באנגלית. קראו את העמוד הזה באנגלית

תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.

Fab AI בוחן מודלים במשימות חינוכיות שחשובות במקומות שבהם תקציבים, רוחב פס וכיסוי שפות מוגבלים — במדינות בעלות הכנסה נמוכה ובינונית שעבורן הבנצ'מרק נבנה — והוא מפרסם את התוצאות כלוח מובילים שניתן למיין ולא כמאמר. הטבלה המרכזית מנקדת בנצ'מרק פדגוגי לצד SEND, מתמטיקה חזותית וחשיבה חזותית, עם לשוניות נפרדות לפדגוגיה רב-לשונית, אוריינות בסיסית והערכת קריאה בקול.

מה אפשר לעשות איתו

השוו כ-300 מודלים בציוני פדגוגיה שנעים כיום מהתשעים הנמוכים ועד 21%, ואז מיינו לפי מה שמשרד חינוך באמת צריך לשקול: מחיר למיליון טוקנים, מספר פרמטרים, משקלים פתוחים ותאריך שחרור. הפער בתחתית הוא החלק השימושי. מודלים פתוחים של פחות מ-2B נמצאים בין 21% ל-43% בבנצ'מרק הפדגוגי, בעוד שמודלים חזיתיים נמצאים בתשעים הנמוכים, מה שהופך את "האם נוכל להריץ את זה לא מקוון על חומרה זולה" לפשרה מכומתת במקום לניחוש.

לשונית הפדגוגיה הרב-לשונית היא הסיבה לשמור את הדף במועדפים. רוב הבנצ'מרקים החינוכיים הם באנגלית בלבד, והשאלה אם הפדגוגיה של מודל שורדת תרגום היא בדיוק השאלה שמשרד במערכת רב-לשונית צריך תשובה עליה. הנתונים ניתנים להורדה כ-CSV, כך שאפשר להריץ את ההשוואות מחדש באופן מקומי.

למי זה מיועד

קובעי מדיניות וצוותי רכש הבוחרים מודלים למערכות ארציות, חוקרים הלומדים את פער הגישה בחינוך נתמך בינה מלאכותית, ומפתחים הזקוקים ליעד פדגוגי שאינו מבחן בשפה האנגלית.

הערות ואזהרות

לוח מובילים מודד מודלים במשימות של הבנצ'מרק עצמו: ציון פדגוגי גבוה הוא ראיה לגבי הפריטים האלה, לא לגבי כיתה. עמודת המחיר משלבת מחירי טוקנים של קלט ופלט ביחס 3:1, שזו בחירת מידול ולא מה שפריסה מסוימת תעלה בפועל. הכיסוי של שפות ושל מודלים המתארחים מקומית משתנה ככל שמופיעים מודלים חדשים, והציונים הנמוכים של מודלים קטנים משקפים בחלקם את פורמט המשימה לא פחות מהיכולת. המסגור של Fab AI עוסק במפורש במדינות בעלות הכנסה נמוכה ובינונית, כך שמערך הפריטים של הבנצ'מרק משקף את ההקשר הזה ואין לקרוא אותו כדירוג חינוכי כללי. בדקו תאריכי שחרור: כמה רשומות קודמות לדור המודלים הנוכחי.

מושגים מחוברים

הטמעת העמוד הזה

העתיקו את הקוד שלמטה כדי להטמיע את העמוד הזה במערכת ניהול למידה או באתר אחר. הגרסה המוטמעת מציגה רק את תוכן העמוד — היא מסתירה את כותרת האתר, את הניווט ואת כותרת התחתונה.