Ресурси
Fab AI benchmark leaderboard
Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.
Fab AI оцінює моделі на освітніх завданнях, які мають значення там, де бюджети, пропускна здатність і мовне покриття обмежені в країнах з низьким і середнім рівнем доходу, для яких побудовано бенчмарк, і публікує результати як рейтинг, який можна сортувати, а не як статтю. Основна таблиця оцінює педагогічний бенчмарк поряд із SEND, візуальною математикою та візуальним міркуванням, з окремими вкладками для багатомовної педагогіки, базової грамотності та оцінювання читання вголос.
Що можна з ним робити
Порівняйте приблизно 300 моделей за педагогічними балами, які наразі коливаються від низьких дев’яностих до 21%, потім сортуйте за тим, що міністерство освіти фактично має зважувати: ціна за мільйон токенів, кількість параметрів, відкриті ваги та дата випуску. Розкид унизу — корисна частина. Відкриті моделі до 2B мають від 21% до 43% на педагогічному бенчмарку, тоді як передові моделі — у низьких дев’яностих, що перетворює «чи можемо ми запустити це офлайн на дешевому обладнанні» на кількісно виміряний компроміс, а не здогад.
Вкладка багатомовної педагогіки — причина додати сторінку в закладки. Більшість освітніх бенчмарків лише англомовні, і питання, чи виживає педагогіка моделі після перекладу, — саме те питання, на яке має відповісти міністерство в багатомовній системі. Дані можна завантажити як CSV, тож порівняння можна повторно виконати локально.
Для кого це
Політики та команди закупівель, які обирають моделі для національних систем, дослідники, які вивчають розрив у доступі в освіті з підтримкою ШІ, і розробники, яким потрібна педагогічна ціль, що не є англомовним екзаменом.
Примітки та застереження
Рейтинг вимірює моделі на власних завданнях бенчмарку: високий педагогічний бал — це свідчення про ці пункти, а не про клас. Стовпець ціни змішує ціни вхідних і вихідних токенів у співвідношенні 3:1, що є вибором моделювання, а не тим, скільки коштуватиме конкретне розгортання. Покриття мов і локально розміщених моделей змінюється з появою нових моделей, а низькі бали малих моделей частково відображають формат завдань не менше, ніж спроможність. Обрамлення Fab AI явно стосується країн з низьким і середнім рівнем доходу, тож набір пунктів бенчмарку відображає цей контекст і не повинен читатися як загальний освітній рейтинг. Перевіряйте дати випуску: кілька записів передують чинному поколінню моделей.