На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Fab AI оцінює моделі на освітніх завданнях, які мають значення там, де бюджети, пропускна здатність і мовне покриття обмежені в країнах з низьким і середнім рівнем доходу, для яких побудовано бенчмарк, і публікує результати як рейтинг, який можна сортувати, а не як статтю. Основна таблиця оцінює педагогічний бенчмарк поряд із SEND, візуальною математикою та візуальним міркуванням, з окремими вкладками для багатомовної педагогіки, базової грамотності та оцінювання читання вголос.

Що можна з ним робити

Порівняйте приблизно 300 моделей за педагогічними балами, які наразі коливаються від низьких дев’яностих до 21%, потім сортуйте за тим, що міністерство освіти фактично має зважувати: ціна за мільйон токенів, кількість параметрів, відкриті ваги та дата випуску. Розкид унизу — корисна частина. Відкриті моделі до 2B мають від 21% до 43% на педагогічному бенчмарку, тоді як передові моделі — у низьких дев’яностих, що перетворює «чи можемо ми запустити це офлайн на дешевому обладнанні» на кількісно виміряний компроміс, а не здогад.

Вкладка багатомовної педагогіки — причина додати сторінку в закладки. Більшість освітніх бенчмарків лише англомовні, і питання, чи виживає педагогіка моделі після перекладу, — саме те питання, на яке має відповісти міністерство в багатомовній системі. Дані можна завантажити як CSV, тож порівняння можна повторно виконати локально.

Для кого це

Політики та команди закупівель, які обирають моделі для національних систем, дослідники, які вивчають розрив у доступі в освіті з підтримкою ШІ, і розробники, яким потрібна педагогічна ціль, що не є англомовним екзаменом.

Примітки та застереження

Рейтинг вимірює моделі на власних завданнях бенчмарку: високий педагогічний бал — це свідчення про ці пункти, а не про клас. Стовпець ціни змішує ціни вхідних і вихідних токенів у співвідношенні 3:1, що є вибором моделювання, а не тим, скільки коштуватиме конкретне розгортання. Покриття мов і локально розміщених моделей змінюється з появою нових моделей, а низькі бали малих моделей частково відображають формат завдань не менше, ніж спроможність. Обрамлення Fab AI явно стосується країн з низьким і середнім рівнем доходу, тож набір пунктів бенчмарку відображає цей контекст і не повинен читатися як загальний освітній рейтинг. Перевіряйте дати випуску: кілька записів передують чинному поколінню моделей.

Пов’язані поняття

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.