Ресурсы
Fab AI benchmark leaderboard
Автоматический перевод данной английской страницы, не проверенный носителем языка.
Fab AI оценивает модели на образовательных задачах, которые важны там, где бюджеты, пропускная способность и языковое покрытие ограничены, — в странах с низким и средним уровнем дохода, для которых построен бенчмарк, и публикует результаты в виде сортируемого лидерборда, а не статьи. Основная таблица выставляет баллы педагогическому бенчмарку наряду с SEND, визуальной математикой и визуальным рассуждением, с отдельными вкладками для многоязычной педагогики, базовой грамотности и оценивания чтения вслух.
Что с ним можно делать
Сравните примерно 300 моделей по педагогическим баллам, которые сейчас простираются от чуть более 90% до 21%, затем отсортируйте по тому, что министерству образования действительно приходится взвешивать: цена за миллион токенов, число параметров, открытые веса и дата выпуска. Разброс в нижней части — полезная часть. Открытые модели размером менее 2B находятся между 21% и 43% на педагогическом бенчмарке, тогда как фронтирные модели держатся чуть выше 90%, что превращает вопрос «можем ли мы запускать это офлайн на дешёвом оборудовании» в количественно измеримый компромисс, а не догадку.
Вкладка многоязычной педагогики — причина добавить страницу в закладки. Большинство образовательных бенчмарков только на английском, и вопрос о том, выживает ли педагогика модели после перевода, — это именно тот вопрос, на который министерству в многоязычной системе нужен ответ. Данные можно скачать в CSV, поэтому сравнения можно воспроизвести локально.
Для кого это
Политики и закупочные команды, выбирающие модели для национальных систем, исследователи, изучающие разрыв в доступе в образовании с поддержкой ИИ, и разработчики, которым нужна педагогическая цель, не являющаяся англоязычным экзаменом.
Примечания и оговорки
Лидерборд измеряет модели на собственных задачах бенчмарка: высокий педагогический балл — это свидетельство об этих заданиях, а не о классе. Колонка цены смешивает цены входных и выходных токенов в соотношении 3:1, что является модельным допущением, а не стоимостью какого-либо конкретного развёртывания. Покрытие языков и локально размещённых моделей меняется по мере появления новых моделей, а низкие баллы маленьких моделей отчасти отражают формат заданий не меньше, чем способности. Подача Fab AI явно ориентирована на страны с низким и средним уровнем дохода, поэтому набор заданий бенчмарка отражает этот контекст и не должен читаться как общий рейтинг образования. Проверяйте даты выпуска: несколько записей предшествуют текущему поколению моделей.