Ресурси
Fab AI benchmark leaderboard
Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.
Fab AI оценява модели по образователни задачи, които имат значение там, където бюджетите, честотната лента и езиковото покритие са ограничени — в страните с ниски и средни доходи, за които бенчмаркът е изграден, и публикува резултатите като класация, която може да се сортира, а не като статия. Основната таблица оценява педагогически бенчмарк заедно със SEND, визуална математика и визуално разсъждение, с отделни табове за многоезична педагогика, базова грамотност и оценяване на четене на глас.
Какво можете да правите с нея
Сравнете около 300 модела по педагогически резултати, които в момента варират от ниските деветдесет надолу до 21%, след което сортирайте по това, което едно образователно министерство действително трябва да претегли: цена на милион токени, брой параметри, отворени тегла и дата на издаване. Разпръсването в долния край е полезната част. Отворените модели под 2B са между 21% и 43% в педагогическия бенчмарк, докато водещите модели са в ниските деветдесет, което превръща „можем ли да го пуснем офлайн на евтин хардуер“ в количествено измерен компромис, а не в догадка.
Табът за многоезична педагогика е причината да отметнете страницата. Повечето образователни бенчмаркове са само на английски, а въпросът дали педагогиката на даден модел оцелява при превод е точно въпросът, на който министерство в многоезична система трябва да получи отговор. Данните могат да се изтеглят като CSV, така че сравненията могат да се пуснат отново локално.
За кого е предназначен
Политици и екипи по обществени поръчки, които избират модели за национални системи, изследователи, които изучават пропастта в достъпа в образованието, подпомогнато от AI, и разработчици, които се нуждаят от педагогическа цел, която не е изпит на английски език.
Бележки и уговорки
Класацията измерва модели по собствените задачи на бенчмарка: висок педагогически резултат е доказателство за тези елементи, а не за класна стая. Колоната за цена смесва цените на входните и изходните токени в съотношение 3:1, което е моделиращ избор, а не това, което ще струва конкретно внедряване. Покритието на езиците и на локално хостваните модели се движи с появата на нови модели, а ниските резултати на малките модели отчасти отразяват формата на задачата толкова, колкото и способността. Рамкирането на Fab AI е изрично за страни с ниски и средни доходи, така че наборът от елементи на бенчмарка отразява този контекст и не бива да се чете като обща образователна класация. Проверете датите на издаване: няколко записа предхождат настоящото поколение модели.