Bronnen
Fab AI benchmark leaderboard
Automatische machinale vertaling van deze Engelse pagina, nog niet nagekeken door een moedertaalspreker.
Fab AI evalueert modellen op onderwijstaken die ertoe doen waar budgetten, bandbreedte en taaldekking beperkt zijn in de lage- en middeninkomenslanden waarvoor de benchmark is gebouwd, en publiceert de resultaten als een sorteerbaar leaderboard in plaats van een paper. De kerntabel scoort een pedagogiekbenchmark naast SEND, visuele wiskunde en visueel redeneren, met aparte tabbladen voor meertalige pedagogiek, basisgeletterdheid en de beoordeling van hardop lezen.
Wat u ermee kunt doen
Vergelijk ongeveer 300 modellen op pedagogiekscores die momenteel lopen van de lage negentig tot 21%, en sorteer vervolgens op wat een onderwijsministerie daadwerkelijk moet afwegen: prijs per miljoen tokens, aantal parameters, open gewichten en releasedatum. De spreiding aan de onderkant is het nuttige deel. Open modellen onder de 2B zitten tussen 21% en 43% op de pedagogiekbenchmark, terwijl frontiermodellen in de lage negentig zitten, waardoor "kunnen we dit offline draaien op goedkope hardware" een gekwantificeerde afweging wordt in plaats van een gok.
Het tabblad meertalige pedagogiek is de reden om de pagina te bookmarken. De meeste onderwijsbenchmarks zijn alleen Engelstalig, en de vraag of de pedagogiek van een model een vertaling overleeft, is precies de vraag die een ministerie in een meertalig systeem beantwoord moet krijgen. De data zijn downloadbaar als CSV, zodat de vergelijkingen lokaal opnieuw kunnen worden uitgevoerd.
Voor wie het is
Beleidsmakers en inkoopteams die modellen kiezen voor nationale systemen, onderzoekers die de toegangskloof in AI-ondersteund onderwijs bestuderen, en ontwikkelaars die een pedagogiekdoel nodig hebben dat geen Engelstalig examen is.
Opmerkingen en kanttekeningen
Een leaderboard meet modellen op de eigen taken van de benchmark: een hoge pedagogiekscore is bewijs over die items, niet over een klaslokaal. De prijskolom mengt input- en outputtokenprijzen in een verhouding van 3:1, wat een modelleerkeuze is en niet wat een specifieke implementatie zal kosten. De dekking van talen en van lokaal gehoste modellen verschuift naarmate nieuwe modellen verschijnen, en de lage scores voor kleine modellen weerspiegelen deels het taakformaat net zo goed als de capaciteit. De framing van Fab AI gaat expliciet over lage- en middeninkomenslanden, dus de itemset van de benchmark weerspiegelt die context en mag niet worden gelezen als een algemene onderwijsranglijst. Controleer releasedata: verschillende vermeldingen dateren van vóór de huidige modelgeneratie.