Ressourcer
Fab AI benchmark leaderboard
Automatisk maskinoversættelse af denne engelske side, der endnu ikke er blevet gennemgået af en modersmålstalere.
Fab AI evaluerer modeller på uddannelsesopgaver, der betyder noget, hvor budgetter, båndbredde og sprogdækning er begrænsede i de lav- og mellemindkomstlande, benchmarket er bygget til, og publicerer resultaterne som et sorterbart leaderboard snarere end en artikel. Kernetabellen scorer et pædagogik-benchmark side om side med SEND, visuel matematik og visuel ræsonneren, med separate faner for flersproget pædagogik, grundlæggende literacy og højtlæsningsvurdering.
Hvad du kan gøre med det
Sammenlign omkring 300 modeller på pædagogikscorer, der i øjeblikket løber fra de lave halvfemsere ned til 21 %, og sorter derefter efter det, et undervisningsministerium faktisk skal veje: pris pr. million tokens, parametertal, åbne vægte og udgivelsesdato. Spredningen i bunden er den nyttige del. Åbne modeller under 2B ligger mellem 21 % og 43 % på pædagogik-benchmarket, mens frontier-modeller ligger i de lave halvfemsere, hvilket gør »kan vi køre dette offline på billig hardware« til et kvantificeret bytte snarere end et gæt.
Fanen med flersproget pædagogik er grunden til at bogmærke siden. De fleste uddannelsesbenchmarks er kun på engelsk, og spørgsmålet om, hvorvidt en models pædagogik overlever oversættelse, er præcis det spørgsmål, et ministerium i et flersproget system har brug for at få besvaret. Dataene kan downloades som CSV, så sammenligningerne kan køres igen lokalt.
Hvem det er til
Politiske beslutningstagere og indkøbsteams, der vælger modeller til nationale systemer, forskere, der undersøger adgangskløften i AI-understøttet uddannelse, og udviklere, der har brug for et pædagogikmål, som ikke er en engelsksproget eksamen.
Noter og forbehold
Et leaderboard måler modeller på benchmarkets egne opgaver: en høj pædagogikscore er evidens om de punkter, ikke om et klasseværelse. Priskolonnen blander input- og output-tokenpriser i et 3:1-forhold, hvilket er et modelleringsvalg og ikke, hvad nogen bestemt implementering vil koste. Dækningen af sprog og af lokalt hostede modeller flytter sig, efterhånden som nye modeller dukker op, og de lave scorer for små modeller afspejler delvist opgaveformatet lige så meget som evnen. Fab AIs indramning handler eksplicit om lav- og mellemindkomstlande, så benchmarkets opgavesæt afspejler den kontekst og bør ikke læses som en generel uddannelsesrangering. Tjek udgivelsesdatoer: flere poster går forud for den nuværende modelgeneration.