På denne siden

Les denne siden på engelsk

Automatisk maskinoversettelse av denne engelske siden, ennå ikke korrekturlest av en morsmålstalare.

Fab AI evaluerer modeller på utdanningsoppgaver som betyr noe der budsjetter, båndbredde og språkdekning er begrenset i lav- og mellominntektslandene benchmarken er bygget for, og publiserer resultatene som et sorterbart leaderboard i stedet for en artikkel. Kjernetabellen scorer en pedagogikkbenchmark sammen med SEND, visuell matematikk og visuell resonnering, med egne faner for flerspråklig pedagogikk, grunnleggende lese- og skriveferdigheter og vurdering av høytlesing.

Hva du kan gjøre med den

Sammenlign rundt 300 modeller på pedagogikkpoeng som for tiden løper fra de lave nittiårene ned til 21%, og sorter deretter etter det et utdanningsdepartement faktisk må veie: pris per million tokens, antall parametere, åpne vekter og utgivelsesdato. Spredningen i bunnen er den nyttige delen. Åpne modeller under 2B ligger mellom 21% og 43% på pedagogikkbenchmarken, mens frontiermodeller ligger i de lave nittiårene, noe som gjør «kan vi kjøre dette offline på billig maskinvare» til en kvantifisert avveining i stedet for en gjetning.

Fanen for flerspråklig pedagogikk er grunnen til å bokmerke siden. De fleste utdanningsbenchmarks er kun på engelsk, og spørsmålet om en modells pedagogikk overlever oversettelse, er akkurat det spørsmålet et departement i et flerspråklig system trenger svar på. Dataene kan lastes ned som CSV, slik at sammenligningene kan kjøres på nytt lokalt.

Hvem den er for

Beslutningstakere og innkjøpsteam som velger modeller for nasjonale systemer, forskere som studerer tilgangskløften i AI-støttet utdanning, og utviklere som trenger et pedagogikkmål som ikke er en engelskspråklig eksamen.

Merknader og forbehold

Et leaderboard måler modeller på benchmarkens egne oppgaver: en høy pedagogikkpoengsum er dokumentasjon om de elementene, ikke om et klasserom. Priskolonnen blander priser på input- og output-tokens i forholdet 3:1, noe som er et modelleringsvalg og ikke hva en bestemt utrulling vil koste. Dekningen av språk og av lokalt hostede modeller endrer seg etter hvert som nye modeller dukker opp, og de lave poengsummene for små modeller gjenspeiler delvis oppgaveformatet like mye som evnen. Innrammingen til Fab AI handler eksplisitt om lav- og mellominntektsland, så elementsettet til benchmarken gjenspeiler den konteksten og bør ikke leses som en generell utdanningsrangering. Sjekk utgivelsesdatoer: flere oppføringer er eldre enn den nåværende modellgenerasjonen.

Tilknyttede begreper

Bygg inn denne siden

Kopier koden nedenfor for å bygge inn denne siden i et læringsstøttesystem eller et annet nettsted. Den innbygde versjonen viser bare sideinnholdet — den skjuler nettstedets topptekst, navigasjon og bunntekst.