Tällä sivulla

Lue tämä sivu englanniksi

Tämän englanninkielisen sivun automaattinen konekäännös, jota ei ole vielä tarkastanut äidinkielinen puhuja.

Fab AI arvioi malleja koulutustehtävillä, jotka ovat tärkeitä siellä, missä budjetit, kaistanleveys ja kielikattavuus ovat rajallisia niissä matalan ja keskitulotason maissa, joita varten benchmark on rakennettu, ja julkaisee tulokset lajiteltavana leaderboardina eikä artikkelina. Ydintaulukko pisteyttää pedagogiikkabenchmarkin SEND:n, visuaalisen matematiikan ja visuaalisen päättelyn rinnalla, ja erilliset välilehdet kattavat monikielisen pedagogiikan, peruslukutaidon ja ääneen lukemisen arvioinnin.

Mitä sillä voi tehdä

Vertaile noin 300 mallia pedagogiikkapisteissä, jotka tällä hetkellä ulottuvat hieman yli yhdeksänkymmenen prosentin 21 %:iin, ja lajittele sitten sen mukaan, mitä opetusministeriön on oikeasti punnittava: hinta miljoonaa tokenia kohden, parametrien määrä, avoimet painot ja julkaisupäivä. Alapään hajonta on hyödyllinen osa. Alle 2B:n avoimet mallit sijoittuvat pedagogiikkabenchmarkissa 21 %:n ja 43 %:n välille, kun taas huippumallit ovat hieman yli yhdeksänkymmenen prosentin, mikä tekee kysymyksestä ”voimmeko ajaa tätä offline-tilassa halvoilla laitteilla” numeroidun punninnan arvailun sijaan.

Monikielinen pedagogiikkavälilehti on syy tallentaa sivu kirjanmerkkeihin. Useimmat koulutusbenchmarkit ovat vain englanninkielisiä, ja kysymys siitä, säilyykö mallin pedagogiikka käännöksessä, on juuri se kysymys, johon monikielisen järjestelmän ministeriö tarvitsee vastauksen. Data on ladattavissa CSV-muodossa, joten vertailut voi ajaa uudelleen paikallisesti.

Kenelle se on tarkoitettu

Päättäjät ja hankintatiimit, jotka valitsevat malleja kansallisiin järjestelmiin, tutkijat, jotka tutkivat tekoälytuettuun koulutukseen liittyvää saantikuilua, ja kehittäjät, jotka tarvitsevat pedagogiikkakohteen, joka ei ole englanninkielinen koe.

Huomioita ja varauksia

Leaderboard mittaa malleja benchmarkin omissa tehtävissä: korkea pedagogiikkapistemäärä on näyttöä niistä tehtävistä, ei luokkahuoneesta. Hintasarake yhdistää syöte- ja tuotostokenien hinnat suhteessa 3:1, mikä on mallinnusvalinta eikä minkään yksittäisen käyttöönoton todellinen kustannus. Kielten ja paikallisesti ylläpidettyjen mallien kattavuus elää uusien mallien ilmestyessä, ja pienten mallien alapään pisteet heijastavat osin tehtävämuotoa yhtä paljon kuin kyvykkyyttä. Fab AI:n kehystys koskee nimenomaan matalan ja keskitulotason maita, joten benchmarkin tehtäväjoukko heijastaa sitä kontekstia eikä sitä pidä lukea yleiseksi koulutusrankingiksi. Tarkista julkaisupäivät: useat merkinnät ovat nykyistä mallisukupolvea vanhempia.

Liittyvät käsitteet

Upota tämä sivu

Kopioi alla oleva koodi upottaaksesi tämän sivun oppimisympäristöön tai muulle verkkosivustolle. Upotettu versio näyttää vain sivun sisällön — sivuston otsikko, navigointi ja alatunniste jäävät siitä pois.