Na tejto stránke

Prečítajte si túto stránku po anglicky

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Fab AI hodnotí modely na vzdelávacích úlohách, na ktorých záleží tam, kde sú rozpočty, konektivita a jazykové pokrytie obmedzené v krajinách s nízkymi a strednými príjmami, pre ktoré je benchmark zostavený, a výsledky zverejňuje ako zoraditeľný rebríček namiesto článku. Základná tabuľka skóruje pedagogický benchmark spolu so SEND, vizuálnou matematikou a vizuálnym uvažovaním, so samostatnými záložkami pre viacjazyčnú pedagogiku, základnú gramotnosť a hodnotenie čítania nahlas.

Čo s tým môžete robiť

Porovnajte približne 300 modelov podľa pedagogických skóre, ktoré sa aktuálne pohybujú od hodnôt tesne nad 90 % až po 21 %, potom zoraďte podľa toho, čo musí ministerstvo školstva skutočne zvažovať: cena za milión tokenov, počet parametrov, otvorené váhy a dátum vydania. Rozptyl na spodku je užitočná časť. Otvorené modely pod 2B sa pohybujú medzi 21 % a 43 % na pedagogickom benchmarku, zatiaľ čo frontier modely sa pohybujú tesne nad 90 %, čo mení „môžeme toto spustiť offline na lacnom hardvéri“ na kvantifikovanú výmenu namiesto hádania.

Karta viacjazyčnej pedagogiky je dôvod, prečo si stránku pridať do záložiek. Väčšina vzdelávacích benchmarkov je len anglických a otázka, či pedagogika modelu prežije preklad, je presne tá otázka, ktorú potrebuje zodpovedať ministerstvo vo viacjazyčnom systéme. Dáta sa dajú stiahnuť ako CSV, takže porovnania sa dajú znova spustiť lokálne.

Pre koho je to určené

Tvorcovia politík a obstarávacie tímy vyberajúce modely pre národné systémy, výskumníci študujúci priepasť v prístupe vo vzdelávaní podporovanom AI a vývojári, ktorí potrebujú pedagogický cieľ, ktorým nie je anglická skúška.

Poznámky a výhrady

Rebríček meria modely na úlohách samotného benchmarku: vysoké pedagogické skóre je dôkazom o týchto položkách, nie o triede. Stĺpec ceny mieša ceny vstupných a výstupných tokenov v pomere 3:1, čo je modelovacia voľba, nie to, čo bude stáť akékoľvek konkrétne nasadenie. Pokrytie jazykov a lokálne hostovaných modelov sa mení s tým, ako pribúdajú nové modely, a nízke skóre malých modelov sčasti odráža formát úloh rovnako ako schopnosti. Rámcovanie Fab AI je výslovne o krajinách s nízkymi a strednými príjmami, takže sada položiek benchmarku odráža tento kontext a nemala by sa čítať ako všeobecné vzdelávacie poradie. Skontrolujte dátumy vydania: viaceré záznamy predchádzajú súčasnej generácii modelov.

Prepojené pojmy

Vložiť túto stránku

Skopírujte kód nižšie a vložte túto stránku do systému správy výučby alebo iného webu. Vložená verzia zobrazuje len obsah stránky — skrýva hlavičku webu, navigáciu a pätu.