Na této stránce

Přečtěte si tuto stránku v angličtině

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

Fab AI hodnotí modely na vzdělávacích úlohách, na nichž záleží tam, kde jsou rozpočty, šířka pásma a jazykové pokrytí omezené — v zemích s nízkými a středními příjmy, pro něž je benchmark postaven — a výsledky zveřejňuje jako řaditelný žebříček, nikoli jako článek. Hlavní tabulka skóruje pedagogický benchmark vedle SEND, vizuální matematiky a vizuálního uvažování, se samostatnými záložkami pro vícejazyčnou pedagogiku, základní gramotnost a hodnocení hlasitého čtení.

Co s tím můžete dělat

Porovnejte zhruba 300 modelů podle pedagogických skóre, která se nyní pohybují od nízkých devadesátek až po 21%, a pak je seřaďte podle toho, co musí ministerstvo školství skutečně zvažovat: cena za milion tokenů, počet parametrů, otevřené váhy a datum vydání. Užitečný je rozptyl na spodním konci. Otevřené modely pod 2B se v pedagogickém benchmarku drží mezi 21% a 43%, zatímco frontier modely jsou v nízkých devadesátkách, což z otázky „pustíme to offline na levném hardwaru?“ dělá kvantifikovanou směnu, nikoli hádanku.

Záložka vícejazyčné pedagogiky je důvod, proč si stránku uložit. Většina vzdělávacích benchmarků je jen anglických a otázka, zda pedagogika modelu přežije překlad, je přesně ta otázka, kterou ministerstvo ve vícejazyčném systému potřebuje zodpovědět. Data lze stáhnout jako CSV, takže porovnání lze lokálně znovu spustit.

Pro koho je určeno

Tvůrci politik a nákupní týmy vybírající modely pro národní systémy, výzkumníci studující propast v přístupu ve vzdělávání podporovaném AI a vývojáři, kteří potřebují pedagogický cíl, jímž není zkouška v angličtině.

Poznámky a upozornění

Žebříček měří modely na úlohách samotného benchmarku: vysoké pedagogické skóre je důkazem o těchto položkách, nikoli o třídě. Sloupec ceny mísí ceny vstupních a výstupních tokenů v poměru 3:1, což je modelové rozhodnutí, nikoli to, co bude stát konkrétní nasazení. Pokrytí jazyků a lokálně hostovaných modelů se s příchodem nových modelů mění a nízká skóre malých modelů odrážejí zčásti formát úloh stejně jako schopnosti. Rámec Fab AI je výslovně o zemích s nízkými a středními příjmy, takže sada položek benchmarku odráží tento kontext a neměla by se číst jako obecné vzdělávací pořadí. Zkontrolujte data vydání: několik záznamů předchází současné generaci modelů.

Související pojmy

Vložit tuto stránku

Zkopírujte níže uvedený kód a vložte tuto stránku do systému pro správu výuky nebo jiného webu. Vložená verze zobrazuje pouze obsah stránky — skrývá záhlaví, navigaci a zápatí webu.