Na tej stronie

Przeczytaj tę stronę po angielsku

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Fab AI ocenia modele na zadaniach edukacyjnych, które mają znaczenie tam, gdzie budżety, przepustowość łączy i pokrycie językowe są ograniczone — w krajach o niskich i średnich dochodach, dla których zbudowano ten benchmark — i publikuje wyniki jako sortowalny ranking, a nie artykuł naukowy. Główna tabela punktuje benchmark pedagogiczny obok SEND, matematyki wizualnej i rozumowania wizualnego, z osobnymi zakładkami dla pedagogiki wielojęzycznej, podstawowej alfabetyzacji i oceniania czytania na głos.

Co można z nim zrobić

Porównaj około 300 modeli pod względem wyników pedagogicznych, które obecnie rozciągają się od nieco ponad dziewięćdziesięciu procent aż do 21%, a następnie posortuj według tego, co ministerstwo edukacji naprawdę musi ważyć: cena za milion tokenów, liczba parametrów, otwarte wagi i data wydania. Rozrzut na dole stawki jest użyteczną częścią. Otwarte modele o mniej niż 2B parametrów mieszczą się między 21% a 43% w benchmarku pedagogicznym, podczas gdy czołowe modele utrzymują się nieco powyżej dziewięćdziesięciu procent, co zamienia pytanie „czy możemy uruchomić to offline na tanim sprzęcie" w skwantyfikowany kompromis, a nie zgadywanie.

Zakładka pedagogiki wielojęzycznej to powód, by dodać tę stronę do zakładek. Większość benchmarków edukacyjnych jest wyłącznie anglojęzyczna, a pytanie, czy pedagogika modelu przetrwa tłumaczenie, jest dokładnie tym pytaniem, na które ministerstwo w wielojęzycznym systemie potrzebuje odpowiedzi. Dane można pobrać jako CSV, więc porównania da się odtworzyć lokalnie.

Dla kogo

Decydenci polityczni i zespoły zamówień publicznych wybierające modele dla systemów krajowych, badacze analizujący lukę dostępu w edukacji wspieranej przez AI oraz twórcy, którzy potrzebują celu pedagogicznego niebędącego anglojęzycznym egzaminem.

Uwagi i zastrzeżenia

Ranking mierzy modele na zadaniach samego benchmarku: wysoki wynik pedagogiczny jest dowodem dotyczącym tych zadań, a nie klasy szkolnej. Kolumna ceny łączy ceny tokenów wejściowych i wyjściowych w proporcji 3:1, co jest wyborem modelowym, a nie kosztem konkretnego wdrożenia. Pokrycie języków i modeli hostowanych lokalnie zmienia się wraz z pojawianiem się nowych modeli, a niskie wyniki małych modeli częściowo odzwierciedlają format zadania w równym stopniu co możliwości. Fab AI wyraźnie kieruje swoje przesłanie do krajów o niskich i średnich dochodach, więc zestaw zadań benchmarku odzwierciedla ten kontekst i nie należy go czytać jako ogólnego rankingu edukacji. Sprawdź daty wydań: kilka pozycji pochodzi sprzed obecnej generacji modeli.

Powiązane pojęcia

Osadź tę stronę

Skopiuj poniższy kod, aby osadzić tę stronę w systemie zarządzania nauczaniem lub na innej witrynie. Wersja osadzona pokazuje tylko treść strony — ukrywa nagłówek witryny, nawigację i stopkę.