संसाधन
Fab AI benchmark leaderboard
यह अंग्रेज़ी पेज का ऑटोमैटिक अनुवाद है और इसकी अभी तक किसी मूल भाषी ने समीक्षा नहीं की है।
Fab AI मॉडलों का मूल्यांकन उन शिक्षा-कार्यों पर करता है जो वहाँ मायने रखते हैं जहाँ बजट, बैंडविड्थ और भाषा-कवरेज सीमित हैं — यानी उन कम और मध्यम आय वाले देशों में जिनके लिए यह बेंचमार्क बनाया गया है — और परिणामों को शोध-पत्र के बजाय छाँटने योग्य लीडरबोर्ड के रूप में प्रकाशित करता है। मुख्य तालिका SEND, दृश्य गणित और दृश्य तर्क के साथ एक शिक्षाशास्त्र बेंचमार्क को स्कोर करती है, और बहुभाषी शिक्षाशास्त्र, बुनियादी साक्षरता तथा ज़ोर से पढ़ने के मूल्यांकन के लिए अलग टैब हैं।
इसके साथ आप क्या कर सकते हैं
लगभग 300 मॉडलों की तुलना शिक्षाशास्त्र स्कोर पर करें, जो फिलहाल नब्बे के निचले अंकों से लेकर 21% तक जाते हैं, फिर उस आधार पर छाँटें जो किसी शिक्षा मंत्रालय को वास्तव में तौलना होता है: प्रति दस लाख टोकन कीमत, पैरामीटर संख्या, ओपन वेट और रिलीज़ तिथि। निचले सिरे का फैलाव ही उपयोगी हिस्सा है। 2B से छोटे ओपन मॉडल शिक्षाशास्त्र बेंचमार्क पर 21% और 43% के बीच बैठते हैं जबकि फ्रंटियर मॉडल नब्बे के निचले अंकों में, जिससे "क्या हम इसे सस्ते हार्डवेयर पर ऑफलाइन चला सकते हैं" का जवाब अनुमान के बजाय परिमाणीकृत विनिमय बन जाता है।
बहुभाषी शिक्षाशास्त्र टैब ही इस पृष्ठ को बुकमार्क करने की वजह है। अधिकांश शिक्षा बेंचमार्क केवल अंग्रेज़ी में हैं, और यह प्रश्न कि क्या किसी मॉडल की शिक्षाशास्त्र-क्षमता अनुवाद के बाद बची रहती है, ठीक वही प्रश्न है जिसका उत्तर किसी बहुभाषी प्रणाली के मंत्रालय को चाहिए। डेटा CSV के रूप में डाउनलोड किया जा सकता है, इसलिए तुलनाएँ स्थानीय रूप से दोबारा चलाई जा सकती हैं।
यह किसके लिए है
राष्ट्रीय प्रणालियों के लिए मॉडल चुनने वाले नीति-निर्माता और खरीद-दल, AI-समर्थित शिक्षा में पहुँच-अंतराल का अध्ययन करने वाले शोधकर्ता, और वे डेवलपर जिन्हें ऐसा शिक्षाशास्त्र-लक्ष्य चाहिए जो अंग्रेज़ी भाषा की परीक्षा न हो।
टिप्पणियाँ और चेतावनियाँ
लीडरबोर्ड मॉडलों को बेंचमार्क के अपने कार्यों पर मापता है: ऊँचा शिक्षाशास्त्र स्कोर उन आइटम के बारे में साक्ष्य है, कक्षा के बारे में नहीं। कीमत-कॉलम इनपुट और आउटपुट टोकन कीमतों को 3:1 अनुपात में मिलाता है, जो एक मॉडलिंग-चयन है, न कि किसी विशेष परिनियोजन की वास्तविक लागत। भाषाओं और स्थानीय रूप से होस्ट किए गए मॉडलों का कवरेज नए मॉडल आने के साथ बदलता है, और छोटे मॉडलों के निचले स्कोर क्षमता जितना ही कार्य-प्रारूप को भी आंशिक रूप से दर्शाते हैं। Fab AI की फ्रेमिंग स्पष्ट रूप से कम और मध्यम आय वाले देशों के बारे में है, इसलिए बेंचमार्क का आइटम-समुच्चय उसी संदर्भ को दर्शाता है और इसे सामान्य शिक्षा-रैंकिंग नहीं पढ़ना चाहिए। रिलीज़ तिथियाँ जाँचें: कई प्रविष्टियाँ मौजूदा मॉडल-पीढ़ी से पुरानी हैं।