AIEd Hifadhi ya MaarifaAIEd KB
Kwenye ukurasa huu

Soma ukurasa huu kwa Kiingereza

Madhana

Kigezo cha Kupima

Imeundwa 2026-10-13

Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

Kigezo cha Kupima — mifumo ya majaribio iliyosanifiwa na mifumo ya tathmini inayotumika kupima utendaji wa mifano ya AI katika kazi za kielimu. Vigezo vya kupima huruhusu kulinganisha kwa njia inayoweza kurudiwa kati ya mifano na mbinu, na ni muhimu kwa kutathmini uaminifu, usawa, na ubora wa kibinufu cha mbinu za kufundisha wa mifumo ya AI katika elimu.

Maswali ya Kutafakari

  • Kigezo cha kupima ni mfumo wa majaribio uliosanifiwa kwa kupima utendaji wa mifano ya AI katika kazi za kielimu. Kabla ya kusoma, unafikiri nini vigezo vingi vya kupima ya AI vinavyopima kweli — na kwa nini hiyo inaweza kuwa jambo tofauti na kile ambacho mwalimu mzuri anahitaji?
  • Ukurasa huu unasisitiza Kigezo cha Mbinu za Kufundisha (Pedagogy Benchmark) ambacho hupima maarifa ya kibinufu cha mbinu za kufundisha — mikakati ya kufundisha, mbinu za tathmini, mbinu za kufundisha za elimu maalum — badala ya maarifa ya maudhui. Kwa nini AI inayoelewa somo kwa ustadi bado inaweza kushindwa kukifundisha, na kwa nini kigezo ambacho kinapuuzia mbinu za kufundisha kingepuuza hilo?
  • Somo moja hapa ni la kimbinu wa utafiti: jinsi unavyothibitisha kigezo hubadilisha matokeo kwa kiasi kikubwa, ambapo uthibitisho usio na uzito unaripoti utendaji wa juu zaidi kuliko mbinu za kupima zinazotegemea majaribio. Mwandishi wa mifano au muuzaji anawezaje kuvutiwa kubuni uthibitisho uonekane mzuri, na ungegundua hivyo vipi?
  • Utendaji wa kigezo mara nyingi hahamishiwi kwa ufaa wa ulimwengu halisi. Unaweza kufikiria hali ambapo AI 'inashinda' kigezo lakini inashindwa darasani — na pengo hilo linakuambia nini kuhusu kutegemea alama za kigezo peke yake?
  • Ukurasa unataja kuwa ubuni wa kigezo chenyewe unaweza kusimamia au kukuza upendeleo. Ikiwa kigezo kimeundwa na kazi fulani, katika lugha fulani, kutoka kwa watu fulani, kujifunza kwa nani kwisha kupimwa — na kwa nani kupuuzwa?

Utangulizi

Vigezo vya kupima hutumika kama msingi wa ushahidi wa utafiti wa AI katika elimu. Yanatoa seti za data zilizosanifiwa, kazi, na vipimo vinavyowaruhusu watafiti kulinganisha mifano, kufuatilia maendeleo, na kutambua hali za kushindwa. Katika utafiti wa hifadhi ya maarifa, vigezo vya kupima vinaonekana katika maeneo mengi:

  • CSTutorBench hupima mifano madogo ya lugha kwa kazi za ualimu wa CS.

  • ANVIL hupima michoro ya kielimu iliyotolewa na AI dhidi ya mbadala zilizoundwa na binadamu.

  • Vigezo vya maoni ya kufundisha hupima uhamisho wa lugha-zaidi wa uainishaji wa ubora wa maoni.

  • Kigezo cha Mbinu za Kufundisha (CDPK + SEND) hupima maarifa ya kibinufu cha mbinu za kufundisha — mikakati ya kufundisha, mbinu za tathmini, na mbinu za kufundisha za elimu maalum — badala ya maarifa ya maudhui, na huripoti "mpaka wa thamani" wa gharama dhidi ya usahihi kati ya mifano 97 (vigezo vingi vya jumla hupima maarifa ya maudhui; mbinu za kufundisha ni kipimo tofauti, muhimu kwa elimu).

  • ISD-Agent-Bench hupima mawakala wa ubuni wa mafunzo wanaotegemea Mifano Mikubwa ya Lugha (LLM) katika hali 25,795 za ubuni wa mafunzo, na kuonyesha kuwa mawakala mchanganyiko walioungwa na miundo ya kitambo ya ISD (ADDIE, Dick & Carey, Rapid Prototyping) wanashinda nadharia peke yake au mbinu peke yake — matokeo ya kigezo yenye athari za moja kwa moja kwa ubuni wa mawakala wa AI katika elimu.

  • Kurekebisha kwa mwanafunzi kama kigezo wazi cha kupima. Teaching Monster Challenge hupima urekebishaji kwa hadhira ya mwanafunzi iliyobainishwa, lakini hakimu lake la LLM linalotumika kiotomatiki lilitenganisha tu mkia dhaifu — mifumo ya juu ilipata alama karibu na kiwango chake cha juu, na mpangilio wake haukukubaliana na upendeleo wa umati (Spearman ρ = −0.17) (Lin et al. (2026)).

Kwa nini vigezo vya kupima vinavyomuhimu katika AIED

Vigezo vya kupima vinaungana na Tathmini ya AIEd na Uhalali wa Tathmini — bila vigezo thabiti, madai kuhusu ufanisi wa ualimu wa AI hayawezi kuthibitishwa. Pia vinapatana na Kupunguza Upendeleo, kwani ubuni wa kigezo unaweza kusimamia au kukuza upendeleo. Mvutano kati ya utendaji wa kigezo na ufaa wa ulimwengu halisi unachunguzwa katika makala kadhaa, unaoungana na wasiwasi wa Uhamishaji wa Kujifunza katika matumizi ya Akili Bandia ya Kizazi.

  • Wakati kipimo, si mfumo, ni kushindwa: AlgoRAG ilipata BLEU-4 = 0.0000 katika maswali yote 179 ya majaribio ya sayansi ya kompyuta ya kinadharia, wakati rubriki ya kielimu ya vigezo sita ilitoa 0.7620, kwa sababu uthibitisho unaolingana kwa mantiki mara nyingi hutofautiana katika alama, majina ya vigezo na mkakati wa uthibitisho. Alama ya sifiri inasema zaidi kuhusu mwingiliano wa n-gram kuliko kuhusu ubora wa jibu, ambao ni kesi ya jumla dhidi ya kuchukua vipimo vya juu kama namba kuu kwa mifumo ya AIED ya kikoa cha kitaaluma.
  • Vigezo vya kupima vya kinyume cha vigezo vya dhana. CFES-P24 inaelezea kanuni za kujifunza kwa multimedia kama mabadiliko ya uamuzi, yanayoweza kurudiwa ya slaidi ili kukagua iwapo MLLMs zinajibu kwa vigezo mahususi vya ubuni wa mafunzo badala ya kutoa ukadiriaji wa jumla unaoweza kuaminika. Jaribio lililoganda lilionyesha utambuzi wa kigezo (uendeshaji, kanuni, marekebisho, utambuzi wa ushahidi) 8/8, huku kuhukumu kulinganisha (mwelekeo 6/8) na usahihishaji wa ukali (0/8) vikishindwa — ikitoa hoja ya kardhati za tabaka juu ya alama za jumla.(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)
  • Weka kutunga vitu visivyokuwepo na nishati katika tathmini, si usahihi peke yake. Shen et al. (2026) walipima kutunga vitu visivyokuwepo kama uelekezaji dhidi ya vipande vilivyopatikana vilivyo na leseni ya wazi (κ = 0.76 na uamuzi wa wataalam) na walirekodi mWh 1.8 kwa kila hoji, na uchunguzi wao uliweka upatikaji kwanza: LLM ya ndani bila upatikaji yoyote ilipata 52.3%, chini ya msingi wa 55.4% wa TF-IDF.
  • Uthibitisho unaweza kushinda uamuzi kwenye maudhui yaliyotolewa. Kumar et al. (2025) wanarejea michoro ya hisabati iliyotolewa kurudi kwa uwakilishi wa kati uliozuiliwa na mpangilio na kufanya ukaguzi wa kanuni za uamuzi, wakifika makubaliano ya juu zaidi na wapimaji wa binadamu (κ ya Cohen 0.48–0.56) kuliko LLM-kama-Hakimu (0.39–0.47) na kuruhusu mfano mdogo kulingana na hakimu bora kwa gharama ya chini ya mara 10.
  • Tathmini huru ya majaribio katika vigezo vya fiziolojia. Nanayakkara & Halloluwa (2026) wanapima mifano 15 ya ML/DL kwa utabiri wa ufahamu unaotegemea EEG na kuonyesha kuwa chaguo la mpango wa uthibitisho hubadilisha matokeo kuu kwa kiasi kikubwa: uthibitisho wa kawaida wa stratified cross-validation unaruhusu uvujaji wa muda na huripoti hadi F1 0.9853, huku uthibitisho wa Group K-Fold huru ya majaribio ukishusha kilele hadi F1 0.6038. Somo — tathmini inayotambua muda/uvujaji ni muhimu kwa vigezo vya kielimu vinavyoaminika — inapanuka zaidi ya EEG hadi kigezo chochote kinachotumia data ya mfululizo au yenye muundo wa muda.
  • Mabadiliko ya usambazaji ni mhimili wa pili wa kigezo zaidi ya uvujaji. Kigezo kinachoripoti alama ya kawaida ya mfano na alama yake ya uhamisho kinaripoti vitu viwili tofauti: mfano wa kiwango cha Bloom ulioshikiliwa katika macro F1 0.88 kwenye benki yake iliyochaguliwa ulianguka hadi 0.48 na 0.20 kwenye seti mbili za maswali yaliyotolewa na AI, na mafunzo upya kwa data iliyowekwa lebo ya nje ya usambazaji yalirudisha hadi 0.82, kwa hivyo namba moja ya ubao wa kiwango cha kawaida inazidisha kile ambacho kifaa kilichowekwa kitafanya (Castanares et al., 2026).
  • Korpusi iliyojengwa kupima uhamisho wa korpusi-zaidi. ICLE++ huweka lebo karatasi za kushawishi zenye alama za jumla na za tabaka za kipimo kumi ili kufichua utegemezi wa utafiti wa AES kwa ASAP, ambaye karatasi zake za muda, za wazungumzaji asili peke yake, zinachanganya urefu na ubora; mifano iliyofunzwa kwa lebo za kipimo ilihamishwa vizuri zaidi kati ya korpusi kuliko ile iliyofunzwa kwa alama za jumla peke yake (Li & Ng, 2026).
  • Kigezo kilichowekwa kanuni na binadamu kinaweza kutopima kigezo kile kile kwa LLM. Strugatski et al. (2026) walilinganisha miundo ya majibu ya binadamu na ya multimodal-LLM kwenye uchunguzi wa kemia na mtihani wa kufikiri wa kimaadili; muafaka wa sababishi kati ya LLM na binadamu ulibaki chini ya msingi wa binadamu–binadamu na uchanganuzi wa sambamba ulihifadhi idadi tofauti za sababishi.
  • Multimodality haikuboresha usahihishaji wa ushahidi. Katika MathCog, maamuzi 3,036 yaliyowekwa lebo na walimu kwenye majibu 639 ya hisabati ya mkono, hakuna kati ya LLM 18 iliyofikia macro F1 0.5 — bora, GPT-4o-img, ilipata 0.448 — na mifano ya multimodal ilipungua zaidi kuliko ile ya maandishi peke yake wakati ushahidi ulikuwa wa kushawishi, ikizidisha kutoa ushahidi na kutunga nukuu (Kim et al. (2025)).
  • Vigezo vilivyoundwa kwa ualimu wa AI. Seti za data za wazi, zinazoweza kurudiwa kwa kutathmini ualimu wa AI zinabaki haba. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) ni kigezo cha mifano wa mawakala wengi wa ualimu na mfumo wa kupima kwa ajili ya kuchunguza upangishaji programu kwa ushirikiano na mawakala wenye tofauti za kijamii, wakisaidia mpangilio wa mwalimu-peke, mwalimu-wawili, na mawakala-wengi-wawili (N=540; vipindi 360; matukio 1,440) yenye mpangilio tayari wa ufuatiliaji kwa uchanganuzi unaoweza kurudiwa wa mwingiliano, usawa wa ushiriki, na uthibitisho.
  • Muda mrefu ni mhimili wa kigezo, si maelezo. Lee et al. (2026) wanaweka mwakala wa ualimu katika uhusiano wa siku 30 endelevu na mwanafunzi wa kuigwa na kupata kuwa kila kirekebishaji kilikwama kwa siku 5–10, hakuna kirekebishaji kiliongoza faida ya kujifunza kwa zaidi ya tabaka moja la mfano wa msingi, na mhimili mitano ya kupima ilikuwa huru kwa kiasi kikubwa.
  • Kigezo cha ualumi kilichopimwa dhidi ya waalimu wa binadamu badala ya ubao wa vigezo. StudentBench inagawanya watu wazima 2,383 kati ya ualimu wa AI, ualumu wa wataalam wa binadamu, na kudhibiti video kwenye vipengele vipya vya GRE, na kupata ualimu wa AI uliopo pamoja ni sawa kitaalamu na ualumi wa binadamu (p=.015) na pointi 5.5-6.9 za asilimia juu ya kudhibiti; ubao wake wa vigezo vya ubora wa kufundisha, uliojengwa kutoka kulinganisha 2,028 kwa sambamba kati ya wataalam, hupanga mipango ya masomo na tabia ya mazungumzo badala ya kiwango ambacho wanafunzi walijifunza (Northcutt et al. (2026)).
  • Kukagua vigezo sasa ni mchango wa utafiti peke yake. Vifaa vitatu vya 2026 vinasukumiza kazi ya kigezo zaidi ya kukusanya ubao. EduFair-Bench inashikilia mwanafunzi wa kuigwa na kubadilisha sifa za idadi, ikigeuza kigezo cha ualumi kuwa ukaguzi wa usawa wenye vipimo vya kieledu vya kiwango cha zamu (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench inatoa utambuzi wa michoro ya kati ya kuona — hisia, ubora wa misaada, matumizi — badala ya usahihi wa mwisho kwenye matatizo 600 ya jiometri (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). Kupima upya na wataalam kwa vigezo sita vya fizikia kulipima kosa ambalo alama kama hizo zinabeba: 57.20% ya kukataliwa kwa ukaguzi kulikuwa kasoro za kipengele, 38.00% makosa ya wapimaji na 4.80% tu makosa ya kweli ya mfano (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Pamoja zinatoa hoja kuwa alama ya kigezo inapaswa kusomwa daima na bajeti yake yenyewe ya kosa iliyokaguliwa, ambayo ni nidhamu ile ile ambayo Uhalali wa Tathmini inaitaka kwa vyombo vya darasa.
  • Uwekaji lebo huru na utoaji wa maswali kama mfumo wa ujenzi. Vigezo vingi hujenga jozi za maswali–majibu mahususi ya kazi kwa kila kipengele au picha, ambayo inafanya upanuzi kwa kazi mpya kuwa ghali, inafanya data kuwa ngumu kutumika kati ya kazi, na kuacha udhibiti mdogo wa umbo la swali na ugumu. MUSE inabadilisha mpangilio: weka lebo kila kazi ya sanaa mara moja katika uwakilishi ulio na muundo unaoweza kutumika tena wa maudhui yake ya kuona na ya kimantiki, kisha anzisha kazi 12 kutoka kanuni za uwekaji zilizobainishwa, kwa hivyo picha moja inatoa mfano wa tathmini wenye mionekano mingi na ugumu na umbo vilivyochukuliwa kama vigezo mahususi vya ubuni badala ya bidhaa za pili (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Ushahidi wake wa uhusiano ni hoja ya pili kwa ubuni — kazi 12 zinapima uwezo unaohusiana lakini usio na upungufu (Jigsaw Puzzle inahusiana kwa udhaifu na nyingi nyingine, ρ = 0.25 hadi −0.10), na kwenye vigezo sita vya nje alama za jumla za multimodal zinahamishwa kwa usio sawa kwa michoro ya kieledu ya kisanii (BLINK Jigsaw vs. MUSE Jigsaw ρ = −0.20), ambayo ni kesi ya ufunikaji wa kigezo dhidi ya kusoma alama yoyote moja ya jumla kama mbadala wa uwezo unaohusiana na elimu (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).
  • Uzalishaji wa matokeo ya multimodal ni mhimili ambao vigezo vingi vinapuuzia. Chen et al. (2026) wanapima maswali 15,246 ya fizikia na picha 19,850 kutoka shule ya kati hadi chuo kikuu, ikijumuisha sehemu ndogo ya kuhariri michoro: kutunga au kuhariri michoro ya fizikia iliyo na muundo kulithibitika kuwa ngumu kuliko kujibu, na mifano ya juu yalibaki chini ya 70% ya ustadi mkali.
  • Ufunikaji wa sayansi ya K-12 na tatizo la kujaa. Kigezo kilicholingana na NGSS kwa sayansi ya shule ya kati na sekondari (vipengele 1,078 + 1,150 vilivyoundwa, vilivyothibitishwa na wapimaji watatu) kilipata mifano tisa yenye uzito wa wazi juu ya 90% ya usahihi wa jaribio moja, huku takwimu za kawaida za kipengele zikionyesha thamani za juu za ugumu na upambanuzi mdogo: ukubwa wa mfano haukutabiri utendaji, na waandishi wanauliza kama jaribio ni rahisi sana (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). Ni kesi ya kikoa mahususi ya kusoma takwimu za kipengele za kigezo pamoja na ubao wake.
  • Msingi rahisi wa kawaida na ukweli wa IRT kama ukaguzi wa usahihi kuu. Worden et al. (2026) wanajenga FoundationalASSIST kutoka mwingiliano 1,722,169 wa ASSISTments na maandishi ya maswali na majibu halisi ya wanafunzi yakiwa yamehifadhiwa, wanapima kazi ya ufuatiliaji wa maarifa dhidi ya msingi wa kawaida wa 51.3 asilimia ya sahihi kila wakati, na kusoma uwezo wa mifano dhidi ya makadirio ya IRT ya vigezo viwili yaliyolinganishwa kwenye data zile zile. Mifano minne ya juu inapita msingi rahisi kwa takribani pointi tano (bora 56.2 asilimia), inashuka chini ya nafasi katika kuhukumu upambanuzi wa kipengele, na — kushindwa ambacho kigezo kilichojengwa kwa madhumuni hii kinaweza kuona — kinatabiri usahihi kwa 85.4 asilimia ya wakati kwenye majibu sahihi lakini 12.6 asilimia tu kwenye yasiyo sahihi, kwa hivyo ujuzi wao unaoonekana ni upendeleo wa matumaini.
  • Mipangilio ya kipimaji ni kigezo peke yake. Habibullah et al. (2026) wanapima mipangilio 171 ya kupima kwenye mtihani wa wanafunzi 570 uliopimwa na wapimaji wawili na kupata kuwa muhtasari mfupi wa "kipimaji mkali" unasukumia mifano 14 kati ya 17 yenye uzito wa wazi nje ya bendi iliyopimwa, kisha wanarudia kwa mipangilio 162 kwenye mtihani huru wa wanafunzi 1,038 ambayo matokeo yake yanarudia udhaifu lakini si mwelekeo wake. Mipangilio bora (MAE 1.64/35, chini ya 2.61/35 ambayo wapimaji wa binadamu wanafikia dhidi yao) kwa hivyo si ushahidi kuwa kupima kwa LLM kunafanya kazi — ingawa kirekebishaji kimoja cha LoRA kilichofunzwa kwa lebo za binadamu zilizopo pamoja kinaileta mifano mitano madogo hadi usawa wa binadamu huku ikifuta karibu hisia za hadhira.
  • Kuzuia korpusi ili kufanya dai la uwezo uwe na uhusika. Li et al. (2026) wanachuja FineWeb-Edu hadi tokeni 88B za nyenzo za Marekani za K–5 na kufunza mfano wa 5B kutoka mwanzo juu yake, kisha wanakagua mpaka kupitia uchunguzi wa tabia badala ya alama — uhifadhi karibu sifuri kwenye vipande vya Beyond-K–5, kuanguka kwenye vipengele vya Beyond-K–5 Jeopardy, na chini ya nusu ya matatizo ya MathCAMPS ya Darasa 8 yanayotatuliwa hata kwa pass@1024. Kwa sababu mfiduo wa awali unajulikana, uwezo unaoonekana baada ya kupanua, baada ya mafunzo, au katika mifano ya muktadha unaweza kuhusishwa na uingiliaji; waandishi pia wanaripoti kuwa mpaka si wa umbo la binadamu, kwani mfano wakati mwingine unashinda ujuzi wa chini huku ikishindwa sharti lake la awali.
  • Kanuni ya kupima ni sehemu ya kifaa. Srivastava (2026) anatekeleza kanuni nne za sasisho za ufuatiliaji wa maarifa kwenye matukio yale yale ya ASSISTments 2012–13, zikitofautiana tu katika jinsi zinavyopima safu zilizosaidiwa, na anasajili kulinganisha nyuma ya uzio unaozuia nusu ya kuthibitisha ya wanafunzi hadi faili ya usajili iwepo. Kuthamini kumalizika kwa aina yoyote kunashinda kwa kiasi kidogo tu dhibitisho la mara moja la ujuzi-ugumu (AUC iliyopo pamoja 0.604 dhidi ya 0.595 katika matukio 985,813 yaliyopimwa) na kutangaza 93.9 asilimia ya jozi za mwanafunzi–ujuzi kuwa imefahamika dhidi ya 72.8 asilimia chini ya kanuni inayosoma safu zilizosaidiwa kama majaribio ya kwanza yaliyoshindwa (0.658) — somo la jumla likiwa kuwa lebo ya kufahamika inafafanuliwa na kanuni ya ushahidi, si kwa kumbukumbu.
  • Ripoti uwezo wa mfano kama kiwango kilichosahihishwa, si usahihi peke yake. Min et al. (2026) wanapanga vipengele 624 vilivyowekwa lebo na wataalam kwenye viwango vilivyonwa vya ufasaha kwa kutumia majibu 2,050 ya wanafunzi, na kupata kuwa mifano ya juu inazidi kiwango cha juu kilichosahihishwa — kikomo ambacho asilimia inaficha.
  • Kanuni ya kupima inaweza kuchezewa na mfano unaioifunza. Kipimo cha kurekebisha kilichozidishwa kwa kurudia uamuzi mmoja bora kinaonyesha kuwa ubini wa kigezo unapaswa kuchapisha argmax, kupima urekebishaji kama tofauti, na kuripoti misingi ya juu ya nasibu (Domínguez Figaredo & Fernández De la Cruz, 2026).

Dhana Zilizounganishwa

Makala Zilizounganishwa

FAQ Zilizounganishwa

Metadata

Teknolojia na MbinuAkili Bandia ya Kizazi, Mifano Mikubwa ya Lugha (LLM)
Tathmini na UpimajiTathmini
Mbinu za Utafiti na TathminiTathmini ya AIEd, Kigezo cha Kupima
Aina ya ukurasaEvaluation
SourceHistoryEditChat

Pachika ukurasa huu

Nakili msimbo ulio hapa chini ili kupachika ukurasa huu katika mfumo wa usimamizi wa kujifunza au tovuti nyingine. Toleo lililopachikwa linaonyesha maudhui ya ukurasa tu — linaficha kichwa cha tovuti, urambazaji, na kijachini.