Tunajuaje Kuwa AI ya Kielimu Inafanya Kazi kwa Usahihi, Si Kupata Alama Nzuri Tu?

Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

AI ya kielimu inaweza kuonekana kama inafanya kazi ilhali haifanyi. Alama unazoziona mara nyingi zaidi — jinsi jibu la mfano linavyofanana na jibu sahihi, au jinsi alama zake zinavyolingana na za binadamu — zinaweza kuonekana nzuri ilhali kile unachojali kweli kimevunjika.

Katika mradi mmoja katika hifadhi hii ya maarifa, mfumo ule ule ulipata alama nzuri ya makubaliano kwa kusahihisha insha na, katika utekelezaji ule ule, ulizalisha maoni yaliyokatwa katikati ya sentensi na yasiyosomeka. Kusahihisha kulifanya kazi. Maoni hayakufanya. Hakuna chochote katika namba kuu kilichosema hivyo.

Ukurasa huu unahusu kutambua tofauti hiyo, na haudhani ujuzi wowote wa upimaji.

Alama za kawaida hupima nini hasa

Aina mbili za namba zinatawala fasihi hii, na zote zinapima kufanana badala ya usahihi.

• Alama za kufanana (utaziona zikiitwa ROUGE na BLEU) zinalinganisha maneno ya jibu la mfano na maneno ya jibu la rejeleo. Mfano unaoandika kitu kinachofanana na maandishi yanayotarajiwa hupata alama nzuri — hata iwe mawazo yake ni potofu, na hata iwe mwanafunzi anaweza kufikia jibu sahihi kwa njia inayofundisha chochote.
• Alama za makubaliano (utaziona QWK, au quadratic weighted kappa) zinapima jinsi alama za mfano zinavyolingana na alama za binadamu. Mfano unaweza kukubaliana na msahihishaji kwenye alama ya mwisho huku ukiwa na makosa kuhusu kwa nini, ambayo ni sehemu mwanafunzi anayojifunza kutoka kwake.

Mwanafunzi anaweza kufikia jibu potofu kwa njia potofu inayoonekana kama sahihi, na hakuna alama ya kufanana itakayoona. Ikiwa unachojali ni mawazo, unahitaji kitu kinachosoma mawazo — rubriki inayotumika na mtu, au ukaguzi ulioandikwa kwa hatua hiyo mahususi.

Msaidizi wa kozi ya Linear Control Systems ni mfano mzuri wa timu inayoripoti hili kwa uaminifu. Usanidi wake bora zaidi ulifika alama ya kufanana ya 0.4093 dhidi ya majibu ya rejeleo, huku kuboresha kikipimwa kwa uaminifu juu ya sifuri, na waandishi wanasema wazi kuwa namba zao zinapima maneno na umbizo (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects).

Mfumo unaweza kupita jaribio moja na kushindwa lijalo

Hili ni somo lenye manufaa zaidi katika hifadhi ya maarifa, kwa sababu ni lile linaowashangaza watu.

Katika mradi wa WrAFT, mfano uliorekebishwa kwa ufaa ulifika alama ya makubaliano ya 0.84 na wasahihishaji wa binadamu katika insha 360 za TOEFL zilizotengwa. Hilo ni matokeo makubwa kwa kusahihisha. Mfano wa mradi ule ule uliofunzwa kuandika maoni ulizalisha matokeo yaliyokatwa na yasiyoweza kuchanganuliwa — huku kutoa ilani kwa mfano tofauti tu kulizalisha maoni waliyoyapendelea walimu (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).

Kwa hivyo tathmini kila matokeo mfumo wako unayozalisha, moja kwa wakati. Alama nzuri kwenye moduli ya kusahihisha hakuambii chochote kuhusu moduli ya maoni iliyo kando yake.

Kagua iwe kigunduzi chako cha kiotomatiki kinakubaliana na watu

Timu nyingi sasa zinatumia AI ya pili kukagua ya kwanza. Hilo ni la busara, lakini AI ya pili si sahihi kiotomatiki.

Utafiti uliofanya mfano wa mipaka uandike dokezo kwa mfumo wa masomo ya kipekee ya akili uligundua takribani 35% yalikuwa ya jumla sana, yasiyo sahihi, au yalitoa jibu — na ukaguzi wa ubora wa kiotomatiki wa mfano mwenyewe haukukubaliana na hukumu ya binadamu kuhusu yalikuwa mabaya (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Toleo la vitendo: chukua sampuli ya matokeo kama hamsini, mwombe mtu awatie alama, na ulinganishe na alama za kigunduzi chako cha kiotomatiki. Ikiwa hizi mbili hazikubaliani, namba yako ya kiotomatiki si ushahidi.

Badilisha alama kuwa kanuni unayoweza kutenda

Uhusiano unakuambia mfano kwa kawaida ni sahihi. Hakuambii nini cha kufanya katika nyakati ambapo si sahihi. Matokeo ya uelekezaji kwa uaminifu ni kiolezo cha wazi zaidi hapa, na ni rahisi vya kutosha kunakiliwa.

Uaminifu uligeuka kuwa ishara ya kuaminika ya kuonya: mfano ulipokuwa na shaka, ulikuwa na uwezekano mkubwa zaidi wa kuwa na makosa (β = −0.602, p < .001). Kwa hivyo timu ilituma 20% ya majibu yenye uaminifu kidogo zaidi kwa binadamu. Kanuni moja hiyo ilipandisha makubaliano na alama za binadamu kutoka 0.78 hadi 0.82 na ilipunguza kazi ya kusahihisha kwa mikono kwa takribani 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Zingatia kile ripoti inajumuisha: kizingiti, mtu, na akiba. "Makubaliano 0.84" hayajumuishi yoyote kati ya hayo, ndiyo maana ni vigumu kutenda.

Unapoweza, pima kitu chenyewe

Suluhisho safi zaidi ni kufunza mfano kwenye kiasi kile kile unakusudia kupima. Mfano uliorekebishwa kwa ufaa ulifunzwa kuzalisha sifa za kihisabati za maswali ya mtihani — namba zinazoeleza ugumu wa kila swali na jinsi unavyotenganisha wanafunzi wenye nguvu na wadogo — na ilijifunza mtindo huo badala ya kuambiwa (Multimodal Item Parameter Estimation using Simulated Response Probabilities). Lengo lilikuwa sifa ya tathmini yenyewe, hivyo tathmini ingeweza kuwa kuhusu sifa hiyo badala ya kuhusu maneno.

Ripoti mwenendo pamoja na kilele. Kiigizaji cha uandishi cha SWIM kilichapisha alama ya kila hatua kando kwa kando — kutoa ilani kwa rubriki 0.577, kurekebisha kwa ufaa 0.474 ± 0.023, kujifunza kwa kuimarisha 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation) — ambayo ndicho kinachomruhusu msomaji kuona iwe mafunzo yalifanya chochote. Namba moja ya mwisho haiwezi kuwaambia hilo.

Pima usalama kwenye mazungumzo yote, si jibu moja

Upimaji mwingi wa usalama hukagua ubadilishanaji mmoja. Madhara yanayomuhimu katika kufundisha hukusanyika. SafeTutors iligundua kuwa hata mifano iliyojengwa mahususi kwa kufundisha hupungua katika mazungumzo marefu na inaweza kufichua majibu inayopaswa kuzuia (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).

Fanya ukaguzi wa usalama kwenye mazungumzo kamili, na ujumuisha zamu ambapo mwanafunzi ana makosa, anaendelea kusisitiza, au anajaribu kumshawishi mfano kuacha jukumu lake.

Ukipima kwa wanafunzi bandia, wakague wanafunzi bandia kwanza

Kuzalisha wanafunzi waliigizwa badala ya kuajiri wa kweli hufanya tathmini kuwa ya bei nafuu zaidi. Lakini mwanafunzi aliyeigizwa ni kifaa cha kupima, na anaweza kuwa na makosa kwa njia ambazo kifaa chochote kinaweza.

Jaribio la moja kwa moja zaidi la hili katika hifadhi ya maarifa liliwapa wanafunzi waliigizwa na waliotolewa ilani viwango dhidi ya mazungumzo 382 yaliyotengwa kutoka mkusanyiko mkubwa zaidi wa umma wa mazungumzo ya kweli ya hisabati ya mwanafunzi–mwalimu, kwa kutumia vipimo saba vinavyohusu lugha, tabia na mawazo (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Kazi nyingine zinasukuma uwazi kutoka pembe tofauti: INSIDE hufunza mifano kutenda na kufikiri kama wanafunzi, na wasifu wenye ufahamu wa historia huweka uigizaji kwenye mambo ya mwanafunzi ya zamani badala ya tabia thabiti (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).

Ikiwa mfumo wako wa kupima ni mwanafunzi aliyeigizwa, kagua kigawaji kabla ya kuaminia kile anachokisema kuhusu mwalimu wako.

Linganisha na kitu kilicho nje ya mradi wako

Ikiwa huna msingi wako mwenyewe, alama ya viwango ya nje inakuambia iwe namba yako ni nzuri. Kwenye Pedagogy Benchmark ya CDPK, EduQwen ilifika 96.52% dhidi ya 90.55% ya Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Pedagogy Benchmark, iliyojengwa kutoka mitihani ya kweli ya maendeleo ya kitaalamu ya walimu na ikihusisha mifano 97, iligundua usahihi kutoka 28% hadi 89% (Lelièvre et al., 2025).

Uenezo huo ndio suala: katika kazi kuhusu kufundisha, mifano ilitofautiana kutoka dhaifu hadi nzuri. Soma matokeo ya viwango kama safwamu uliyo ndani yake, si kama hukumu.

Orodha ya ukaguzi kabla ya kusambaza

1. Andika kwa sentensi moja kile unachojali kweli, na uchague kipimo kinachoshika kile badala ya kufanana.

2. Pata msingi kwanza, ikijumuisha rahisi. Mfano wa msaidizi wa kozi bila msingi ulipata alama chini ya utafutaji wa neno muhimu wa kawaida.

3. Kagua kila matokeo mfumo wako unayozalisha kivyake.

4. Mwombe mtu awatie alama sampuli na ulinganishe na kigunduzi chako cha kiotomatiki.

5. Badilisha usahihi kuwa kanuni: kizingiti, mtu, na akiba.

6. Pima usalama kwenye mazungumzo kamili.

7. Kagua mwanafunzi yeyote aliyeigizwa kabla ya kumuaminia.

8. Weka makosa. Maoni yaliyokatwa na dokezo zinazofichua majibu ni matokeo, si makelele.

Maswali yanayohusiana

• Tunawezaje kuboresha AI kusaidia kujifunza katika somo letu?
• Tunafunzaje mwalimu wa AI kuwaongoza wanafunzi badala ya kuwajibu?
• Vipimo na mbinu zipi za utafiti zinazoweza kutumika na mkufunzi kutathmini uingiliaji unaohusiana na AI? — toleo la kuwaelekea wakufunzi la swali hili
• Mazoea bora ya kuripoti na kutafsiri utafiti wa AI katika Elimu ni yapi? — toleo la kuwaelekea watafiti
• Mafunzo ya LLM na Urekebishaji Mahususi (Fine-Tuning) — ukurasa kamili wa dhana