AIEd Hifadhi ya MaarifaAIEd KB
Kwenye ukurasa huu

Soma ukurasa huu kwa Kiingereza

Madhana

Tathmini ya Kiotomatiki

Imeundwa 2026-10-13

Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

Tathmini ya kiotomatiki — matumizi ya AI kutathmini kazi ya wanafunzi, kutoka mitihani ya mchakato hadi mitihani yenye matokeo makubwa. Tathmini ya kiotomatiki inajumuisha hali nyingi — maswali ya chaguo nyingi, majibu mafupi, insha, kodi, na tathmini inayotegemea utendaji — na inatofautiana kutoka alama za kiotomatiki za moja kwa moja hadi mifumo inayotambua uhakika ambayo inatoa kutokuwa na uhakika uliopimwa pamoja na alama zao.

Maswali ya Kutafakari

  • Tathmini ya kiotomatiki inatofautiana kutoka alama za chaguo nyingi hadi insha, kodi, na tathmini inayotegemea utendaji. Ni tofauti gani kubwa zaidi unayotarajia kati ya jinsi AI inaweza kuweka alama kwa uaminifu kwa mtihani wa chaguo nyingi ikilinganishwa na insha ya uhuru — na kwa nini?
  • Wazo kuu la kubuni hapa ni 'utambuzi wa uhakika': wenye kuweka alama wa AI ambao wanaripoti kiasi cha uhakika wao, wakitambua matukio yenye uhakika mdogo kwa ukaguzi wa binadamu badala ya kutoa alama moja bila masharti. Alama ambayo ingesema "Nina uhakika wa 70% kuhusu hili" ingebadilishaje jinsi unavyotumia au kuaminia alama ya kiotomatiki?
  • Utafiti unaonyesha kuwa alama za kiotomatiki zinaweza kuwahatarisha kwa mpangilio wasemaji wasio wazawa — AI huweka alama kwa lugha badala ya ufahamu. Kwa nini mwenye kuweka alama wa kiotomatiki anaweza kuwa na uwezekano mkubwa wa aina hii ya udanganyifu, hata anapopata makubaliano makubwa na watahini wa kibinadamu kwa ujumla?
  • Utafiti mmoja uligundua kuwa jinsi uhakiki unavyofanywa inaweza kupunguza utendaji unaoripotiwa: mbinu ya msingi ya uthibitishaji wa msalaba iliripoti matokeo karibu kamili ambayo yalishuka kwa kiasi kikubwa chini ya uhakiki mahususi wa jaribio huru. Somo hili la tahadhari linapendekeza nini kuhusu jinsi unavyopaswa kusoma madai yoyote kuwa mfumo wa tathmini ya AI 'unafanya kazi'?
  • Ukurasa unadai kuwa uhakika uliopimwa unawawezesha mtiririko wa kazi wa binadamu-ndani ya mzunguko, unasaidia kurekebisha uaminifu, na unaimarisha uhalali wa kipimo. Kama mfumo wa kiotomatiki ungeelekeza matukio yake yenye kutokuwa na uhakika zaidi kwa mkaguzi wa kibinadamu, ungependa kujua nini kuhusu jinsi matukio hayo yanavyochaguliwa kabla ya kuiaminia mgawanyo huo?
  • Kuweka alama kwa kiotomatiki kimeelezewa kama moja ya matumizi ya AIEd yaliyoiva zaidi, lakini kuweka alama bila maoni yenye ufaafu una thamani ndogo ya kielimu. Kuzingatia uzalishaji wa alama tu — badala ya maoni yanayotumika — kunawezabadilishaje wanachopata wanafunzi kweli kutoka tathmini iliyowekwa alama na AI?

Utangulizi

Hali za tathmini

Kuweka alama kwa kiotomatiki

Kuweka alama kwa kiotomatiki ni moja ya matumizi ya AI katika elimu yaliyoiva zaidi na yanayotumika kwa wingi — mifumo ya AI ambayo hutathmini kazi ya wanafunzi, kutoka alama za chaguo nyingi hadi tathmini ya insha na mapitio ya kodi. Hali zake za kuweka alama zinajumuisha:

  • Wanafunzi hutofautisha ufaafu wa maoni na mamlaka ya kutathmini: AlGhamdi (2026) anarekodi hali ambapo alama ya AI ilihesabiwa katika alama na wanafunzi walijua — wanafunzi 13 wa kompyuta ambao kazi zao za mkono zilizochukuliwa picha zilithibitishwa na ChatGPT dhidi ya rubriki inayohusisha uwazi, mpangilio, usahihi wa sentensi na ufupi. Kila mshiriki alipata maoni yenye ufaafu, lakini wote walitofautisha ufaafu huo na mamlaka, na kadhaa walikataa tabia ya mwelekeo mmoja na isiyo ya mazungumzo ya kuweka alama kwa kiotomatiki — "ChatGPT haifanani na watu. Unazungumza nao na kueleza visababu... Napenda mwalimu wa kawaida [a]weke alama kazi yangu." Utafiti unaweka tathmini ya kiotomatiki kama inayokubalika kwa marekebisho ya uso lakini si kama mtahini wa mwisho, pamoja na uaminifu unaolengwa na usimamizi wa mkufunzi.
  • Kuweka alama kwa majibu mafupi: ASAG inayotambua uhakika hutathmini majibu ya maandishi ya uhuru, ambapo urekebishaji wa uhakika ni muhimu — mifumo lazima ijue lini kuweka alama ni wa kuaminika. Mapitio ya wigo ya kuweka alama kwa kiotomatiki kwa majibu mafupi katika sayansi (2017–mapema 2024) yanarekodi historia ya uwanja: Morley et al. waligundua mifano ya familia ya BERT (msingi, RoBERTa, DistilBERT, SciBERT) ilitawala — ikitumika katika masudio 20 kati ya 21, ikifikia kilele mwaka 2021 — kabla ya mbinu zinazotegemea GPT kuchukuliwa kupitia Uhandisi wa Ilani (Prompt Engineering) badala ya kurekebisha kwa undani kuanzia takribani 2022. Mifano iliyoimarishwa kwa data ya taaluma (vitabu vya maandishi, rubriki, mafunzo ya awali zaidi) kila mara ilishinda ile isiyo nayo, lakini chache ziliweza kuhalalisha alama kwa masharti yanayoeleweka na binadamu na upendeleo katika vikundi vya idadi ya watu na lugha mara chache vilichunguzwa — ikisababisha waandishi kudai kuwa viweka-alama kiotomatiki vinapaswa kusaidia badala ya kuchukua nafasi ya watahini wa kibinadamu. Mapitio ya kimfumo yaliyoongozwa na PRISMA ya masudio 42 ya kiushahidi ya kuweka alama na maoni (2023–2025) yanapanua onyo hili katika uwanja wote: LLM zinalingana na watahini wa kibinadamu katika kazi zilizofungwa na maswali ya majibu mafupi lakini haziwezi kuchukua nafasi ya hukumu ya kibinadamu katika kazi ngumu, za uhuru, au za kibinafsi zinazohitaji uchanganuzi wa kina au Ubunifu, na ufanisi wa juu zaidi wa kuweka alama unafikiwa katika mifumo ya mchanganyiko ambayo huunganisha kuweka alama kwa kuongozwa na AI na usimamizi na uthibitishaji wa mwalimu (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Kuweka alama kwa insha: mifumo ya Kupima Insha kwa Kiotomatiki (AES) kama AES inayotegemea nanga hutumia mbinu za kutoa ilani ili kufikia uaminifu wa kiwango cha binadamu. AIAWE inapanua tathmini ya kiotomatiki hadi tathmini ya uandishi kwa upana.
  • Mapitio ya kodi: Kuweka alama kwa Linux Bash na mapitio ya kodi ya CS1 yanaonyesha tathmini ya kiotomatiki katika elimu ya kompyuta.
  • Mtu wa kutoa ilani anaweza kusababisha mwenye kuweka alama kushindwa, na kurekebisha kwa undani kunaweza kurekebisha: Habibullah et al. (2026) waliweka alama mtihani wa vitendo wa kuona kwa kompyuta (wanafunzi 570 walioalikwa kwa alama mbili) chini ya usanidi 171 na mtihani wa pili wa kujifunza kwa mashine (wanafunzi 1,038) chini ya usanidi 162 zaidi. Utangulizi mfupi wa "mwenye kuweka alama mkali" uliwatoa mifano 14 kati ya 17 ya uzito wazi nje ya kanda ya alama (MAE ≥ 8), mitatu ikaacha kuweka alama kabisa; uharibifu ulitoka kwa sentensi mbili za kuzuia alama badala ya toni au kiwango cha mfano, na mwelekeo wake ulikuwa mahususi kwa mtihani, ukiimarisha mifano saba katika mtihani wa pili. Kurekebisha kwa undani kwa LoRA nyepesi kwa mifano takribani 3,900 iliyokusanywa ya alama iliwaleta mifano mitano wazi kwa usawa au bora kuliko mwenye kuweka alama wa kibinadamu, kwa hivyo udhaifu ni kitu cha ubashiri wa kutoa ilani badala ya kikomo cha uwezo.
  • Muunganisho wa mchakato: otomatiki ya sayansi ya A-level na CoTAL zinaonyesha jinsi kuweka alama kwa kiotomatiki kunavyosukumwa katika mizunguko ya Tathmini ya Mchakato.
  • Ufunikaji wa aina za maoni si kulingana na walimu. Almousa et al. (2026) waliweka lebo maoni ya kiwango cha aya kutoka kozi tatu za uandishi wa chuo kikuu katika aina saba za lengo; mifano mingi hutoa karibu kila aina, lakini usambazaji wao hutofautiana na rejeleo la mwalimu, na LearnLM iliyorekebishwa kielimu ikiwa karibu zaidi (kutofautiana kwa Jensen–Shannon 0.1344) na Mistral-7B ikiwa mbali zaidi (0.2695). Kutoa ilani na ufafanuzi wa kategoria au mifano ya kazi iliongeza kutofautiana kwa mifano mingi.
  • Upendeleo na usawa: Upendeleo wa lugha katika alama za fizikia yanarekodi jinsi kuweka alama kwa kiotomatiki kunaweza kuwahatarisha wasemaji wasio wazawa — ikihusiana na Kupunguza Upendeleo na Usawa.
  • Kuweka kiwango cha viwiano mifano ya GenAI kwa kuweka alama kwa uhuru: Pecuchova, Benko & Drlik (2025) waliweka kiwango cha viwiano mifano kumi na moja ya GenAI na ya kupachika sentensi dhidi ya watahini wawili wa kibinadamu wenye utaalam juu ya majibu 1,885 ya uhuru kwa maswali 24 ya uhandisi wa programu. GPTo1 peke yake ilifikia makubaliano karibu kamili (Fleiss' Kappa 0.82, chanya za uongo na hasi za uongo chache katika kategoria za alama), na Claude3 na PaLM2 zikiwa karibu nyuma; mifano ya GenAI yanayoelekea muktadha yalishughulikia kwa uthabiti majibu mafupi, yaliyoelezewa kwa mabaleta tofauti ya wanafunzi, wakati mifano ya kupachika yanayotegemea rejeleo (mfano, 345 za uongo za BERT) yaliwaadhibu kwa mpangilio wanafunzi waliokuwa sahihi lakini walioandika kwa maneno tofauti — ushahidi kuwa chaguo la mfano, si muundo wa kuweka alama tu, unaunda uaminifu kwa tathmini ya uhuru.
  • Mifano ya kutoa ilani huamua makubaliano ya alama: Takahashi et al. (2026) walifanya otomatiki hoja za kugundua kwa mpangilio wa daraja (HDR), kazi ya uwezo unaotumika ambapo wanafunzi wanapata na kueleza makosa yaliyowekwa kwa makusudi katika kesi fupi. Kwa kutumia GPT-4o bila kurekebisha kwa undani, timu ilizalisha matatizo mapya na kuweka alama maelezo ya wanafunzi: matatizo yaliyozalishwa na yaliyoandikwa na binadamu yalibeba uthabiti wa ndani ule ule (Cronbach's α = 0.78) na hayakuonyesha tofauti yenye umuhimu ya usambazaji wa alama katika washiriki 100, na uhusiano wa muundo na udhibiti wa kusoma kuelewa ulibaki wa chini (α = 0.36 na 0.41). Usahihi wa alama ulitegemea ilani badala ya mfano — bila mifano ya kazi usahihi wa Q2 ulishuka hadi 0.42, wakati kuongeza mifano sahihi na ya makosa yaliyoalikwa na binadamu kulipandisha makubaliano hadi 98% au zaidi katika kila swali (Q1 na Q2 katika 100%) — dhidi ya gharama ya kibinadamu iliyopimwa ya dakika 138 za kuweka alama kwa wataalam kwa majibu 117 pamoja na dakika 30 za makubaliano.

Mbinu ya hoja ya mfano yenyewe ni teuzi ya pili ya usanidi: katika mawasilisho 32 ya mtihani wa uzamifu wa afya ya umma yaliyofichwa jina, ChatGPT ile ile ilihamia kutoka weighted kappa 0.269 katika hali ya haraka hadi 0.718 katika hali ya kufikiri, wakati Kimi ilifikia 0.571 (Brevik et al. (2026)).

  • Wakala wengi wa kuweka kodi majibu ya uhuru ya walimu, ambapo mfumo badala ya mfano unabeba uaminifu: Copur-Gencturk et al. (2026) wanapanua tathmini ya kiotomatiki zaidi ya kazi ya wanafunzi hadi kuweka kodi maarifa ya maudhui ya waelimishaji wenyewe (CK) na maarifa ya maudhui ya mbinu za kufundisha (PCK), wakiuliza kama AI inaweza kurudia kuweka kodi kwa mafunzo ya kibinadamu cha majibu yaliyoandikwa ya waelimishaji 238 wa chuo cha kati cha Kimarekani wa hisabati kuhusu uwiano na uhusiano wa uwiano. LLM ya wakala wengi iliyoundwa kwa kusudi, GradeOpt, inatoa majukumu matatu yanayotegemea GPT-4o — Mweka Alama anayetumia mwongozo wa kuweka kodi wa binadamu, Mtafakari anayegundua kila kutokubaliana na kodi ya binadamu, na Mrekebishaji anayerudisha pointi za ufafanuzi kwenye mwongozo kupitia pande zisizopungua sita — na ililingana na waweka kodi wa binadamu wenye mafunzo kwa ukaribu juu ya CK (κ = .88 na .85) huku ikifikia makubaliano makubwa juu ya vipengele vya PCK vilivyo na ufafanuzi zaidi kwa ujumla (κ = .68; weighted κ = .79). Mistari miwili ya NLP na mfano mmoja wa GPT-4o wa ilani moja hazikuzidi κ = .39 au weighted κ = .55 juu ya PCK, kwa hivyo waandishi wanahusisha uaminifu na kuboresha maelekezo dhidi ya mwongozo wa kuweka kodi badala ya kiwango cha mfano, na wanapendekeza ukaguzi wa wataalam popote viwango vya kuweka kodi vinavyokaribiana, kwa kuwa makosa yaliyobaki ya GradeOpt yalikuwa kodi zinazokaribiana badala ya kukosa kabisa.

  • Kuweka alama kwa mtihani wa hali mchanganyiko (2026): Falahat, Das, Bhaumik & Thambi (2026) walitathmini ChatGPT-5 dhidi ya kuweka alama kwa wataalam wa chuo kikuu wa mtihani wa farmasia wa vipengele 21 (wanafunzi 16) uliojumuisha chaguo nyingi, chagua-zote-zinazotumika, jaza-nafasi-tupu, kuorodhesha, majibu mafupi, na vipengele vya insha. Mlingano ulikuwa mkubwa-hadi-karibu kamili kwa aina za vipengele vya kimwili (CCC 0.935–1.000 — kusaidiwa na majibu sahihi yaliyotolewa wakati wa kuweka alama) lakini ulishuka kwa kuorodhesha (0.621–0.708), majibu mafupi (≈0 hadi hasi), na vipengele vya insha (0.341–0.854); kutoa rubriki iliyopangwa hakuboresha makubaliano ya mtihani kamili kwa uthabiti (71.1% bila dhidi ya 68.2% pamoja nayo). Utafiti unabana zaidi pointi ya mbinu inayojirudia katika tathmini ya kiotomatiki — usahihi wa wastani wa asilimia mara nyingi huwepo pamoja na mlingano wa chini — kwa hivyo usahihi peke yake unazidi kuonyesha uaminifu, na unapendekeza kuweka alama kwa mchanganyiko kwa vipengele ngumu, vya kibinafsi, au vyenye matokeo makubwa.

  • Urekebishaji wa kanda ya alama kati ya familia katika insha halisi zilizowekwa alama (2026): Kerwat, Donaldson & Mahomed (2026) waliendesha usanidi wanane waliotangazwa mapema kutoka familia nne za mifano (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B na Llama 3.1 8B, kila moja katika halijoto mbili) juu ya kundi lile lile lililofungwa la insha 114 za BAWE/Coventry zenye lebo za kitaaluma za Merit na Distinction, pamoja na ilani moja iliyoshirikiwa iliyoruhusu kanda nne. Makubaliano halisi ya kanda yalitofautiana kutoka 18.4% hadi 54.4%: Llama 3.1 8B katika halijoto 0.5 iliongoza (54.4% halisi, 98.2% ndani ya kanda moja, MAE 0.474, upendeleo karibu sufuri) wakati GPT-OSS 120B ilikuwa dhaifu zaidi (18.4%) na ilitoa alama chini kwa mpangilio, kwa wastani wa kanda 1.316 katika halijoto 0.5, na usahihi wa Distinction ukiwa nyuma ya usahihi wa Merit kila mahali. Kundi lililofungwa halikuwa na rejeleo za Pass wala Fail, kwa hivyo hii ni ubaguzi wa Merit–Distinction badala ya uaminifu katika masafa yote ya alama, na halijoto haikuwa tiba — ilisaidia familia moja kwa uelekeo, ikiacha nyingine bila mabadiliko, na ikibadilisha mbaya zaidi GPT-OSS 20B (39.5% hadi 29.8% halisi). Masomo mawili yanahamishwa zaidi ya utafiti: umbali wa alama na upendeleo wa mwelekeo yanafichua kile ambacho takwimu za makubaliano huficha, na ukubwa wa mfano si mbadala wa uhalali wa tathmini.

  • Uhandisi wa rubriki kwa kuweka alama kwa uhuru katika elimu ya matibabu: Olvet et al. (2026) waliuliza kama GPT-4 inaweza kuweka alama kwa uaminifu maswali ya uhuru katika mitihani ya matibabu ya awali ya mafunzo ya kliniki. Baada ya mizunguko mitatu ya kuboresha rubriki kwa binadamu katika shule mbili za Marekani, uaminifu wa kati ya watahini na wataalam wa chuo kikuu ulifikia makubaliano makubwa-hadi-karibu kamili kwa maswali matatu kati ya manne kwa kutumia rubriki za kichanganuzi na za jumla (weighted kappa hadi 0.94), wakati kipengele cha rubriki ya jumla kilisimama katika kiwango cha wastani (κw = 0.54). Uchanganuzi wa mtindo wa makosa ulionyesha kuwa tofauti zilitoka kwa watahini wote wawili — GPT-4 ilitoa alama zaidi wanafunzi walipotoa majibu mengi au kutumia msamiati usiopo kwenye rubriki, wakati wataalam mara nyingi walikuwa wenye kuweka alama "wenye ukarimu kupita kiasi" — ikisababisha waandishi kupendekeza kubaki wabinadamu ndani ya mzunguko (mfano, wataalam wakiweka alama sehemu ili kuthibitisha usahihi). Kwa sababu takribani 82% ya shule za matibabu za Marekani huweka alama kazi ya awali ya mafunzo ya kliniki kama faulu/kushindwa, makubaliano halisi ya alama ya AI mara nyingi si lazima kwa matumizi ya kiendeshaji.

  • Kuweka alama kwa HITL kwa tathmini ya uandishi ya kitaifa ya kiwango kikubwa (2026): Curi et al. (2026) wanapima kiwango cha kuweka alama kwa Mifano Mikubwa ya Lugha (LLM) kinachotegemea ilani kwa mtihani halisi wa uhakika wa maisha wa uandishi wa Kihispania (~majibu 5,000–6,000 kwa mwaka), yakifikia usahihi wa kipengele wa 60–80% na uthabiti wa pato wa 90%+ katika rubriki ya kichanganuzi ya vipengele 15, pamoja na kiangalia cha NLP cha uhakika kichukua nafasi ya LLM kwenye kipengele cha tahajia (uthabiti 100%). Mchango wake wa kipekee ni uhakiki unaoelekea uamuzi badala ya vipimo vinavyoelekea mfano: upendeleo wa kuweka alama chini kwa mpangio wa AI, uliogeuzwa kupitia IRT-na-Bookmark hadi viwango vya ustadi, hutoa tofauti za faulu/kushindwa katika 15.3–16.5% ya matukio — yote ambayo mtiririko wa kazi wa binadamu-ndani ya mzunguko yanayaelekeza kwa ukaguzi wa wataalam, yanapunguza majibu yanayohitaji alama kamili za kibinadamu kwa angalau 50% huku yakihifadhi ubora wa uamuzi. Hii inaweka kuweka alama kwa mchanganyiko katika tathmini ya kiendeshaji badala ya seti za data za uthibitisho wa dhana.

  • Makubaliano ya kwa kipengele yanaonyesha mahali mtahini hawezi kugundua mabadiliko: SOPHIE 2.0 (Hasan et al., 2026) ilithibitisha hakimu wa LLM dhidi ya makubaliano ya vyanzo vyote vya kibinadamu vya kuweka alama — wagonjwa waliowekwa kwa kiwango na watahini wa upande wa tatu — juu ya rubriki ya mawasiliano ya kliniki ya vipimo vitatu, ikifikia Pearson 0.759 na ICC(A,1) 0.746 kutoka nakala za manukuu peke yake, ndani ya mwelekeo wa watahini wa kibinadamu binafsi badala ya nje yake. Kipimo chake dhaifu zaidi kilikuwa Be Explicit (uhusiano wa 0.414–0.598 katika majaji wagombea), na hicho ndicho kilikuwa kipimo pekee ambacho alama zake hazikuhamia kwa kupimika katika mikutano miwili (Δ = 0.014, p = 0.1204) — kwa hivyo makubaliano ya kwa kipengele yanaweza kuonyesha mapema ni vipimo vipi ambacho mtahini wa kiotomatiki hawezi kuonyesha maboresho juu yake.

Tathmini inayotambua uhakika

Lengo kuu la kubuni ndani ya tathmini ya kiotomatiki ni utambuzi wa uhakika: mifumo ya tathmini ya AI ambayo inaripoti kutokuwa na uhakika uliopimwa pamoja na alama zao, badala ya kutoa utabiri mmoja bila masharti. Mwenye kuweka alama anayetambua uhakika hutoa tu alama au uainishaji bali pia anaonyesha kiasi cha uhakika wake, ili matukio yenye uhakika mdogo yaweze kutambuliwa kwa ukaguzi wa binadamu na watumiaji waweze kurekebisha Uaminifu wao kwa mfumo. Hii ni ya kati ya tathmini ya kiotomatiki yenye uwajibikisho na inahusiana karibu na AI yenye Ufahamu wa Kisaikometriki na Urekebishaji wa Uaminifu.

Jinsi uhakika unavyoundwa katika utafiti wa hifadhi ya maarifa:

  • Ishara za uhakika zilizounganishwa kwa kuweka alama kwa majibu mafupi: ASAG Inayotambua Uhakika inaunganisha ishara za uhakika zinazotegemea mfano (zinazotamkwa, za ndani, na za uthabiti) na kutokuwa na uhakika wa aleatoriki kutoka seti ya data kupitia urejeshaji wa Random Forest.
  • Uhakika katika kazi ya wanafunzi ya hali nyingi: Tathmini inayotambua uhakika ya michoro ya kisayansi iliyochorwa na wanafunzi inapanua uundaji wa uhakika hadi majibu ya wanafunzi ya hali nyingi.
  • Urekebishaji wa kisaikometriki wa LLM: AI yenye Ufahamu wa Kisaikometriki inaendeleza kiwango cha kulinganisha kuweka alama kwa Mifano Mikubwa ya Lugha (LLM) na nadharia ya kipimo, na urekebishaji kama mahitaji ya msingi pamoja na ulinganifu wa Nadharia ya Majibu ya Kipengele.
  • Urekebishaji wa ugumu na wakati wa kujibu: Urekebishaji wa ugumu wa mtihani wa programu unaweka LLM upya kama vyanzo vya ushahidi vya msaada ambayo makadirio yao ya ugumu yanahusiana na viwango vya wanafunzi kupita.
  • Kuweka alama kwa insha inayobadilika na sifa: PsyScore inaonyesha kuwa mfumo wenye ufahamu wa kisaikometriki unaweza kubadilisha maoni ya insha ili kufaa sifa za mwanafunzi.
  • Kutathmini kazi ya kuona ya wanafunzi: DiagramIR inarudisha nyuma michoro ya hisabati iliyozalishwa na LLM (TikZ) kwenye uwakilishi wa kati na vipimo vya uhakika, ikishinda LLM-kama-Hakimu katika makubaliano na watahini wa kibinadamu na ikiruhusu mifano midogo kulingana na mikubwa kwa gharama ya ~10% ya chini — njia inayopimika ya kutathmini pato la wanafunzi la isiyo ya maandishi, ya michoro.
  • Utambuzi wa kujifunza unaozuiliwa na uaminifu katika tathmini ya kiotomatiki ya waelimishaji: Li, Yang & Fang (2025) wanaweka urekebishaji wa Monte Carlo dropout moja kwa moja kwenye njia ya kuweka alama, ili kutofautiana kwa dropout juu ya kizingiti kilichojifunza kusababisha pato la kukataa-na-kuelekeza badala ya alama, pamoja na kupunguza upendeleo kwa mashambulizi ambao unashikilia pengo la usawa kwa 1.8% ambapo mistari ya msingi iko katika masafa ya 6.4–8.2% na kosa la urekebishaji linalotarajiwa la 0.032 juu ya TeacherEval-2023. Uchanganuzi wao wa ablation ni hoja ya urekebishaji kwa undani: kuondoa moduli ya kujifunza inayozuiliwa na uaminifu kunashusha uthabiti wa kati ya watahini hadi 78.6%, na waandishi wanahusisha kupungua kwa 41% katika mzigo wa ukaguzi wa kibinadamu na kizuizi — usimamizi wa kutokuwa na uhakika kama usanifu badala ya ripoti ya baada ya tukio.
  • Ufafanuzi wa kuweka alama kwa rubriki: Bueno et al. wanaonyesha kuwa mashirika ya SHAP yasiyotegemea mfano ni ya kuaminika zaidi na ya kuhamishwa zaidi kuliko hoja zinazozalishwa na LLM za kueleza alama zinazotegemea rubriki (mfano, ubora wa maoni ya darasa), na wanapendekeza vipimo vya kufuta + vya mifano mingi kama njia ya kanuni ya kutathmini maelezo ya mfano wowote wa kuweka alama.

Kwa nini uhakika uliopimwa unamuhimu:

  • Unawawezesha ujumuishaji wa binadamu-ndani ya mzunguko: matukio yenye uhakika mdogo yanayeelekezwa kwa mkaguzi wa kibinadamu — yakisaidia mtiririko wa kazi wa binadamu-ndani ya mzunguko badala ya otomatiki bila macho.

  • Unasaidia kurekebisha uaminifu: uhakika uliopimwa unawawezesha watumiaji kulinganisha uaminifu wao na uaminifu halisi wa mfumo, yakiepuka uaminifu kupita kiasi na upungufu wa uaminifu.

  • Unaboresha uhalali wa kipimo: kuweka alama kunayotambua uhakika unaimarisha Upimaji wa Kielimu na Uhalali wa Tathmini kwa kufanya kutokuwa na uhakika kuwa wazi.

  • Usawa na udhibitisho: kutambua matukio yenye uhakika mdogo kwa ukaguzi hupunguza hatari ya alama zenye ubinadamu zenye kukosa, hasa kwa majibu yasiyo ya kawaida au yasiyo wakilishwa.

  • Uzalishaji wa rubriki na mitiririko ya kuweka alama yanayosimamiwa na mkufunzi: Mendonça et al. (2026) wanaonyesha kuwa rubriki za tathmini zilizozalishwa na LLM (HARMOGEN-R) zinaweza kulingana na rubriki zilizoundwa na binadamu kwa maudhui ya kiufundi ndani ya mpaka wa usawa wa pointi ±5, pamoja na uzalishaji uliopangwa ukitoa uthabiti mkubwa zaidi wa mifano mingi. Cruz et al. (2026) wanatathmini mtiririko wa mwisho-hadi-mwisho wa kuweka alama kwa GPT-4o ambapo alama za AI zilikuwa ndani ya pointi 0.5 kutoka mkufunzi katika 83% ya mawasilisho 362 (MAE 0.31) — yanafaa zaidi kama nyongeza inayopimika ya, si badala ya, hukumu ya mkufunzi.

Ubora na usawa

Ubora wa tathmini ya kiotomatiki unategemea Uhalali wa Tathmini na Kupunguza Upendeleo. Utafiti wa Upendeleo wa lugha unaonyesha kuwa kuweka alama kwa kiotomatiki kunaweza kuwahatarisha kwa mpangilio idadi fulani za wanafunzi. Kigezo yenyewe kinaweza kukosea. Bozdag and Qiu (2026) wanaweka alama hati za fizikia ya GCSE kwa mfumo wa AI na kuzilinganisha na alama rasmi za bodi ya mitihani na hukumu ya waelimishaji wenye uzoefu, wakitendea makubaliano na bodi kama mbadala wa usahihi badala ya usahihi yenyewe.

Hali za utumiaji na kila moja inahitaji nini

Kiasi cha ulinganifu ambao taasisi inapaswa kutaka unategemea kile ambacho mfumo unaruhusiwa kuamua. Katika utafiti wa mbinu mchanganyiko wa insha 761 halisi za wanafunzi wa chuo kikuu katika vyuo vitatu vya Uingereza, mifano mitatu ya mstari wa mbele na usanidi 27 wa ilani kila moja ilifikia makubaliano ya 35–65% tu na waweka alama wa kibinadamu juu ya kanda ya digrii, na usahihi haukuhamia kati ya taasisi — kwa hivyo ripoti inatendea matumizi yanayowezekana kama hali tofauti badala ya uamuzi mmoja. Uhakiki wa ubora wa kuweka alama kwa kibinadamu, ambapo AI inaweka alama kwa sambamba na tofauti kubwa zinasababisha ukaguzi wa kibinadamu, ni ya kihafidhina zaidi. Msaidizi wa kuweka alama, anayeorodhesha au kugawa mawasilisho kulingana na ubora au kutokuwa na uhakika unaotabiriwa, akisafiri matukio magumu, au kupanua maoni mafupi ya kibinadamu hadi maoni kamili, ni njia halisi ya kati. AI kama mwenye kuweka alama wa msingi, pamoja na ukaguzi wa binadamu wa sampuli au wa usambazaji wa alama, ulihukumiwa kuwa inakubalika tu kama utendaji wa mfumo unaboreshwa, na hakuna kundi la wenye maslahi lililoidhinisha AI kama mwenye kuweka alama peke yake.

Mahitaji matatu yanayofuata kwa yoyote kati yao. Kwa sababu ulinganifu ni mahususi kwa mfano na taasisi, uhakiki lazima uwe wa kwa eneo na wa kuendelea — usahihi wa habari kutoka mahali pengine si ushahidi wa utayari. Kwa sababu alama zilifinyizwa kuelekea katikati, AI ilikuwa na usahihi mdogo zaidi katika mipaka ya digrii na kwa mawasilisho yenye nguvu na dhaifu zaidi, ambayo ndipo maamuzi ya tathmini yanabeba madhara makubwa zaidi. Na kwa sababu kutokubaliana kati ya alama ya AI na ya binadamu yanaakisi hukumu tofauti badala ya kosa la kawaida, tofauti zinapaswa kusababisha ufafanuzi wa kibinadamu badala ya kubatilisha kwa kigezo, huku mamlaka ya mwisho juu ya alama ikibaki kwa watu. Kupitishwa pia kunabeba wajibu wa Utawala wa AI ambao vipimo vya kiufundi havichukui: haki ya maelezo chini ya Kifungu cha 22 cha GDPR ambapo maamuzi ya kiotomatiki yanaathiri wanafunzi, wajibu wa Sheria ya Usawa mara kiwango cha mafanikio na matumizi ya lugha yameonyeshwa kuathiri alama, michakato ya rufaa iliyorekebishwa kwa makosa ambayo hayapatikani kwa urahisi, na hatari ya kutorejeleka — mara wafanyakazi na uwekezaji unabadilika, taasisi inaweza kupata shida kuendelea kukusanya alama za kibinadamu ambazo ingehitaji kurudi.

Kuunganisha mifano mitatu hakukuondoa hitilafu hiyo: kwa sababu makosa yao yalihusiana — mwelekeo ule ule kwenye kazi 63.4% — muundo wa pamoja wa Corsi et al. (2026) haukufanani sana na mfano bora wa mmoja, ukiliacha ubana wa mwelekeo wa kati unaoshirikiwa unaendelea.

Venetsanos (2026) hutoa vigezo ambayo mahitaji hayo yanadhania, akidai kuwa kile kinachofanya otomatiki kuwa na udhibitisho ni hali ya maarifa ya kazi badala ya kile ambacho teknolojia inaweza kutekeleza kiufundi. Mfumo wake unazuia AI kwenye uhakiki ulio na mipaka ya madai ya kweli na ya taratibu — yote manne ya vigezo vilivyorekodiwa bila mchanganyiko, ulinganifu wa moja kwa moja dhidi ya maarifa yaliyoimarishwa, hakuna tathmini ya mbinu mbadala zinazofaa, na jibu moja sahihi au seti inayokubalika iliyotangazwa mapema lazima yashikiliane kwa wakati mmoja, pamoja na mchanganyiko ukiongezeka kwa binadamu kwa chaguomsingi — na unafanya ushiriki wa AI katika kiwango hicho kutegemea kanuni tano zisizoweza kujadilishwa ambazo lazima zishikiliane zote kwa wakati mmoja: hifadhi ya maarifa lazima iwe iliyopangwa na mtahini na iliyowekwa msingi katika nyenzo za moduli badala ya maarifa ya parameta ya mfano; watahini wa kibinadamu wanapitia kila pato la AI kabla ya kufikia wanafunzi na wanashikilia kubatilisha kabisa na uwajibikisho usiogawanyika; maoni lazima yabebe asili wazi na ushahidi; na usalama lazima ubuniwe dhidi ya matumizi ya mashambulizi tangu mwanzo, pamoja na usafi wa miingilizo kwa maelekezo yaliyofichwa kwenye maandishi meupe au madogo, misimbuo, picha au metadata ya hati, kwa kuwa kupita kwa mafumo ya kiotomatiki kunasambaa kupitia makundi ya wanafunzi. Karatasi yenyewe ni wazi kuwa kanuni zake hazijapitia upimaji wa uwezekano wa kwa wakati mmoja na kuwa muda wa mtahini kwa upangaji, miundombinu ya usalama na usimamizi wa mara kwa mara unaweza kusogeza juhudi za wafanyakazi badala ya kuzipunguza — onyo linalosimama kando ya mahitaji ya uhakiki wa kwa eneo yaliyoelezwa hapo juu.

Usalama wa kuweka alama unaoendeshwa na AI

Tathmini ya timu nyekundu ya mtiririko wa kawaida wa kuweka alama inaonyesha eneo la mashambulizi ambayo upangaji wa matumizi ya mashambulizi lazima lishughulikie. Humble (2026) aliwachoma miingiliano mitano isiyo ya moja kwa moja ya kutoa ilani ndani ya insha bandia ambayo Microsoft Copilot (GPT-5.2) ilikuwa imeweka alama ya kushindwa katika mizunguko sita ya msingi, ikirudia kila moja katika faili za docx, pdf na htm. Mikakati miwili ilibadilisha alama bila onyo la kuonekana — aya ya kudhibiti maelekezo na kuigiza jukumu katika mizunguko 9 kati ya 9 (100%) na aya ile ile iliyofichwa nyuma ya safu ya picha katika 17 kati ya 18 (94%) — wakati aya katika maandishi meupe madogo mwishoni mwa hati ilishindwa katika mizunguko yote tisa, na miingiliano ya metadata ya faili haikufanya kazi kamwe, ambayo mwandishi anahusisha na ufikiaji wa metadata kuwa umezimwa katika toleo lililopimwa. Tatizo la uaminifu lilidumu zaidi ya matumizi: baada ya mzunguko mmoja wa pdf kugundua maelekezo yaliyowekwa na kusema ingeweka alama tu dhidi ya kazi rasmi, kuendesha faili ile ile kulipandisha alama mara sita zaidi bila onyo, na gumzo lililozuiwa na shambulio lililogunduliwa lilizimwa kimya badala ya kuripotiwa kwa mtumiaji. Mwandishi anadai kuwa alama zinazotokana hazina dai la uhalali kwa mwelekeo wowote, kuwa mshindani anahitaji mchanganyiko mmoja tu unaofanya kazi dhidi ya Vizuizi vya Usalama za tabaka, na kuwa mwalimu anabaki tu kiangalia cha kweli pato wakati udanganyifu umeundwa kutokuwa na kuonekana — ikihusiana moja kwa moja na wajibu wa usafi wa miingiliano na usalama wa mashambulizi ambao Venetsanos anaweka hapo juu.

Mahusiano

Tathmini ya kiotomatiki inahusiana na Uhalali wa Tathmini (uhakiki wa ubora), Tathmini ya Mchakato (muktadha wa matumizi), Kupunguza Upendeleo na Usawa (usawa), Kufundisha (jinsi otomatiki inavyobadilisha kazi ya mkufunzi), na Ubora wa Maoni ya AI (kuweka alama bila maoni yenye ufaafu una thamani ndogo ya kielimu). Tathmini inayotambua uhakika ni mbinu mahususi ndani ya mpango mpana zaidi wa AI yenye Ufahamu wa Kisaikometriki na mchango wa uaminifu uliopimwa.

  • Kuweka alama kwa kiwango kikubwa kwa AI kwa fizikia ya mkono (2026): Mfano wa hali nyingi (GPT-5.5) uliweka alama kurasa 10,364 zilizochukuliwa picha katika mtihani wa nadharia wa Olimpiki ya Fizikia ya kitaifa, kambi ya uteuzi, na mtihani wa mitambo ya quantum ya chuo kikuu, yakifikia uhusiano wa alama ya jumla ya 0.91–0.97 na alama rasmi na kurejeza timu ile ile ya tano ya juu ya Olimpiki. Maelekezo yaliyorekebishwa ya ukurasa kwa ukurasa, ya eneo la ushahidi, yaliboresha makubaliano — ushahidi kwamba AI ya hali nyingi inaweza kusaidia kuweka alama kwa jumla yenye matokeo makubwa pamoja na uhandisi wa rubriki na ilani wa makini (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Otomatiki ya uteuzi kwa kemia ya mkono (2026): Cvengros & Kortemeyer waliweka alama mwisho wa jumla wa kemia ya mkono wa wanafunzi 296 ukurasa kwa ukurasa dhidi ya picha za rubriki na LLM ya hali nyingi, yenye ufafanuzi, yakifikia uaminifu wa juu wa mzunguko-hadi-mzunguko juu ya alama za jumla (ICC(A,1) = 0.967) na makubaliano makubwa ya alama ya jumla na kuweka alama kwa TA (R² = 0.91). Kwa sababu uaminifu wa kiwango cha kipengele ulitofautiana kwa ukali kulingana na muundo — majibu ya maandishi na ya mmenyuko wa kemia yaliwekwa alama kwa uaminifu wakati kuchora na kuchora michoro yalipata alama mbaya kuliko nasibu — makubaliano ghafi yalihukumiwa kutotosha kwa matumizi yenye matokeo makubwa. Wanaendesha kuchelewesha kwa binadamu kupitia vichujio vya uhakika (vizingiti vya alama za sehemu, kizingiti cha hatari kinachotegemea IRT, na kutengwa kwa aina ya tatizo) ambayo hubadilisha alama ghafi za AI hadi sera ya kukubali/kuchelewesha, na wanaonyesha kuwa chanya za uongo (AI kuwapa alama wanafunzi waliokosa kweli) huenda bila kugunduliwa kwa kuwa wanafunzi mara chache huwapinga — njia ya msingi wa kisaikometriki ya otomatiki ya uteuzi (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Hisabati ya mkono ya nusu-wazi katika mtihani wa chuo kikuu (2026): Liu et al. waliweka alama mtihani wa hisabati wa chuo kikuu wa Kijerumani kwa GPT-4 katika njia mbili za uchimbaji (visanduku vya majibu vilivyokatwa mapema dhidi ya kurasa kamili), njia mbili za kutambua herufi za macho na miundo miwili ya rubriki, wakiripoti alfa ya Krippendorff dhidi ya alama za kibinadamu ya 0.22-0.44 pamoja na usahihi wa 0.59-0.62 katika mtiririko bora na usahihi wa kwa tatizo unaotofautiana kutoka 0.27-0.91 — usiofaa kwa matumizi ya jumla yenye matokeo makubwa. Kuorodhesha kanuni za kuweka alama za vigezo vingi kwa ujumla hakuboresha makubaliano (ilisaidia tatizo la alama za sehemu), kuweka alama huru bila rubriki kilikuwa mbaya zaidi (usahihi 0.50-0.51), na kichujio cha uhakika wa uwezekano kilichokusudiwa kutambua alama kwa ukaguzi upya wa kibinadamu hakuboresha usahihi kwa kiwango chenye umuhimu huku kikitambua kwa kukosea asilimia 7-41 za majibu kama zinazoweza kuaminika. Somo la utafiti linaloweza kuhamishwa ni la taratibu: changanua na uandike ukurasa wote wa mtihani kwa alama badala ya kukata visanduku vya majibu, kwa sababu wanafunzi huandika kupitia mipaka ya visanduku; andika upya kanuni za kuweka alama zilizoandikwa kwa wasaidizi wa kufundisha, kwa kuwa mfano ulijaribu mifumo isiyoombalwa kutoka kanuni iliyokusudiwa kwa binadamu; na kumbuka kuwa kanuni za kuweka alama za kibinadamu zenyewe zilielezewa upya kwa alfa ya 0.88 katika variants tano, kwa hivyo uthabiti wa ilani si kizuizi.

  • Hukumu ya kulinganisha ya LLM kwa uchunguzi wa uandishi (2026): Mercer & Reed walitumia LLM saba kama majaji wa kulinganisha wa jozi kuweka alama uandishi wa habari kutoka wanafunzi 1,208 katika Madarasa 3–6 katika matukio matatu ya uchunguzi. Alama za LLM-CJ zililingana kwa nguvu na alama za rubriki ya kichanganuzi (r = .67–.73, zenye nguvu zaidi kwa Gemini-3.1 Pro) pamoja na AUC .82–.86 kwa ustadi; matokeo yalikuwa thabiti katika mifano, pamoja na faida ndogo ya uhalali kutoka ile yenye gharama kubwa na uwezo mkubwa zaidi, wakati wastani wa sampuli tatu za uandishi uliboresha usahihi — upana wa sampuli ulikuwa muhimu zaidi ya chaguo la mfano. Mtindo wa upendeleo wa utabiri kwa wanafunzi wenye lugha nyingi ulilingana na kuweka alama kwa rubriki ya kibinadamu, yakisaidia LLM-CJ kama mbinu ya uchunguzi yenye ufanisi na yenye gharama ndogo (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Ulinganifu unaotegemea ubora na kuweka alama kwa mkufunzi (2026): Kulinganisha ChatGPT, marika, na mkufunzi anayeweka alama miradi ile ile ya kikundi cha chuo kikuu, Usher & Faraon waligundua ulinganifu wa ChatGPT na mkufunzi uliboresha kadiri ubora wa mradi ulivyoongezeka — kupita kwa kubwa zaidi kwa kazi zenye ubora wa chini (≈ +pointi 14), ukishuka hadi ≈ +pointi 2.5 kwa miradi yenye ubora wa juu. ChatGPT pia iliweka alama zaidi kwa wastani kuliko marika na mkufunzi, mwelekeo wa kupanda kwa alama ambao unadhoofisha uaminifu wake kama mwenye kuweka alama wa jumla wa kipekee, hasa kwa mawasilisho dhaifu.

  • Takwimu za makubaliano za korpusu ndogo zinaweza kudanganya maamuzi ya utumiaji. Kuweka alama machapisho 60 ya uuzaji (wanafunzi 15 pamoja na nanga 15 za ubora wa chini zilizoandikwa na watafiti) dhidi ya watahini wawili huru wa kibinadamu kulitotoa makubaliano halisi ICC(2,1) ya .435 kwa LLM, .266 kwa kanuni ya pamoja ya uzito sawa ya LLM-na-kanuni na .091 kwa kanuni za uhakika, pamoja na MAE ya pointi 6.28, 10.53 na 17.22 mtawalia katika kiwango cha 0-100; mchanganyiko ulikuwa mbaya zaidi kwa kiwango chenye umuhimu kuliko LLM peke yake (tofauti ya ICC ya jozi -.169, 95% CI [-.260, -.106]). Kuongeza nanga kulipandisha ICC ya kati ya watahini kutoka .338 hadi .902 na makubaliano ya LLM kutoka .435 hadi .846, na chapisho lililo karibu tupu lilipata 75 dhidi ya wastani wa kibinadamu wa 30.5, ikionyesha kuwa jibu moja dhaifu linaweza kudhibiti tathmini ndogo. (Agreement and error in automated scoring of student marketing posts)

  • Kuweka alama kwa LLM uliopangwa kunaweza kuonekana kama kichanganuzi bila kuwa cha kugundua (2026): Kuweka alama majibu 3,041 kwa maswali 50 ya sayansi ya kompyuta, LLM tatu za kibiashara zilitoa vipimo vya chini vya rubriki ambavyo vilikuwa karibu visivyo na maana (r = 0.82–0.99, VIF hadi 45) na zilitaja dhana potofu katika asilimia 4.8–7.4% tu ya maoni, dhidi ya 15.0% kwa wakufunzi (Zhao et al., 2026).

Dhana Zilizounganishwa

Makala Zilizounganishwa

FAQ Zilizounganishwa

Metadata

Hadhira inayokusudiwaInstructors
Teknolojia na MbinuMifano Mikubwa ya Lugha (LLM)
Tathmini na UpimajiTathmini, Uhalali wa Tathmini, Tathmini ya Kiotomatiki, Kupima Insha kwa Kiotomatiki (AES), Tathmini ya Mchakato
Usawa, Maadili, na Matumizi ya UwajibikajiKupunguza Upendeleo
Misingi ya Akili Bandia katika ElimuKufundisha
SourceHistoryEditChat

Pachika ukurasa huu

Nakili msimbo ulio hapa chini ili kupachika ukurasa huu katika mfumo wa usimamizi wa kujifunza au tovuti nyingine. Toleo lililopachikwa linaonyesha maudhui ya ukurasa tu — linaficha kichwa cha tovuti, urambazaji, na kijachini.