Je, Ninaweza Kutumia AI Kupa Alama Kazi za Wanafunzi kwa Haki na kwa Uthabiti?

Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

Una rubriki unayoiamini, mawasilisho mengi kuliko saa zilizopo, na zana inayorudisha alama pamoja na aya kadhaa zenye kujiamini katika muda unaotosha kusoma insha moja. Unaijaribu kwenye kazi ulizokwisha zipa alama. Nusu ya alama zinaonekana sawa. Moja ni ya ukarimu wa ajabu, nyingine ni kali kwa ajabu, na bado huwezi kutambua kama hilo ni zana au ni insha.

Jibu fupi la kumpa mwenzako: AI ya kupa alama hupata nafasi kama msaidizi anayesimamiwa au msomaji wa pili, kwenye kazi ambazo umeihesabu dhidi ya kazi ulizokwisha zipa alama. Makubaliano hayahamishiki kati ya aina za tathmini. Katika mtihani wa famasia wenye wanafunzi kumi na sita, Falahat na wenzake (2026) walipata makubaliano karibu kamili kwenye aina za vipengele vyenye jibu la kiolengwa na makubaliano yasiyotegemewa kwenye majibu ya wazi. Katika vyuo vikuu vitatu vya Uingereza, mradi wa OpRaise ulipata wakadiriaji wa AI na wa binadamu wakikubaliana kuhusu bendi ya shahada kati ya 35% na 65% ya nyakati kutegemea taasisi, huku alama zikibanwa kuelekea katikati. Uhalalishaji wenye ufasaha si ushahidi kwamba vigezo vyako vilitumika. Kama matokeo ni halali kwa uamuzi wako ni swali la kienyeji unalopaswa kujijibu mwenyewe, na mtu hubaki kuwajibika kwa chochote kinachokuwa alama iliyorekodiwa.

Toleo fupi

1. Taja jukumu kabla ya kuendesha kitu chochote: msaidizi wa maoni, msomaji wa pili, au mkadiriaji mkuu. Kila jukumu linahitaji kiasi tofauti cha ushahidi.

2. Anza na jukumu lenye matokeo madogo zaidi linalotatua tatizo lako halisi. Kama ufunguo wa kubainisha ungetosha, LLM huongeza hatari badala ya thamani.

3. Sawazisha kwenye kazi ulizokwisha zipa alama, ikiwemo mawasilisho yenye nguvu, hafifu, ya mpaka na yenye muundo usio wa kawaida. Mifano iliyochaguliwa kwa urahisi haithibitishi chochote.

4. Tenganisha seti ya usawazishaji na seti ya majaribio, la sivyo unapima jinsi ulivyoiweka zana iendane na insha zinazojulikana.

5. Ripoti makubaliano halisi, tofauti za alama na mwelekeo wa upendeleo, si uwiano. Hakiki mipaka ya kufaulu na kushindwa hasa.

6. Waambie wanafunzi jukumu la zana, nani anaamua alama, na jinsi ya kuomba mapitio.

Amua AI inaruhusiwa kufanya nini

Mipangilio mitatu huitwa "AI ya kupa alama", na kila mmoja una wajibu tofauti.

Msaidizi wa maoni huandika rasimu ya maoni au kuashiria upungufu unaowezekana ili wewe ukubali, uandike upya au kuachana nao. Hatari inabaki kwenye ubora wa maoni, na unasoma kila kitu kabla hakijafika kwa mwanafunzi. Msomaji wa pili hupendekeza alama za vigezo au kuashiria kutokubaliana ili kupanga upaaji wako mwenyewe wa alama. Makosa yake yanapaswa kuwa ya manufaa badala ya kuwa makosa matupu: ishara inayokurudisha kwenye wasilisho ambalo ungelipa alama kwa ulegevu inafaa kuwa na thamani. Mkadiriaji mkuu huzalisha alama zinazokuwa alama zilizorekodiwa. Huo ndio mpangilio ambao ushahidi katika hifadhidata hii hauungi mkono nje ya hali nyembamba zilizohakikiwa kienyeji.

Chagua ngazi ya chini kabisa inayoshughulikia kikwazo chako halisi. Kama mzigo wako wa kupa alama unatokana na kuangalia ufunguo maalum wa majibu, upaaji wa alama wa kawaida wa kubainisha ni wazi na unaoweza kukaguliwa zaidi kuliko mfano wa lugha, na utafiti wa famasia unadokeza kwamba faida ya LLM kwenye vipengele vyenye jibu la kiolengwa ilikuwa sehemu ya athari ya kupewa majibu sahihi wakati wa kupa alama. Weka akiba mfano kwa kazi inayohitaji tafsiri, kisha hakiki tafsiri hiyo.

Tathmini ya kiotomatiki inashughulikia mashine pana zaidi ya upaaji wa alama, usawazishaji na uzalishaji wa maoni. Ukurasa huu ni swali la hukumu lililo chini yake.

Ushahidi unaonyesha nini kwa kweli

Makubaliano hutegemea aina ya kipengele. Falahat na wenzake (2026) walipa alama mtihani wa famasia wenye miundo mseto uliofanywa na wanafunzi 16 na kuripoti uwiano na upaaji wa alama wa kitivo kati ya 0.935 na 1.000 kwa vipengele vya chaguo-msingi, chagua-yote-yanayofaa na jaza-pengo. Makubaliano kwenye majibu ya wazi ya kimtazamo hayakuwa ya kutegemewa. Mambo mawili ni muhimu zaidi kuliko kichwa cha habari. Majibu sahihi yalitolewa wakati wa kupa alama, jambo linalopamba matokeo ya vipengele vyenye jibu la kiolengwa, na kuongeza rubriki hakukuboresha makubaliano kwa uthabiti, jambo linalodhoofisha dhana ya kawaida kwamba rubriki nzuri huibadilisha LLM kuwa mkadiriaji thabiti. Wanafunzi 16 hawawezi kuunga mkono dai kuhusu kozi yako. Tofauti iliyo ndani ya mtihani mmoja ndiyo ugunduzi unaoweza kuhamishwa: mfumo unaoshughulikia sehemu yako ya chaguo-msingi hausemi chochote kuhusu insha zako.

Makubaliano ya bendi ni ya wastani na hayalingani. Ripoti ya OpRaise ilichunguza insha halisi za saikolojia za shahada ya kwanza na kupata makubaliano kati ya wakadiriaji wa AI na wa binadamu kuhusu bendi ya shahada ya Uingereza ya 63% huko Cambridge, 53% huko Nottingham na 35% huko Manchester Metropolitan. Alama zilibanwa kuelekea katikati, huku mikia ikipa alama kwa usahihi mdogo zaidi: insha ambayo mtu aliipa 75 ilipewa alama chini kwa pointi kadhaa na kila mfumo wa AI, na insha iliyopewa 50 ilipewa juu kwa pointi kadhaa. Ubana huo ndio kushindwa kunakopaswa kuangaliwa, kwa sababu kunadhuru hasa wanafunzi walio juu na chini kabisa ya mgawanyo wako huku katikati kikionekana salama. Hii ni ripoti ya mradi badala ya jaribio lililopitishwa na wataalam wa rika, na ni onyo lenye manufaa zaidi katika msingi wa ushahidi.

Alama zako mwenyewe ni rejeo lisilo kamili. Waalimu hutofautiana wao kwa wao, na alama yako ya awali kwenye insha kama hiyo ni hukumu, si ukweli wa msingi. Makubaliano na mkadiriaji mmoja huthibitisha uthabiti na mkadiriaji huyo, jambo ambalo si sawa na haki. Pale uzito wa maamuzi unahalalisha, tumia msomaji wa pili mwenye sifa kutatua kesi ngumu, na chukua kutokubaliana kati ya AI na mkadiriaji wa binadamu kama kichocheo cha kusoma kazi hiyo upya badala ya hukumu ya upande upi uko sahihi.

Uthabiti na hukumu nzuri hutengana. Mfano unaweza kurudisha alama karibu zile zile kwenye uendeshaji upya huku ukitekeleza vigezo vyako vibaya, kwa sababu kurudiwa hupima uthabiti, si uhalali. Mikia ya OpRaise inaonyesha mtindo huo: mfumo ulikuwa thabiti na ukawa na makosa kuhusu insha zilizokuwa muhimu zaidi.

Hakiki utaratibu kabla haujagusa alama yoyote

Fanya hivi kwenye mawasilisho yaliyokwisha tathminiwa na yaliyolindwa ipasavyo, yanayojumuisha majibu unayopokea kweli: yenye nguvu, hafifu, ya mpaka, yasiyokamilika, yenye muundo usio wa kawaida, na majibu sahihi yaliyoelezwa kwa namna isiyojulikana.

1. Bainisha vigezo na dai ushahidi. Toa kazi, rubriki, kanuni za upaaji wa alama na mifano ya jinsi majibu mbadala halali yanavyopata alama. Omba uhalalishaji mfupi wa kiwango cha kigezo unaofungamana na vifungu vinavyotambulika. Kisha hakiki uhalalishaji huo dhidi ya wasilisho mwenyewe.

2. Tenganisha usawazishaji na tathmini. Sawazisha kwenye seti moja, jaribu kwenye nyingine. Bila mgawanyo huo huwezi kutofautisha utaratibu uliohakikiwa na ule uliowekwa vizuri tu.

3. Pima maamuzi yenye maana. Rekodi makubaliano halisi, ukubwa na mwelekeo wa tofauti za alama, na kama mfano hutoa alama za juu au za chini kwa utaratibu. Chunguza kufaulu, kushindwa na mipaka mingine yenye madhara yenyewe. Uwiano wa juu unaweza kukaa juu ya mabadiliko ya kimfumo.

4. Jaribu kurudiwa na tabia za vikundi vidogo. Endesha upya sehemu ndogo chini ya mipangilio ile ile. Tafuta makosa ya kiwango cha kigezo na lugha, muundo au mtindo halali kudhaniwa kuwa ufahamu hafifu. Hesabu ndogo za vikundi huunga mkono tahadhari, si dai la haki.

5. Andika kanuni ya kupandisha ngazi. Amua kesi zipi hupata upaaji wa alama wa binadamu kila mara na jinsi kutokubaliana kunavyotatuliwa. Usiruhusu kujiamini kunakotajwa na mfano kuamua; kujiamini kunahitaji kuhakikiwa dhidi ya makosa yaliyozingatiwa kabla ya kuwa na uzito.

6. Linda mtiririko wa kazi. Tumia mazingira yaliyoidhinishwa, punguza taarifa zinazotambulisha mtu, na weka rubriki na maelekezo kando na maudhui yaliyowasilishwa. Utenganishaji huo hufanya ujanja kuwa mgumu kufichwa. Haufanyi usiwezekane.

7. Rekodi kinachoweza kubatilisha ukaguzi. Weka mfano na toleo, kidokezo, rubriki na mipangilio. Sasisho la mfano au marekebisho ya rubriki ni sababu ya kurudia ukaguzi wa uwakilishi badala ya kudhani mwendelezo.

Fanya mpangilio uonekane kwa wanafunzi

Wanafunzi wana haki kujua jukumu la zana, nani anaamua, na jinsi ya kupinga matokeo. Ufichuzi usio wazi huzalisha mashaka; maelezo mahususi huzalisha uhusiano unaoweza kufanya kazi. Kitu kama: "Zana ya AI iliyoidhinishwa inaweza kuandika rasimu ya maoni ya rubriki kwenye rasimu yako. Ninapitia kila maoni na mimi huamua alama yako. Wasiliana nami kama maoni yanawakilisha vibaya kazi yako." Kisha fanya hilo liwe kweli.

Mielekeo miwili ya kushindwa inahitaji uangalifu tofauti. Makato kupita kiasi ndiyo wanafunzi wanayoripoti, na yanatawala rufaa. Alama zisizostahiliwa ndizo zisizotajwa na kuharibu rekodi kwa utulivu. Chukua sampuli kwa yote mawili, na jumuisha saa zako za uhakiki unapohukumu kama mtiririko wa kazi ulikuokolea chochote.

Kitakachokuja kwako

"Binadamu nao wana upendeleo." Wanaupendeleo, ndiyo sababu ulinganisho unahitaji vigezo dhahiri badala ya alama za mkadiriaji mmoja kuwa kiwango. Usambazaji wa kitaasisi wa OpRaise ndio hoja hapa: kama wakadiriaji wa binadamu katika vyuo vikuu vitatu walizalisha makubaliano ya bendi yaliyotofautiana kiasi hicho na mifumo ile ile, rejeo la binadamu ni sehemu ya kile kinachopaswa kubainishwa, si kipimo kisichobadilika.

"Rubriki huifanya kuwa ya kiolengwa." Rubriki hufanya matarajio kuwa dhahiri. Kuitumia kunabaki tafsiri, na utafiti wa famasia ulipata kwamba kutoa rubriki hakukuboresha makubaliano kwa uthabiti. Kinachokupatia rubriki ni kiwango cha ukaguzi kwa uhalalishaji, si uhakika wa alama.

"Ningelazimika kukagua kila kitu, jambo linaloharibu madhumuni." Kwa kazi zingine hilo ni hitimisho sahihi, na jibu ni kubana kazi. Kuandika rasimu ya maoni kutokana na madokezo yako mwenyewe ya upaaji wa alama kunaacha hukumu kwako na kuondoa uandishi. Ishara za msomaji wa pili kwenye mawasilisho ya mpaka hukusanya fikira zako pale zinapobadilisha matokeo.

"Mwenzako alijaribu na ikafanya kazi vizuri." Uliza alipima nini. Ukadiriaji chanya huishi pamoja na makosa katika fasihi hii kwa kawaida, na mwenzako aliyesoma matokeo machache ya busara amefanya onyesho, si uhakiki. Swali ni utaratibu wake ungefanya nini kwa insha ambazo ungeziona mwisho kabisa.

Cha kufanya wiki hii

1. Chagua tathmini moja na uandike jukumu moja ambalo AI ingefanya. Andika ni ushahidi upi ungekuwezesha kuipandisha ngazi moja juu.

2. Iendeshe kwenye mawasilisho matano uliyokwisha yapa alama, yaliyochaguliwa kujumuisha moja yenye nguvu, moja hafifu, moja ya mpaka na moja yenye muundo usio wa kawaida lakini halali.

3. Rekodi kila kutokubaliana pamoja na kazi na kigezo, na taja makosa ambayo ungeyaona hayakubaliki badala ya kuwa makosa matupu.

4. Jaribu kama tofauti za alama zinaenda upande mmoja kwa uthabiti, na hakiki mpaka wako wa kufaulu na kushindwa kando.

5. Andika rasimu ya aya ya ufichuzi kwa wanafunzi na njia ya mapitio, na linganisha muda wako wa uhakiki na muda wa kupa alama ulioepuka.

Wapi kwenda baadaye

Uhalali wa tathmini ni dhana inayoamua maswali haya: kama ushahidi unaunga mkono uelekezaji unaotaka kufanya. Tathmini ya Kiotomatiki inashughulikia teknolojia na utendaji wake uliopimwa katika miundo mbalimbali, na AI Inaweza Kunisaidia Vipi Kutoa Maoni Bora kwa Kiwango Kikubwa? inashughulikia tatizo la karibu la maoni yaliyozalishwa na kama wanafunzi wanayatekeleza.

Kwa kile alama inapaswa kuwakilisha pindi wanafunzi wanatumia AI, ikiwemo ubadilishaji wa dhana na ushahidi wa mchakato uliothibitishwa, tazama kubuni upya tathmini katika enzi ya AI. Kwa kama utambuzi unaweza kuchukua nafasi ya muundo wa kazi unaoweza kutetewa, tazama kama tutumie vitambuzi vya AI. Kwa swali la tathmini lililo chini ya yote, tazama kukagua kama AI ya kielimu inafanya kazi.