Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

What Measures and Research Methods Can an Instructor Use to Evaluate AI-Related Interventions?

Linganisha mbinu na dai. Kama unataka kujua kama wanafunzi walipenda shughuli ya AI, utafiti unaweza kusaidia. Kama unataka kujua kama walijifunza, tumia vipimo vya utendaji. Utafiti ni kipimo cha kujiripoti — chombo sahihi kwa mitazamo na kisicho sahihi kwa kujifunza, kwa sababu zilizokusanywa kwenye ukurasa huo. Kama unataka kujua kama AI ilisababisha kuboreshako, unahitaji hali ya kulinganisha inayoaminika na vizuri zaidi mgawo wa bahati nasibu.

Chaguo za mbinu

Ukurasa wa Mbinu za Utafiti katika AIED unatofautisha chaguo kadhaa muhimu:

• Majaribio ya bahati nasibu yanatoa uamuzi wa sababu unao nguvu zaidi.
• Mabuni ya kabla/baada ya kijaribio-kama au ya makundi yanalingana mara nyingi ni ya vitendo zaidi katika madarasa yaliyo kamili lakini yanaunga mkono madai dhaifu ya sababu.
• Kitaaluma mahojiano, makundi ya lengo, uchunguzi, na uchanganuzi wa hati hufichua michango na uzoefu usiotarajiwa.
• Uchanganuzi wa kitaaluma unaosaidiwa na AI unaweza kupanga upya korpusi za mahojiano au uchunguzi kwa dakika, hivyo uwezekano wa kuthibitisha ni muhimu kama usahihi au ufichuo: rekodi mipango iliyorekodiwa inayoruhusu msomaji kuchunguza, kupinga, na kubadilisha njia kutoka kwa data hadi dai.
• Mbinu mchanganyiko zinaunganisha ushahidi wa matokeo na maelezo ya kwa nini madhara yalitokea.
• Utafiti unaotegemea mabuni ni muhimu wakati wakufunzi wanaboresha muingilio hatua kwa hatua katika kozi halisi.

Njia yoyote unayotumia, ni hali tatu tu zinazofanya dai la sababu kueleweka: matibabu yaliyoelezewa kwa usahihi, hali ya kulinganisha iliyoelezewa vizuri, na kipimo halali cha kujifunza cha kudumu. Weidlich na wenzake (2025) wanakagua kulinganisha 19 za ChatGPT katika elimu dhidi ya vigezo hivi haswa na wanagundua kuwa ni 4 (21%) tu zinazokidhi zote tatu — 74% zilikuwa na matibabu yaliyoelezewa vizuri, 42% zilikuwa na kikundi cha udhibiti kilichoelezewa vizuri, na 53% zilikuwa na matokeo yaliyostahiki kama kujifunza. Chombo cha matumizi ya jumla kilicholetiwa pamoja na shughuli mpya, maoni, au mabuni ya kiolesura huchanganya njia na mbinu, hivyo matokeo yenye maana hayawezi kuhusishwa na AI.

Tathmini ya darasa inayoweza kudhibitiwa

Kwa tathmini ya darasa inayoweza kudhibitiwa, kiwango cha chini kinachofaa ni kipimo cha msingi, muingilio, kipimo cha baada ya papo, na kipimo cha baadaye bila msaada. Popote inavyowezekana, jumuisha hali ya kulinganisha kama mazoezi yaliyopo, bila AI, AI isiyo na vizingiti dhidi ya AI yenye ngazi za msaada, au mabuni mawala mbadala. Pima utendaji unaosaidiwa na kujifunza kwa uhuru kwa njia tofauti.

Muhtasari wa Tathmini ya AIEd unapendekeza matokeo kama faida ya kujifunza bila msaada, uhifadhi wa kuchelewa, uhamishaji kwa kazi mpya, ubora wa kufikiri, Dhana Potofu Kuhusu AI, kupokea maoni, na utendaji wa vikundi vidogo. Ushiriki, kuridhika, kumbukumbu za matumizi ya AI, ujuzi wa kujitegemea, na faida inayoonekana vinaweza kuwa vipimo vya pili vyenye thamani lakini havitumiki kama mbadala wa kujifunza. Mzigo wa kazi wa mkufunzi na akiba ya muda ni pia matokeo halali ya utekelezaji.

Tahadhari mbili hutumika kwa jinsi matokeo yanavyosomewa. Kwanza, madhara ya wastani kutoka kwa fasihi ni mwongozo dhaifu kwa darasa moja: ukaguzi wa O'Neill (2026) wa meta-analyses 14 za athari kubwa uligundua kwamba hakuna moja iliyotoa msingi halali kwa madai yake — zilichanganya alama za majaribio za "mafanikio ya kitaaluma", motisha, Uwezo Binafsi, na mitazamo katika kipimo kimoja, heterogeneity iliyoripotiwa ilikuwa kali (I² ilitoka 77.2% hadi 94.4% katika uchanganuzi 13 ulioripoti, na 12 kati ya hao 13 zilikuwa juu ya 80%), zote 14 zilitathmini upendeleo wa kuchapisha vibaya, na 61% ya masomo ya msingi yaliyokaguliwa kwa bahati nasibu yalikuwa na matatizo ya uhalali, wakati takwimu ambazo zingonyesha jinsi matokeo ya mtu mmoja yalivyotawanyika kwa kweli zilikuwa hazipatikani kwa kiasi kikubwa (uchanganuzi nne tu uliripoti tofauti ya kati ya masomo na mbili tu ziliripoti kipimo cha utabiri, zote mbili zikijumuisha sufuri). Pili, alama rahisi inaweza kupima dhana isiyo sahihi: katika tathmini ya mawakala wanane wa kufundisha wa AI, wakala aliyejiweka nafasi ya tatu kwa alama ya jukwaa mwenyewe aliweka nafasi ya mwisho kwenye rubriki iliyothibitishwa na mtaalam, kwa sababu alama za jukwaa zilipima utendaji wa mwanafunzi wakati wa mwingiliano badala ya ubora wa ufundishaji wa wakala. Tendea kipimo chochote cha dashibodi kama dhana ya kuthibitisha dhidi ya kipimo kilichounganishwa na uwezo unaokusudia kuendeleza.

Kwa kile ushahidi wa sasa unaonyesha na kile ambacho haonyeshi, na ambapo unabaki hafifu, ona Je, Kutumia AI Kwa Kweli Husaidia Wanafunzi Wangu Kujifunza? na Ni Pengo Gani Lililo Wazi katika Fasihi ya Utafiti kuhusu Akili Bandia katika Elimu?.