AIEd Hifadhi ya MaarifaAIEd KB
Kwenye ukurasa huu

Matoleo yote

Taarifa ya Kila Wiki ya Utafiti wa AI katika Elimu #1

Tafsiri ya kiotomatiki ya ukurasa huu wa Kiingereza, ambayo haijakaguliwa na mzungumzaji mzawa.

Muhtasari wa kila wiki kutoka Hifadhi ya Maarifa ya AI katika Elimu, kuhusu maana ya utafiti uliochapishwa wiki iliyopita kwa walimu, watengenezaji, watafiti na wasimamizi.

Wiki hii ilileta tafiti 71 mpya na rasilimali mbili mpya, ikifikisha hifadhi ya maarifa kwenye muhtasari 1,805 wa makala, kurasa 220 za dhana, FAQ 37 na rasilimali 33. Tafuta au tumia AI kuzungumza na hifadhi ya maarifa.

Yaliyomo

Mambo makuu na maswali

Matokeo makuu mawili ya wiki hii yanasema kitu kimoja: alama si matokeo. Jaribio la mikono mitatu lilipandisha alama za mazoezi kutoka 29.85% kwa wavuti huria hadi 71.84% kwa ChatGPT isiyo na kikomo, wakati kujifunza dhana hakukutofautiana kabisa, hivyo alama ya juu chini ya ufikiaji wa AI si ushahidi kwamba wanafunzi walijifunza zaidi. Vigunduzi kumi na tatu vilibaini maandishi ya binadamu kwa viwango kuanzia 0% hadi 100% baada ya uhariri mmoja wa nakala, hivyo alama ya kigunduzi si ushahidi wa utovu wa nidhamu.

Kwa walimu

Mwalimu wa ziada anaweza kupandisha kazi ya nyumbani na kuacha mtihani pale palipokuwa

Chen na wenzake walifanya jaribio la nasibu kwa wanafunzi 153 wa uandishi wa uthibitisho katika Carnegie Mellon kupata mwalimu wa ziada wa uthibitisho mapema au baadaye, kisha wakapima mtihani uliofanywa bila AI chumbani. Alama za kazi za nyumbani zilipanda pointi 2.56 wakati zana ilipokuwepo. Alama za mtihani wa kati hazikutofautiana. Mara kila mtu alipopata ufikiaji na kuchagua kipimo chake mwenyewe, kila ujumbe 100 wa ziada wa chatbot uliambatana na alama ya chini kwa pointi 3.02 kwenye mtihani uliofuata, na wanafunzi wenye uwezo binafsi wa msingi wa chini ndio waliotumia zaidi.

Kile kinachobadilika kwako: alama iliyopatikana wakati mwalimu wa ziada yuko wazi si ushahidi wa kile mwanafunzi anaweza kufanya bila yeye, hivyo kazi isiyo na msaada lazima ibebe uzito huo. Inamaanisha pia kwamba wanafunzi walio katika hatari zaidi ya kutegemea zana ndio wasiojiamini zaidi mwanzoni, jambo linaloonekana katika matumizi kabla ya kuonekana katika alama.

Mazungumzo yasiyo na kikomo hupandisha alama zaidi kuliko mwalimu wa ziada aliyejengwa vizuri

Katika jaribio la mikono mitatu katika kozi ya CS1 huko Munich, wanafunzi 275 walitumia dakika 90 kwenye zoezi la Java wakiwa na mwalimu wa ziada anayetoa vidokezo, na ChatGPT isiyo na kikomo, au na wavuti huria. Alama za zoezi zilikuwa 71.84%, 57.50% na 29.85%. Ongezeko la maarifa ya dhana lilikuwa pointi 0.83, 0.71 na 0.85, na tofauti kati ya hali haikuwa karibu na umuhimu (p = .773). Hali zote mbili za AI zilipunguza kufadhaika; mwalimu wa ziada pekee alipandisha motisha.

Tofauti ya alama inahusu zaidi zao la kazi kuliko kujifunza. Ikiwa unatoa alama kwa zoezi, hali za AI zinapimwa kwenye kazi tofauti.

Chatbot zilizojengwa na walimu hushindwa kwenye nia, si kwenye ukweli

EduWild ilikusanya mazungumzo 1,726 kutoka bot 217 za Playlab zilizosanidiwa na walimu, ikiwemo 900 kutoka kwa wanafunzi zilikopelekwa. Bot ziliruka hatua zinazohitajika za mtiririko katika 53.8% ya mazungumzo ya watumiaji wa mwisho, hazikuweka wazi jukumu lao kabisa katika 33.4%, na ziliwaelemea wanafunzi kwa taarifa au maswali katika 37.1%.

Kabla ya kupeleka bot uliyoijenga au uliyoirithi, soma zamu yake ya kwanza na hakikisha inaeleza ni nini na kinachofuata. Hitilafu zilizoandikwa hapa ziko kwenye maelekezo, na zinaweza kurekebishwa kwenye ilani bila kugusa modeli.

Uamuzi wa kigunduzi si ushahidi

Seti ya data ya huduma ya uhariri iliwapa Park na wenzake jozi 135,389 za hati zinazoshikilia mwandishi, mada na maudhui bila kubadilika wakati lugha pekee inabadilika. Katika vigunduzi 13, matokeo ya uongo kwenye maandishi ya kitaaluma yaliyoandikwa na binadamu yalikuwa kuanzia 0% hadi 100%, na uhariri ule ule ulisukuma vigunduzi katika mielekeo tofauti. Kando na hayo, kikundi cha wahitimu wa muda kilipoteza kigunduzi chao kabisa kwa sababu kiliibaini vikagua sarufi, na sasa wanasoma kutafuta marejeleo ya kubuniwa na kutenganishwa na nyenzo za kozi.

Ikiwa umekuwa ukiweka alama ya kigunduzi mbele ya mwanafunzi, hasa mwanafunzi anayeandika kwa lugha ya pili, huu ni wiki wa kuacha kutumia vigunduzi. Ishara zinazotegemea usomaji katika utafiti wa pili ndio mbadala wa kivitendo.

Muundo wa tathmini ni chaguo kati ya vikwazo vitatu, si utafutaji wa kanuni

Pedlow, Fischer na Williams wanahoji kwamba tatizo si uhaba wa kanuni za muundo bali kutokuwepo kwa njia ya kufikiri kuhusu zile zinazovutana. Trilema yao mbili huchukulia uhalisia, uwezo wa kuonekana na uwezekano katika tathmini, na ubainifu, wakati na mzigo wa kazi katika maoni, kama vikwazo unavyobadilishana kwa makusudi.

Unapoulizwa kuunda upya tathmini kwa ajili ya AI, mfumo huo hugeuza swali lililo wazi kuwa hoja fupi unayoweza kuirekodi na kuitetea.

Faida za kuzungumza kutoka chatbot hazilingani kwa kila kipengele

Soriano-Gonzalez na Belda-Medina walichuja rekodi 306 hadi tafiti kumi na kuuliza ni vipi kati ya vipengele sita vya CEFR vya lugha inayozungumzwa vilivyobadilika kweli. Uwanda na uelewekani viliboreshwa katika tafiti nne kila kimoja, mshikamano katika moja, mwingiliano karibu hakuna. Nne kati ya kumi ziliripoti alama moja ya jumla, hivyo faida zao haziwezi kuhusishwa na kipengele chochote.

Dai la muuzaji la "kuzungumza kuliboreshwa" linaweza kuendana na mabadiliko ambayo utafiti haukupima kabisa. Kwa kusikiliza, Goh na Aryadoust wanaona ushahidi mwembamba zaidi.

Ujuzi wa maoni na ushiriki hulisha kila mmoja

Paneli ya mawimbi matatu ya wanafunzi 399 wa shahada ya kwanza iligundua ujuzi wa maoni ya AI ukitabiri ushiriki wenye uwezo wa kujitegemea baadaye (β = 0.222) na njia ya kinyume ikiwa na nguvu sawa (β = 0.263), bila msingi wa kitakwimu wa kupanga mpangilio wa hayo mawili.

Kuwafundisha wanafunzi kusoma na kutumia maoni si sharti unalomaliza kabla ushiriki haujaanza. Hayo mawili husonga pamoja, hivyo kozi inayojenga moja tu inajipinga yenyewe.

Kwa watengenezaji

Kesi ngumu ndiko walimu wa ziada bado wanashindwa, na upatikanaji wa mikakati huwasaidia modeli za kiwango cha kati

TutorCaseBench iligeuza tafiti za kesi za ubora kuwa mazungumzo 923 ya zamu sita katika aina tano za changamoto na ikapima modeli 11 dhidi ya rubriki maalum za kesi. Modeli bora ilikidhi uingiliaji ulioandikwa katika 55.8% ya kesi zilizo wazi, na hiyo ndiyo namba ya kubuni dhidi yake. Kutoa mkakati ulioandikwa katika fasihi ya kesi kuliinua modeli 10 kati ya 11 kwa wastani wa pointi 9.9, huku Llama 4 Maverick ikihama kutoka 41.0% hadi 64.8%, wakati modeli yenye nguvu zaidi ilibaki palepale 71.3%.

Upatikanaji wa mikakati ya marejeleo unafaa kujengwa kwa modeli unazoweza kumudu. Hautaokoa modeli ya mbele ambayo tayari ina mfumo huo.

Thibitisha kwa mazungumzo yaliyopelekwa, si kwa ilani za maabara

Seti ya data ya EduWild inaoanisha kila mazungumzo na ilani ya mfumo na mipangilio iliyo nyuma yake, ndiyo inayofanya hitilafu iweze kuchambuliwa: 53.8% ya mazungumzo ya watumiaji wa mwisho yaliruka hatua inayohitajika. Usanidi ulioandikwa na mwalimu ni uso tofauti wa hitilafu kutoka uwezo wa modeli, na mfumo wa kiwango cha ilani ulirejesha nia bila kuondoa udhibiti wa mwalimu.

Ikiwa bidhaa yako inaruhusu walimu kuandika maelekezo, seti yako ya majaribio lazima iwe maelekezo yao, yaliyokusanywa baada ya kupelekwa.

Kipimo cha rubriki katika ubora wa maoni ndicho ambacho hakuna anayekipima

Yang alichunguza tafiti 68 za maoni yanayotolewa na AI. Uhalali wa ushahidi unaonekana katika 47 kati yao, manufaa ya kielimu katika 58, na upatanisho wa rubriki na kazi katika 19. Upatanisho ni kipimo ambacho bidhaa inaweza kudhibiti kwa moja kwa moja zaidi, na ndicho kinachochunguzwa kidogo zaidi.

Hiyo ni fursa: jenga kwa kuzingatia rubriki ambayo kazi tayari inaitumia, na sema hivyo, kwa sababu ushahidi uliochapishwa hautawaambia wanunuzi kama mtu mwingine yeyote anafanya hivyo.

Uwezo wa kuchukua hatua ni lengo la muundo, si anasa

Tamme, Schilling na Hantel wanapendekeza kubadilisha utafiti wa maandishi wa mwisho wa muhula kwa mahojiano ya simu yanayoendeshwa na wakala wa AI, kwa hoja kwamba chombo cha maandishi kinashindwa kwenye kiwango cha majibu, kina na uwezo wa kuchukua hatua. Ni pendekezo badala ya jaribio la uwandani. Madai ya muundo ni mahususi vya kutosha kuazima: uliza maswali ya ufuatiliaji, hitaji sababu, rudisha kitu ambacho mpokeaji anaweza kukitumia.

Kwa watafiti

Kujiripoti na utendaji mara nyingi hufikia hitimisho tofauti

Fan na wenzake walichora ramani ya mbinu za upimaji katika rekodi 2,099, kisha wakachunguza kesi 51 ambapo chombo cha kujiripoti na mtihani, ukadiriaji au athari vilipima kipimo kile kile. Jibu la kama vyote viwili vinakubaliana mara nyingi ni hapana. Pale vinapotofautiana, uwezo wa kuonekana wa kipimo unaeleza hilo vizuri zaidi kuliko ubora wa utafiti.

Kubadilisha kimoja kwa kingine ni uamuzi wa upimaji wenye mwelekeo, si urahisi. Ripoti ni kipi dai lako linategemea.

Mazao ya kazi huficha uhamishaji wa mzigo, hivyo pima mchakato

Kontorovich na Wallach waliweka alama kwa ilani 429 katika kumbukumbu 59 za mazungumzo kama athari za kujidhibiti na wakalinganisha kila moja na kazi iliyokabidhiwa. Kumi kati ya wanafunzi kumi na tano waliokamilisha kazi zote tatu walibadilisha jukumu walilompa modeli kadri kazi ilivyobadilika, lakini mawasilisho 53 kati ya 59 yalitoa tena zao la modeli au kulirekebisha kwa umbo pekee.

Mawasilisho peke yake hayawezi kutofautisha matumizi na kubadilisha. Data ya mchakato inaweza, na mpango wa uwekaji alama hapa unaweza kutumika tena.

Kipimo kilichothibitishwa cha utegemezi katika kazi zilizo wazi

Vipimo vingi vya utegemezi hukisia utegemezi kutoka kama mwanafunzi alifuata ushauri sahihi, jambo linalohitaji jibu linaloweza kukaguliwa. Hou na wenzake walijenga na kuthibitisha kipimo cha vitu 16 kwa kujifunza kwa kutatua matatizo, ambapo jibu kama hilo halipo.

Vigezo vya vigunduzi huharibika, hivyo ripoti mpinzani

Ren, Raghavan na Garg wanatenganisha swali la ugunduzi katika utenganishaji na mwendo. Vipimo vya msingi vinavyosimamiwa hutenganisha maandishi ya binadamu na ya mashine karibu kikamilifu ndani ya usambazaji, wakati kigunduzi cha kibiashara Pangram kilishuka hadi usahihi uliosawazishwa wa 63.5% na ukumbusho wa 27% dhidi ya ilani iliyoandikwa kukiepuka.

Namba zinazoripotiwa bila jaribio la kuepuka zinaeleza ulimwengu ambao haupo tena. Na fasihi ya mapitio ni nyembamba pale inapohitajika: kati ya tafiti 51 za maoni ya GenAI kwenye uandishi wa lugha ya pili, 5 zinakagua kama maoni ni sahihi.

Kwa wasimamizi

Utawala mwingi wa AI katika elimu ni mwongozo, si sheria

Elmahjub na wenzake walisoma kwa makini hati 160 za utawala za Kiingereza, kutoka rekodi 498. Nne pekee zina umbo rasmi la kisheria au udhibiti, wakati 92 ni miongozo, mifumo, zana au vitabu vya mwongozo. Uwajibikaji unaonekana katika hati 146 lakini umeoanishwa na mhusika aliyeitwa wa uangalizi katika 100.

Sera isiyo na mmiliki aliyetajwa na utaratibu ni tamko la nia. Mapitio yanakupa sehemu za kukagua hati yako mwenyewe dhidi yake.

Ununuzi wa vigunduzi unahitaji namba ya matokeo ya uongo

Vigunduzi kumi na tatu, maandishi ya kitaaluma yaliyoandikwa na binadamu kama udhibiti, matokeo ya uongo kuanzia 0% hadi 100%. Angalau taasisi moja tayari imestaafisha kigunduzi chake kwa sababu kiliibaini vikagua sarufi. Ikiwa muuzaji hatakupa kiwango cha matokeo ya uongo kwenye kazi ya binadamu katika taaluma yako, huwezi kuweka bei ya hatari ya kinidhamu.

Mwelekeo ulioandikwa katika tathmini ni mchakato, uhalisia na kazi ya mdomo

Crompton na Burke wanapitia tafiti 72 kutoka nchi 24 na taaluma 20 na kugundua majibu matatu ya muundo yanayojirudia: tathmini inayozingatia mchakato, halisi na ya mdomo. Msingi wa ushahidi ni mpana na mwembamba kimbinu, tafiti nyingi zinahusu kozi moja, na hakuna kati ya hayo kinabadilisha mwelekeo.

Utekelezaji umezidi uelewa miongoni mwa walimu

Miongoni mwa walimu 132 wa K-12 wa Indonesia, 96.2% wanaunga mkono matumizi ya AI na walimu na 84.6% wanaunga mkono matumizi ya wanafunzi, lakini 69.2% walitoa maelezo yasiyo wazi au potofu kuhusu kile chatbot hufanya na maelekezo.

Kuunga mkono katika utafiti si uwezo darasani. Pengo la maendeleo ya kitaaluma hapa linaonekana kabla ya kupelekwa kwa zana yoyote, na chombo ni kifupi vya kutosha kutumika tena kama tathmini ya mahitaji.

Badilisha utafiti wa kozi tu ikiwa mbadala unaweza kutumika

Pendekezo la mahojiano ya sauti linalenga hali za kushindwa zinazofanya utafiti wa mwisho wa muhula kuwa bure: kiwango cha majibu, kina, kuridhika kwa haraka na majibu ambayo hakuna anayeweza kuyatumia. Lichukulie kama vipimo vya chochote utakachotumia badala yake, si kama ushahidi kwamba toleo la AI linafanya kazi.

Dhana inayoangaziwa

Kurasa nne za dhana zilipeleka matokeo ya wiki hii kwenye tabaka la muunganisho. Kila moja ni ukurasa wa kudumu badala ya wa mara moja, hivyo ushahidi mpya unakaa pamoja na kile ukurasa ulikwisha hoji.

Kujifunza lugha

Ukurasa sasa unasema wazi kwamba ushahidi kuhusu faida za kuzungumza kwa chatbot hauzilingani kwa kila kipengele, na kwamba nne kati ya tafiti kumi zilizounganishwa ziliripoti alama moja ya jumla, ndiyo sababu faida zao haziwezi kuhusishwa na kipengele. Soma ukurasa wa kujifunza lugha kabla ya kununua au kujenga mazoezi ya mdomo.

Ufafanuzi wa akili bandia

Ugunduzi wake mpya ni matokeo ya upatikanaji: kutoa mikakati ya marejeleo huinua walimu wa ziada dhaifu na kuacha wenye nguvu pale walipokuwa. Huo ni uamuzi wa ujenzi, na ukurasa wa ufafanuzi wa akili bandia unautenganisha na madai ya zamani kuhusu ubora wa vidokezo.

Vipimo vya kujiripoti

Kesi mpya iliyo wazi zaidi ya pengo la kujiripoti ni nia, ambapo alama moja ilifunika matumizi yenye mwelekeo wa kujifunza, yenye mwelekeo wa njia za mkato na mchanganyiko katika sampuli ile ile ya wanafunzi 340, ikiwa na vitu 68 vilivyotolewa tena na mahojiano manane nyuma ya dai, yote yakiwa yameandikwa kwenye ukurasa wa vipimo vya kujiripoti.

Utawala wa AI

Ukurasa sasa unaanza na ugunduzi wa umbo la chombo: 4 kati ya hati 160 zinafunga, 92 ni za ushauri, na uwajibikaji umetajwa kama mhusika katika 100 pekee. Ukurasa wa utawala unabadilisha swali kutoka kile sera inasema hadi kama inaweza kutenda.

Rasilimali mpya

Rasilimali mbili zilijiunga na maktaba ya rasilimali wiki hii, moja ikiwa imeandikwa kwa taasisi inayopaswa kuamua jinsi programu inavyojengwa kwa AI na moja kwa mwalimu anayepaswa kuamua kama msimbo wa mwanafunzi ni wake mwenyewe.

Campus AI Development

Campus AI Development ni mwongozo wa wavuti wa bure ulioandikwa kutoka upande wa taasisi katika swali hilo. Unaeleza njia ambazo kampasi inaweza kujenga programu kwa AI, kuanzia uandishi wa haraka hadi kazi inayosimamiwa ya mawakala wengi, na kuoanisha kila njia na njia ya mapitio, kikomo cha data na udhibiti unaolingana nayo. Unaambatana na Campus AI Framework, ambao huamua kama zana ya AI inaweza kutumika kabisa; mwongozo huu unashughulikia nini cha kufanya pindi jibu linapokuwa ndiyo. Tovuti haitoi leseni yoyote kwa maandishi yake.

Code Viva

Code Viva ni zana ya bure ya kivinjari inayofanya utetezi wa mdomo uweze kupanuka: viva ya maandishi na yenye muda kwa kila mwanafunzi katika kozi ya programu, dakika kumi na tano hadi ishirini kila mmoja, bila mwalimu chumbani. Inasoma msimbo uliokabidhiwa na historia ya commits za mwanafunzi, inaandika maswali manne hadi sita kuhusu kazi, majina na commits za mwanafunzi huyo, na kumpa kila mwanafunzi kiungo binafsi cha kujibu. Maswali yanatokana na kanuni zinazotumika kwenye mawasilisho badala ya wito wa modeli, na mwalimu hupata alama zinazopendekezwa pamoja na ushahidi ulionukuliwa nyuma ya kila moja, ili kuzikubali au kuzibadilisha. Tovuti haitoi leseni wala hazina ya chanzo.

Mengineyo yaliyoongezwa wiki hii

Tafiti nyingine, pamoja na mbinu na muhtasari, zimeorodheshwa siku kwa siku kwenye ukurasa wa jarida.

Maelezo kuhusu tovuti

Kurasa mbili zilionekana wiki hii. Kumbukumbu ya taarifa inashikilia kila toleo, pamoja na mlisho wake kando ya mlisho wa hifadhi ya maarifa, na orodha ya dhana inaweka kurasa zote 220 za dhana kwenye ukurasa mmoja, katika sehemu zile zile za upau wa kando, hivyo sasa kuna mahali pa kumpeleka msomaji anayetaka seti yote.

Mambo mengine yote yalikuwa kazi kwenye kile kilichokuwepo tayari: kurasa za dhana na FAQ ziliandikwa upya, maandishi yaliboreshwa, na tafsiri zilisasishwa katika lugha zote.

Tovuti imejengwa kwa mtindo tuli, na maudhui, msimbo na zana zake ni za umma katika github.com/edtechdev/aied, ambapo kila mabadiliko yaliyoelezwa hapo juu yanaweza kusomwa.

Fuatilia taarifa

Pata kila toleo kupitia mlisho wa taarifa katika kisomaji cha milisho, kwa kuweka mlishe huo huo kwenye Blogtrottr ili matoleo mapya yatumwe kwako kwa barua pepe kwa ratiba unayochagua, au kwa kuifuatilia kwenye LinkedIn, ambapo kila toleo huchapishwa kama taarifa ya LinkedIn.

AIEd Research Weekly Update linatoka kwenye Hifadhi ya Maarifa ya AI katika Elimu, ambayo wakala wa AI huizalisha. Toleo hili liliandaliwa na wakala huyo huyo wa AI, kwa mwongozo wa uhariri kutoka kwa mtengenezaji wa tovuti, na kila dai hapo juu linaunganisha ukurasa lilikotoka.

Hifadhi ya maarifa imewekwa wakfu kwa uwanja wa umma chini ya leseni ya CC0 1.0. Hakuna haki iliyohifadhiwa.

Umepata tatizo na maudhui? Ripoti kwenye GitHub, au wasiliana na mtengenezaji wa tovuti, Doug Holton.

ChanzoHistoriaHaririGumzo

Pachika ukurasa huu

Nakili msimbo ulio hapa chini ili kupachika ukurasa huu katika mfumo wa usimamizi wa kujifunza au tovuti nyingine. Toleo lililopachikwa linaonyesha maudhui ya ukurasa tu — linaficha kichwa cha tovuti, urambazaji, na kijachini.