AIEd TudásbázisAIEd KB
Ezen az oldalon

Összes kiadás

AIEd kutatási heti összefoglaló #1

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

Heti összefoglaló az MI az oktatásban tudásbázisból arról, mit jelent az elmúlt héten megjelent kutatás az oktatók, a fejlesztők, a kutatók és az intézményvezetők számára.

Ezen a héten 71 új tanulmány és két új forrás érkezett, amivel a tudásbázis 1 805 cikkösszefoglalóra, 220 fogalomoldalra, 37 GYIK-bejegyzésre és 33 forrásra bővült. Keressen, vagy használja az MI-t, hogy beszélgethessen a tudásbázissal.

Tartalom

Fő eredmények és kérdések

A hét mindkét fő eredménye ugyanazt mondja: a pontszám nem azonos a kimenettel. Egy háromkarú kísérlet a feladatpontszámokat 29,85%-ról 71,84%-ra emelte a nyílt webbel szemben, ha korlátlan ChatGPT állt rendelkezésre, miközben a fogalmi tanulás egyáltalán nem különbözött, tehát az MI-hozzáféréssel szerzett magasabb jegy nem bizonyítja, hogy a hallgatók többet tanultak. Tizenhárom detektor ember által írt kéziratokat jelölt meg 0% és 100% közötti arányban egyetlen másolatszerkesztés után, tehát egy detektorjelzés nem bizonyíték kötelezettségszegésre.

Oktatóknak

Egy tutor emelheti a házi feladatot, és hagyhatja a vizsgát a helyén

Chen és munkatársai a Carnegie Mellon 153 bizonyításírást tanuló hallgatóját randomizálták arra, hogy korán vagy későn kapjon bizonyítási tutort, majd egy olyan vizsgát mértek, amelyen nem volt MI a teremben. A házi feladat pontszámai 2,56 ponttal emelkedtek, amíg az eszköz elérhető volt. A félévközi pontszámok nem különböztek. Miután mindenki hozzáfért, és maga választotta meg az adagját, minden további 100 chatbot-üzenet 3,02 ponttal alacsonyabb pontszámmal járt a következő vizsgán, és azok használták a legtöbbet, akiknek alacsonyabb volt a kiinduló önhatékonysága.

Mit változtat ez Önnél: a tutor nyitva tartása mellett szerzett jegy nem bizonyítja, mire képes a hallgató nélküle, ezért a támogatás nélküli feladatnak kell ezt a súlyt hordoznia. Ez azt is jelenti, hogy a rátámaszkodás kockázatának leginkább kitett hallgatók a legkevésbé magabiztosak, ami a használatban hamarabb látszik, mint a pontszámokban.

A korlátlan chat jobban felfújja a pontszámokat, mint egy jól megépített tutor

Egy müncheni CS1-kurzus háromkarú kísérletében 275 hallgató 90 percet töltött egy Java-feladaton hintadó tutorral, korlátlan ChatGPT-vel vagy a nyílt webbel. A feladatpontszámok 71,84%, 57,50% és 29,85% lettek. A fogalmi tudás növekedése 0,83, 0,71 és 0,85 pont volt, és a feltételek közötti különbség messze nem volt szignifikáns (p = 0,773). Mindkét MI-feltétel csökkentette a frusztrációt; csak a tutor emelte a motivációt.

A pontszámok szórása főleg a produktumról szól, nem a tanulásról. Ha a feladatot osztályozza, az MI-feltételekben egy másik feladatot osztályoz.

A tanárok által épített chatbotok a szándékon vallanak kudarcot, nem a tényeken

Az EduWild 1 726 beszélgetést gyűjtött 217 tanár által konfigurált Playlab-bottól, köztük 900-at azoktól a hallgatóktól, akiknek telepítették őket. A botok a végfelhasználói beszélgetések 53,8%-ában kihagyták a kötelező munkafolyamat-lépéseket, 33,4%-ban soha nem tisztázták a szerepüket, és 37,1%-ban információval vagy kérdésekkel terhelték túl a tanulókat.

Mielőtt telepít egy botot, amelyet Ön épített vagy örökölt, olvassa el az első körét, és ellenőrizze, hogy elmondja-e, mi az, és mi következik utána. Az itt dokumentált hibák az utasításokban vannak, és a promptban javíthatók a modell érintése nélkül.

Egy detektor ítélete nem bizonyíték

Egy szerkesztőszolgálat adathalmaza Park és munkatársai számára 135 389 dokumentumpárt adott, amelyekben a szerző, a téma és a tartalom rögzített, és csak a nyelv változik. 13 detektor esetében az ember által írt tudományos szövegen mért téves pozitív arány 0% és 100% között mozgott, és ugyanazok a szerkesztések ellentétes irányba mozdították a detektorokat. Külön esetben egy csoport óraadó teljesen elveszítette a detektorát, mert az helyesírás-ellenőrzőket jelölt meg, és most inkább a kitalált hivatkozásokat és a kurzusanyagtól való elszakadást keresik.

Ha eddig detektorpontszámot tett egy hallgató elé, különösen ha az a hallgató második nyelven ír, ezen a héten itt az ideje abbahagyni a detektorok használatát. A második vizsgálat olvasásalapú jelei a gyakorlati alternatíva.

Az értékelés tervezése három korlát közötti választás, nem elv keresése

Pedlow, Fischer és Williams amellett érvel, hogy a probléma nem a tervezési elvek hiánya, hanem annak hiánya, hogyan lehet érvelni az egymással szemben ható elvekről. Kettős trilemmájuk az értékelésben az autentikusságot, a megfigyelhetőséget és a megvalósíthatóságot, a visszajelzésben pedig a specificitást, az időszerűséget és a munkaterhet kezeli szándékosan egymás ellenében kiegyensúlyozott korlátokként.

Ha arra kérik, hogy tervezzen újra egy értékelést az MI korában, ez a keret nyílt kérdésből rövid, lejegyezhető és megvédhető érvet csinál.

A chatbotok beszédnyeresége jellemzőnként egyenetlen

Soriano-Gonzalez és Belda-Medina 306 rekordot szűrt le tíz vizsgálatra, és azt kérdezte, a beszélt nyelv hat CEFR-jellemzője közül melyik mozdult el valóban. A terjedelem és az érthetőség négy-négy vizsgálatban javult, a koherencia egyben, az interakció szinte egyikben sem. A tíz közül négy egyetlen átfogó pontszámot közölt, így a nyereségük egyáltalán nem vezethető vissza jellemzőre.

Egy szállítói állítás, miszerint „javult a beszéd”, összeegyeztethető olyan változással, amelyet a vizsgálat soha nem mért. A hallásértésről Goh és Aryadoust jóval vékonyabb bizonyítékot talál.

A visszajelzés-műveltség és a bevonódás kölcsönösen táplálják egymást

Egy 399 egyetemi hallgatóval készült háromhullámos panelvizsgálat szerint az MI-visszajelzés-műveltség előrejelzi a későbbi ágens bevonódást (β = 0,222), és a fordított út ugyanolyan erős (β = 0,263), vagyis nincs statisztikai alap a kettő sorrendbe állítására.

A visszajelzés olvasásának és használatának megtanítása nem olyan előfeltétel, amelyet a bevonódás megkezdése előtt be kell fejezni. A kettő együtt mozog, ezért egy kurzus, amely csak az egyiket építi, önmaga ellen dolgozik.

Fejlesztőknek

A nehéz esetek azok, ahol a tutorok még kudarcot vallanak, és a stratégia-visszakeresés a középkategóriás modelleknek segít

A TutorCaseBench kvalitatív esettanulmányokat alakított 923 hatkörös párbeszéddé öt kihívástípusban, és 11 modellt pontozott esetspecifikus rubrikák ellen. A legjobb modell az esetalapú beavatkozások 55,8%-ában teljesített a dokumentált módon, és ez az a szám, amelyre tervezni kell. Az eseti szakirodalom dokumentált stratégiájának átadása 11 modellből 10-et átlagosan 9,9 ponttal emelt, a Llama 4 Maverick 41,0%-ról 64,8%-ra mozdult, míg a legerősebb modell 71,3%-on maradt.

A referenciastratégiák visszakeresése megéri azoknál a modelleknél, amelyeket meg tud fizetni. Egy élvonalbeli modellt nem ment meg, amelyben már megvan a minta.

Telepített beszélgetéseken validáljon, ne laboratóriumi promptokon

Az EduWild adathalmaz minden beszélgetést párosít a mögötte álló rendszerprompttal és beállításokkal, és ez teszi elemezhetővé a hibát: a végfelhasználói beszélgetések 53,8%-a kihagyott egy kötelező lépést. A tanárok által írt konfiguráció a modellképességtől különálló hibaforrás, és egy promptszintű keret visszanyerte a szándékot anélkül, hogy elvette volna a tanár irányítását.

Ha a terméke lehetővé teszi, hogy tanárok írják az utasításokat, a tesztkészletének az ő utasításaikból kell állnia, telepítés után gyűjtve.

A visszajelzés minőségének rubrikadimenziója az, amelyet senki nem mér

Yang 68 vizsgálatot vizsgált az MI által generált visszajelzésről. A bizonyíték érvényessége 47-ben jelenik meg, a pedagógiai hasznosság 58-ban, a rubrikához és a feladathoz való illeszkedés pedig 19-ben. Az illeszkedés az a dimenzió, amelyet egy termék a legközvetlenebbül tud irányítani, és amelyet a legkevésbé vizsgáltak.

Ez rés: építsen arra a rubrikára, amelyet a feladat már használ, és mondja is meg, mert a publikált bizonyíték nem mondja meg a vásárlóknak, hogy mások ezt teszik-e.

A cselekvőképesség tervezési cél, nem kényeztetés

Tamme, Schilling és Hantel azt javasolja, hogy a félév végi írásos kérdőívet váltsa fel egy MI-ügynök által vezetett telefonos interjú, azzal az érvvel, hogy az írásos eszköz a válaszadási arányon, a mélységen és a cselekvőképességen vall kudarcot. Ez javaslat, nem terepi teszt. A tervezési állítások elég konkrétak ahhoz, hogy átvegye őket: kérdezzen vissza, kérjen indoklást, adjon vissza valamit, amivel a címzett tud mit kezdeni.

Kutatóknak

Az önbeszámoló és a teljesítmény gyakran más következtetésre jut

Fan és munkatársai 2 099 rekordon térképezték fel a mérési módszereket, majd 51 olyan esetet vizsgáltak, ahol egy önbeszámolós eszköz és egy teszt, értékelés vagy nyomadat ugyanazt a konstruktumot mérte. Arra a kérdésre, hogy a kettő egyetért-e, a válasz gyakran nem. Ahol eltérnek, ott a konstruktum megfigyelhetősége jobban magyarázza a különbséget, mint a vizsgálat minősége.

Az egyik helyettesítése a másikkal irányt adó mérési döntés, nem kényelmi kérdés. Mondja meg, melyiken nyugszik az állítása.

A produktum elrejti a tehermentesítést, ezért a folyamatot mérje

Kontorovich és Wallach 59 chatnapló 429 promptját kódolta önirányítási nyomként, és mindegyiket összevetette a beadott munkával. Tizenöt hallgatóból tíz, aki mindhárom feladatot befejezte, változtatta meg a modellnek adott szerepet, ahogy a feladat változott, mégis 59 beadásból 53 a modell produktumát reprodukálta, vagy csak formájában javította.

Egy beadás önmagában nem tud különbséget tenni használat és helyettesítés között. A folyamatadatok igen, és az itteni kódolási séma újrahasznosítható.

Validált skála a támaszkodás mérésére nyitott végű feladatokban

A legtöbb támaszkodásmérő abból következtet a függőségre, hogy a hallgató követett-e helyes tanácsot, amihez ellenőrizhető válasz kell. Hou és munkatársai egy 16 tételes skálát építettek és validáltak problémaalapú tanuláshoz, ahol ilyen válasz nem létezik.

A detektor-benchmarkok elhasználódnak, ezért jelentse az ellenfelet

Ren, Raghavan és Garg a detektálás kérdését szétválasztja elválaszthatóságra és mozgásra. A felügyelt alapvonalak szinte tökéletesen elválasztják az emberi és gépi prózát eloszláson belül, míg a Pangram kereskedelmi detektor 63,5%-os kiegyensúlyozott pontosságra és 27%-os visszahívásra esett egy kikerülésre írt prompt ellen.

Az elkerülési kísérlet nélkül közölt számok olyan világot írnak le, amely már nem létezik. Az áttekintő szakirodalom pedig éppen ott vékony, ahol számítana: a második nyelvi írásra adott generatív MI-visszajelzés 51 vizsgálatából 5 ellenőrzi, hogy a visszajelzés pontos-e.

Intézményvezetőknek

Az oktatási MI-irányítás nagy része útmutatás, nem jog

Elmahjub és munkatársai 160 angol nyelvű irányítási dokumentumot olvastak át alaposan, 498 rekordból. Csak 4 ölt formális jogi vagy szabályozási formát, míg 92 útmutatás, keretrendszer, eszköztár vagy kézikönyv. Az elszámoltathatóság 146 dokumentumban jelenik meg, de csak 100-ban párosul megnevezett felügyeleti szereplővel.

Egy szabályzat megnevezett felelős és mechanizmus nélkül szándéknyilatkozat. Az áttekintés megadja azokat a mezőket, amelyekkel a saját dokumentuma ellenőrizhető.

A detektorok beszerzéséhez téves pozitív arány kell

Tizenhárom detektor, ember által írt tudományos szöveg kontrollként, téves pozitív arány 0% és 100% között. Legalább egy intézmény már nyugdíjazta a detektorát, mert az helyesírás-ellenőrzőket jelölt meg. Ha egy szállító nem ad téves pozitív arányt a saját szakterületén írt emberi munkára, akkor a fegyelmi kockázat nem árazható be.

Az értékelés dokumentált iránya a folyamat, az autentikusság és a szóbeli munka

Crompton és Burke 24 ország és 20 szakterület 72 vizsgálatát tekinti át, és három visszatérő tervezési választ talál: a folyamatorientált, az autentikus és a szóbeli értékelést. A bizonyítékbázis széles és módszertanilag vékony, a legtöbb vizsgálat egyetlen kurzust fed le, és mindez nem változtat az irányon.

A tanárok körében az elterjedés megelőzte a megértést

132 indonéz K–12-es tanár körében 96,2% támogatja, hogy a tanárok használják az MI-t, és 84,6% a hallgatói használatot, mégis 69,2% homályos vagy téves leírást adott arról, mit tesz egy chatbot egy utasítással.

A felmérésben mutatott támogatás nem azonos a tantermi képességgel. A szakmai fejlődési hiány itt már bármilyen eszköztelepítés előtt megmutatkozik, és az eszköz elég rövid ahhoz, hogy igényfelmérésként újrahasznosítsa.

Csak akkor cserélje le a kurzusfelmérést, ha a helyettesítés cselekvőképes

A hanginterjú-javaslat azokat a hibaformákat célozza, amelyek használhatatlanná teszik a félév végi kérdőíveket: válaszadási arány, mélység, kielégítő válaszok és olyan válaszok, amelyekkel senki nem tud mit kezdeni. Tekintse specifikációnak ahhoz, amit helyette használ, ne bizonyítéknak arra, hogy az MI-s változat működik.

Kiemelt fogalmak

Négy fogalomoldal vitte be a hét eredményeit a szintézisrétegbe. Mindegyik állandó oldal, nem egyszeri, így az új bizonyíték az oldal korábbi érvei mellé kerül.

Nyelvtanulás

Az oldal most egyértelműen kimondja, hogy a chatbotok beszédnyereségéről szóló bizonyíték jellemzőnként egyenetlen, és hogy a tíz szintetizált vizsgálatból négy egyetlen átfogó pontszámot közölt, ezért a nyereségük nem tulajdonítható egy jellemzőnek. Olvassa el a nyelvtanulás oldalt, mielőtt szóbeli gyakorlást vásárol vagy épít.

Intelligens tutori rendszerek

Az új eredménye a visszakeresési eredmény: a referenciastratégiák átadása a gyenge tutorokat emeli, az erőseket pedig ott hagyja, ahol voltak. Ez építési döntés, és az intelligens tutori oldal elválasztja a hintminőségről szóló korábbi állításoktól.

Önbeszámolós mérőeszközök

Az önbeszámolási szakadék legélesebb új esete a szándék, ahol egyetlen pontszám fedte a tanulásorientált, a rövidítő és a vegyes használatot ugyanabban a 340 hallgatós mintában, az állítás mögött 68 újra felvett tétellel és nyolc interjúval, mindez az önbeszámolós mérőeszközök oldalán rögzítve.

Irányítás

Az oldal most az eszközformára vonatkozó eredménnyel kezd: 160 dokumentumból 4 kötelező, 92 tanácsadó jellegű, és az elszámoltathatóság csak 100-ban nevez meg szereplőt. Az irányítási oldal átkeretezi a kérdést abból, mit mond egy szabályzat, abba, hogy tud-e cselekedni.

Új források

Két forrás csatlakozott a forrástárhoz ezen a héten, az egyik annak az intézménynek íródott, amelynek el kell döntenie, hogyan készüljön szoftver MI-vel, a másik annak az oktatónak, akinek el kell döntenie, hogy egy hallgató kódja a hallgatóé-e.

Campus AI Development

A Campus AI Development ingyenes webes útmutató, amely a kérdés intézményi oldaláról íródott. Felsorolja, hogyan juthat egy campus MI-vel készült szoftverhez, a hangulatvezérelt kódolástól az irányított, többügynökös munkáig, és mindegyik módhoz hozzárendeli az illeszkedő ellenőrzési útvonalat, adatplafont és kontrollokat. A Campus AI Framework mellé tartozik, amely eldönti, használható-e egyáltalán egy MI-eszköz; ez az útmutató arról szól, mit kell tenni, ha a válasz igen. Az oldal nem tesz közzé licencet a szövegére.

Code Viva

A Code Viva ingyenes böngészős eszköz, amely skálázhatóvá teszi a szóbeli védést: írásos, időzített viva minden hallgatónak egy programozási kurzuson, egyenként tizenöt-húsz perc, oktató nélkül a teremben. Elolvassa a hallgató beadott kódját és commit-előzményét, négy-hat kérdést ír az adott hallgató saját függvényeiről, neveiről és commitjairól, és minden hallgatónak személyes hivatkozást ad a válaszadáshoz. A kérdések a beadásra alkalmazott szabályokból származnak, nem modellhívásból, és az oktató javasolt pontszámokat kap az egyes pontszámok mögötti idézett bizonyítékkal, jóváhagyásra vagy felülbírálásra. Az oldal nem tesz közzé licencet és forráskódtárat sem.

A héten még hozzáadott tanulmányok

A többi tanulmány, módszerekkel és absztraktokkal, napok szerint a folyóirat-oldalon található.

Az oldal hírei

Két oldal jelent meg ezen a héten. A hírlevél-archívum minden számot tartalmaz, saját csatornájával a tudásbázis-csatorna mellett, a fogalomjegyzék pedig mind a 220 fogalomoldalt egyetlen oldalra teszi, ugyanazokban a szakaszokban, mint az oldalsáv, így most már van hová küldeni azt az olvasót, aki a teljes készletet akarja.

Minden más a már létező dolgokon végzett munka volt: a fogalomoldalak és a GYIK újraírása, a szöveg tömörítése és a fordítások frissítése a nyelvi változatokban.

Az oldal statikus build, tartalma, kódja és eszközei nyilvánosak a github.com/edtechdev/aied címen, ahol a fent leírt minden változtatás elolvasható.

Kövesse a frissítéseket

Minden számot megkaphat a hírlevél-csatornán egy hírolvasóban, ha ugyanezt a csatornát beilleszti a Blogtrottrbe, hogy az új számokat az Ön által választott ütemezésben e-mailben kapja meg, vagy ha követi a LinkedInen, ahol minden szám LinkedIn-hírlevélként jelenik meg.

Az AIEd kutatási heti összefoglaló az MI az oktatásban tudásbázisból származik, amelyet egy MI-ügynök állít elő. Ezt a számot ugyanaz az MI-ügynök írta, az oldal fejlesztőjének szerkesztői útmutatásával, és a fenti minden állítás ahhoz az oldalhoz vezet, ahonnan származik.

A tudásbázis a közkincsnek van szentelve, CC0 1.0 licenc alatt. Nincsenek fenntartott jogok.

Problémát talált a tartalommal? Jelentse a GitHubon, vagy lépjen kapcsolatba az oldal fejlesztőjével, Doug Holton.

ForrásElőzményekSzerkesztésCsevegés

Oldal beágyazása

Másolja ki az alábbi kódot az oldal tanuláskezelő rendszerbe vagy más weboldalra történő beágyazásához. A beágyazott változat csak az oldal tartalmát mutatja — elrejti a weboldal fejlécét, a navigációt és a láblécet.