Vedecká databáza AIEdAIEd KB
Na tejto stránke

Všetky čísla

Týždenný prehľad výskumu AI vo vzdelávaní #1

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Týždenný prehľad bázy poznatkov o AI vo vzdelávaní o tom, čo výskum publikovaný za posledný týždeň znamená pre vyučujúcich, vývojárov, výskumníkov a administrátorov.

Tento týždeň priniesol 71 nových štúdií a dva nové zdroje, čím sa báza poznatkov dostala na 1 805 zhrnutí článkov, 220 stránok konceptov, 37 FAQ a 33 zdrojov. Hľadajte alebo využite AI na rozhovor s bázou poznatkov.

Obsah

Hlavné zistenia a otázky

Obidva hlavné výsledky tohto týždňa hovoria to isté: skóre nie je výsledok. Trojramenná štúdia zdvihla skóre cvičení z 29,85 % pri otvorenom webe na 71,84 % pri neobmedzenom ChatGPT, pričom konceptuálne učenie sa nelíšilo vôbec, takže vyššia známka pri prístupe k AI nie je dôkazom, že sa študenti naučili viac. Trinásť detektorov označilo ľuďmi napísané rukopisy v miere od 0 % do 100 % po jedinej korektúre, takže príznak detektora nie je dôkazom porušenia pravidiel.

Pre vyučujúcich

Doučovanie môže pomôcť s domácou úlohou a nechať skúšku tam, kde bola

Chen a kolegovia randomizovali 153 študentov píšucich dôkazy na Carnegie Mellon tak, aby dostali doučovací nástroj na dôkazy skôr alebo neskôr, a potom merali skúšku bez AI v miestnosti. Skóre domácich úloh stúplo o 2,56 bodu, kým bol nástroj k dispozícii. Skóre priebežnej skúšky sa nelíšilo. Keď už mali prístup všetci a sami si volili dávku, každých 100 ďalších správ chatbotu znamenalo o 3,02 bodu nižšie skóre na nasledujúcej skúške a najviac ho používali študenti s nižšou východiskovou sebaúčinnosťou.

Čo to pre vás mení: známka získaná s otvoreným doučovaním nie je dôkazom toho, čo študent dokáže bez neho, takže túto váhu musí niesť úloha bez pomoci. Znamená to tiež, že študenti najviac ohrození spoliehaním sa na nástroj sú tí, ktorí do toho vstupujú s najmenšou istotou, čo je vidieť v používaní skôr, než sa to prejaví v známkach.

Neobmedzený chat nafukuje skóre viac než dobre postavený doučovací nástroj

V trojramennej štúdii v mnichovskom kurze CS1 strávilo 275 študentov 90 minút nad úlohou v Jave buď s doučovaním, ktoré dáva nápovedy, s neobmedzeným ChatGPT, alebo s otvoreným webom. Skóre cvičení vyšlo na 71,84 %, 57,50 % a 29,85 %. Prírastky konceptuálnych vedomostí boli 0,83, 0,71 a 0,85 bodu a rozdiel medzi podmienkami nebol ani zďaleka významný (p = 0,773). Obidve podmienky s AI znížili frustráciu; iba doučovanie zvýšilo motiváciu.

Rozptyl skóre je väčšinou o artefakte, nie o učení. Ak známkujete cvičenie, podmienky s AI sú známkované na inej úlohe.

Chatboty vytvorené učiteľmi zlyhávajú v úmysle, nie vo faktoch

EduWild zhromaždil 1 726 konverzácií z 217 botov Playlab nastavených učiteľmi, vrátane 900 od študentov, ktorým boli nasadené. Boty preskočili povinné kroky pracovného postupu v 53,8 % konverzácií koncových používateľov, nikdy neustanovili svoju rolu v 33,4 % a preťažili študentov informáciami alebo otázkami v 37,1 %.

Skôr než nasadíte bota, ktorého ste vytvorili alebo prevzali, prečítajte si jeho prvý ťah a skontrolujte, či uvádza, čím je a čo bude nasledovať. Chyby zdokumentované tu sú v pokynoch a dajú sa opraviť v prompte bez zásahu do modelu.

Verdikt detektora nie je dôkaz

Dataset editačnej služby dal Parkovi a kolegom 135 389 dvojíc dokumentov, v ktorých zostáva autor, téma a obsah rovnaké a mení sa iba jazyk. Naprieč 13 detektormi sa falošné pozitívy na ľuďmi písanom akademickom texte pohybovali od 0 % do 100 % a tie isté úpravy posúvali detektory opačnými smermi. Oddelene skupina externých hodnotiteľov stratila svoj detektor úplne, pretože označoval nástroje na kontrolu gramatiky, a namiesto toho teraz čítajú s ohľadom na vymyslené referencie a odtrhnutosť od materiálov kurzu.

Ak ste doteraz dávali skóre detektora pred študenta, najmä študenta píšuceho v druhom jazyku, tento týždeň je ten správny na to, aby ste prestali používať detektory. Signály založené na čítaní v druhej štúdii sú praktickou alternatívou.

Dizajn hodnotenia je voľba medzi tromi obmedzeniami, nie hľadanie princípu

Pedlow, Fischer a Williams tvrdia, že problém nie je nedostatok princípov dizajnu, ale absencia spôsobu uvažovať o tých, ktoré pôsobia proti sebe. Ich dvojitá trilema chápe autentickosť, pozorovateľnosť a uskutočniteľnosť pri hodnotení a špecifickosť, včasnosť a pracovnú záťaž pri spätnej väzbe ako obmedzenia, ktoré vedome vyvažujete.

Ak máte prepracovať hodnotenie pre AI, tento rámec mení otvorenú otázku na krátky argument, ktorý môžete zaznamenať a obhájiť.

Prínosy chatbotov pre hovorenie sú nerovnomerné podľa čŕt

Soriano-Gonzalez a Belda-Medina preosiali 306 záznamov na desať štúdií a pýtali sa, ktorá zo šiestich čŕt hovoreného jazyka podľa CEFR sa skutočne pohla. Rozsah a zrozumiteľnosť sa zlepšili v štyroch štúdiách každý, koherencia v jednej, interakcia takmer v žiadnej. Štyri z desiatich uviedli jediné holistické skóre, takže ich prínosy nemožno vôbec priradiť k črte.

Tvrdenie predajcu o „zlepšenom hovorení“ je zlučiteľné so zmenou, ktorú štúdia nikdy nemerala. Pri počúvaní Goh a Aryadoust nachádzajú oveľa tenšiu dôkazovú základňu.

Gramotnosť v spätnej väzbe a zapojenie sa navzájom posilňujú

Trojvlnový panel so 399 bakalármi zistil, že gramotnosť v spätnej väzbe AI predpovedá neskoršie agentné zapojenie (β = 0,222) a opačná cesta je rovnako silná (β = 0,263), bez štatistického základu na určenie poradia tých dvoch.

Učiť študentov čítať a používať spätnú väzbu nie je predpoklad, ktorý dokončíte predtým, než sa zapojenie začne. Obidve sa hýbu spolu, takže kurz, ktorý buduje iba jedno z nich, pracuje proti sebe.

Pre vývojárov

Náročné prípady sú tam, kde doučovanie stále zlyháva, a vyhľadávanie stratégie pomáha modelom strednej triedy

TutorCaseBench premenil kvalitatívne prípadové štúdie na 923 šesťťahových dialógov naprieč piatimi typmi výziev a hodnotil 11 modelov podľa rubrík špecifických pre prípad. Najlepší model splnil zdokumentovanú intervenciu v 55,8 % otvorených prípadov, čo je číslo, proti ktorému treba navrhovať. Poskytnutie stratégie zdokumentovanej v literatúre o prípadoch zdvihlo 10 z 11 modelov v priemere o 9,9 bodu, pričom Llama 4 Maverick sa posunul zo 41,0 % na 64,8 %, kým najsilnejší model zostal na 71,3 %.

Vyhľadávanie referenčných stratégií sa oplatí stavať pre modelov, ktoré si môžete dovoliť. Nezachráni špičkový model, ktorý ten vzorec už má.

Validujte na nasadených konverzáciách, nie na laboratórnych výzvach

Dataset EduWild spája každú konverzáciu so systémovou výzvou a nastaveniami, ktoré za ňou stoja, a práve to robí zlyhanie analyzovateľným: 53,8 % konverzácií koncových používateľov preskočilo povinný krok. Konfigurácia vytvorená učiteľom je samostatná plocha zlyhania od schopnosti modelu a testovací rámec na úrovni výzvy obnovil úmysel bez toho, aby odobral učiteľovi kontrolu.

Ak váš produkt umožňuje učiteľom písať pokyny, vaša testovacia sada musí byť ich pokyny, zozbierané po nasadení.

Dimenziu rubriky v kvalite spätnej väzby nikto nemeria

Yang preskúmal 68 štúdií o spätnej väzbe generovanej AI. Dôkazová platnosť sa objavuje v 47 z nich, pedagogická užitočnosť v 58 a súlad s rubrikou a úlohou v 19. Súlad je dimenzia, ktorú produkt dokáže najpriamejšie ovplyvniť, a je najmenej preštudovaná.

To je príležitosť: stavajte proti rubrike, ktorú zadanie už používa, a povedzte to, pretože publikované dôkazy kupujúcim nepovedia, či to robí niekto iný.

Uskutočniteľnosť je cieľ dizajnu, nie ozdoba

Tamme, Schilling a Hantel navrhujú nahradiť písomný dotazník na konci semestra telefonickým rozhovorom vedeným agentom AI, s argumentom, že písomný nástroj zlyháva v miere odpovedí, hĺbke a uskutočniteľnosti. Je to návrh, nie terénny test. Tvrdenia o dizajne sú dosť konkrétne na to, aby sa dali prevziať: kladte doplňujúce otázky, žiadajte dôvod, vráťte niečo, s čím príjemca môže niečo urobiť.

Pre výskumníkov

Sebaposúdenie a výkon často dospievajú k odlišným záverom

Fan a kolegovia zmapovali metódy merania naprieč 2 099 záznamami a potom preskúmali 51 prípadov, kde nástroj sebahodnotenia a test, hodnotenie alebo stopa merali ten istý konštrukt. Odpoveď na otázku, či sa tieto dva zhodujú, je často nie. Tam, kde sa rozchádzajú, to pozorovateľnosť konštruktu vysvetľuje lepšie než kvalita štúdie.

Zameniť jeden za druhý je meracie rozhodnutie so smerom, nie pohodlnosť. Uveďte, na ktorom z nich vaše tvrdenie stojí.

Artefakty skrývajú odľahčenie, preto merajte proces

Kontorovich a Wallach kódovali 429 výziev v 59 chatlogoch ako stopy sebaregulácie a každú porovnali s odovzdanou prácou. Desať z pätnástich študentov, ktorí dokončili všetky tri úlohy, zmenilo rolu, ktorú modelu dávali, ako sa úloha menila, a napriek tomu 53 z 59 odovzdaní reprodukovalo produkt modelu alebo ho upravilo iba formálne.

Samotné odovzdanie nedokáže rozlíšiť použitie od substitúcie. Procesné dáta to dokážu a kódovacia schéma je tu znovupoužiteľná.

Validovaná škála pre spoliehanie sa v otvorených úlohách

Väčšina meraní spoliehania sa odvodzuje závislosť z toho, či študent nasledoval správnu radu, čo vyžaduje overiteľnú odpoveď. Hou a kolegovia vytvorili a validovali 16-položkovú škálu pre učenie založené na problémoch, kde taká odpoveď neexistuje.

Benchmarky detektorov starnú, preto uveďte protivníka

Ren, Raghavan a Garg rozdeľujú otázku detekcie na oddeliteľnosť a pohyb. Baseline modely trénované s učiteľom oddeľujú ľudskú prózu od strojovej takmer dokonale v rámci rozdelenia, kým komerčný detektor Pangram klesol na 63,5 % vyváženej presnosti a 27 % recallu proti výzve napísanej tak, aby ho obišla.

Čísla uvádzané bez pokusu o obídenie opisujú svet, ktorý už neexistuje. A prehľadová literatúra je tenká tam, kde na tom záleží: z 51 štúdií o spätnej väzbe generatívnej AI na písanie v druhom jazyku 5 overuje, či je spätná väzba presná.

Pre administrátorov

Väčšina správy a riadenia AI vo vzdelávaní je usmernenie, nie právo

Elmahjub a kolegovia podrobne prečítali 160 anglickojazyčných dokumentov o správe a riadení, vybraných z 498 záznamov. Iba 4 majú formálnu právnu alebo regulačnú formu, kým 92 sú usmernenia, rámce, sady nástrojov alebo príručky. Zodpovednosť sa objavuje v 146 dokumentoch, ale je spojená s menovaným orgánom dohľadu v 100.

Politika bez menovaného vlastníka a mechanizmu je vyhlásenie zámeru. Prehľad vám dáva polia, podľa ktorých môžete auditovať vlastný dokument.

Obstarávanie detektorov potrebuje číslo falošných pozitív

Trinásť detektorov, ľuďmi napísaný akademický text ako kontrola, falošné pozitívy od 0 % do 100 %. Prinajmenšom jedna inštitúcia už svoj detektor vyradila, pretože označoval nástroje na kontrolu gramatiky. Ak vám predajca nedá mieru falošných pozitív na ľudskej práci vo vašom odbore, nemôžete oceniť disciplinárne riziko.

Zdokumentovaný smer v hodnotení je proces, autentickosť a ústna práca

Crompton a Burke prehľadávajú 72 štúdií z 24 krajín a 20 odborov a nachádzajú tri opakujúce sa dizajnové odpovede: procesne orientované, autentické a ústne hodnotenie. Dôkazová základňa je široká a metodologicky tenká, väčšina štúdií pokrýva jeden kurz, a nič z toho nemení smer.

Prijatie predbehlo porozumenie u učiteľov

Medzi 132 indonézskymi učiteľmi K-12 podporuje používanie AI učiteľmi 96,2 % a používanie študentmi 84,6 %, no 69,2 % uviedlo vágny alebo nesprávny opis toho, čo chatbot robí s pokynom.

Podpora v prieskume nie je spôsobilosť v triede. Medzera v ďalšom vzdelávaní sa tu ukazuje skôr, než sa ukáže akékoľvek nasadenie nástroja, a nástroj je dosť krátky na to, aby sa dal znovu použiť ako analýza potrieb.

Nahraďte dotazník kurzu iba vtedy, ak je náhrada uskutočniteľná

Návrh rozhovoru s hlasom cieli na spôsoby zlyhania, ktoré robia dotazníky na konci semestra nepoužiteľnými: miera odpovedí, hĺbka, uspokojenie sa s prvým dostatočným riešením a odpovede, s ktorými nikto nemôže nič urobiť. Berte ho ako špecifikáciu pre čokoľvek, čo použijete namiesto nich, nie ako dôkaz, že verzia s AI funguje.

Koncepty pod lupou

Štyri stránky konceptov prevzali zistenia tohto týždňa do vrstvy syntézy. Každá je stála stránka, nie jednorazová, takže nové dôkazy stoja vedľa toho, čo stránka už tvrdila.

Učenie sa jazykov

Stránka teraz jasne hovorí, že dôkazy o prínosoch chatbotov pre hovorenie sú nerovnomerné podľa čŕt a že štyri z desiatich syntetizovaných štúdií uviedli jedno holistické skóre, a preto ich prínosy nemožno priradiť k črte. Prečítajte si stránku o učení sa jazykov skôr, než kúpite alebo postavíte ústnu prax.

Inteligentné doučovanie

Jej novým zistením je výsledok vyhľadávania: poskytnutie referenčných stratégií zdvihne slabé doučovanie a silné nechá tam, kde bolo. To je rozhodnutie pri stavbe a stránka o inteligentnom doučovaní ho oddeľuje od starších tvrdení o kvalite nápovied.

Nástroje sebahodnotenia

Najostrejším novým prípadom medzery sebahodnotenia je úmysel, kde jediné skóre pokrývalo učenie orientované, skratkovité a zmiešané použitie v tej istej vzorke 340 študentov, s 68 znovu administrovanými položkami a ôsmimi rozhovormi za tvrdením, všetko zaznamenané na stránke o nástrojoch sebahodnotenia.

Správa a riadenie

Stránka teraz začína zistením o forme nástrojov: 4 zo 160 dokumentov sú záväzné, 92 poradné a zodpovednosť je menovaná ako orgán iba v 100. Stránka o správe a riadení preformulúva otázku z toho, čo politika hovorí, na to, či dokáže konať.

Nové zdroje

Dva zdroje sa tento týždeň pridali do knižnice zdrojov, jeden napísaný pre inštitúciu, ktorá musí rozhodnúť, ako sa softvér stavia s AI, a jeden pre vyučujúceho, ktorý musí rozhodnúť, či kód študenta je jeho vlastný.

Campus AI Development

Campus AI Development je bezplatný webový sprievodca napísaný z pohľadu inštitúcie. Uvádza spôsoby, akými môže kampus nechať postaviť softvér s AI, od „vibe codingu“ až po riadenú prácu viacerých agentov, a ku každému spôsobu priraďuje cestu recenzie, dátový strop a kontroly, ktoré k nemu patria. Sprevádza Campus AI Framework, ktorý rozhoduje, či sa nástroj AI vôbec smie používať; tento sprievodca pokrýva, čo robiť, keď je odpoveď áno. Stránka neuvádza licenciu na svoj text.

Code Viva

Code Viva je bezplatný nástroj v prehliadači, ktorý robí ústnu obhajobu škálovateľnou: písomnú, časovo limitovanú obhajobu pre každého študenta v programátorskom kurze, pätnásť až dvadsať minút, bez vyučujúceho v miestnosti. Prečíta odovzdaný kód študenta a históriu commitov, napíše štyri až šesť otázok o funkciách, názvoch a commitoch toho študenta a každému študentovi dá osobný odkaz na odpovedanie. Otázky vznikajú z pravidiel uplatnených na odovzdanie, nie z volania modelu, a vyučujúci dostane navrhnuté skóre s citovaným dôkazom za každým z nich, aby ho schválil alebo prepísal. Stránka neuvádza licenciu ani repozitár zdrojového kódu.

Tento týždeň pribudlo

Ostatné štúdie, s metódami a abstraktmi, sú zoradené po dňoch na stránke časopisu.

Poznámky k stránke

Tento týždeň pribudli dve stránky. Archív noviniek obsahuje každé číslo, s vlastným kanálom vedľa kanála bázy poznatkov, a index konceptov umiestňuje všetkých 220 stránok konceptov na jednu stránku, v tých istých sekciách ako bočný panel, takže teraz je kam poslať čitateľa, ktorý chce celý súbor.

Všetko ostatné bola práca na tom, čo už existovalo: prepísané stránky konceptov a FAQ, utiahnutý text a preklady aktualizované naprieč jazykmi.

Stránka je statická zostava a jej obsah, kód a nástroje sú verejné na github.com/edtechdev/aied, kde sa dá prečítať každá vyššie opísaná zmena.

Sledujte prehľad

Každé číslo dostanete cez kanál noviniek v čítačke kanálov, vložením toho istého kanála do Blogtrottr, aby vám nové čísla chodili e-mailom podľa vami zvoleného harmonogramu, alebo sledovaním na LinkedIn, kde každé číslo vychádza ako newsletter na LinkedIn.

Týždenný prehľad výskumu AIEd pochádza z bázy poznatkov o AI vo vzdelávaní, ktorú generuje agent AI. Toto číslo navrhol ten istý agent AI s redakčným vedením vývojára stránky a každé tvrdenie vyššie odkazuje na stránku, z ktorej vzišlo.

Báza poznatkov je venovaná verejnej doméne pod licenciou CC0 1.0. Žiadne práva vyhradené.

Našli ste problém s obsahom? Nahláste ho na GitHube alebo kontaktujte vývojára stránky, Doug Holton.

ZdrojHistóriaUpraviťChat

Vložiť túto stránku

Skopírujte kód nižšie a vložte túto stránku do systému správy výučby alebo iného webu. Vložená verzia zobrazuje len obsah stránky — skrýva hlavičku webu, navigáciu a pätu.