Znalostní báze AIEdAIEd KB
Na této stránce

Všechna čísla

Týdenní přehled výzkumu AI ve vzdělávání #1

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

Týdenní přehled ze znalostní báze o AI ve vzdělávání o tom, co výzkum publikovaný v uplynulém týdnu znamená pro vyučující, vývojáře, výzkumníky a administrátory.

Tento týden přinesl 71 nových studií a dva nové zdroje, čímž se znalostní báze dostala na 1 805 shrnutí článků, 220 koncepčních stránek, 37 FAQ a 33 zdrojů. Hledejte nebo využijte AI k rozhovoru se znalostní bází.

Obsah

Hlavní zjištění a otázky

Obě hlavní zjištění tohoto týdne říkají totéž: skóre není výsledek. Tříramenná studie zvedla skóre cvičení z 29,85 % s otevřeným webem na 71,84 % s neomezeným ChatGPT, zatímco koncepční učení se vůbec nelišilo, takže vyšší známka při přístupu k AI není důkazem, že se studenti naučili více. Třináct detektorů označilo lidsky psané rukopisy v míře od 0 % do 100 % po jediné korektuře, takže označení detektorem není důkazem nepoctivosti.

Pro vyučující

Doučovací nástroj může zvednout domácí úkoly a zkoušku nechat tam, kde byla

Chen a kolegové randomizovali 153 studentů kurzu psaní důkazů na Carnegie Mellon tak, aby dostali doučovací nástroj brzy, nebo pozdě, a poté měřili zkoušku složenou bez AI v místnosti. Skóre domácích úkolů vzrostlo o 2,56 bodu, dokud byl nástroj k dispozici. Skóre u průběžné zkoušky se nelišilo. Jakmile měli přístup všichni a volili si vlastní dávku, každých 100 dalších zpráv chatbotovi odpovídalo o 3,02 bodu nižšímu skóre u následující zkoušky a studenti s nižší výchozí sebeúčinností byli ti, kdo ho používali nejvíce.

Co to pro vás mění: známka získaná s otevřeným doučovacím nástrojem není důkazem toho, co student zvládne bez něj, takže tuto váhu musí nést úloha bez pomoci. Znamená to také, že studenti s nejvyšším rizikem opírání se o něj jsou ti, kdo do toho vstupují s nejmenší jistotou, což je vidět v používání dřív, než je vidět ve skóre.

Neomezený chat nafukuje skóre víc než dobře postavený doučovací nástroj

V tříramenné studii v mnichovském kurzu CS1 strávilo 275 studentů 90 minut cvičením v Javě s doučovacím nástrojem poskytujícím nápovědu, s neomezeným ChatGPT, nebo s otevřeným webem. Skóre cvičení vyšlo na 71,84 %, 57,50 % a 29,85 %. Přírůstky koncepčních znalostí byly 0,83, 0,71 a 0,85 bodu a rozdíl mezi podmínkami nebyl ani zdaleka významný (p = 0,773). Obě podmínky s AI snížily frustraci; pouze doučovací nástroj zvýšil motivaci.

Rozptyl skóre je většinou o artefaktu, ne o učení. Pokud cvičení známkujete, podmínky s AI jsou známkovány na jiné úloze.

Chatboti vytvoření učiteli selhávají v záměru, ne ve faktech

EduWild shromáždil 1 726 konverzací od 217 botů Playlab nakonfigurovaných učiteli, včetně 900 od studentů, kterým byly nasazeny. Boti přeskočili povinné kroky pracovního postupu v 53,8 % konverzací koncových uživatelů, nikdy neustavili svou roli ve 33,4 % a přetížili studenty informacemi nebo otázkami ve 37,1 %.

Než nasadíte bota, kterého jste vytvořili nebo zdědili, přečtěte si jeho první tah a zkontrolujte, zda říká, čím je a co bude následovat. Zde zdokumentované chyby jsou v instrukcích a dají se opravit v promptu bez zásahu do modelu.

Verdikt detektoru není důkaz

Dataset editační služby dal Parkovi a kolegům 135 389 dvojic dokumentů, které drží autora, téma i obsah pevně a mění jen jazyk. Napříč 13 detektory se falešné poplachy u lidsky psaného odborného textu pohybovaly od 0 % do 100 % a tytéž úpravy posouvaly detektory opačnými směry. Odděleně skupina externích hodnotitelů přišla o svůj detektor úplně, protože označoval kontrolu gramatiky, a nyní místo toho hledají vymyšlené odkazy a odtržení od materiálů kurzu.

Pokud jste dali studentovi před oči skóre detektoru, zejména studentovi píšícímu v druhém jazyce, je tento týden ten správný na to, abyste přestali detektory používat. Signály založené na čtení v druhé studii jsou praktickou alternativou.

Návrh hodnocení je volba mezi třemi omezeními, ne hledání principu

Pedlow, Fischer a Williams tvrdí, že problémem není nedostatek principů návrhu, ale absence způsobu, jak uvažovat o těch, které táhnou proti sobě. Jejich dvojí trilema bere autenticitu, pozorovatelnost a proveditelnost v hodnocení a specificitu, včasnost a pracovní zátěž ve zpětné vazbě jako omezení, mezi kterými vědomě volíte.

Když máte přenastavit hodnocení pro AI, tento rámec mění otevřenou otázku v krátký argument, který můžete zaznamenat a obhájit.

Přírůstky v mluvení u chatbotů jsou podle rysů nerovnoměrné

Soriano-Gonzalez a Belda-Medina prošli 306 záznamů až k deseti studiím a ptali se, které z šesti rysů mluveného jazyka podle CEFR se skutečně posunuly. Rozsah i srozumitelnost se zlepšily shodně ve čtyřech studiích, koherence v jedné, interakce téměř v žádné. Čtyři z deseti studií uvedly jediné holistické skóre, takže jejich přírůstky nelze k žádnému rysu vůbec přiřadit.

Tvrzení dodavatele o „zlepšeném mluvení“ je slučitelné se změnou, kterou studie nikdy neměřila. Pro poslech Goh a Aryadoust nacházejí mnohem slabší evidenci.

Gramotnost v oblasti zpětné vazby a zapojení se navzájem posilují

Třívlnový panel u 399 vysokoškolských studentů zjistil, že gramotnost v oblasti zpětné vazby od AI předpovídá pozdější agentní zapojení (β = 0,222) a zpětná cesta je stejně silná (β = 0,263), bez statistického základu pro jejich seřazení.

Učit studenty číst zpětnou vazbu a pracovat s ní není předpoklad, který dokončíte před tím, než začne zapojení. Obě věci se hýbou spolu, takže kurz, který buduje jen jednu z nich, pracuje proti sobě.

Pro vývojáře

Těžké případy jsou tam, kde doučovací nástroje stále selhávají, a načítání strategií pomáhá modelům střední třídy

TutorCaseBench převedl kvalitativní případové studie na 923 šestitahových dialogů v pěti typech výzev a ohodnotil 11 modelů podle rubrik specifických pro jednotlivé případy. Nejlepší model splnil zdokumentovanou intervenci v 55,8 % otevřených případů, což je číslo, podle kterého je třeba navrhovat. Dodání strategie zdokumentované v literatuře případů zvedlo 10 z 11 modelů v průměru o 9,9 bodu, přičemž Llama 4 Maverick se posunul z 41,0 % na 64,8 %, zatímco nejsilnější model zůstal na 71,3 %.

Načítání referenčních strategií stojí za to stavět pro modely, které si můžete dovolit. Nezachrání špičkový model, který ten vzorec už má.

Ověřujte na nasazených konverzacích, ne na laboratorních promptech

Dataset EduWild páruje každou konverzaci se systémovým promptem a nastavením, které za ní stojí, a právě proto je selhání analyzovatelné: 53,8 % konverzací koncových uživatelů přeskočilo povinný krok. Konfigurace, kterou napsal učitel, je samostatná plocha selhání, odlišná od schopností modelu a testovací rámec na úrovni promptu obnovil záměr, aniž by učiteli odebral kontrolu.

Pokud váš produkt nechává učitele psát instrukce, vaše testovací sada musí být jejich instrukce, sebrané po nasazení.

Dimenze rubriky v kvalitě zpětné vazby je ta, kterou nikdo neměří

Yang prozkoumal 68 studií zpětné vazby generované AI. Validita evidence se objevuje ve 47 z nich, pedagogická užitečnost v 58 a soulad s rubrikou a úlohou v 19. Soulad je dimenze, kterou produkt může ovlivnit nejpříměji, a je nejméně studovaná.

To je příležitost: stavte proti rubrice, kterou zadání už používá, a řekněte to, protože publikovaná evidence kupujícím neřekne, zda to dělá někdo jiný.

Akčnost je cíl návrhu, ne příjemný doplněk

Tamme, Schilling a Hantel navrhují nahradit závěrečný písemný dotazník telefonním rozhovorem vedeným agentem AI, s argumentem, že písemný nástroj selhává v míře odpovědí, hloubce a akčnosti. Je to návrh, ne terénní test. Tvrzení o designu jsou dost konkrétní na to, aby se dala převzít: ptejte se na doplňující otázky, vyžadujte důvod, vracejte něco, s čím příjemce může pracovat.

Pro výzkumníky

Sebehodnocení a výkon často dospějí k různým závěrům

Fan a kolegové zmapovali metody měření napříč 2 099 záznamy a poté zkoumali 51 případů, kdy nástroj sebehodnocení a test, posudek nebo záznam o činnosti měřily stejný konstrukt. Odpověď na otázku, zda se oba shodují, je často ne. Tam, kde se rozcházejí, to lépe vysvětluje pozorovatelnost konstruktu než kvalita studie.

Nahradit jedno druhým je rozhodnutí o měření s určitým směrem, ne pohodlí. Uveďte, o které z nich se vaše tvrzení opírá.

Artefakty skrývají odklánění, proto měřte proces

Kontorovich a Wallach zakódovali 429 promptů v 59 chatlozích jako stopy samoregulace a každý porovnali s odevzdanou prací. Deset z patnácti studentů, kteří dokončili všechny tři úlohy, měnilo roli, kterou modelu dávali, podle toho, jak se úloha měnila, přesto 53 z 59 odevzdání reprodukovalo výstup modelu nebo ho upravilo jen formálně.

Samotné odevzdání nedokáže rozlišit použití od substituce. Procesní data to dokážou a zdejší schéma kódování je znovupoužitelné.

Validovaná škála pro spoléhání se v otevřených úlohách

Většina měření spoléhání odvozuje závislost z toho, zda student následoval správnou radu, což vyžaduje ověřitelnou odpověď. Hou a kolegové vytvořili a validovali šestnáctipoložkovou škálu pro učení založené na problémech, kde taková odpověď neexistuje.

Benchmarky detektorů stárnou, proto uvádějte protivníka

Ren, Raghavan a Garg rozdělují otázku detekce na oddělitelnost a pohyb. Supervizované základy oddělí lidskou prózu od strojové v rámci distribuce téměř dokonale, zatímco komerční detektor Pangram klesl na 63,5 % vyvážené přesnosti a 27 % zachycení proti promptu napsanému tak, aby ho obešel.

Čísla uvedená bez pokusu o obcházení popisují svět, který už neexistuje. A přehledová literatura je slabá tam, kde na tom záleží: z 51 studií zpětné vazby generativní AI k psaní v druhém jazyce 5 ověřuje, zda je zpětná vazba přesná.

Pro administrátory

Většina správy AI ve vzdělávání je doporučení, ne právo

Elmahjub a kolegové podrobně pročetli 160 anglicky psaných dokumentů o správě a řízení, vybraných z 498 záznamů. Pouze 4 mají formální právní nebo regulační formu, zatímco 92 jsou doporučení, rámce, sady nástrojů nebo příručky. Odpovědnost se objevuje ve 146 dokumentech, ale s pojmenovaným orgánem dohledu je spojena ve 100.

Politika bez pojmenovaného vlastníka a mechanismu je prohlášení záměru. Přehled vám dává pole, podle kterých můžete auditovat svůj vlastní dokument.

Při nákupu detektoru potřebujete číslo falešných poplachů

Třináct detektorů, lidsky psaný odborný text jako kontrola, falešné poplachy od 0 % do 100 %. Alespoň jedna instituce už svůj detektor vyřadila, protože označoval kontrolu gramatiky. Pokud vám dodavatel nedá míru falešných poplachů u lidské práce ve vašem oboru, nemůžete vyčíslit riziko disciplinárního postihu.

Zdokumentovaný směr v hodnocení je proces, autenticita a ústní zkoušení

Crompton a Burke procházejí 72 studií z 24 zemí a 20 oborů a nacházejí tři opakující se reakce v designu: hodnocení zaměřené na proces, autentické hodnocení a ústní hodnocení. Základna evidence je široká a metodologicky tenká, většina studií pokrývá jediný kurz, a nic z toho nemění směr.

U učitelů adopce předběhla porozumění

Mezi 132 indonéskými učiteli základních a středních škol podporuje 96,2 % používání AI učiteli a 84,6 % používání studenty, přesto 69,2 % uvedlo vágní nebo mylný popis toho, co chatbot s instrukcí dělá.

Podpora v dotazníku není schopnost ve třídě. Mezera v profesním rozvoji se zde ukazuje dřív, než se objeví jakékoli nasazení nástroje, a nástroj je dost krátký na to, aby se znovu použil jako analýza potřeb.

Nahraďte kurzovní dotazník jen tehdy, když je náhrada akční

Návrh rozhovorů hlasem míří na režimy selhání, které dělají závěrečné dotazníky nepoužitelnými: míru odpovědí, hloubku, uspokojení s minimem a odpovědi, se kterými nikdo nemůže nic udělat. Berte ho jako specifikaci pro cokoli, co místo něj použijete, ne jako důkaz, že verze s AI funguje.

Koncepty v centru pozornosti

Čtyři koncepční stránky převzaly zjištění tohoto týdne do syntetické vrstvy. Každá je stálá stránka, ne jednorázová, takže nová evidence stojí vedle toho, co stránka už tvrdila.

Učení jazyků

Stránka nyní říká přímo, že evidence o přírůstcích v mluvení u chatbotů je podle rysů nerovnoměrná a že čtyři z deseti syntetizovaných studií uvedly jediné holistické skóre, a proto jejich přírůstky nelze připsat žádnému rysu. Přečtěte si stránku o učení jazyků dřív, než koupíte nebo postavíte nácvik mluvení.

Inteligentní doučování

Jejím novým zjištěním je výsledek načítání: dodání referenčních strategií zvedá slabé doučovací nástroje a silné nechává tam, kde byly. To je rozhodnutí pro stavbu a stránka o inteligentním doučování ho odděluje od starších tvrzení o kvalitě nápověd.

Nástroje sebehodnocení

Nejostřejším novým případem mezery v sebehodnocení je záměr, kde jediné skóre pokrylo použití orientované na učení, na zkratky i smíšené u stejného vzorku 340 studentů, se 68 znovu administrovanými položkami a osmi rozhovory za tvrzením, vše zaznamenáno na stránce o nástrojích sebehodnocení.

Správa a řízení

Stránka nyní začíná zjištěním o formě nástrojů: 4 ze 160 dokumentů jsou závazné, 92 poradních a odpovědnost je pojmenována jako role jen ve 100. Stránka o správě a řízení přerámovává otázku z toho, co politika říká, na to, zda může jednat.

Nové zdroje

Do knihovny zdrojů tento týden přibyly dva zdroje, jeden psaný pro instituci, která musí rozhodnout, jak se software staví s AI, a jeden pro vyučujícího, který musí rozhodnout, zda je studentův kód studentův vlastní.

Campus AI Development

Campus AI Development je volný webový průvodce psaný z pohledu instituce. Vyjmenovává způsoby, jak může kampus nechat postavit software s AI, od „vibe codingu“ až po řízenou práci více agentů, a ke každému způsobu přiřazuje cestu revize, datový strop a kontroly, které k němu patří. Doprovází Campus AI Framework, který rozhoduje, zda smí být nástroj AI vůbec použit; tento průvodce pokrývá, co dělat, když je odpověď ano. Web pro svůj text neuvádí licenci.

Code Viva

Code Viva je volný nástroj v prohlížeči, který dělá z ústní obhajoby něco, co lze škálovat: písemnou, časově omezenou obhajobu pro každého studenta programovacího kurzu, patnáct až dvacet minut, bez vyučujícího v místnosti. Přečte odevzdaný kód studenta a historii commitů, napíše čtyři až šest otázek o vlastních funkcích, názvech a commitech daného studenta a každému studentovi dá osobní odkaz, ze kterého odpovídá. Otázky vznikají z pravidel aplikovaných na odevzdanou práci, ne z volání modelu, a vyučující dostane navržené skóre s citovanou evidencí za každým z nich, aby každé mohl schválit, nebo přepsat. Web neuvádí licenci ani repozitář zdrojového kódu.

Také přidáno tento týden

Ostatní studie, s metodami a abstrakty, jsou uvedeny den po dni na stránce deníku.

Poznámky k webu

Tento týden se objevily dvě stránky. Archiv newsletteru obsahuje každé číslo, s vlastním kanálem vedle kanálu znalostní báze, a index konceptů dává všech 220 koncepčních stránek na jednu stránku, do stejných sekcí jako postranní panel, takže nyní existuje místo, kam poslat čtenáře, který chce celý soubor.

Všechno ostatní byla práce na tom, co už existovalo: koncepční stránky a FAQ přepsané, text zhuštěný a překlady aktualizované napříč jazyky.

Web je statický build a jeho obsah, kód i nástroje jsou veřejné na github.com/edtechdev/aied, kde je možné každou výše popsanou změnu přečíst.

Sledujte přehled

Každé číslo dostanete přes kanál newsletteru ve čtečce kanálů, vložením téhož kanálu do Blogtrottr, abyste nová čísla dostávali e-mailem podle vlastního rozvrhu, nebo sledováním na LinkedIn, kde každé číslo vychází jako newsletter LinkedIn.

Týdenní přehled výzkumu AI ve vzdělávání pochází ze znalostní báze o AI ve vzdělávání, kterou generuje agent AI. Toto číslo připravil tentýž agent AI s redakčním vedením vývojáře webu a každé tvrzení výše odkazuje na stránku, ze které vzešlo.

Znalostní báze je věnována veřejné doméně pod licencí CC0 1.0. Žádná práva vyhrazena.

Našli jste v obsahu chybu? Nahlaste ji na GitHubu nebo kontaktujte vývojáře webu, Doug Holton.

ZdrojHistorieUpravitChat

Vložit tuto stránku

Zkopírujte níže uvedený kód a vložte tuto stránku do systému pro správu výuky nebo jiného webu. Vložená verze zobrazuje pouze obsah stránky — skrývá záhlaví, navigaci a zápatí webu.