Pomáhá využívání AI mým studentům skutečně se učit?

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

Student vám řekne, že díky AI tutorovi konečně pochopil látku, a vy to nemáte jak ověřit. Nebo vám na stůl přistane pilot se dotazníkem spokojenosti a snímkem rostoucích známek z úkolů a někdo chce do konce měsíce rozhodnout o licenci. Nebo stojíte před třídou a ptáte se, zda nástroj, který jste právě poslali otevřít, studentům pomáhá procvičovat, nebo jim pomáhá procvičování se vyhnout.

Krátká odpověď: ano, AI může studentům pomoci se učit, a nic z toho, co s největší pravděpodobností uvidíte, to neprokazuje: ani lepší úkoly, ani rychlejší dokončení, ani spokojené studenty, ani produkt, kterému se říká tutor. To, co odděluje případy, v nichž se učení zlepšuje, od případů, v nichž ne, je design aktivity a výsledek, který jste se rozhodli měřit.

Stručně

1. Nejprve pojmenujte schopnost, potom rozhodněte, jaké důkazy by ukázaly, že se změnila.

2. Změřte tutéž schopnost později, s odebraným nástrojem, protože to je jediné měření, které na vaši otázku odpovídá.

3. Zařaďte vlastní pokus studenta před pomoc a potom vyžadujte reakci na pomoc.

4. Známkujte ověřování: co zkontrolovali, co odmítli, co změnili.

5. Dívejte se na výsledky podle předchozích znalostí, protože průměr skrývá studenty, u nichž design selhává.

Než se podíváte na jakékoli důkazy, rozhodněte, co míníte učením

„Pomáhá AI studentům se učit“ není jedna otázka. Skládá se nejméně ze tří: zvyšuje nástroj výkon, dokud je otevřený, buduje schopnost, která přetrvá, když se zavře, a mění to, kdo nakonec tou schopností disponuje. Zpráva dodavatele, dotazník z pilotu i randomizovaná studie mohou být všechny poctivé a přesto odpovídat na různé z nich.

Napište schopnost ještě před aktivitou. „Vytvořit uhlazenou zprávu“ je jiný výsledek než „vybrat vhodné důkazy“, „vysvětlit kauzální vztah“ nebo „odhalit nepodložený závěr“. Hodnocení musí odhalit schopnost, kterou chcete rozvíjet, což je argument v pedagogickém měření a výchozí bod hodnocení vzdělávacích intervencí s AI.

Korpus podporuje dva závěry zároveň a udržet oba je disciplína, kterou tato stránka žádá. Syntéza Světové banky Can EdTech Close Learning Gaps? sloučila 14 randomizovaných studií v deseti ekonomikách a odhadla kladný průměrný účinek na učení ve výši 0,125 směrodatné odchylky pro adaptivní a AI podporované vzdělávací technologie. Zároveň spojila starší adaptivní systémy s nástroji generativní AI, nenašla statisticky prokázanou výhodu novějších generativních nástrojů a přiznala značnou nejistotu v tomto srovnání. Výsledek podporuje potenciál těchto intervencí, ne tvrzení, že nějaký chatbot zlepší učení. Kladný průměr je jinými slovy slučitelný s velkou variabilitou i s tím, že pro věc, o které právě uvažujete, není doložena žádná výhoda.

Užitečnější jsou studie, které mění design uvnitř jednoho experimentu. Vícemístná randomizovaná studie s 1 176 studenty prvního ročníku srovnala vzájemnou zpětnou vazbu, přímou zpětnou vazbu od AI, sebehodnocení následované zpětnou vazbou od AI a hybridní sled sebehodnocení, vzájemné zpětné vazby a kritiky od AI. Reflektivní a hybridní podmínky vedly k silnějšímu odloženému přenosu bez AI než přímá zpětná vazba od AI: studenti si vedli lépe v novém úkolu vědecké argumentace, nejen v eseji, kterou revidovali. Tyto podmínky také vyžadovaly více hodnotící práce a pravděpodobně více času, takže studie podporuje celý design zpětné vazby, ne jednu jeho složku.

Ověřte, zda zisk přežije odebrání nástroje

Toto je nejinformativnější kontrola, kterou máte k dispozici, a v pilotu se na ni snadno zapomene.

Nejjasnější varování v korpusu je randomizovaný terénní experiment s téměř 1 000 studenty středních škol, Generative AI without guardrails can harm learning. Rozhraní ve stylu obecného nástroje zvedlo skóre asistovaného procvičování o 48 % oproti kontrolní skupině a titíž studenti potom dosáhli o 17 % horších výsledků v testech bez pomoci. Tutor nastavený s pokyny a nápovědami navrženými učitelem se této ztrátě do značné míry vyhnul. Nepřinesl však statisticky významné zlepšení výkonu v testu bez pomoci oproti kontrolní skupině. Vyhnout se škodě a prokázat dodatečné učení jsou dva různé výkony.

V celostátním měřítku se stejné rozštěpení objeví se zpožděním. The Generative AI Learning Penalty sledovala 26 811 čínských studentů druhého stupně a středních škol v ročnících 7 až 12 po dobu 30 měsíců metodou postupného zavádění. Skóre z domácích úkolů vzrostlo o 18 % a doba dokončení klesla o 30 %, z 64 na 45 minut. Skóre měsíčních testů bez pomůcek kleslo do šesti měsíců o 20 % a skóre přijímacích zkoušek s vysokými sázkami kleslo o 18 až 24 % výchozí hodnoty, ale až po zhruba dvou letech. Ztráty se soustředily u přibližně 81 % uživatelů, jejichž chování naznačovalo přesouvání domácích úkolů na nástroj, zatímco studenti, kteří si udrželi dobu práce na domácích úkolech srovnatelnou s neuživateli, se učili zhruba stejně efektivně. Pro váš kurz z toho plynou dvě věci: rozdíl mezi výkonem v domácích úkolech a u zkoušky je mezera mezi výkonem a učením v celostátním souboru a dvouleté zpoždění znamená, že jednosemestrální hodnocení bude systematicky podceňovat náklady.

Vzdělávání v informatice ukazuje stejnou strukturu. Systematický přehled 72 studií zjistil, že generativní AI spolehlivě zvyšovala krátkodobou míru dokončení a zkracovala čas strávený úkolem ve 36 studiích, přičemž v korpusu nebyla ani jedna studie, která by dokumentovala negativní účinek na okamžitý výkon, a tyto zisky se ve 21 studiích „nepřenášejí na samostatný výkon“. Studenti s podporou Codexu dokončili během učení dvakrát tolik úkolů a v testech bez AI si nevedli lépe než kontrolní skupina.

Pak je tu otázka, zda studenti pomoc vůbec využívají. Dvouletý randomizovaný školní experiment v 18 středních školách, One Click Away, našel mírné zisky v matematice a studenti se jen zřídka zapojovali do věcných doučovacích rozhovorů. Autoři poznamenali, že zisky se podobaly ziskům uváděným pro strukturované procvičování bez AI, a design kombinoval individualizované procvičování s doučováním od AI, takže neizoloval přínos složky AI. Schopný tutor, který je k dispozici, je jiný fakt než studenti, kteří ho produktivně využívají.

Making AI Tutoring Productive přidává ostřejší lekci od více než 6 000 studentů středních škol, kteří používali NUMI. Podpora AI zlepšila zotavení po chybách a zpomalila postup otázkami. Pravidlo zvládnutí tří správných odpovědí v řadě zvedlo úspěch definovaný platformou, aniž by samo o sobě zlepšilo učení o týden později. Nejsilnější signál odloženého učení se objevil, když byla AI vložena do pracovního postupu zvládnutí, a tyto zisky byly okrajově statisticky významné a soustředily se na konkrétní procvičovanou látku. To je nepřímý důkaz pro strukturovaný přístup, ne prokázaný recept.

Postavte aktivitu tak, aby myšlení, na kterém záleží, dělal student

Na návrhu výuky záleží víc než na tom, který model používáte. Design, který těmito výsledky projde, má čtyři kroky: pokus, pomoc zaměřenou na obtíž, něco, co student s pomocí udělá, a novou aplikaci s odebranou podporou.

1. Vyžádejte první pokus, předpověď, koncept, vysvětlení nebo interpretaci.

2. Nabídněte cílenou pomoc: nápovědu, vysvětlení, kontrastní příklad nebo soustředěnou zpětnou vazbu k bodu, kde se zasekli.

3. Vyžadujte reakci na pomoc. Student ji vysvětlí, podle ní reviduje, ověří ji nebo zdůvodní, proč ji přijímá či odmítá.

4. Ověřte srovnatelný problém nebo jiný kontext s odebranou podporou.

To je výchozí bod pro výuku, ne ověřený sled kroků, a správné množství a načasování podpory závisí na studentech a na úkolu. Odráží to, co zdůrazňují syntézy o scaffolding a aktivním učení: podporu, která pomáhá žákům rozumět, procvičovat, hodnotit a nakonec fungovat s menší mírou podpory.

Aplikujte princip na cíl, ne mechanicky na každou funkci. „Poskytovat scaffolding, nenahrazovat“ je dobré pravidlo s pastí uvnitř. Kompletně vypracovaný příklad může být něco, z čeho se studenti učí, a sled nápověd se přesto může stát něčím, co proklikají bez myšlení. Záleží na tom, co žák s pomocí udělá, a proto kognitivní odklánění a vyhledávání pomoci leží na opačných koncích toho, co může týž nástroj způsobit.

Protipříklad stojí za to mít na paměti, protože brání tomu, abyste z úsilí udělali zástupný ukazatel učení. V předregistrovaných experimentech popsaných v Coach not crutch dospělí, kteří procvičovali revizi motivačních dopisů s AI, napsali potom lepší text bez AI než ti, kteří procvičovali sami, a vynaložili při tom menší úsilí. Přínosy přetrvaly při kontrole o den později a druhý experiment zjistil, že prohlížení příkladu revidovaného AI přineslo srovnatelné přínosy jako procvičování s nástrojem. Šlo o krátké, ohraničené úkoly psaní, ne o důkaz trvalého zlepšení v celém psaní. Ukazují však, že menší úsilí není automaticky méně učení a že cílem je zachovat učební aktivitu, ne maximalizovat obtížnost.

Ukažte zadržené myšlení v tom, co známkujete

Jak studenti nástroj používají, záleží více než to, zda ho mají. V kvalitativní studii 38 bakalářských studentů při esejistických hodnoceních bez dozoru se zapojení pohybovalo od kognitivního outsourcingu po kognitivní přesměrování, tedy přesun úsilí od nízkoúrovňového vybavování ke kritickému hodnocení. Většina studentů, 31 z 38, zamýšlela používat generativní AI jako studijního asistenta. V praxi se 76,32 % spoléhalo na jednostupňový vzorec zeptej se, dostat odpověď, ukončit dialog a 78,94 % použilo nástroj před psaním konceptu nebo po něm, ne v průběhu úkolu. Jen 8 studentů pracovalo jako kognitivní partneři v soustavném, iterativním dialogu. Toto spektrum, od kognitivního outsourcingu k přesměrování, popisuje interakce studenta s AI. Jeden účastník popsal účinek slovy „jak rychle to zapomenete, je také velmi rychlé“.

Pedagogické poučení je, že plošná povolení i plošné zákazy nechávají studenty hádat. Chování podle této studie změnilo vodítko specifické pro úkol: které kognitivní práci si studenti musí ponechat a která pomoc je přiměřená. To je směr designu rozvíjený v omezování podvádění s AI a omezování zneužívání AI.

Udělejte tedy ze zadrženého myšlení artefakt, který můžete známkovat. V matematice žádejte pokus o řešení dřív, než student požádá o pomoc, potom nechte studenty použít prompt typu „urči první krok, který mám přehodnotit, dej mi jednu užitečnou nápovědu a požádej mě, abych to zkusil znovu“, a vyžadujte nové řešení plus vysvětlení, ne reprodukci odpovědi AI. V psaní nechte studenty posoudit vlastní koncept podle rubriky ještě před žádostí o kritiku a potom vysvětlit, které návrhy přijali, upravili nebo odmítli. Pokud je cílem stavba argumentu, próza od AI nemůže nahradit důkaz, že student argument postavit umí. Pokud je cílem hodnocení alternativních revizí, srovnávání kompletních příkladů je přiměřené. Podrobnosti nesou stránky výuka psaní a gramotnost v oblasti zpětné vazby.

Požadavek, který přehled klade na design, je na úrovni kurzu stejný krok: ověřování, totiž čtení, testování, upravování, vysvětlování a kritizování výstupu AI, udělané jako známkovaná a pozorovatelná složka, ne jako přání ponechané na uvážení studenta. A ne každý legitimní výsledek musí být prokázán bez AI. Kurz může záměrně učit efektivní práci s podporou AI, a pak hodnotíte schopnost studenta vybrat, ověřit, revidovat a obhájit použití nástroje vedle všech samostatných základů, které obor vyžaduje. A Human Capability Test for Learning Outcomes in the AI Era navrhuje toto trojí rozlišení mezi samostatnou schopností, výkonem rozšířeným o AI a odpovědností za ověřování. Je to pojmový rámec, ne ověřený nástroj.

Zjistěte, komu nástroj pomáhá a koho tiše odstavuje

Průměrné zlepšení může skrývat studenty, kteří nezískali nic nebo narazili na novou překážku. Syntéza o digitální propasti odděluje přístup k nástroji od dovednosti potřebné k jeho použití a od toho, kdo nakonec skončí s užitečným výsledkem, a pro kurz záleží na všech třech.

Předchozí znalosti moderují v přehledu o informatice všechno: dobře připravení studenti mění pomoc v trvalou dovednost, zatímco nedostatečně připravení riskují, že ji použijí jako berličku, která jim odebere procvičování, jež potřebují. Celostátní kohortová studie ukazuje stejnou koncentraci po svém, se ztrátami v učení u 81 % uživatelů, jejichž chování při domácích úkolech naznačovalo přesouvání práce na nástroj.

U hodnocení ve třídě rozepište výsledky podle předchozích znalostí, jazykových potřeb a požadavků na přístupnost, místo abyste hlásili průměr kurzu. Učit studenty, jak získat a posoudit užitečnou zpětnou vazbu, je součástí gramotnosti v oblasti AI a s licencí nepřijde. Když hodnotíte samostatné učení, odeberte pomoc, která dodává cílové myšlení, a ponechte úpravy, které poskytují přístup k úkolu. Na tomto rozlišení stojí přístupnost i spravedlnost ve vzdělávání s AI.

Prohlédněte si také zpětnou vazbu, kterou studenti skutečně dostávají. Plynulá odpověď může chybně diagnostikovat obtíž, upevnit chybu nebo vydat odpověď tam, kde bylo potřeba jiného druhu podpory. Používejte materiály sladěné s kurzem, udržujte cestu k lidské pomoci a neshromažďujte o studentech více informací, než aktivita vyžaduje. Konkrétnosti pokrývají kvalita zpětné vazby od AI, pedagogická bezpečnost a soukromí.

Nevěřte dashboardu, ani tomu svému

Metriky platformy se nejsnáze přenášejí do rozhodnutí o nákupu a nejsnáze se přeceňují. V hodnocení osmi výukových agentů s AI v medicínském vzdělávání se pořadí podle vlastního skóre platformy rozešlo s rubrikou kvality výuky ověřenou odborníky. Agent, který byl podle platformy třetí, skončil v kvalitě podle rubriky poslední, protože skóre platformy sledovalo výkon studenta během interakce, ne výukové chování agenta. Vestavěná metrika je hypotéza, kterou je třeba ověřit.

Stejná skepse platí pro důkazy, které vytvoříte sami. Dotazník spokojenosti měří spokojenost a vnímané učení je sebeposuzovací měření, u něhož korpus dokumentuje, že se daleko vzdaluje od měřeného učení. Známky z úkolů měří úkol. Ani jedno vám neřekne, co student dokáže za tři týdny se zavřeným nástrojem, a metody hodnocení intervencí s AI popisuje srovnávací designy, které vás dostanou blíž.

V čem se pedagogové v tomto bodě mýlí

„Vyšší známky z úkolu znamenají, že se naučili víc.“ Obě hodnoty se mohou ubírat opačným směrem. Experiment s ochrannými mantinely zvedl asistované procvičování o 48 %, zatímco testy bez pomoci klesly o 17 %, a celostátní kohorta viděla růst skóre domácích úkolů o 18 %, zatímco skóre testů bez pomůcek kleslo do šesti měsíců o 20 %. Ani jeden vzorec by se v klasifikačním záznamu, který eviduje jen poslední odevzdání, neobjevil.

„Je to tutor, takže je to bezpečné.“ Tutor je označení a výsledky za tímto označením jsou smíšené. Tutor nastavený učitelem se vyhnul ztrátě u zkoušky a kontrolní skupinu v testech bez pomoci nepřekonal. Khanmigo přinesl mírné zisky, které se podobaly strukturovanému procvičování, a věcné doučování probíhalo jen málo. AI v NUMI zpomalila postup otázkami. Tutor může zadržovat řešení a přesto procvičování pohltit.

„Když to působí snadněji, nic je to nenaučí.“ Mýlí se v obou směrech, a proto je úsilí špatný zástupný ukazatel. Coach not crutch našel menší úsilí s lepším psaním bez AI o den později, takže snadnost není tím vodítkem. Případy odděluje to, zda student dělal myšlení, které cíl pojmenovává, a to je otázka designu, ne nastavení obtížnosti.

„Plošné pravidlo nebo lepší prompt spraví, jak to používají.“ Studie 38 studentů našla většinu studentů v jednostupňovém režimu zeptej se a dostat odpověď právě v podmínkách, v nichž jim bylo řečeno, že AI je studijní asistent. Chování změnilo vodítko specifické pro úkol a známkovaný požadavek na ověření. Řádek v pravidlech i důmyslný prompt jsou k tomu vstupy a ani jeden to nenahrazuje.

„Skóre platformy nebo dotazník spokojenosti mi říká, že to funguje.“ Hodnocení osmi agentů našlo pořadí podle platformy, které se pod odbornou rubrikou obrátilo. Spokojenost a vnímané učení jsou sebeposuzovací údaje. Oba má smysl sbírat jako procesní informaci a ani jeden není měřením učení.

„Přístup je problém spravedlnosti a přístup jsme vyřešili.“ Přístup je jedna ze tří linií, vedle dovednosti a toho, kdo získá užitečný výsledek. Předchozí znalosti rozhodují, zda se pomoc stane dovedností, nebo berličkou, a ztráty v celostátní kohortě se soustředily ve skupině, jejíž chování naznačovalo nahrazování, ne ve skupině bez zařízení.

Co vám na to přijdou říct

„Moji studenti říkají, že to pomáhá.“ Pravděpodobně to pomáhá s prací, která před nimi leží, a to je zjištění, ne jeho vyvrácení. Zeptejte se, co dokážou u podobného úkolu se zavřeným nástrojem, a dostanete odpověď, na které záleží.

„Studie si navzájem odporují, tak proč se podle některé řídit?“ Jakmile srovnáte výsledek, který každá měřila, odporují si jen zřídka. Pozitivní výsledky obvykle měří asistovaný výkon, spokojenost nebo dobře strukturovanou aktivitu s odloženou kontrolou; negativní měří později samostatný výkon. Syntéza Burneo a kol. vyslovuje nejistotu otevřeně: 0,125 směrodatné odchylky v průměru přes 14 studií, žádná prokázaná výhoda pro novější generativní nástroje. Zlepšení před a po nemůže ukázat, že zisk způsobil AI, protože studenti se zlepšují i díky zbytku výuky, a metody výzkumu účinnosti popisují srovnávací designy, které vás dostanou blíž. Jednejte podle tvrzení o designu, která se replikují, a zůstaňte otevření ohledně velikosti účinku, která se nereplikuje.

„Mám 200 studentů. Nemůžu dělat odložená hodnocení.“ Potřebujete jeden krátký výchozí úkol a jednu odloženou položku, ne studii. Použijte stejný typ úkolu o tři týdny později bez nástroje, ponechte loňskou verzi zkoušky jako hrubé srovnání a vzorkujte práci, která působí nekonzistentně s dřívějšími odevzdáními. To stačí k tomu, abyste viděli 48 % asistovaného zisku vedle 17 % ztráty bez pomoci, pokud se to ve vašem kurzu děje.

„Khanmigo měl pozitivní výsledek, takže doučování funguje.“ Přinesl mírné zisky v matematice v 18 středních školách v designu, který spojoval individualizované procvičování s doučováním od AI, a studenti jen zřídka vedli věcné doučovací rozhovory. Čtěte to jako důkaz, že dobře strukturované prostředí procvičování může přinést malé zisky, ne jako důkaz, že je způsobila složka AI.

„Nemůžu to zakázat a nemůžu to hlídat.“ V obou bodech správně a ani jedno není nutné. Otázka designu je, co vaše aktivita usnadňuje. Pokud je ověřování známkované, zveřejnění nic nestojí a kontrola bez pomoci existuje, většina studentů půjde cestou, kterou jste postavili.

„Neučím AI. To není můj předmět.“ K interferenci dochází uvnitř vašeho předmětu, v kroku, kdy AI vykonává procvičování, které má váš kurz poskytovat. Proto je nápravou změna zadání, ne nová lekce.

Co udělat tento týden

1. Vezměte jednu aktivitu, kterou už vedete, a napište větu o schopnosti: co by student měl po ní umět se zavřeným nástrojem.

2. Přidejte na začátek dvouminutový výchozí test a o tři týdny později stejný druh položky. Obě ohodnoťte bez AI v místnosti.

3. Změňte jeden prompt, který dáváte studentům, z „vysvětli mi to“ na „dej mi jednu nápovědu a potom mi polož otázku“, a vyžadujte revidovaný pokus, než půjdou dál.

4. Přidejte jeden známkovaný artefakt ověření: krátkou poznámku o tom, co zkontrolovali, co odmítli a co změnili.

5. Rozepište výsledek podle předchozích znalostí u studentů, o nichž už víte, že zápasí, a přečtěte si zpětnou vazbu od AI, kterou dostal vzorek z nich.

Kam dál

metody hodnocení intervencí s AI pokrývá měření a srovnávací designy, na nichž stojí výše uvedené kontroly, a hodnocení vzdělávacích intervencí s AI je praktický průvodce hodnocením. jak AI ovlivňuje studenty pokrývá stranu zkušenosti studenta, deset zjištění pro pedagogy zhušťuje stejné důkazy do rozhodnutí pro pedagogy a omezení výzkumu AI ve vzdělávání je poctivý popis toho, co vám tato literatura zatím nemůže říct. Pokud se vaše otázka stala otázkou hodnocení, další stránkou je omezování podvádění s AI.