Pomáha používanie AI mojim študentom skutočne učiť sa?

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Študent vám povie, že doučovateľ AI je dôvod, prečo konečne pochopil učivo, a vy nemáte spôsob, ako to tvrdenie overiť. Alebo vám na stôl pristane pilotný projekt s prieskumom spokojnosti a snímkou obrazovky s rastúcimi známkami z úloh a niekto chce rozhodnutie o licencii do konca mesiaca. Alebo stojíte pred triedou a rozmýšľate, či nástroj, ktorý ste im práve povedali otvoriť, pomáha precvičovať alebo pomáha precvičovaniu sa vyhnúť.

Krátka odpoveď: áno, AI môže študentom pomôcť učiť sa, a žiadna z vecí, ktoré pravdepodobne uvidíte, neustanovuje, že sa tak stalo: lepšie úlohy, rýchlejšie dokončenie, spokojní študenti alebo produkt nazvaný doučovateľ. To, čo oddeľuje prípady, kde sa učenie zlepšuje, od prípadov, kde nie, je dizajn aktivity a výsledok, ktorý ste si zvolili merať.

Stručná verzia

1. Najprv pomenujte schopnosť a potom rozhodnite, aký dôkaz by ukázal, že sa zmenila.

2. Zmerajte tú istú schopnosť neskôr, s odňatým nástrojom, pretože to je jediná miera, ktorá odpovedá na vašu otázku.

3. Postavte vlastný pokus študenta pred pomoc a potom vyžadujte reakciu na pomoc.

4. Známkujte overovanie: čo skontrolovali, čo odmietli, čo zmenili.

5. Pozerajte sa na výsledky podľa predchádzajúceho poznania, pretože priemer skrýva študentov, u ktorých dizajn zlyháva.

Rozhodnite, čo pre vás znamená učenie, skôr než sa pozriete na akýkoľvek dôkaz

„Pomáha AI študentom učiť sa“ nie je jedna otázka. Zahŕňa aspoň tri: zvyšuje nástroj výkon, kým je otvorený, buduje schopnosť, ktorá pretrvá, keď sa zavrie, a mení to, kto nakoniec túto schopnosť má. Správa predajcu, pilotný prieskum a randomizovaná štúdia môžu byť všetky čestné a napriek tomu odpovedať na rôzne z nich.

Napíšte schopnosť na papier pred aktivitou. „Vytvoriť uhladenú správu“ je iný výsledok než „vybrať vhodný dôkaz“, „vysvetliť kauzálny vzťah“ alebo „odhaliť nepodložený záver“. Hodnotenie musí odhaliť schopnosť, ktorú chcete rozvíjať, čo je argument v pedagogickom meraní a východisko hodnotenia vzdelávacej AI.

Korpus podporuje dve tvrdenia naraz a držať obe je disciplína, ktorú táto stránka žiada. Syntéza Svetovej banky, Can EdTech Close Learning Gaps?, zlúčila 14 randomizovaných štúdií z desiatich ekonomík a odhadla pozitívny priemerný efekt na učenie 0,125 smerodajnej odchýlky pre adaptívne a AI podporované vzdelávacie technológie. Spojila tiež staršie adaptívne systémy s nástrojmi generatívnej AI, nenašla štatisticky ustanovenú výhodu pre novšie generatívne nástroje a priznala značnú neistotu v tomto porovnaní. Výsledok podporuje potenciál týchto intervencií, nie tvrdenie, že akýkoľvek chatbot zlepší učenie. Pozitívny priemer je inými slovami zlučiteľný s veľkou variabilitou a s nepreukázanou výhodou pre to, o čom práve uvažujete.

Užitočnejšie sú štúdie, ktoré menia dizajn vnútri jedného experimentu. Viaclokalizovaná randomizovaná štúdia s 1 176 študentmi prvého ročníka porovnala spätnú väzbu rovesníkov, priamu spätnú väzbu AI, sebahodnotenie nasledované spätnou väzbou AI a hybridnú sekvenciu sebahodnotenia, spätnej väzby rovesníkov a kritiky AI. Reflexívne a hybridné podmienky priniesli silnejší oneskorený transfer bez AI než priama spätná väzba AI: študenti si viedli lepšie v novej úlohe vedeckej argumentácie, nielen v eseji, ktorú revidovali. Tieto podmienky tiež vyžadovali viac hodnotiacej práce a pravdepodobne viac času, takže štúdia podporuje celý dizajn spätnej väzby, nie jeden jeho komponent.

Overte, či prínos prežije odňatie nástroja

To je najinformovanejšia kontrola, ktorú máte k dispozícii, a v pilotnom projekte sa dá ľahko vynechať.

Najjasnejšie varovanie v korpuse je randomizovaný terénny experiment s takmer 1 000 študentmi stredných škôl, Generative AI without guardrails can harm learning. Rozhranie v štýle všeobecného nástroja zvýšilo skóre precvičovania s pomocou o 48 % vzhľadom na kontrolu a tí istí študenti potom dosiahli o 17 % nižšie skóre v skúškach bez pomoci. Doučovateľ nastavený s usmernením a náznakmi navrhnutými učiteľom sa tejto sankcii z väčšej časti vyhol. Nepriniesol štatisticky významné zlepšenie výkonu v skúške bez pomoci vzhľadom na kontrolnú skupinu. Vyhnúť sa škode a preukázať dodatočné učenie sú rôzne úspechy.

V národnom meradle sa to isté rozštiepenie ukazuje s oneskorením. The Generative AI Learning Penalty sledovala 26 811 čínskych stredoškolákov v ročníkoch 7-12 počas 30 mesiacov pomocou postupnej adopcie. Skóre domácich úloh stúplo o 18 % a čas dokončenia klesol o 30 %, zo 64 na 45 minút. Skóre mesačných skúšok bez pomôcok kleslo o 20 % do šiestich mesiacov a skóre prijímacích skúšok s vysokými stávkami kleslo o 18-24 % základnej úrovne, ale až po približne dvoch rokoch. Straty sa sústredili medzi približne 81 % používateľov, ktorých správanie naznačovalo odovzdávanie domácich úloh, kým študenti, ktorí udržali čas na domáce úlohy porovnateľný s nepoužívateľmi, sa učili približne rovnako efektívne. Pre váš kurz z toho vyplývajú dve veci: rozdiel medzi výkonom v domácich úlohách a v skúškach je priepasť medzi výkonom a učením v národnej kohorte a dvojročné oneskorenie znamená, že jednosemestrálne hodnotenie bude systematicky podceňovať náklady.

Vzdelávanie v informatike ukazuje tú istú štruktúru. systematický prehľad 72 štúdií zistil, že generatívna AI spoľahlivo zvýšila krátkodobé dokončenie a skrátila čas na úlohe v 36 štúdiách, pričom ani jedna štúdia v korpuse nedokumentovala negatívny efekt na okamžitý výkon, a tieto prínosy sa „neprenášajú do samostatného výkonu“ v 21 štúdiách. Študenti s asistenciou Codex dokončili počas učenia dvakrát toľko úloh a v posttestoch bez AI si neviedli lepšie než kontrola.

Potom je tu otázka, či študenti pomoc vôbec používajú. Dvojročný randomizovaný školský experiment na 18 stredných školách, One Click Away, našiel mierne prírastky v matematike a študenti sa len zriedka zapájali do vecných doučovacích rozhovorov. Autori poznamenali, že prínosy sa podobali prínosom hláseným pre štruktúrované precvičovanie bez AI, a dizajn spájal individualizované precvičovanie s doučovaním s AI, takže neizoloval prínos komponentu AI. Schopný doučovateľ, ktorý je k dispozícii, je iný fakt než študenti, ktorí ho produktívne používajú.

Making AI Tutoring Productive pridáva ostrejšiu lekciu od viac ako 6 000 stredoškolákov používajúcich NUMI. Podpora AI zlepšila zotavenie po chybách a spomalila postup cez otázky. Pravidlo troch správnych odpovedí za sebou zvýšilo úspech definovaný platformou bez toho, aby samo o sebe zlepšilo učenie o týždeň neskôr. Najsilnejší signál oneskoreného učenia sa objavil vtedy, keď bola AI vložená do pracovného postupu zvládnutia, a tieto prínosy boli na hranici štatistickej významnosti a sústredili sa na konkrétny precvičovaný materiál. To je naznačujúci dôkaz pre štruktúrovaný prístup, nie osvedčený recept.

Postavte aktivitu tak, aby študent robil to uvažovanie, na ktorom záleží

Inštrukčný dizajn záleží viac než to, ktorý model spúšťate. Dizajn, ktorý tieto výsledky prežije, má štyri kroky: pokus, pomoc zameranú na ťažkosť, niečo, čo študent s pomocou urobí, a novú aplikáciu s odňatou podporou.

1. Požiadajte o počiatočný pokus, predpoveď, koncept, vysvetlenie alebo interpretáciu.

2. Ponúknite cielenú pomoc: náznak, vysvetlenie, kontrastný príklad alebo zameranú spätnú väzbu k bodu, kde sa zasekli.

3. Vyžadujte reakciu na pomoc. Vysvetlia ju, prepracujú s ňou, overia ju alebo odôvodnia, prečo ju prijímajú a odmietajú.

4. Overte porovnateľnú úlohu alebo iný kontext s odňatou podporou.

To je inštrukčné východisko, nie validovaná sekvencia, a správne množstvo a načasovanie podpory závisí od študentov a úlohy. Odráža to, čo zdôrazňujú syntézy lešenia a aktívneho učenia: podporu, ktorá pomáha žiakom porozumieť, precvičovať, hodnotiť a nakoniec podávať výkon s menším množstvom podpory.

Aplikujte princíp na cieľ, nie mechanicky na každú funkciu. „Dávajte lešenie, nenahrádzajte“ je dobré pravidlo s pascou vnútri. Kompletný vypracovaný príklad môže byť niečo, z čoho sa študenti učia, a sekvencia náznakov sa stále môže stať niečím, cez čo preklikajú bez rozmýšľania. Záleží na tom, čo žiak s pomocou urobí, a preto kognitívne odľahčenie a hľadanie pomoci sedia na opačných koncoch toho, čo ten istý nástroj dokáže vyprodukovať.

Protipríklad stojí za to mať na očiach, pretože vám bráni premeniť úsilie na zástupný ukazovateľ učenia. V preregistrovaných experimentoch opísaných v Coach not crutch dospelí, ktorí precvičovali revíziu motivačných listov s AI, napísali neskôr lepší text bez AI než tí, ktorí precvičovali sami, a vynaložili pritom menej úsilia. Prínosy pretrvali pri sledovaní o jeden deň a druhý experiment zistil, že prezeranie príkladu revidovaného AI prinieslo porovnateľné prínosy ako precvičovanie s nástrojom. Išlo o krátke, ohraničené písacie úlohy, nie o dôkaz trvalého zlepšenia v celom písaní. Ukazujú však, že menšie úsilie nie je automaticky menším učením a že cieľom je zachovať učebnú aktivitu, nie maximalizovať náročnosť.

Urobte uchované uvažovanie viditeľným v tom, čo známkujete

Ako študenti nástroj používajú, záleží viac než to, či ho majú. V kvalitatívnej štúdii 38 bakalárov pri necontrolovaných esejistických hodnoteniach sa zapojenie pohybovalo od kognitívneho outsourcingu po kognitívnu realokáciu, teda presun úsilia z nízkoúrovňového vybavovania na kritické hodnotenie. Väčšina študentov, 31 z 38, mala v úmysle používať generatívnu AI ako učebného asistenta. V praxi sa 76,32 % spoliehalo na jednokolové „opýtaj sa, dostaň odpoveď, ukonči dialóg“ a 78,94 % použilo nástroj pred konceptom alebo po ňom, nie počas úlohy. Len 8 študentov pracovalo ako kognitívni partneri prostredníctvom trvalého, iteratívneho dialógu. To spektrum, od outsourcingu po realokáciu, je to, čo opisuje interakcia študenta s AI. Jeden účastník opísal efekt ako „rýchlosť, akou to zabudnete, je tiež veľmi vysoká.“

Pedagogická lekcia je, že plošné povolenia aj plošné zákazy nechávajú študentov hádať. To, čo v podaní tejto štúdie zmenilo správanie, bolo usmernenie špecifické pre úlohu o tom, ktorú kognitívnu prácu musia študenti uchovať a ktorá pomoc je primeraná, čo je smer dizajnu rozvíjaný v znižovaní podvádzania s AI a znižovaní zneužívania AI.

Urobte teda uchované uvažovanie artefaktom, ktorý môžete známkovať. V matematike požiadajte o pokus o riešenie skôr, než sa požiada o pomoc, potom nechajte študentov použiť prompt ako „identifikuj prvý krok, ktorý by som mal prehodnotiť, daj mi jeden užitočný náznak a požiadaj ma, aby som to skúsil znova“, a vyžadujte nové riešenie plus vysvetlenie namiesto reprodukcie odpovede AI. V písaní nechajte študentov posúdiť svoj koncept podľa rubriky skôr, než požiadajú o kritiku, a potom vysvetliť, ktoré návrhy prijali, upravili alebo odmietli. Ak je cieľom výstavba argumentu, próza AI nemôže zastúpiť dôkaz, že študent dokáže argument postaviť. Ak je cieľom hodnotenie alternatívnych revízií, porovnávanie kompletných príkladov je primerané. Podrobnosti nesú stránky vzdelávanie v písaní a gramotnosť spätnej väzby.

Dizajnová požiadavka prehľadu je ten istý krok na úrovni kurzu: overovanie, teda čítanie, testovanie, upravovanie, vysvetľovanie a kritizovanie výstupu AI, urobiť známkovaným a pozorovateľným komponentom, nie ašpiráciou ponechanou na uváženie študenta. A nie každý legitímny výsledok musí byť preukázaný bez AI. Kurz môže zámerne učiť efektívnu prácu podporovanú AI, v takom prípade hodnotíte schopnosť študenta vybrať, overiť, upraviť a obhájiť používanie nástroja popri akýchkoľvek samostatných základoch, ktoré disciplína vyžaduje. A Human Capability Test for Learning Outcomes in the AI Era navrhuje toto trojcestné rozlíšenie medzi samostatnou schopnosťou, výkonom rozšíreným AI a zodpovednosťou za overovanie. Je to pojmový rámec, nie validovaný nástroj.

Overte, komu nástroj pomáha a koho potichu vynecháva

Priemerné zlepšenie môže skryť študentov, ktorí nič nezískali alebo narazili na novú bariéru. Syntéza digitálnej priepasti oddeľuje prístup k nástroju od zručnosti potrebnej na jeho používanie a od toho, kto nakoniec dosiahne užitočný výsledok, a pre kurz záležia všetky tri.

Predchádzajúce poznanie v informatickom prehľade moderuje všetko: dobre pripravení študenti premieňajú pomoc na trvácnu zručnosť, kým nedostatočne pripravení študenti riskujú, že ju použijú ako barlu, ktorá im odoberie precvičovanie, ktoré potrebujú. Štúdia národnej kohorty ukazuje tú istú koncentráciu po svojom, so stratami v učení u 81 %, ktorých správanie pri domácich úlohách naznačovalo outsourcing.

Pri hodnotení v triede rozdeľte výsledky podľa predchádzajúceho poznania, jazykových potrieb a požiadaviek na prístupnosť namiesto hlásenia priemeru kurzu. Učiť študentov, ako získať a vyhodnotiť užitočnú spätnú väzbu, je súčasťou AI gramotnosti a neprichádza s licenciou. Keď hodnotíte samostatné učenie, odstráňte pomoc, ktorá dodáva cieľové uvažovanie, a ponechajte úpravy, ktoré poskytujú prístup k úlohe, čo je rozlíšenie, na ktorom závisia prístupnosť aj rovnosť vo vzdelávaní s AI.

Prezrite si aj spätnú väzbu, ktorú študenti skutočne dostávajú. Plynná odpoveď môže nesprávne diagnostikovať ťažkosť, posilniť chybu alebo odovzdať odpoveď tam, kde bolo potrebné iné druhy podpory. Používajte materiály zosúladené s kurzom, udržujte cestu k ľudskej pomoci a nezhromažďujte viac informácií o študentoch, než aktivita vyžaduje. Kvalita spätnej väzby AI, pedagogická bezpečnosť a súkromie pokrývajú podrobnosti.

Neverte panelu s ukazovateľmi, vrátane svojho vlastného

Metriky platformy sú najľahší dôkaz na prenesenie do rozhodnutia o obstarávaní a najľahšie sa prečítajú priveľa. V hodnotení ôsmich vyučovacích agentov AI v medicínskom vzdelávaní sa poradie podľa vlastného skóre platformy rozišlo s rubrikou kvality vyučovania validovanou expertmi. Agent, ktorý bol podľa platformy tretí, bol v kvalite podľa rubriky posledný, pretože skóre platformy sledovalo výkon študenta počas interakcie, nie vyučovacie správanie agenta. Vstavaná metrika je hypotéza na validáciu.

Rovnaká skepsa platí na dôkazy, ktoré si vytvárate sami. Prieskum spokojnosti meria spokojnosť a vnímané učenie je sebaposudzovacou mierou, pri ktorej korpus dokumentuje veľký odklon od meraného učenia. Známky z úloh merajú úlohu. Ani jedno vám nepovie, čo študent dokáže o tri týždne so zavretým nástrojom, a Aké meradlá a výskumné metódy môže inštruktor použiť na hodnotenie intervencií súvisiacich s AI? uvádza porovnávacie dizajny, ktoré vás dostanú bližšie.

Čo vyučujúci na tomto chápu nesprávne

„Vyššie známky z úlohy znamenajú, že sa naučili viac.“ Oboje sa môže pohybovať opačnými smermi. Experiment s ochrannými mantinelmi zvýšil precvičovanie s pomocou o 48 %, kým skúšky bez pomoci klesli o 17 %, a národná kohorta videla rast skóre domácich úloh o 18 %, kým skóre skúšok bez pomôcok kleslo o 20 % do šiestich mesiacov. Ani jeden vzorec by sa neukázal v knihe známok, ktorá zaznamenáva len konečné odovzdanie.

„Je to doučovateľ, takže je to bezpečné.“ Doučovateľ je označenie a výsledky za týmto označením sú zmiešané. Doučovateľ nastavený učiteľom sa vyhol sankcii v skúške a neprekonal kontrolu v skúškach bez pomoci. Khanmigo priniesol mierne prínosy, ktoré sa podobali štruktúrovanému precvičovaniu, pričom sa uskutočnilo len málo vecného doučovania. AI v NUMI spomalila postup cez otázky. Doučovateľ môže zadržať riešenia a stále pohltiť precvičovanie.

„Ak to pôsobí ľahšie, nič ich to neučí.“ Nesprávne v oboch smeroch, a preto je úsilie zlým zástupným ukazovateľom. Coach not crutch našiel menšie úsilie s lepším písaním bez AI o deň neskôr, takže ľahkosť nie je znakom. Prípady oddeľuje to, či študent robil uvažovanie, ktoré cieľ pomenúva, a to je otázka dizajnu, nie nastavenia náročnosti.

„Plošné pravidlo alebo lepší prompt opraví, ako to používajú.“ Štúdia s 38 študentmi našla väčšinu študentov v jednokolovom režime „opýtaj sa a skonči“ presne v podmienkach, kde im bolo povedané, že AI je učebný asistent. Správanie zmenilo usmernenie špecifické pre úlohu a známkovaná požiadavka overiť. Riadok politiky aj dômyselný prompt sú vstupy do toho a ani jedno to nenahrádza.

„Skóre platformy alebo prieskum spokojnosti mi hovorí, že to funguje.“ Hodnotenie ôsmich agentov našlo poradie platformy, ktoré sa pri expertnej rubrike obrátilo. Spokojnosť a vnímané učenie sú sebaposudzovania. Obe sa oplatí zbierať ako procesnú informáciu a ani jedno nie je mierou učenia.

„Prístup je problém rovnosti a prístup sme vyriešili.“ Prístup je jedna z troch línií popri zručnosti a tom, kto dostane užitočný výsledok. Predchádzajúce poznanie rozhoduje, či sa pomoc stane zručnosťou alebo barlou, a straty v národnej kohorte sa sústredili v skupine, ktorej správanie naznačovalo nahrádzanie, nie v skupine bez zariadení.

Čo sa vám vráti

„Moji študenti hovoria, že to pomáha.“ Pravdepodobne to pomáha s prácou, ktorú majú pred sebou, a to je zistenie, nie jeho vyvrátenie. Opýtajte sa, čo dokážu v podobnej úlohe so zavretým nástrojom, a dostanete odpoveď, na ktorej záleží.

„Štúdie si odporujú, tak prečo konať podľa ktorejkoľvek z nich?“ Len zriedka si odporujú, keď zoradíte výsledok, ktorý každá merala. Pozitívne výsledky zvyčajne merajú výkon s pomocou, spokojnosť alebo dobre štruktúrovanú aktivitu s oneskorenými kontrolami; negatívne merajú neskorší výkon bez pomoci. Burneoova syntéza robí neistotu výslovnou: 0,125 smerodajnej odchýlky v priemere naprieč 14 štúdiami, žiadna ustanovená výhoda pre novšie generatívne nástroje. Zlepšenie pred a po nemôže ukázať, že prínos spôsobila AI, keďže študenti sa zlepšujú počas zvyšku vyučovania, a metódy výskumu efektívnosti uvádzajú porovnávacie dizajny, ktoré vás dostanú bližšie. Konajte podľa dizajnových tvrdení, ktoré sa replikujú, a zostaňte otvorení vo veľkosti efektu, ktorá sa nereplikuje.

„Mám 200 študentov. Nemôžem robiť oneskorené hodnotenia.“ Potrebujete jednu krátku východiskovú úlohu a jednu oneskorenú položku, nie štúdiu. Použite ten istý typ úlohy o tri týždne neskôr bez nástroja, ponechajte minuloročnú verziu skúšky ako hrubé porovnanie a navzorkujte prácu, ktorá vyzerá nekonzistentne s predchádzajúcimi odovzdaniami. To stačí na to, aby ste videli 48 % prínos s pomocou popri 17 % strate bez pomoci, ak sa to vo vašom kurze deje.

„Khanmigo dosiahol pozitívny výsledok, takže doučovanie funguje.“ Dosiahol mierne prínosy v matematike na 18 stredných školách v dizajne, ktorý spájal individualizované precvičovanie s doučovaním s AI, kým študenti len zriedka viedli vecné doučovacie rozhovory. Čítajte to ako dôkaz, že dobre štruktúrované prostredie na precvičovanie môže priniesť malé prínosy, nie ako dôkaz, že ich spôsobil komponent AI.

„Nemôžem to zakázať a nemôžem to strážiť.“ V oboch bodoch správne a ani jedno nie je potrebné. Dizajnová otázka je, čo vaša aktivita uľahčuje. Ak sa overovanie známkuje, odhalenie nič nestojí a kontrola bez pomoci existuje, väčšina študentov ide cestou, ktorú ste postavili.

„Neučím AI. To nie je môj predmet.“ Interferencia sa deje vnútri vášho predmetu, v kroku, kde AI vykonáva precvičovanie, ktoré váš kurz existuje poskytnúť. Preto je riešením zmena zadania, nie nová lekcia.

Čo urobiť tento týždeň

1. Vezmite jednu aktivitu, ktorú už vediete, a napíšte vetu o schopnosti: čo by študent mal po nej dokázať so zavretým nástrojom.

2. Pridajte na začiatok dvojminútové východisko a o tri týždne neskôr rovnaký typ položky. Obidve bodujte bez AI v miestnosti.

3. Zmeňte jeden prompt, ktorý dávate študentom, z „vysvetli to“ na „daj mi jeden náznak a potom sa ma opýtaj“, a vyžadujte prepracovaný pokus, než pôjdu ďalej.

4. Pridajte jeden známkovaný artefakt overovania: krátku poznámku o tom, čo skontrolovali, čo odmietli a čo zmenili.

5. Rozdeľte výsledok podľa predchádzajúceho poznania pre študentov, o ktorých už viete, že zápasia, a prečítajte si spätnú väzbu AI, ktorú dostala ich vzorka.

Kam ísť ďalej

Hodnotenie metód intervencií s AI pokrýva miery a porovnávacie dizajny za kontrolami vyššie a hodnotenie vzdelávacej AI je praktickým sprievodcom hodnotenia. Ako AI ovplyvňuje študentov berie stranu skúsenosti študenta, Top 10 zistení pre vyučujúcich zhŕňa tie isté dôkazy do rozhodnutí vyučujúcich a obmedzenia výskumu AIEd sú čestným podaním toho, čo vám táto literatúra ešte nedokáže povedať. Ak sa vaša otázka stala otázkou hodnotenia, znižovanie podvádzania s AI je ďalšou stránkou.