Ako môžu agenti AI podporovať študentov a vyučujúcich?

Automatický strojový preklad tejto anglickej stránky, ktorý ešte nebol skontrolovaný rodeným hovorcom.

Predajná ukážka od dodávateľa trvá štyridsať minút. Agent prečíta sylabus, navrhne budúcotýždňový kvíz, označí troch študentov, ktorí si neotvorili čítanie, a ponúkne, že im napíše. Vaša prorektorka chce rozhodnutie o licencii do konca mesiaca.

Agent plánuje, volá nástroje, udržiava kontext, delí prácu na podúlohy a prispôsobuje sa naprieč ťahmi, čo je viac, než robí chatbot. Roly na strane študenta a na strane vyučujúceho, ktoré sa tým otvárajú, sú reálne. Dôkazy však neukazujú, že viac autonómie produkuje viac učenia: v jedinej porovnávacej štúdii tu agent a chatbot skončili nerozhodne. Autonómiu dajte tam, kde výstup kontroluje človek, plánovanie nechajte študentovi a kvalitu výučby bodujte podľa vlastnej rubriky.

Krátka verzia

1. Pomenujte prácu skôr než produkt.

2. Začnite na strane vyučujúceho, kde prácu už niekto kontroluje.

3. Pridanú autonómiu berte ako náklad, kým dôkazy nehovoria inak.

4. Plánovanie a posudzovanie nechajte študentovi, pretože práve tie má zadanie vybudovať.

5. Bodujte agenta podľa svojej rubriky a naplánujte kontrolu bez pomoci skôr, než sa pilot skončí.

Vyberte prácu skôr, než vyberiete agenta

Agentické pracovné postupy vo vzdelávaní pomenúvajú štyri opakujúce sa schopnosti: reflexiu, plánovanie, používanie nástrojov a spoluprácu viacerých agentov. Každá pridáva náklad popri možnosti, vo vysvetliteľnosti, koordinácii, dôvere, latencii a dohľade.

Roly na strane študenta siahajú od adaptívneho tutorovania a plánovania štúdia cez formujúcu spätnú väzbu, vedené riešenie problémov a generovanie cvičení až po odporúčania predpokladov a reflexné metakognitívne promptovanie. Roly na strane vyučujúceho pokrývajú tvorbu materiálov, generovanie a validáciu otázok, triedenie spätnej väzby, kurzovú analytiku, inštrukčný dizajn, vyhľadávanie zdrojov a orchestráciu špecializovaných podagentov.

Dve z nich sú bezpečnejšie zavčasu, pretože obe produkujú artefakt, ktorý človek číta skôr než študenti: generátor otázok spárovaný s validátorom a koncept, ktorý učiteľ upravuje.

Začnite tam, kde prácu už kontroluje človek

Tutor CoPilot, prvá randomizovaná kontrolovaná štúdia systému človek-AI v živom tutorovaní, dal nováčikom v tutorovaní usmernenie v reálnom čase odvodené z uvažovania skúsených tútorov, a to naprieč 900 tútormi a približne 1 800 študentmi. Študenti tútorov s prístupom mali o 4 percentuálne body vyššiu pravdepodobnosť zvládnutia tém, čo stúplo na 9 bodov u najhoršie hodnotených tútorov, ktorých študenti dobehli študentov lepšie hodnotených tútorov v kontrolnej skupine. Stálo to asi 20 dolárov na tútora ročne a analýza viac než 550 000 tutorských správ ukázala, že tútori prešli od dávania odpovedí ku kladeniu navádzajúcich otázok. To je AI, ktorá rozširuje schopnosti učiteľa.

Agent neučil študenta. Podával človeku vstupy v strede rozhovoru a človek rozhodol, čo povedať. Človek v slučke a výsledok blízko práce sú to, čo robí výsledok prenosným do iného kurzu.

Nepredpokladajte, že viac autonómie kúpi viac učenia

Štúdia so 130 študentmi v kurze elektronického obchodu zistila, že chatboty aj agenti s generatívnou AI boli hodnotení vyššie než tradičné e-learning v učení a personalizácii, bez významného rozdielu medzi chatbotom a agentom. Pridaná autonómia nepriniesla na týchto meradlách žiadnu pridanú hodnotu.

Rámec tejto štúdie berie agentov ako ohraničených, človekom dohliadaných učebných partnerov, pričom ciele, kontrolné body a konečné rozhodnutia zostávajú ľuďom. Beyond the Agent Label z toho robí pravidlo správy a riadenia: autonómia by nemala presahovať zrelosť dôkazov ani silu zodpovednej ľudskej kontroly, a dôkazy sú najsilnejšie pri výsledkoch na úrovni artefaktov, najslabšie pri trválom učení a rovnosti.

Riziko na strane študenta ide rovnakým smerom. Agent, ktorý za študenta plánuje a monitoruje, odstraňuje prax, ktorá buduje samoreguláciu, a pozýva odľahčenie. Usmernenie k osvedčeným postupom žiada zámerné trenie, lešenie, ktoré sa vytráca, a ľudský dohľad. Produktívne trenie má funkčné príklady. Agenti konštruktívneho konfliktu, ktorí argumentujú proti slabému dizajnu, zlepšili výsledky dizajnu vo výskume, ktorý prehľad pokrýva. Simulovaní rovesníci podporujú kolaboratívne učenie a sokratovské sondovanie a klinické simulácie nechajú študentov nacvičovať tam, kde je chyba lacná.

Test pre ktoréhokoľvek z nich: čo po sedení dokáže študent, čo predtým robil agent? Odovzdanie úsudku stojí študenta prax v jeho používaní.

Overujte agenta proti vlastnému úsudku

Osem agentov na výučbu s AI nasadených naprieč lekárskym kurikulom bolo zoradených inak podľa skóre generovaných platformou a podľa nezávislej odbornej rubriky. Agent, ktorý bol na platforme tretí, skončil v kvalite výučby posledný. Skóre platformy indexuje výkon študentov, ktorý sa hýbe z dôvodov, ktoré s výučbou nemajú nič spoločné.

Pýtajte sa, čo číslo na paneli počíta, kto napísal rubriku za ním a ako by nízke skóre vyzeralo v práci študenta. Pedagogická bezpečnosť patrí do tej istej revízie, pretože reťaz agentov sťažuje povedať, ktorá zložka je zodpovedná, keď je odpoveď nesprávna.

Plánujte vypnutie

Randomizované štúdie ukazujú, že krátka pomoc AI môže znížiť neskorší výkon bez pomoci, a interval po odňatí, kognitívne vyplavenie, je takmer úplne nemeraný. Syntéza za touto stránkou vychádza zo scopingového prehľadu 474 štúdií a zisťuje, že práca sa sústreďuje vo vysokoškolskom vzdelávaní, v STEM, v krátkodobých dizajnoch a v tutorovaní založenom na texte, pričom len menšina je explicitne zakotvená vo vzdelávacej teórii. Pilot, ktorý sa skončí s licenciou, meral nesprávne okno.

V čom sa správcovia v tomto mýlia

Agent je vylepšený chatbot, takže vylepšenie by sa malo ukázať vo výsledkoch. V porovnaní so 130 študentmi obe podmienky s AI prekonali e-learning a ani jedna neprekonala druhú.

Panel zoraďuje kvalitu výučby. Zoraďuje výkon študentov a osem agentov vyprodukovalo poradie, ktoré proti odbornej rubrike obrátilo tretie a posledné miesto.

Autonómia je tá funkcia, ktorú treba kúpiť. Pravidlo proporcionality ide opačným smerom a dôkazy sú najtenšie tam, kde je autonómia najväčšia.

Prístup uzatvára medzeru v rovnosti. Nerovný prístup k schopným agentickým systémom ju môže rozšíriť a agent reprodukuje predpojatosť tréningových dát vo veľkom rozsahu.

Čo vám bude vracať

„Študenti to nechajú len urobiť.“ Niektorí áno, a architektúra rozhoduje o tom, aké ľahké to bude. Agenti, ktorí za študenta plánujú a píšu koncept, to pozývajú. Agenti, ktorí vyžadujú pokus a potom položia otázku, nie.

„Hodnotenie dodávateľa hovorí, že to funguje.“ Pýtajte sa, čo to číslo počíta. Ak je to výkon študentov meraný platformou, meria študentov rovnako ako agenta.

„Nikto nevie povedať, ktorý agent je v reťazi zodpovedný.“ Platí to pre väčšinu súčasných nasadení. Pomenujte vlastníka reťaze, zaznamenávajte, ktorá zložka vyprodukovala ktorý výstup, a predtým než sa čokoľvek dostane do záznamu študenta, udržte ľudský kontrolný bod.

Čo urobiť tento týždeň

1. Napíšte prácu a výsledok, podľa ktorého ju budete posudzovať, po jednej vete, skôr než budete mať ďalší hovor s dodávateľom.

2. Obodujte výstup jedného agenta podľa svojej rubriky na desiatich kusoch skutočnej práce študentov a skóre si nechajte.

3. Doplňte do plánu pilota datovanú úlohu bez pomoci s vlastníkom.

Kam ďalej

Vývoj AI tútora pokrýva stavbu na strane študenta od cieľa k rebríku pomoci a Metódy hodnotenia AI intervencií pokrývajú, či vec fungovala. Inteligentné tutorovanie a AI gramotnosť dodávajú dizajnovú slovnú zásobu, ktorú táto stránka predpokladá.