Jak mohou AI agenti podporovat studenty a instruktory?

Automatický strojový překlad této anglické stránky, který ještě nebyl zkontrolován rodilým mluvčím.

Ukázka od dodavatele trvá čtyřicet minut. Agent přečte sylabus, navrhne kvíz na příští týden, označí tři studenty, kteří si neotevřeli četbu, a nabídne, že jim napíše. Vaše prorektorka chce rozhodnutí o licenci do konce měsíce.

Agent plánuje, volá nástroje, drží kontext, dělí práci na podúkoly a přizpůsobuje se napříč tahy, což je víc, než dělá chatbot. Role na straně studenta a na straně instruktora, které to otevírá, jsou skutečné. Důkazy ale neukazují, že více autonomie produkuje více učení: v jediné studii s přímým srovnáním tady agent a chatbot skončili nerozhodně. Dejte autonomii tam, kde výstup kontroluje člověk, plánování nechte na studentovi a kvalitu výuky skórujte proti vlastní rubrice.

Stručně

1. Pojmenujte úkol dřív než produkt.

2. Začněte na straně instruktora, kde práci už kontroluje učitel.

3. Přidanou autonomii berte jako náklad, dokud důkazy neřeknou opak.

4. Plánování a posuzování nechte na studentovi, protože právě ty má zadání budovat.

5. Skórujte agenta proti své rubrice a naplánujte kontrolu bez pomoci dřív, než pilot skončí.

Vyberte úkol dřív, než vyberete agenta

Agentní pracovní postupy ve vzdělávání pojmenovávají čtyři opakující se schopnosti: reflexe, plánování, používání nástrojů a spolupráce více agentů. Každá přidává vedle možnosti i náklad, v vysvětlitelnosti, koordinaci, důvěře, latenci a dohledu.

Role na straně studenta jdou od adaptivního doučování a plánování studia přes formativní zpětnou vazbu, vedené řešení problémů a generování procvičování až k doporučením předpokladů a reflektivnímu metakognitivnímu promptování. Role na straně instruktora pokrývají tvorbu materiálů, generování otázek a jejich validaci, třídění zpětné vazby, analytiku kurzu, návrh výuky, vyhledávání zdrojů a orchestraci specializovaných podagentů.

Dvě z nich jsou zpočátku bezpečnější, protože obě produkují artefakt, který člověk čte dřív než studenti: generátor otázek spárovaný s validátorem a koncept, který učitel upravuje.

Začněte tam, kde práci už kontroluje člověk

Tutor CoPilot, první randomizovaný kontrolovaný pokus se systémem člověk-AI při živém doučování, dával začínajícím tutorům vodítka v reálném čase odvozená z uvažování zkušených tutorů, a to u 900 tutorů a zhruba 1 800 studentů. Studenti tutorů s přístupem měli o 4 procentní body vyšší pravděpodobnost zvládnutí tématu, u nejhůř hodnocených tutorů to stouplo na 9 bodů a jejich studenti dohnali studenty lépe hodnocených tutorů v kontrolní skupině. Stálo to asi $20 na tutora ročně a analýza více než 550 000 zpráv z doučování ukázala, že tutoři přešli od dávání odpovědí k pokládání navádějících otázek. To je AI, která posiluje učitele.

Agent studenta neučil. Zásoboval člověka uprostřed rozhovoru a člověk rozhodl, co říct. Člověk ve smyčce a výsledek blízko samotné práce jsou to, co činí výsledek přenositelným do jiného kurzu.

Nepředpokládejte, že více autonomie kupuje více učení

Studie se 130 studenty v kurzu elektronického obchodu zjistila, že chatbota i agenty s generativní AI hodnotili výš než tradiční e-learning, co do učení i personalizace, bez významného rozdílu mezi chatbotem a agentem. Přidaná autonomie, žádná přidaná hodnota v těchto mírách.

Rámec této studie chápe agenty jako ohraničené, člověkem dohlížené studijní partnery, s cíli, kontrolními body a konečnými rozhodnutími ponechanými lidem. Za nálepkou agenta z toho dělá pravidlo správy: autonomie nemá přesáhnout zralost důkazů ani sílu odpovědné lidské kontroly, a důkazy jsou nejsilnější u výsledků na úrovni artefaktů, nejslabší u trvalého učení a spravedlnosti.

Riziko na straně studenta jde stejným směrem. Agent, který za studenta plánuje a monitoruje, odstraňuje procvičování, které buduje samoregulaci, a zve k kognitivnímu odklánění. Doporučení osvědčených postupů žádají záměrné tření, scaffolding, které se vytrácí, a lidský dohled. Produktivní tření má funkční příklady. Agenti konstruktivního konfliktu, kteří se hádají se slabým návrhem, v prostudovaném výzkumu zlepšili výsledky návrhu. Simulovaní vrstevníci podporují spolupráci ve výuce a sokratovské dotazování a klinické simulace nechávají studenty nacvičovat tam, kde chyba není drahá.

Test pro kterýkoli z nich: co student po relaci umí sám, co předtím dělal agent? Předání úsudku stojí studenta procvičování toho úsudku.

Zkontrolujte agenta proti vlastnímu úsudku

Osm AI agentů pro výuku nasazených v lékařském kurikulu se umístilo různě podle skóre generovaného platformou a podle nezávislé expertní rubriky. Agent, který byl v platformě třetí, skončil v kvalitě výuky poslední. Skóre platformy indexují výkon studentů, a ten se hýbe z důvodů, které s výukou nemají nic společného.

Ptejte se, co číslo na dashboardu počítá, kdo napsal rubriku za ním a jak by nízké skóre vypadalo v práci studenta. Pedagogická bezpečnost patří do stejné revize, protože řetěz agentů ztěžuje říct, která složka odpovídá za chybnou odpověď.

Plánujte vypnutí

Randomizované pokusy ukazují, že krátká pomoc AI může snížit pozdější výkon bez pomoci, a interval po odebrání nástroje, kognitivní vymývání, je téměř úplně nezměřený. Syntéza, o kterou se tato stránka opírá, vychází ze scopingového přehledu 474 studií a nachází práci soustředěnou ve vysokém školství, v STEM, v krátkodobých designech a v doučování založeném na textu, přičemž jen menšina je výslovně zakotvena ve vzdělávací teorii. Pilot, který skončí s koncem licence, měřil špatné okno.

V čem se správci mýlí

Agent je vylepšený chatbot, takže vylepšení se má projevit ve výsledcích. Ve srovnání se 130 studenty obě podmínky s AI porazily e-learning a ani jedna neporazila druhou.

Dashboard hodnotí kvalitu výuky. Hodnotí výkon studentů a osm agentů vytvořilo pořadí, které proti expertní rubrice obrátilo třetí a poslední místo.

Autonomie je ta funkce, kterou je třeba koupit. Pravidlo proporcionality jde opačným směrem a důkazy jsou nejtenčí tam, kde je autonomie největší.

Přístup uzavírá mezeru ve spravedlnosti. Nerovný přístup ke schopným agentním systémům ji může rozšířit a agent reprodukuje zaujatost trénovacích dat ve velkém.

Co vám budou říkat

„Studenti to prostě nechají udělat.“ Někteří ano, a architektura rozhoduje o tom, jak snadno. Agenti, kteří za studenta plánují a píší koncept, k tomu zvou. Agenti, kteří vyžadují pokus a pak položí otázku, ne.

„Hodnocení od dodavatele říká, že to funguje.“ Ptejte se, co to číslo počítá. Pokud je to výkon studentů měřený platformou, měří studenty stejně jako agenta.

„Nikdo neumí říct, který agent v řetězu odpovídá.“ To platí o většině současných nasazení. Pojmenujte vlastníka řetězu, zaznamenávejte, která složka vytvořila který výstup, a držte lidský kontrolní bod dřív, než se cokoli dostane do záznamu studenta.

Co udělat tento týden

1. Napište úkol a výsledek, podle kterého ho budete posuzovat, každý jednou větou, dřív než příští hovor s dodavatelem.

2. Ohodnoťte výstup jednoho agenta proti své rubrice na deseti kusech skutečné práce studentů a skóre si nechte.

3. Přidejte do plánu pilotu datovanou úlohu bez pomoci s vlastníkem.

Kam dál

Vývoj efektivního AI tutora pokrývá stavbu na straně studenta od cíle k žebříku pomoci a Hodnocení intervencí s AI pokrývá, zda to fungovalo. Inteligentní doučování a gramotnost v oblasti AI dodávají slovní zásobu návrhu, kterou tato stránka předpokládá.