Koji su dokazi o intervencijama za pismenost u području umjetne inteligencije u visokom obrazovanju?

Automatski strojni prijevod ove engleske stranice, koji još nije pregledao izvorni govornik.

Ured prorektora želi ishod pismenosti u području umjetne inteligencije u svakom preddiplomskom programu do sljedeće jeseni, a plan na stolu je dvosatna radionica plus modul u knjižnici. Ili je projektni prijedlog financirao „pismenost u području umjetne inteligencije“ na vašoj ustanovi i prvi sastanak odbora odnosi se na to što će se njime kupiti. Netko će u sobi pitati što će studenti nakon toga moći, a to razrješava argument o dizajnu.

Odgovor za tu sobu, i stanje dokaza u visokom obrazovanju, jest ovaj: pismenost raste kada studenti kritiziraju izlaz umjetne inteligencije unutar stvarnog disciplinarnog zadatka, više puta, s kolegama, a najmanje raste kada im se pokaže što alat radi. Prosječni je učinak u literaturi o intervencijama velik; raspršenje oko tog prosjeka još je šire, pa vaš dizajn odlučuje više od vaše teme. Ankete o samopouzdanju mjere prihvaćanje. Ako želite tvrditi da je pismenost postignuta, testirajte izvedbu.

Kratka verzija

1. Stavite pismenost u kolegij koji studenti već pohađaju, na rad koji se već ocjenjuje.

2. Neka se obvežu na vlastiti odgovor prije nego što vide odgovor modela.

3. Ocjenjujte kritiku, rubrikom koju već rabite za taj zadatak.

4. Provedite to više od jednom tijekom semestra.

5. Kao dokaz uzmite izvedbeni zadatak, a porast samopouzdanja držite kao zasebnu stavku.

Izgradite slijed oko kritike

Najsnažniji primjer iz učionice u bazi znanja dolazi iz preddiplomske psihologije. Richmond i Nicholls dali su studentima da ocijene priopćenje za medije koje je generirao ChatGPT prema vlastitoj rubrici kolegija, imenuju pogreške i tekst prerađuju. Studenti su uglavnom vidjeli da je proza uglađena i da sadržaj pogrešno prikazuje ciljeve, metode i nalaze istraživanja. U usporedbi s prethodnom generacijom koja je radila vršnjačko ocjenjivanje, skupina koja je kritizirala umjetnu inteligenciju bila je umjereno bolja u pratećoj preradi scenarija (d = 0,36), bez značajne prednosti na završnom videu (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Literatura iz koje ti primjeri dolaze oslanja se na kratke intervencije, samoprocjenu i rad utemeljen na dizajnu, a ova studija nosi dvije od tih granica. Usporedba je bila povijesna, pa bi bolje pripremljena generacija dala isti obrazac. Prednost se također pojavila na međufaznom materijalu i nestala na dovršenome, što je upravo ono što biste očekivali ako je kritika poučavala preradu.

Beck i Brodersen ugradili su isti potez u kolegij ekonomije: studenti sami rješavaju ili tumače autentičan problem, zatim dobiju odgovor ChatGPT-a, usporede ih, kritiziraju umjetnu inteligenciju, razmisle i razgovaraju s kolegama. Njihov dizajn uvlači pismenost u području umjetne inteligencije u rutine aktivnog učenja koje je kolegij već provodio, poput metode Think-Pair-Share. Njegov je doprinos prenosiv dizajn poučavanja, potkrijepljen upotrebom u učionici, a ne eksperimentom (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Stavite to u kolegij koji studenti već pohađaju

Hingle i Johrin sustavni pregled razvrstava aktivnosti pismenosti u području umjetne inteligencije prema okviru ICAP: pasivna izloženost, aktivno rukovanje, konstruktivno stvaranje i interaktivno suoblikovanje. Intervencije se pojavljuju u sva četiri načina, a pregled se protivi svođenju pismenosti na jednosmjernu informativnu sesiju (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Prakse koje podupire jesu one koje možete ugraditi u zadatak: studenti stvaraju, kritiziraju, objašnjavaju i raspravljaju o izlazima umjetne inteligencije s kolegama.

Sveučilište NC State opisuje AI Literacy Continuum kao napredovanje od Not Yet Engaged (još nije uključen) i Uncritical Use (nekritička upotreba) preko Informed Use (informirana upotreba), kritičke evaluacije i Improvement (poboljšanje), a proveden je s više od 330 sudionika na kolegijima i radionicama (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Njegova zapažanja upućuju na razdvajanje: kratka iskustva pomaknula su studente prema informiranoj upotrebi, dok su se kritička evaluacija i poboljšanje pokazali uglavnom u trajnom radu ugrađenom u disciplinu. Nije bilo validirane mjere prije i poslije ni usporedne skupine, pa je to dokaz utemeljen na praksi.

Obrazovanje nastavnika pokazuje istu gornju granicu iz drugog kuta. Intervencija utemeljena na dizajnu autora Le i sur. pilotirana je s 14 studenata diplomskog studija i evaluirana s 29 studenata obrazovanja nastavnika. Prijavljena samoefikasnost u području umjetne inteligencije porasla je i studenti su se pomaknuli prema kritičkijem pedagoškom razmatranju generativne umjetne inteligencije, dok su etički pomaci dosegnuli samo graničnu značajnost. Tako oblikovana mala studija utemeljena na dizajnu ne može utvrditi kompetenciju (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mjerite što studenti mogu

Trorazinska metaanaliza 59 studija sa 172 veličine učinka i 7.211 sudionika daje najjasniju dostupnu kvantitativnu procjenu: velik ukupni učinak (g = 0,837, p < 0,001). Interval predikcije od 95% kreće se od -0,292 do 1,966, i to je brojka koju treba citirati kada nekoga zanima hoće li intervencija djelovati u vašem programu. Dva su moderatora bila značajna. Intervencije u istočnoj Aziji i Europi nadmašile su one u Sjevernoj Americi, a intervencije usmjerene na znanje nadmašile su one usmjerene na vještine, stavove ili etiku. Veći, ali neznačajni učinci pojavili su se za mješovite ili refleksivne pedagogije, alate potpomognute generativnom umjetnom inteligencijom i ishode izvedbenih zadataka.

Autori vlastiti rezultat čitaju kao argument za pomicanje od znanja prema vještinama, praksama, etici i stavovima, kroz integriranu refleksivnu pedagogiju i kulturno relevantan dizajn. Za odbor dvije implikacije obavljaju posao. Ishod koji mjerite oblikuje učinak koji nalazite, pa odaberite ishod do kojeg vam je stvarno stalo. Interval predikcije tako širok zagovara lokalni pilot.

Mjerenje je mjesto na kojem većina programskih tvrdnji pada. Validirani izvedbeni test GLAT predviđao je izvedbu na zadatku u visokom obrazovanju uz pomoć umjetne inteligencije. Samoprijavljena mjera pismenosti u području ChatGPT-a to nije (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). U cijeloj bazi znanja prijavljena i pokazana kompetencija u području umjetne inteligencije znatno se razilaze, što obrazovno mjerenje i valjanost procjene čini dijelom dizajna, a ne naknadnom mišlju u evaluaciji.

Burriss i sur. zaoštravaju što se računa. Njihova studija 22 učenika jedanaestog razreda koji su sastavljali videouratke javnog servisa o etici umjetne inteligencije zastupa tezu da postojeće skale pismenosti i okviri kompetencija pretpostavljaju pojedinačno mjerljivu izvedbu, što isključuje suradničko i kreativno izražavanje. Predlažu osvrte studenata, multimodalne materijale i građanski diskurs kao dopunu konvencionalnim mjerama. Njihovi su studenti razvili kritičko razumijevanje etike umjetne inteligencije kroz suradničku kritičku pedagogiju, a to dovodi u pitanje poimanja pismenosti kao popisa vještina, kao i instrumente izgrađene na njima. Petnaest od 18 odgovora na kraju cjeline potvrdilo je novo učenje, a autori primjećuju da se projekt opire tradicionalnoj sumativnoj procjeni ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Mjere prihvaćanja zasebna su zamka. Wang, Chuang i Wu anketirali su 831 učenika i nastavnika u osnovnim i srednjim školama na Tajvanu nakon otprilike 30 minuta s vodičem za pismenost prilagođenim dobi i našli stabilnu četverofaktorsku strukturu prihvaćanja. Percipirana igrivost bila je najsnažniji korelat bihevioralne namjere. Studija je mjerila kratkoročno prihvaćanje, a ne učenje, etičku kompetenciju ili stvarnu upotrebu, i autori navode da se konstrukti prihvaćanja „ne smiju rabiti za zaključivanje o učinkovitosti učenja ili uspješnosti provedbe“ (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Planirajte za pogreške koje poučavanje neće ispraviti

Obuka studenata da bolje oblikuju upite ili bolje rabe umjetnu inteligenciju ne čini ih pouzdano kritičnim korisnicima. U eksperimentu s kontekstualnim ulagivanjem obuka iz pismenosti u području umjetne inteligencije i oblikovanja upita smanjila je koliko često je model preslikavao pogreške u zaključivanju sudionika, a daljnje širenje pogreške preživjelo je obuku (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Čitajte to kao granicu onoga što kolegij može obećati. Obrazovanje za pismenost ne može nositi cijeli teret sigurnosti, a program koji tvrdi da hoće premjestio je rizik, a nije ga uklonio. Dizajn alata i zaštitne mjere na razini sustava ostaju u planu.

Pođite od toga gdje su vaši studenti već sada

Şan i Orhan Karsak rabili su psiholingvistički test asocijacija riječi sa 436 turskih studenata preddiplomskog studija (1.376 kodiranih odgovora, κ = 0,87 među ocjenjivačima) kako bi mapirali kako studenti predstavljaju umjetnu inteligenciju. Asocijacije su se grupirale oko instrumentalne korisnosti, pri čemu su dominirale praktičnost (f = 145) i brzina (f = 110). Algoritamska transparentnost, privatnost i pojmovi upravljanja bili su rijetki i strukturno odvojeni od tog klastera korisnosti (Kendallov τ = -0,819). Njihov argument slijedi: etički modul koji se predaje u kognitivnu strukturu bez sheme koja bi ga primila vjerojatno će propasti. Nastavni planovi trebaju izričite mostove od svakodnevnog znanja o alatima do etičkih okvira i okvira upravljanja, a mikrokvalifikacije trebaju slijedom sadržaja zatvoriti taj jaz umjesto ponavljanja onoga što studenti već znaju (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Situirano tumačenje dolazi iz sedam fokusnih skupina Daija i Chana s 28 istraživača na poslijediplomskom studiju, koji su umjetnu inteligenciju rabili neravnomjerno kroz tijek istraživanja. Upotreba je bila jača u postupovnom radu s malim ulogom, poput oblikovanja, prijevoda i objašnjavanja, i znatno opreznija tamo gdje je bio u pitanju znanstveni doprinos. Sudionici su sami povlačili granice između pomaganja vlastitom zaključivanju i njegove zamjene. Autori tretiraju pismenost u području umjetne inteligencije kao situiranu sposobnost, a ne statičan popis kompetencija, i preporučuju postupnu potporu svake dimenzije kroz stvarne zadatke umjesto provedbe binarnih pravila (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Provjerite kvalifikaciju prije nego što je dodijelite

Potvrde i mikrokvalifikacije mjesto su na kojem se pismenost u području umjetne inteligencije dostavlja u velikom opsegu i na kojem je evaluacija najtanja. Wu i Li izgradili su sustav pokazatelja ponderiran stručnjacima (AHP i Fuzzy-AHP s Monte Carlo provjerama, 18 stručnjaka) za programe potvrda o umjetnoj inteligenciji. Stručna kompetencija nastavnika pokazala je najveći jaz između važnosti i zadovoljstva, uz visoku percipiranu važnost (0,1976) nasuprot niskom trenutačnom zadovoljstvu. Njihovi podaci stavljaju sposobnost nastavnika ispred tehnološke infrastrukture kao primarno ograničenje pedagoške promjene. Međukulturna prilagodljivost dobila je najnižu stratešku težinu (0,0735), što čitaju kao pristranost prema tehnologiji u ranom certificiranju (Evaluation Indicator System for AI Certificate Programs).

Pitanje koje slijedi jest ono koje treba postaviti vlastitom programu: potvrđuje li kvalifikacija trajnu pismenost ili bilježi prisutnost? I jesu li ljudi koji je predaju opremljeni da prosude?

Što ova publika pogrešno razumije

Radionica je nastavni plan. Zapažanja Continuuma smještaju kritičku evaluaciju i poboljšanje u trajan rad ugrađen u disciplinu, a Le i sur. pomaknuli su samoefikasnost bez utvrđivanja kompetencije.

Samopouzdanje je zamjena za pismenost. Rezultat GLAT-a izravan je: izvedbeni test predviđao je izvedbu na zadatku, a samoprijavljena mjera nije.

Velik prosječni učinak znači da će program djelovati ovdje. Uz interval predikcije od -0,292 do 1,966, prosjek opisuje područje; vaša kohorta nalazi se negdje unutar tog raspona.

Obuka za pismenost čini studente sigurnim korisnicima. U eksperimentu s ulagivanjem obuka je smanjila preslikavanje i ostavila širenje pogreške netaknutim.

Pismenost je jedna vještina koja se prenosi među alatima. Dai i Chan našli su da istraživači povlače različite granice u različitim dijelovima istog tijeka rada.

Što će vam se vratiti

„Nema mjesta u nastavnom planu.“ Dodajte kritiku zadatku koji već ocjenjujete, onako kako su Beck i Brodersen to ugradili u postojeće rutine aktivnog učenja. Zaseban kolegij košta više i poučava isto.

„Naši su studenti odrasli s ovom tehnologijom.“ Poznavanje alata jest ono što su Şan i Orhan Karsak izmjerili: praktičnost i brzinu, uz privatnost i upravljanje strukturno odvojene. Tečnost u upotrebi nečega nije razumijevanje toga.

„Samo nam dajte veličinu učinka.“ g = 0,837, p < 0,001, iz 59 studija, uz interval predikcije od 95% od -0,292 do 1,966. Druga brojka je ona koja upravlja vašom odlukom.

„Anketirat ćemo studente na kraju semestra.“ Tada ćete izmjeriti prihvaćanje. Wang i sur. izričito kažu što to ne može poduprijeti, na uzorku od 831.

„Kvalifikacija je mehanizam odgovornosti.“ Wu i Li našli su da je kompetencija nastavnika ograničenje koje stvarno veže, a međukulturna je prilagodljivost dobila najnižu težinu. Potvrda bilježi da je netko nešto završio.

„Naši nastavnici nisu spremni ovo poučavati.“ Dokazi se slažu. Sposobnost nastavnika bila je najveći jaz u podacima Wua i Lija, a nijedna studija na ovoj stranici ne testira kako ga zatvoriti.

Što učiniti ovaj tjedan

1. Odaberite jedan ocjenjivani zadatak i dodajte korak u kojem studenti izrade vlastiti odgovor prije nego što se posavjetuju s umjetnom inteligencijom.

2. Napišite upit za kritiku prema svojoj postojećoj rubrici, tako da studenti ocjenjuju izlaz prema standardu koji već rabite.

3. Zakažite drugu provedbu iste aktivnosti kasnije u semestru, na istom kolegiju.

4. Zamijenite jedno pitanje o samopouzdanju na kraju semestra kratkim izvedbenim zadatkom i ocijenite ga.

5. Pitajte onoga tko upravlja vašom mikrokvalifikacijom koji će dokaz kompetencije prihvatiti i pribavite odgovor u pisanom obliku.

Kamo dalje

Kako uključiti pismenost u području umjetne inteligencije u svoj kolegij? vodi pitanje dizajna u planiranje kolegija. Pismenost u području umjetne inteligencije drži koncept i raspravu o njegovu mjerenju, a stranica o istraživačkim prazninama pokriva mjesta na kojima je ta literatura još tanka.