Mitä näyttöä tekoälylukutaidon interventioista korkeakoulutuksessa on?

Tämän englanninkielisen sivun automaattinen konekäännös, jota ei ole vielä tarkastanut äidinkielinen puhuja.

Vararehtorin toimisto haluaa jokaiseen kandidaattiohjelmaan tekoälylukutaidon oppimistuloksen ensi syksyyn mennessä, ja pöydällä oleva suunnitelma on kahden tunnin työpaja ja kirjaston opetusmoduuli. Tai apuraha on rahoittanut ”tekoälylukutaitoa” oppilaitoksessasi, ja ensimmäinen komiteakokous koskee sitä, mitä sillä ostetaan. Joku huoneessa kysyy, mitä opiskelijat osaavat sen jälkeen, ja sen ratkaisee suunnitteluargumentti.

Vastaus tuolle huoneelle ja näytön tila korkeakoulutuksessa on tämä: lukutaito kasvaa, kun opiskelijat arvostelevat tekoälyn tuotosta todellisen oppiaineen tehtävän sisällä, toistuvasti, vertaistensa kanssa, ja se kasvaa vähiten, kun heille näytetään, mitä työkalu tekee. Interventiokirjallisuuden keskimääräinen vaikutus on suuri, ja hajonta tuon keskiarvon ympärillä on vielä suurempi, joten suunnitelmasi ratkaisee enemmän kuin aiheesi. Itseluottamuskyselyt mittaavat hyväksyntää. Jos haluat väittää lukutaitoa, testaa suoritus.

Lyhyesti

1. Sijoita lukutaito kurssille, jota opiskelijat jo käyvät, työhön, josta heitä jo arvostellaan.

2. Anna heidän sitoutua omaan vastaukseensa ennen kuin he näkevät mallin vastauksen.

3. Arvostele kritiikki sillä rubriikilla, jota jo käytät tehtävässä.

4. Toteuta se useammin kuin kerran lukukauden aikana.

5. Laske suoritustehtävä näytöksesi ja pidä itseluottamuksen kasvu erillisenä rivinä.

Rakenna sarja kritiikin ympärille

Tietopohjan vahvin luokkaesimerkki tulee psykologian kandidaattiopinnoista. Richmond ja Nicholls antoivat opiskelijoiden arvostella ChatGPT:n tuottaman tiedotteen omaa kurssirubriikkiaan vasten, nimetä virheet ja korjata sen. Opiskelijat näkivät yleisesti, että teksti oli hiottua ja että sisältö vääristi tutkimuksen tavoitteet, menetelmät ja tulokset. Edelliseen vertaisarviointikohorttiin verrattuna tekoälykritiikkiryhmä menestyi vaatimattomasti paremmin sitä seuranneessa käsikirjoituksen korjauksessa (d = 0,36), ilman merkitsevää etua lopullisessa videossa (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Kirjallisuus, josta nämä esimerkit tulevat, nojaa lyhyisiin interventioihin, itsearviointiin ja suunnittelupohjaiseen työhön, ja tässä tutkimuksessa on kaksi näistä rajoituksista. Vertailu oli historiallinen, joten paremmin valmistautunut kohortti tuottaisi saman kuvion. Etu näkyi myös välituotteessa ja katosi valmiissa tuotoksessa, mikä on juuri se, mitä odottaisit, jos kritiikki opetti korjaamista.

Beck ja Brodersen rakensivat saman liikkeen taloustieteen kurssiin: opiskelijat ratkaisevat tai tulkitsevat aidon ongelman itse, hankkivat sitten ChatGPT:n vastauksen, vertaavat kahta, arvostelevat tekoälyä, reflektoivat ja keskustelevat vertaisten kanssa. Heidän suunnitelmansa nivoo tekoälylukutaidon aktiivisen oppimisen rutiineihin, joita kurssi jo pyöritti, kuten Think-Pair-Share. Sen anti on siirrettävä opetuksen suunnittelumalli, jota tukee luokkahuonekäyttö eikä koe (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Sijoita se kurssille, jota opiskelijat jo käyvät

Hinglen ja Johrin systemaattinen katsaus lajittelee tekoälylukutaidon aktiviteetteja ICAP-kehikon mukaan: passiivinen altistuminen, aktiivinen käsittely, konstruktiivinen tuottaminen ja interaktiivinen yhteisrakentaminen. Interventioita esiintyy kaikissa neljässä muodossa, ja katsaus argumentoi tekoälylukutaidon pelkistämistä yksisuuntaiseksi infotilaisuudeksi vastaan (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Käytännöt, joita se tukee, ovat niitä, jotka voit rakentaa tehtävään: opiskelijat luovat, arvostelevat, selittävät ja väittelevät tekoälyn tuotoksista vertaistensa kanssa.

NC State -yliopiston AI Literacy Continuum kuvaa etenemisen Not Yet Engaged ja Uncritical Use -tasoilta Informed Use, kriittinen arviointi ja Improvement -tasoille, ja se toteutettiin yli 330 osallistujan kanssa kursseilla ja työpajoissa (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Sen havainnot viittaavat jakoon: lyhyet kokemukset veivät opiskelijoita kohti tietoista käyttöä, kun taas kriittinen arviointi ja kehittäminen näkyivät pääosin pitkäkestoisessa, oppiaineeseen upotetussa työssä. Validoitua ennen/jälkeen-mittausta ja verrokkiryhmää ei ollut, joten tämä on käytäntöperusteista näyttöä.

Opettajankoulutus näyttää saman katon eri kulmasta. Le ym.:n suunnittelupohjainen interventio pilotoitiin 14 maisteriopiskelijan kanssa ja arvioitiin 29 opettajankoulutuksen opiskelijan kanssa. Raportoitu tekoälyosaamisen minäpystyvyys nousi ja opiskelijat siirtyivät kohti kriittisempää pedagogista suhtautumista generatiiviseen tekoälyyn, kun taas etiikan parannukset saavuttivat vain marginaalisen merkitsevyyden. Tuon muotoinen pieni suunnittelupohjainen tutkimus ei voi osoittaa osaamista (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mittaa, mitä opiskelijat osaavat tehdä

59 tutkimuksen kolmitasoinen meta-analyysi (172 vaikutuskokoa, 7 211 osallistujaa) antaa selkeimmän saatavilla olevan määrällisen arvion: suuri kokonaisvaikutus (g = 0,837, p < 0,001). 95 %:n ennusteväli ulottuu arvosta -0,292 arvoon 1,966, ja se on luku, joka kannattaa siteerata, kun joku kysyy, toimiiko interventio ohjelmassasi. Kaksi moderaattoria oli merkitseviä. Itä-Aasiassa ja Euroopassa tehdyt interventiot päihittivät Pohjois-Amerikan, ja tietokeskeiset interventiot päihittivät taitoihin, asenteisiin tai etiikkaan tähtäävät. Suurempia mutta ei-merkitseviä vaikutuksia näkyi sekamuotoisilla tai reflektiivisillä pedagogioilla, generatiivista tekoälyä tukevilla työkaluilla ja suoritustehtävämittareilla.

Kirjoittajat lukevat oman tuloksensa argumentiksi siirtyä tiedosta taitoihin, käytäntöihin, etiikkaan ja asenteisiin integroidun reflektiivisen pedagogiikan ja kulttuurisesti relevantin suunnittelun kautta. Komitealle kaksi seurausta tekee työn. Mittaamasi tulos muokkaa löytämääsi vaikutusta, joten valitse tulos, josta todella välität. Näin leveä ennusteväli argumentoi paikallisen pilottikokeilun puolesta.

Mittaus on se, missä useimmat ohjelmaväitteet kaatuvat. Validoitu GLAT-suoritustesti ennusti suoriutumista tekoälyavusteisessa korkeakoulutehtävässä. Itse raportoitu ChatGPT-lukutaidon mittari ei ennustanut (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). Koko tietopohjassa raportoitu ja osoitettu tekoälyosaaminen eroavat merkittävästi, mikä tekee kasvatuksellisesta mittaamisesta ja arvioinnin validiteetista osan suunnittelua eikä jälkikäteen lisättyä ajatusta arvioinnissa.

Burriss ym. terävöittävät sitä, mikä lasketaan. Heidän 22 yhdennentoista luokan opiskelijaa koskeva tutkimuksensa, jossa nämä koostivat videomuotoisia yleishyödyllisiä mainoksia tekoälyn etiikasta, argumentoi, että olemassa olevat lukutaidon asteikot ja osaamiskehikot olettavat yksilöllisesti mitattavaa suoritusta, mikä sulkee pois yhteisöllisen ja luovan ilmaisun. He ehdottavat opiskelijoiden reflektioita, multimodaalisia artefakteja ja kansalaiskeskustelua tavanomaisten mittareiden täydennyksiksi. Heidän opiskelijansa kehittivät kriittistä tekoälyetiikan ymmärrystä yhteisöllisen kriittisen pedagogiikan kautta, ja se haastaa taitoluettelomaiset käsitykset lukutaidosta sekä niille rakennetut välineet. Viisitoista 18:sta yksikön lopun vastauksesta vahvisti uutta oppimista, ja kirjoittajat huomauttavat, että hanke vastustaa perinteistä summatiivista arviointia ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Hyväksyntämittarit ovat erillinen ansa. Wang, Chuang ja Wu kyselyttivät 831 taiwanilaista perus- ja toisen asteen opiskelijaa ja opettajaa noin 30 minuutin ikätasoisen tekoälylukutaidon oppaan jälkeen ja löysivät vakaan nelifaktorisen hyväksyntärakenteen. Koettu leikkisyys oli vahvin käyttäytymisaikomuksen korrelaatti. Tutkimus mittasi lyhytaikaista hyväksyntää, ei oppimishyötyjä, eettistä osaamista tai tosiasiallista käyttöä, ja kirjoittajat toteavat, että hyväksyntäkonstruktioita ”ei saa käyttää oppimisen tehokkuuden tai käyttöönoton onnistumisen päättelemiseen” (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Varaudu virheisiin, joita opettaminen ei korjaa

Opiskelijoiden kouluttaminen kehottelemaan tai käyttämään tekoälyä paremmin ei tee heistä luotettavasti kriittisiä käyttäjiä. Kontekstuaalista mielistelyä koskeneessa kokeessa tekoälylukutaidon ja kehotteiden kirjoittamisen koulutus vähensi sitä, kuinka usein malli toisti osallistujien päättelyvirheet, ja virheiden eteneminen alavirtaan säilyi koulutuksesta huolimatta (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Lue se rajana sille, mitä kurssi voi luvata. Lukutaidon opetus ei voi kantaa koko turvallisuustaakkaa, ja ohjelma, joka väittää kantavansa sen, on siirtänyt riskin eikä poistanut sitä. Työkalun suunnittelu ja järjestelmätason suojatoimet pysyvät suunnitelmassa.

Aloita siitä, missä opiskelijasi jo ovat

Şan ja Orhan Karsak käyttivät psykolingvististä sanayhdistystestiä 436 turkkilaisella kandidaattiopiskelijalla (1 376 koodattua vastausta, arvioijien välinen κ = 0,87) kartoittaakseen, miten opiskelijat hahmottavat tekoälyn. Yhdistykset klusteroituivat välineellisen hyödyn ympärille, ja mukavuus (f = 145) ja nopeus (f = 110) hallitsivat. Algoritminen läpinäkyvyys, yksityisyys ja hallinnointi olivat harvinaisia ja rakenteellisesti erillään tuosta hyötyklusterista (Kendallin τ = -0,819). Heidän argumenttinsa seuraa: eettinen moduuli, joka viedään kognitiiviseen rakenteeseen, jossa ei ole sitä vastaanottavaa skeemaa, epäonnistuu todennäköisesti. Opetussuunnitelmat tarvitsevat eksplisiittisiä siltoja arjen työkalutiedosta eettisiin ja hallinnon kehikkoihin, ja mikrotutkinnot pitäisi järjestää niin, että ne sulkevat tuon kuilun sen sijaan että toistavat sen, minkä opiskelijat jo tietävät (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Situationaalinen tulkinta tulee Dain ja Chanin seitsemästä fokusryhmästä 28 jatko-opiskelijan kanssa, jotka käyttivät tekoälyä epätasaisesti tutkimusprosessin eri vaiheissa. Käyttö oli runsaampaa matalan panoksen prosessityössä, kuten muotoilussa, kääntämisessä ja selittämisessä, ja selvästi varovaisempaa siellä, missä oli kyse tieteellisestä panoksesta. Osallistujat vetivät omat rajansa sen välille, mitä avustetaan ja mitä korvataan omassa päättelyssä. Kirjoittajat pitävät tekoälylukutaitoa situationaalisena kykynä eivätkä staattisena osaamisen luettelona, ja suosittelevat tukemaan jokaista ulottuvuutta todellisissa tehtävissä sen sijaan että otettaisiin käyttöön binäärisiä sääntöjä (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Tarkista pätevyys ennen kuin myönnät sen

Todistukset ja mikrotutkinnot ovat se, missä tekoälylukutaitoa toimitetaan suuressa mittakaavassa ja missä arviointi on ohuinta. Wu ja Li rakensivat asiantuntijapainotetun indikaattorijärjestelmän (AHP ja fuzzy-AHP Monte Carlo -tarkistuksilla, 18 asiantuntijaa) tekoälytodistusohjelmille. Opetushenkilöstön ammatillinen osaaminen näytti suurimman tärkeys-tyytyväisyys-kuilun, korkealla koetulla tärkeydellä (0,1976) ja matalalla nykyisellä tyytyväisyydellä. Heidän aineistonsa asettaa opetushenkilöstön kyvykkyyden teknologisen infrastruktuurin edelle pedagogisen muutoksen ensisijaisena rajoitteena. Kulttuurienvälinen sopeutuvuus sai alimman strategisen painon (0,0735), minkä he tulkitsevat teknologia edellä -painotukseksi varhaisessa pätevöittämisessä (Evaluation Indicator System for AI Certificate Programs).

Seuraava kysymys on se, joka kannattaa esittää omalle ohjelmalle: todentaako pätevyys kestävää lukutaitoa vai kirjaako se läsnäolon? Ja ovatko sitä opettavat ihmiset varustettu arvioimaan sitä?

Missä tämä yleisö menee pieleen

Työpaja on opetussuunnitelma. Continuumin havainnot sijoittavat kriittisen arvioinnin ja kehittämisen pitkäkestoiseen, oppiaineeseen upotettuun työhön, ja Le ym. siirsivät minäpystyvyyttä osoittamatta osaamista.

Itseluottamus on lukutaidon sijaiskäsite. GLAT-tulos on suora: suoritustesti ennusti tehtävässä suoriutumista, itsearviointimittari ei.

Suuri keskimääräinen vaikutus tarkoittaa, että ohjelma toimii täällä. Kun ennusteväli on -0,292:sta 1,966:een, keskiarvo kuvaa alaa; oma kohorttisi istuu jossain tuon vaihteluvälin sisällä.

Lukutaidon koulutus tekee opiskelijoista turvallisia käyttäjiä. Mielistelykokeessa koulutus vähensi toistamista ja jätti virheiden etenemisen ennalleen.

Lukutaito on yksi taito, joka siirtyy työkalusta toiseen. Dai ja Chan havaitsivat tutkijoiden vetävän erilaisia rajoja yhden työnkulun eri osissa.

Mitä sinulle tullaan sanomaan takaisin

”Opetussuunnitelmassa ei ole tilaa.” Lisää kritiikki tehtävään, jonka jo arvostelet, samalla tavalla kuin Beck ja Brodersen nivovat sen olemassa oleviin aktiivisen oppimisen rutiineihin. Erillinen kurssi maksaa enemmän ja opettaa saman asian.

”Opiskelijamme kasvoivat tämän teknologian kanssa.” Työkalun tuttuus on juuri se, mitä Şan ja Orhan Karsak mittasivat: mukavuus ja nopeus, yksityisyyden ja hallinnoinnin ollessa rakenteellisesti irrallaan. Sujuvuus jonkin käytössä ei ole sen ymmärtämistä.

”Antakaa vain vaikutuskoko.” g = 0,837, p < 0,001, 59 tutkimuksesta, 95 %:n ennustevälillä -0,292:sta 1,966:een. Toinen luku on se, joka ohjaa päätöstäsi.

”Kyselytämme opiskelijoilta lukukauden lopussa.” Silloin olet mitannut hyväksyntää. Wang ym. sanovat eksplisiittisesti, mitä se ei voi tukea, 831 henkilön otoksella.

”Pätevyys on vastuullisuusmekanismi.” Wu ja Li havaitsivat opetushenkilöstön osaamisen sitovaksi rajoitteeksi ja kulttuurienvälisen sopeutuvuuden painotetuimmaksi alimmaksi. Todistus kirjaa, että joku suoritti jotain.

”Opetushenkilöstömme ei ole valmis opettamaan tätä.” Näyttö on samaa mieltä. Opetushenkilöstön kyvykkyys oli suurin kuilu Wu ja Lin aineistossa, eikä yksikään tämän sivun tutkimus testaa, miten se suljetaan.

Mitä tehdä tällä viikolla

1. Valitse yksi arvosteltava tehtävä ja lisää vaihe, jossa opiskelijat tuottavat oman vastauksensa ennen tekoälyn konsultoimista.

2. Kirjoita kritiikkikehote olemassa olevaa rubriikkiasi vasten, jotta opiskelijat arvostelevat tuotoksen sillä standardilla, jota jo käytät.

3. Ajoita saman aktiviteetin toinen kierros myöhemmäksi lukukauteen, samalla kurssilla.

4. Korvaa yksi lukukauden lopun itseluottamuskysymys lyhyellä suoritustehtävällä ja pisteytä se.

5. Kysy siltä, joka omistaa mikrotutkintosi, mitä osaamisen näyttöä se hyväksyy, ja pyydä vastaus kirjallisena.

Minne seuraavaksi

Miten sisällytän tekoälylukutaidon kurssiini? vie suunnittelukysymyksen kurssin suunnitteluun. Tekoälylukutaito pitää sisällään käsitteen ja sen mittaamiskeskustelun, ja tutkimusaukkojen sivu käsittelee sitä, missä tämä kirjallisuus on vielä ohutta.