Miten tekoälyä koskevan koulutustutkimuksen pitäisi huomioida yhdenvertaisuus, saavutettavuus, yksityisyys, etiikka ja pedagoginen turvallisuus?

Tämän englanninkielisen sivun automaattinen konekäännös, jota ei ole vielä tarkastanut äidinkielinen puhuja.

Protokolla on annettava perjantaina. Etiikkaa käsittelevä osio 7 sanoo, että riskejä seurataan. Rekrytointi kulkee olemassa olevan ensimmäisen vuoden kurssin kautta, ja rajoituksia koskeva kappale mainitsee, ettei tuloksia ehkä voi yleistää. Arviointipaneeli kysyy, kuka todennäköisesti hyötyy, voivatko vammaiset opiskelijat käyttää järjestelmää, mitä vuorovaikutuslokeille tapahtuu ja miltä haitallinen ohjaajan vastaus näyttää datassa. Neljä kysymystä, eikä yhdelläkään ole vielä osiota.

Vastaus, joka paneelille kannattaa antaa: yhdenvertaisuus, saavutettavuus, yksityisyys ja pedagoginen turvallisuus kuuluvat suunnitteluun ja tulosmittareihin jo ensimmäisestä luonnoksesta. Jokainen niistä muuttaa sitä, ketä rekrytoit, mitä instrumentoit ja mitä raportoit, joten liitä ne päätökseen silloin kun protokolla on vielä muokattavissa.

Lyhyt versio

1. Nimeä alaryhmävertailu ennen kuin keräät dataa ja laita se analyysisuunnitelmaan.

2. Ota vammaiset oppijat mukaan suunnittelusessioon ja testaa varsinainen käyttöliittymä.

3. Kirjoita muistiin yksityisyyden vaihtokauppa, mukaan lukien kuka sen päätti ja kuka voi perua sen.

4. Testaa turvallisuutta kokonaisilla keskusteluilla oman alasi skenaarioissa.

5. Yhdistä tulosdata haastatteluihin ja jätä jälki, jonka lukija voi tarkistaa.

Kysy, kuka saa hyödyn

Digitaalisen kuilun käsite erottaa pääsyn, taitojen ja tulosten kuilut, mikä tarkoittaa, että pääsyn esteen poistaminen chatbotilla ei tuota yhdenvertaista hyötyä. Suunnittele kolmatta kuilua varten. Raportoi alaryhmien tulokset ja testaa eriytyvää vaikuttavuutta sen sijaan että nojaisit kokonaiskeskiarvoon (eriytyvät vaikutukset oppijaryhmien välillä).

Vertailututkimus 45 nigerialaisesta yliopistosta (15 liittovaltion, 15 osavaltion, 15 yksityistä) näyttää, miten ne kasaantuvat. Kokonaisuutena tekoälyn integraatio oli kohtalainen, M = 4,79 kymmenen pisteen asteikolla, vaihteluväli 1,83-7,83. Hallintotavan tyyppi ei ennustanut sitä (F(2,42) = 1,01, p = 0,372). Instituution ikä (β = 0,43, p = 0,016) ja sijainti lounaisessa Nigeriassa (β = 0,31, p = 0,029) ennustivat. Sisäiset kyvykkyydet vahvistivat toisiaan (r = 0,79-0,80), ja kansainväliset yhteistyöt ja teollisuuskumppanuudet kertaantuivat keskenään (r = 0,74), minkä tekijät tiivistävät muotoon ”yhteydet synnyttävät yhteyksiä”. Periaatekehykset olivat heikoimmat (M = 4,09; vain 27 % instituutioista sai arvosanaksi 6 tai enemmän), jättäen aukon muodollisen strategian ja operatiivisen opetussuunnitelmatyön väliin.

Siitä seuraa kaksi suunnitteluvaikutusta. Kohdista uudempiin instituutioihin ja alipalveltuihin alueisiin, koska kategoria ei määrää kapasiteettia. Ja ota huomioon globaalin etelän kontekstit, jotka laajempi näyttöpohja yhä jättää pois.

Ota vammaiset oppijat suunnitteluhuoneeseen

Sisällytä vammaiset oppijat suunnitteluun ja arviointiin, testaa varsinaisia käyttöliittymiä saavutettavuusvaatimuksia vasten ja tarjoa vastaavat reitit osallistua ja osoittaa oppimista. Tekninen vaatimustenmukaisuus ja inklusiivinen opetus ovat erillisiä testejä, ja Saavutettavuus kattaa molemmat.

Arvoherkkä suunnittelututkimus, johon osallistui yhteisöopiston opiskelijoita, opettajia ja kehittäjiä, näyttää työn käytännössä. Se tuotti 16 arvojen mukaista ominaisuutta selitettävyyden (E1-E5), ihmisen valvonnan (H1-H9) ja yksityisyyden (P1-P4) osalta, ja nosti esiin jännitteitä siistien vastausten sijaan: läpinäkyvyys tulkitsevuutta vastaan, yksityisyys opetuksellista oivallusta vastaan, oppijan toimijuus järjestelmän ohjaamaa tukemista vastaan. Odota, että joudut ratkaisemaan ne, ja kirjaa, kumpaan suuntaan menit.

Päätä yksityisyyden vaihtokauppa ja nimeä, kuka päättää

Kerää data, jonka koulutuksellinen tarkoitus tarvitsee, tee datan käytöstä ja järjestelmän rajoista läpinäkyvää ja pidä ihmisen vastuu konkreettisena. Oikeudenmukaisuus, suostumus, harha, selitettävyys, oppijan autonomia ja tekoälyn välittämien päätösten seuraukset ovat Etiikan ydinulottuvuuksia, ja ne ovat ristiriidassa käytännössä. Opiskelijat halusivat hallita oppimisanalytiikkaa ja affektiivista dataa; opettajat halusivat näkyvyyttä oppimisen tukemiseen. Molemmat kannat ovat puolustettavia, minkä vuoksi päätös tarvitsee nimetyn omistajan.

Kun järjestelmät ottavat toimijuutta, kysymys muuttuu rakenteelliseksi. Kriittinen katsaus agenttisen tekoälyn hallintoon väittää, ettei autonomia saa ylittää näytön kypsyyttä tai vastuullisen ihmisen valvonnan vahvuutta. Se ehdottaa yhteistä raportointikieltä: autonomiatasot A0-A4, valvontatasot O0-O4, näytön kypsyyden vaiheet M0-M5. Seuraukselliset käytöt (A4: valinnat, arvostelu, eteneminen) vaativat toistetun, kontekstiin osuvan validoinnin ja jatkuvan ihmisen auktoriteetin, eikä korkea vertailumittarin pistemäärä korvaa kumpaakaan.

Testaa niitä haittoja, jotka vertailumittarit ohittavat

Pedagoginen turvallisuus tarkoittaa sen mittaamista, mitä vertailumittari ei mittaa: liiallinen nojautuminen, vastauksen liiallinen paljastaminen, väärinkäsitysten vahvistaminen, toimijuuden menetys, metakognition tukahduttaminen, epäoikeudenmukainen kohtelu, motivaatioon liittyvä haitta ja opetuksellinen epäjohdonmukaisuus. Testaa monivuoroisia vuorovaikutuksia alakohtaisissa skenaarioissa. Pedagogisen turvallisuuden synteesi ja SafeTutors-vertailumittari näyttävät, miksi tarkalta näyttävä järjestelmä voi silti vahingoittaa oppimista.

Käytännön tekijät päätyvät yhteensopivaan suunnitteluun. Osallistavassa suunnittelututkimuksessa kuuden lukio-opettajan kanssa opettajat suunnittelivat itsenäisesti ”rajattuja asiantuntijoita” autonomisten agenttien sijaan: kapea toimialue, ihmisen valvonta ja kolme suojaavaa kerrosta aluerajoissa, sisällön suodatuksessa ja opettajan ohitusmahdollisuudessa. He ottivat tekoälyn myönteisesti vastaan sisällön esittämiseen, harjoittelun tarjoamiseen ja formatiivisen palautteen antamiseen, ja kieltäytyivät delegoimasta tavoitteiden asettamista tai summatiivista arviointia. He kehystivät valvonnan ammatilliseksi vastuuksi.

Yhdistä menetelmiä ja näytä polku datasta väitteeseen

Eritellyt määrälliset tulokset voivat paljastaa eriytyviä vaikutuksia. Haastattelut, havainnoinnit, fokusryhmät ja yhteissuunnittelu tuovat esiin esteitä, haittoja, kulttuurisia oletuksia ja oppijakokemusta, jotka aggregaattipisteet ohittavat. Tutkimusmenetelmien AIED-synteesi pitää triangulaatiota välttämättömänä, koska mikään yksittäinen laadullinen tai määrällinen menetelmä ei maksimoi kausalipäätelmää, ekologista validiteettia, kontekstuaalista ymmärrystä ja yleistettävyyttä yhtä aikaa.

Oma analyysisi tarvitsee saman kurinalaisuuden. Perusteltavuusehdotus väittää, että tekoälyavusteinen tulkinta pysyy tarkastettavana, kiistettävänä ja korjattavana, kun se toimitetaan artefaktien kuten lähdelinkitettyjen aihetaulukoiden, linssipinojen ja näyttövirtojen kanssa. Sujuva tiivistelmä ei saa piilottaa polkua, joka sen tuotti.

Pidä myös tulostasot erillään. Agenttisen tekoälyn katsaus erottaa artefaktin tulokset, kuten tarkkuuden ja palautteen laadun, oppijan hyödystä. Artefaktin tulokset voivat olla välttämättömiä eivätkä koskaan riittäviä, ja yhdenvertaisuus- ja instituutiotulokset ovat siellä, missä näyttö on ohuinta.

Missä tämä yleisö menee pieleen

Yhdenvertaisuus tarkoittaa pääsyä. Digitaalisen kuilun käsite asettaa taidot ja tulokset samalle listalle pääsyn kanssa, ja Adeniranyen tutkimus löysi kapasiteetin vaihtelevan instituution iän ja alueen mukaan, kun hallintotavan tyyppi ei ennustanut mitään.

Saavutettavuus on tarkistuslista käyttöliittymässä. Arvoherkkä suunnittelututkimus nosti esiin jännitteitä selitettävyyden ja tulkitsevuuden välillä, joita mikään tarkistuslista ei ratkaise.

Yksityisyys on suostumuslomake. Suunnittelututkimus löysi opiskelijoiden ja opettajien haluavan vastakkaisia asioita samasta datasta, ja hallintokatsaus sitoo autonomian näytön kypsyyteen.

Turvallisuus tarkoittaa, että malli kieltäytyy haitallisista pyynnöistä. Pedagoginen turvallisuus kattaa liiallisen nojautumisen, väärinkäsitysten vahvistamisen ja toimijuuden menetyksen, joihin kieltäytymistesti ei yllä.

Yksi menetelmä vastaa kysymykseen. Menetelmäsynteesi sanoo suoraan, että nuo neljä ominaisuutta ovat keskenään vaihtokauppaa.

Mitä vastaväitteitä sinulle esitetään

”Käsittelemme yhdenvertaisuutta keskusteluosiossa.” Silloin analyysisuunnitelmasi ei voi testata sitä. Nimeä alaryhmävertailu nyt, tai löydös saapuu sen jälkeen kun data on suljettu.

”Otoksemme on liian pieni alaryhmäanalyysiin.” Sano silloin, mitä se tukee, ja raportoi, keitä siinä oli. Nolla-alaryhmätulos alivoimaisesta otoksesta ei ole näyttöä yhdenvertaisuudesta.

”Saavutettavuustestaus on vammaispalvelun tehtävä.” Heidän tarkastuksensa kattaa vaatimustenmukaisuuden. Se, voiko oppija osoittaa osaamisensa aktiviteettisi sisällä, on suunnittelukysymys, ja yllä oleva suunnittelututkimus otti opiskelijat mukaan juuri siksi.

”Data on anonymisoitu, joten yksityisyys on hoidettu.” Suunnittelututkimuksen jännitteet koskivat hallintaa ja näkyvyyttä, eivät tunnisteita. Opiskelijat halusivat tietää, kuka näkee heidän affektiivisen datansa ja miksi.

”Turvapakettimme menee läpi.” Millä vuoroilla? SafeTutors löysi opetusmallien heikkenemisen pitkissä keskusteluissa, ja juuri sen pituisissa, joita opiskelijasi oikeasti käyttävät.

Mitä tehdä tällä viikolla

1. Lisää analyysisuunnitelmaan alaryhmäkappale, jossa nimeät mitkä ryhmät ja minkä tuloksen.

2. Varaa yksi suunnittelusessio vammaisten oppijoiden tai heitä tukevan henkilöstön kanssa ennen kuin käyttöliittymä on lopullinen.

3. Kirjoita yksityisyyspäätös lauseena, jolla on omistaja: mitä kerätään, kuka näkee sen, kuka voi pysäyttää sen.

4. Luonnostele kymmenen vihamielistä keskusteluvuoroa omassa oppiaineessasi ja aja ne järjestelmää vasten.

5. Lisää analyysikansioon yksi tarkastettava artefakti, kuten lähdelinkitetty taulukko tai koodattu katkelmajoukko.

Mihin mennä seuraavaksi

Tekoälyinterventioiden arviointi: menetelmät on mittareita ja suunnittelua käsittelevä kumppanisivu. Kymmenen tärkeintä löydöstä opettajille kantaa nämä rajoitteet löydöksissä 9 ja 10, Yleisten väärinkäsitysten käsitteleminen tekoälykasvatuksessa hoitaa sidosryhmien vastaväitteet, ja Tutkimusaukot AIED:ssä luettelee, missä näyttö puuttuu.