Miten suunnittelen arvioinnin uudelleen niin, että arvosana kertoo yhä jotain puolustettavaa siitä, mitä opiskelija tietää tai osaa?

Tämän englanninkielisen sivun automaattinen konekäännös, jota ei ole vielä tarkastanut äidinkielinen puhuja.

Sinulla on luultavasti käsissäsi tehtävä, joka toimi vuosia ja palauttaa nyt työtä, jota et voi puolustaa. Arvosana sanoo A, mutta tuotos voi olla suureksi osaksi työkalun. Tai opiskelija kiistää matalan arvosanan perusteilla, joita et voi tarkistaa, tai koulutusohjelmasi kirjoittaa arviointilinjaustaan uudelleen ja kysyy, mitä kurssillasi pitäisi muuttaa ensi lukukauden alkuun mennessä.

Lyhyt vastaus: päätä, mitä arvosanan on tarkoitus olla näyttöä, laita tehtävään ainakin yksi vaihe, jonka opiskelija tekee ilman työkalua, ja tee arviointikriteeristöstä sellainen, että se maksaa päättelystä eikä vain tuotteesta. Uudelleensuunnittelu, joka jättää toisen ja kolmannen vaiheen väliin, muuttaa sitä, miten työ tuotetaan, muuttamatta sitä, mitä arvosana voi tukea.

Lyhyt versio

1. Kirjoita muistiin, mitä osaamista arvosana edustaa. Itsenäisyys, asianmukainen tekoälyn käyttö ja kyky ohjata ja arvioida tekoälyä ovat kolme eri konstruktia, eikä yksi tuotos voi olla näyttöä kaikista kolmesta.

2. Lisää jokaiseen painavaan tehtävään yksi todennettu vaihe: lyhyt suullinen tarkistus, luokassa tehty sovellus, näytös tai kommentoitu perustelu. Yksi riittää yleensä.

3. Aseta tekoälyn raja tehtävän vaiheittain, ei kurssin mukaan. Kartoita, mitä opiskelija tekee kussakin vaiheessa, ja kysy, mitä juuri siinä arvioit.

4. Laita prosessinäyttö arviointikriteeristöön todellisilla pisteillä. Jos kriteeristö palkitsee yhä vain tuotoksen, opiskelijat optimoivat tuotosta.

5. Lähde siitä opiskelijasta, jota houkuttaa eniten salata, älä kaikkein tunnollisimmasta, ja tarkista, minkä valinnan sääntösi tekevät helpoimmaksi.

Päätä, mitä arvosana on näyttöä

Aloita sanomalla suoraan, mitä osaamista arvosanan on tarkoitus edustaa. Arvioitko sitä, mitä opiskelija osaa itsenäisesti, sitä, mihin hän pystyy asianmukaisesti tekoälyn kanssa, hänen kykyään arvioida ja ohjata tekoälyä vai näiden yhdistelmää? Tietopohjan sivu Arvioinnin validiteetti käsittelee tätä validiteettiongelmana: viimeistelty tuotos ei enää ole riittävä näyttö siitä, että opiskelijalla on se osaaminen, jonka tuotos näyttää osoittavan. Tämä on saman argumentin arviointipuoli; valvontapuoli on sivulla Tekoälyhuijauksen vähentäminen, ja yleinen validiteettikehys kulkee läpi sivun interventioiden arvioinnin menetelmät.

Sano vastaus opinto-oppaassa, tehtävänannossa ja arviointikriteeristössä. Opiskelijat lukevat kolme asiakirjaa ja noudattavat sitä, joka on täsmällisin. ”Tekoälyn käyttö on sallittua maininnalla” ei ole lausuma siitä, mitä mittaat, eikä se anna opiskelijalle mitään keinoa tietää, kumoaisiko sallittu käyttö sen asian, jota arvostelet.

Konstruktin korvautumisen riski

Artikkeli Autenttisista tuotteista todennettuihin prosesseihin kutsuu syntyvää riskiä konstruktin korvautumiseksi: arvioija tulkitsee tekoälyn välittämän tuotteen opiskelijan ansioksi ja mittaa tahattomasti työkalun osaamista opiskelijan osaamisen sijaan. Sen suosittelema vastaus on tehdä opiskelijan päättely, harkinta, varmistaminen, iteroiminen ja vastuu näkyväksi sellaisilla keinoilla kuin vaiheittaiset palautukset, kommentoidut päätösperustelut, prosessimuistiinpanot, palautteen käyttöä koskevat selosteet, suulliset puolustukset ja muut todennetun prosessinäytön muodot.

Se luettelo on valikko, ja halvin kohta riippuu ryhmäsi koosta. 25 hengen ryhmässä viiden minuutin suullinen tarkistus opiskelijaa ja isoa tehtävää kohti on noin kaksi tuntia arvostelua, jonka saatat käyttää jo nyt. 300 hengen luennolla vaiheittaiset palautukset ja kommentoidut perustelut skaalautuvat siinä missä suulliset puolustukset eivät, ja otokseen perustuva suullinen tarkistus poikkeavalta näyttävästä työstä on se, mikä pysyy käytännöllisenä. Valitse se vaihtoehto, jota pystyt yhä pitämään käynnissä kymmenennellä viikolla.

Laita jokaiseen tehtävään yksi todennettu vaihe

Käytännössä vahva arviointirakenne yhdistää usein tekoälyä hyödyntävän autenttisen tehtävän johonkin itsenäisen varmistamisen muotoon. Oppiaineesta riippuen siihen voi kuulua lyhyt suullinen selitys, luokassa tehty sovellus, näytös, kommentoitu portfolio, lyhyt avustamaton osa tai kysymyksiä keskeisistä päätöksistä.

Myös käsite Autenttinen arviointi korostaa realistista älyllistä työtä, kognitiivista haastetta, opiskelijan toimijuutta, palautetta sekä sosiaalista tai ammatillista autenttisuutta. Tehtävän koventaminen tekoälyä vastaan tekemättä siitä enemmän tekemisen arvoista jättää sinulle saman arvioinnin ja lisää työtä.

Kävele tehtävä vaihe vaiheelta ja aseta raja siihen

Tehtävätason menetelmä, joka tekee tästä hallittavaa, on se, jonka McCorkle dokumentoi: kartoita jokainen vaihe, jonka opiskelija suorittaa, kysy jokaisesta vaiheesta ”mitä juuri tässä arvioin?” ja johda tekoälyn raja vastauksesta, mikä on myös se tapa, jolla sivun Tekoälyhuijauksen vähentäminen taustalla olevat odotukset tulevat selkeiksi ja valvottaviksi.

Aja se kerran kiistellyimmällä tehtävälläsi ja kirjoita tulos tehtävänantoon. Tyypillinen tulos erottuu selkeästi: varhaiset tiedonhaun ja luonnostelun vaiheet ovat niitä, joissa konstrukti asuu ja joissa työkalu tekee vahingon, kun taas muotoilu, viitteiden tarkistaminen ja kielenhuolto ovat vaiheita, joissa työkalun käyttö on näkymätöntä konstruktillesi ja jotka luultavasti kannattaa sallia suoraan. Yleisluvat ja yleiskiellot epäonnistuvat molemmat, koska vastaus todella eroaa vaiheittain.

Tee kriteeristöstä sellainen, että se maksaa prosessista

Mohamed ja Temimi kehystävät saman ongelman uudelleen puutteellisen tiedon ongelmaksi moraalin sijaan: opiskelija tietää, miten työ tuotettiin, ja oppilaitos näkee vain tuotoksen ja osittaisia jälkiä, joten suunnittelukysymykseksi tulee minkä opiskelijan vastauksen kukin arviointiympäristö tekee houkuttavimmaksi. Heidän vastausalueiden mallinsa vertaa kolmea valintaa, ei tekoälyn käyttöä, ilmoitettua käyttöä ja salattua käyttöä, ja osoittaa, että säännöt, valvonta, ilmoittaminen ja uudelleensuunnittelu vaikuttavat eri kanavien kautta ja onnistuvat vain, kun houkuttavin vastaus on linjassa arvioinnin tarkoituksen kanssa.

Kaksi tulosta osuu suoraan rakenteeseen. Pelotevaikutus kulkee ilmaisimen erottelukyvyn kautta salatun käytön ja hyväksyttävän työn välillä, ei sen raa'an kiinnijäämisluvun kautta, joten kun vääriä hälytyksiä tulee nopeammin kuin oikeita osumia, vahvempi valvonta voi tehdä salaamisesta suhteellisesti houkuttavampaa. Ja uudelleensuunnittelu ohjaa opiskelijoita vastuulliseen käyttöön vain, kun kriteeristö tosiasiassa palkitsee prosessinäyttöä; muuten se jää kosmeettiseksi. Heidän käytännön sääntönsä on suunnitella sen opiskelijan varalta, jota houkuttaa eniten salata, eikä kaikkein tunnollisimman.

Jos perustelukappale, muutosloki tai pohdinta hylätystä tekoälyehdotuksesta ei kanna pisteitä, se kirjoitetaan viidessä minuutissa eikä sitä lue kukaan. Anna prosessinäytölle niin paljon painoa, että sen sivuuttava opiskelija menettää enemmän kuin voittaa, ja kuvaile, miltä hyvä prosessinäyttö näyttää, yhtä täsmällisesti kuin kuvailet tuotetta.

Opiskelijakohtainen tehtävävariaatio on osaamisen ehdolla, ei ilmaista

Yksi suosittu valvontaa välttävä rakenne on opiskelijakohtainen tehtävävariaatio, jossa jokainen kokelas saa pinnaltaan erilaisen mutta konstruktiltaan vastaavan version samasta tehtävästä, niin ettei vastauksia voi hyödyllisesti jakaa. VARIA, vertailuanalyysi 600 tuotetusta variaatiosta 60 ehtosolussa, havaitsi huippumallien keskittyvän tiiviisti yhteiseen eheyspisteeseen (0,81-0,88), kun taas ei-huippumalliset vertailukohdat putosivat 0,50-0,55:een, ja ettei mikään yksittäinen kehoitetekniikka optimoi samalla kertaa pinnan monimuotoisuutta ja konstruktin vastaavuutta. Variaatiota mittakaavassa ei voi olettaa pelkän kehottamisen perusteella, joten oppilaitoksen on validoitava oma mallinsa ja kehotteensa ennen kuin se pitää takeita todellisena.

Kurssitason päätöksessä se tarkoittaa yhtä testiä ennen sitoutumista: tuota joukko variaatioita yhdestä omasta tehtävästäsi, anna kollegan arvostella kaksi niistä samalla osaamisella ja vertaa. Jos arvosanat eroavat variaatioiden välillä, vastaavuusväite ei pidä sinun tehtäväsi kohdalla, ja vastausten jakamisen suoja maksetaan epäoikeudenmukaisuudella.

Uudelleensuunnittelu harvoin tapahtuu tehtävä kerrallaan

Laadullisessa tutkimuksessa, joka kattoi 12 akateemista työntekijää ja 17 opiskelijaa suuressa australialaisessa yliopistossa, Nicola-Richmond ym. havaitsivat, että molemmat ryhmät olivat yhtä mieltä siitä, että arvioinnin on muututtava, mutta korostivat systeemistä kitkaa: pitkiä läpimenoaikoja, suurten kohorttien akkreditointirajoitteita, työkuormaa ja kustannuksia. He päättelivät, että uudelleensuunnittelu vaatii kylän, eli ohjelmanlaajuisen tiimin, jossa yhdistyvät arviointisuunnittelun, generatiivisen tekoälyn, oppiaineen, teollisuuden ja näytön asiantuntemus, ja jossa GenAI-lukutaidon ja oppimisen varmistamisen pisteet sijoitetaan strategisesti tutkintoa pitkin. Jos olet yksi opettaja yhdellä kurssilla, se löydös on varoitus siitä, mikä hidastaa sinua, ja syy ottaa koulutusohjelmavastaava mukaan ensimmäiseen keskusteluun eikä viimeiseen.

Tarkoitus merkitsee yhtä paljon kuin mekaniikka. El Khoury ja Ma väittävät, että vain väärinkäytön estämisen ympärille rakennettu uudistus on liian puolustava, ja ehdottavat iloa tuottavaa arviointia, joka on turvallista, emotionaalisesti reagoivaa, voimaannuttavaa ja tukee opiskelijan toimijuutta, ja jossa rehellisyys on hyvän suunnittelun seuraus eikä sen lähtökohta. Heidän esimerkkinsä käyttää opettajan rakentamaa tekoälyagenttia opiskelijoiden harjoittamiseen ennen arviointia ja kriteeristön mukaiseen näyttöraporttiin, mutta työnjako sanotaan suoraan: tekoäly järjestää näytön, opettaja tulkitsee sen.

Mitä sinulle tullaan sanomaan

”Minulla ei ole tunteja suullisiin tarkistuksiin.” Älä silloin pidä niitä kaikesta. Yksi todennettu osa painavimmassa tehtävässä sekä otostarkistus työstä, joka näyttää olevan ristiriidassa aiempien palautusten kanssa, käsittelee suurimman osan riskistä murto-osalla kustannuksesta. Skaalautuvia kohtia ovat vaiheittaiset palautukset ja kommentoidut perustelut.

”Akkreditointi ja ohjelman hyväksyntä eivät liiku niin nopeasti.” Yllä oleva tutkimus nimeää pitkät läpimenoajat ja suurten kohorttien akkreditointirajoitteet keskeiseksi kitkaksi. Yksi kurssi voi muuttaa sitä, mitä olemassa olevan arvioinnin sisällä tapahtuu, muuttamatta sen nimeä, painoarvoa tai oppimistavoitteita, ja se riittää yleensä alkuun.

”Tämä rankaisee ahdistuneita opiskelijoita ja vammaisia opiskelijoita.” Voi rankaista. Suulliset osat vaativat etukäteen suunnitellut mukautukset, muotovaihtoehdon silloin kun konstrukti sen sallii, ja huomiota kielelliselle erolle ja arvioijan vinoumalle. Varmista osaaminen, älä suorituksen olosuhteita.

”Meidän pitäisi vain ostaa ilmaisin.” Erottelukykyä koskeva tulos puhuu sitä vastaan suunnittelun selkärankana: jos vääriä hälytyksiä tulee nopeammin kuin oikeita osumia, vahvempi valvonta tekee salaamisesta suhteellisesti houkuttavampaa. Ilmaisimella voi olla paikkansa vastauksessa, joka myös suunnittelee tehtävän uudelleen, ja Pitäisikö meidän käyttää tekoälyilmaisimia kattaa sen argumentin.

”Opiskelijat käyttävät tekoälyä kuitenkin.” Kyllä käyttävät, ja suunnittelukysymys on, minkä vastauksen tehtäväsi tekee helpoimmaksi. Jos ilmoittaminen ei maksa opiskelijalle mitään ja kriteeristö maksaa prosessista, useimmat ottavat sen; jos ilmoittaminen herättää epäilyä, salaamisesta tulee rationaalinen valinta.

Mitä tehdä tällä viikolla

1. Kirjoita yksi lause, joka nimeää sen osaamisen, jota seuraava iso tehtäväsi arvostelee. Laita se tehtävänantoon.

2. Valitse halvin todennettu vaihe, jonka pystyt pitämään yllä, ja lisää se siihen tehtävään.

3. Kartoita tehtävän vaiheet ja merkitse jokainen joko konstruktia kantavaksi tai ei. Salli tekoäly siellä, missä se ei ole, rajoita sitä siellä, missä on.

4. Lisää prosessinäyttö kriteeristöön pisteiden kera ja sano, miltä hyvä näyttää.

5. Vie muutos koulutusohjelmavastaavallesi ja sille toimistolle, joka hyväksyy mukautukset, ennen lukukauden alkua eikä vasta ensimmäisen valituksen jälkeen.

Mihin seuraavaksi

Koko sivun taustalla oleva validiteettiargumentti on sivulla Arvioinnin validiteetti; valvontapuolen kumppani on Tekoälyhuijauksen vähentäminen, ja sen vieressä Kurssin tekoälylinjaus. Kirjoittamisen opetuksen tekoälykäytännöt kattaa sen sanamuodon, jota opiskelijat tosiasiassa noudattavat, ja interventioiden arvioinnin menetelmät kattaa sen, toimiiko työkalu, jonka ympärille suunnittelet, ylipäätään.