Hogyan tervezzem újra az értékelést, hogy a jegy még mindig védhető bizonyítékot adjon arról, mit tud vagy mit képes megtenni a diák?

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

Valószínűleg olyan feladatot tart a kezében, amely évekig működött, és most olyan munkát ad vissza, amelyet nem tud megvédeni. A jegy ötös; a termék nagy része talán az eszközé. Vagy egy diák vitatja az alacsony jegyét olyan alapon, amelyet Ön nem tud ellenőrizni, vagy a képzése átírja az értékelési szabályzatát, és azt kérdezi, minek kell megváltoznia a kurzusában a következő félévre.

A rövid válasz: döntse el, mit kell bizonyítania a jegynak, tegyen a feladatba legalább egy lépést, amelyet a diák az eszköz nélkül teljesít, és a rubrika a termék helyett az érvelésért fizessen. Az az újratervezés, amely kihagyja a második és a harmadik lépést, megváltoztatja, hogyan készül a munka, anélkül hogy megváltoztatná, mit tud alátámasztani a jegy.

A rövid változat

1. Írja le, melyik képességet képviseli a jegy. Az önállóság, a MI megfelelő használata, illetve a MI irányításának és megítélésének képessége három különböző konstruktum, és egyetlen termék nem lehet mindhárom bizonyítéka.

2. Tegyen egy hitelesített lépést minden nagy tétű feladatba: rövid szóbeli ellenőrzést, tanórai alkalmazást, élő bemutatót vagy annotált indoklást. Egy általában elég.

3. A MI-határt feladatlépésenként állítsa be, ne kurzusonként. Vegye számba, mit tesz a diák az egyes lépésekben, és kérdezze meg, konkrétan mit értékel ott.

4. Tegye a folyamatbizonyítékot a rubrikába valódi pontokkal. Ha a rubrika továbbra is csak a terméket jutalmazza, a diákok a termékre optimalizálnak.

5. A leginkább eltitkolni kész diákot feltételezze, ne a leglelkiismeretesebbet, és nézze meg, melyik választást teszi a szabálya a legkönnyebbé.

Döntse el, minek a bizonyítéka a jegy

Kezdje azzal, hogy nyíltan kimondja, melyik képességet kell képviselnie a jegynak. Azt értékeli, mit tud egy diák önállóan, mit tud megfelelően elérni MI-vel, milyen a MI megítélésének és irányításának képessége, vagy ezek valamilyen kombinációja? A tudásbázis értékelési érvényessége ezt érvényességi problémaként kezeli: egy csiszolt termék már nem elégséges bizonyíték arra, hogy a diák rendelkezik azzal a képességgel, amelyet a termék látszólag felmutat. Ez ugyanannak az érvnek az értékelési fele; a kikényszerítési fele a MI-visszaélés csökkentéséről szóló oldalon van, az általános érvényességi keret pedig az értékelési módszerekről szóló oldalon fut végig.

Mondja ki a választ a tantárgyi leírásban, a feladatkiírásban és a rubrikában. A diákok három dokumentumot olvasnak, és ahhoz igazodnak, amelyik a legkonkrétabb. Az „MI-használat megengedett, feltüntetéssel” nem arról szól, mit mér, és nem ad a diáknak módot annak megítélésére, aláássa-e az engedélyezett használat azt, amit Ön osztályoz.

A konstruktumhelyettesítés kockázata

A hiteles termékektől a hitelesített folyamatokig című cikk konstruktumhelyettesítésnek nevezi az ebből fakadó kockázatot: az értékelő egy MI által közvetített terméket a diáknak tulajdonít, és akaratlanul az eszköz képességeit méri a diáké helyett. Javasolt válasza az, hogy a diák érvelését, ítéletét, ellenőrzését, iterációját és felelősségét láthatóvá teszi olyan megoldásokkal, mint a szakaszos beküldés, az annotált döntési indoklás, a folyamatfeljegyzés, a visszajelzés-használati nyilatkozat, a szóbeli védés és a hitelesített folyamatbizonyíték más formái.

Ez a lista menü, és az, hogy melyik tétel a legolcsóbb, az osztálylétszámtól függ. Egy 25 fős csoportnál az ötperces szóbeli ellenőrzés diákonként és nagy feladatonként nagyjából két óra osztályozás, amelyet talán már most is rászán. Egy 300 fős előadásnál a szakaszos beküldés és az annotált indoklás skálázható, a szóbeli védés nem, és ami praktikus marad, az a mintavételes szóbeli ellenőrzés a furcsának tűnő munkákon. Azt a lehetőséget válassza, amelyet a tizedik héten is fenn tud tartani.

Tegyen egy hitelesített lépést minden feladatba

A gyakorlatban egy erős értékelési architektúra gyakran összekapcsol egy MI-vel támogatott hiteles feladatot az önálló ellenőrzés valamilyen formájával. Szakterülettől függően ez lehet rövid szóbeli magyarázat, tanórai alkalmazás, élő bemutató, annotált portfólió, rövid segítség nélküli rész, vagy kérdés a kulcsdöntésekről.

Az autentikus értékelés koncepciója a valószerű szellemi munkát, a kognitív kihívást, a tanulói önrendelkezést, a visszajelzést és a társas vagy szakmai hitelességet is hangsúlyozza. Egy feladatot MI-vel szemben megerősíteni anélkül, hogy többet érne, ugyanazt az értékelést hagyja meg, plusz munkával.

Járja végig a feladatot lépésről lépésre, és ott húzza meg a határt

A feladatszintű módszer, amely ezt kezelhetővé teszi, az, amelyet McCorkle dokumentál: vegye számba a diák minden lépését, kérdezze meg mindegyiknél, hogy „konkrétan mit értékelek itt?”, és a MI-határt a válaszból vezesse le, ami egyben az is, ahogy a MI-visszaélés csökkentése mögötti elvárások nyíltakká és kikényszeríthetőkké válnak.

Futtassa le egyszer a legvitatottabb feladatán, és írja az eredményt a feladatkiírásba. Egy tipikus eredmény szépen szétválik: a korai forrásfeltárási és fogalmazási lépések azok, ahol a konstruktum lakik, és ahol az eszköz kárt tesz, míg a formázás, a forrásellenőrzés és a nyelvi szerkesztés olyan lépések, ahol az eszközhasználat láthatatlan a konstruktuma számára, és valószínűleg egyenesen engedélyezni kellene. Az átfogó engedélyek és az átfogó tiltások is megbuknak, mert a válasz lépésenként valóban különbözik.

Fizessen a rubrika a folyamatért

Mohamed és Temimi ugyanezt a problémát tökéletlen információ problémájaként keretezik újra, nem erkölcsi kérdésként: a diák tudja, hogyan készült a munka, az intézmény pedig csak a terméket és részleges nyomokat lát, tehát a tervezési kérdés az lesz, hogy az egyes értékelési környezetek melyik diákválaszt teszik a legvonzóbbá. Válaszrégió-modelljük három választást hasonlít össze, a MI nélküli használatot, a közzétett használatot és a rejtett használatot, és megmutatja, hogy a szabályok, a megfigyelés, a közzététel és az újratervezés különböző csatornákon keresztül hatnak, és csak akkor sikerülnek, ha a legvonzóbb válasz egybeesik az értékelés céljával.

Két eredmény érinti közvetlenül az architektúrát. Az elrettentés egy detektor megkülönböztető képességén keresztül hat a rejtett használat és a legitim munka között, nem a nyers elkapási arányán, tehát amikor a téves riasztások gyorsabban nőnek, mint a helyes találatok, az erősebb megfigyelés viszonylag vonzóbbá teheti az eltitkolást. Az újratervezés pedig csak akkor mozdítja a diákokat a felelős használat felé, ha a rubrika valóban jutalmazza a folyamatbizonyítékot; különben kozmetikai marad. Gyakorlati szabályuk az, hogy a leginkább eltitkolni kész diákra tervezzen, nem a leglelkiismeretesebbre.

Ha egy indoklási bekezdés, egy revíziós napló vagy egy elutasított MI-javaslatról szóló reflexió nem hordoz pontot, öt perc alatt megíródik, és senki nem olvassa el. Adjon a folyamatbizonyítéknak akkora súlyt, hogy a diák, aki kihagyja, többet veszítsen, mint amennyit a kihagyással nyer, és írja le, milyen a jó folyamatbizonyíték, ugyanolyan konkrétan, ahogy a terméket leírja.

A tanulónkénti feladatváltozat képességfüggő, nem ingyenes

Egy népszerű, megfigyelés nélküli architektúra a tanulónkénti feladatváltozat, amelyben minden vizsgázó ugyanannak a feladatnak felszínen különböző, de konstruktum szempontjából egyenértékű változatát kapja, hogy a válaszokat ne lehessen hasznosan megosztani. A VARIA, a 600 generált változatot 60 feltételcellán át vizsgáló benchmarkteszt azt találta, hogy az élvonalbeli modellek szorosan egy közös integritáspontszám köré tömörülnek (0,81-0,88), míg a nem élvonalbeli referenciák 0,50-0,55-re esnek, és hogy egyetlen promptolási stratégia sem optimalizálja egyszerre a felszíni változatosságot és a konstruktumequivalenciát. A változatosság nagy léptékben nem feltételezhető pusztán a promptolásból, tehát az intézménynek érvényesítenie kell a saját modell- és promptpárját, mielőtt a garanciát valósnak tekinti.

Kurzusszintű döntésnél ez egyetlen próbát jelent, mielőtt elköteleződik: generáljon változatokat az egyik saját feladatából, kérjen meg egy kollégát, hogy kettőt ugyanarra a képességre osztályozzon, és hasonlítsa össze. Ha a jegyek szétválnak a változatokon, az egyenértékűségi állítás nem áll az Ön feladatára, és a megosztott válasz elleni védelmet méltánytalansággal fizette meg.

Az újratervezés ritkán feladatonként történik

Egy nagy ausztrál egyetem 12 oktatóját és 17 diákját vizsgáló kvalitatív kutatásban Nicola-Richmond és munkatársai azt találták, hogy mindkét csoport egyetértett abban, hogy az értékelésnek változnia kell, de rendszerszintű súrlódást hangsúlyoztak: hosszú átfutási időket, nagy létszámú kohorszok akkreditációs korlátait, munkaterhet és költséget. Arra jutottak, hogy az újratervezéshez egy egész falu kell, azaz egy képzésszintű csapat, amely az értékeléstervezés, a generatív MI, a szaktárgyi ismeretek, az iparági tapasztalat és a bizonyítékkezelés szakértelmét egyesíti, a generatív MI-írástudás és a tanulásbiztosítási pontok pedig stratégiailag helyezkednek el a képzés egészében. Ha Ön egyetlen oktató egyetlen kurzussal, ez az eredmény figyelmeztetés arról, mi fogja lassítani, és ok arra, hogy a képzésvezetőt az első beszélgetésbe vonja be, ne az utolsóba.

A cél ugyanannyit számít, mint a mechanika. El Khoury és Ma szerint a csak a visszaélés megelőzése köré szervezett reform túl védekező, és örömteli értékelést javasolnak: biztonságosat, érzelmileg reagálót, megerősítőt és a tanulói önrendelkezést támogatót, amelyben az integritás a jó tervezés következménye, nem a kiindulópontja. Kidolgozott példájuk egy oktató által épített ügynöki MI-t használ, hogy a diákok az ítélet előtt gyakoroljanak, és hogy rubrikához illeszkedő bizonyítékjelentés készüljön, a munkamegosztást azonban nyíltan kimondják: a MI rendezi a bizonyítékot, az oktató értelmezi.

Mi jön vissza Önre

„Nincs időm szóbeli ellenőrzésekre.” Akkor ne mindenre alkalmazza. Egy hitelesített elem a legnagyobb tétű feladatban, plusz egy mintavételes ellenőrzés a korábbi beküldéseknek ellentmondó munkákon, a kockázat nagy részét kezeli a költség töredékéért. A skálázható tételek a szakaszos beküldés és az annotált indoklás.

„Az akkreditáció és a képzési jóváhagyás nem mozdul ilyen gyorsan.” A fenti kutatás a hosszú átfutási időket és a nagy létszámú kohorszok akkreditációs korlátait nevezi meg központi súrlódásként. Egyetlen kurzus meg tudja változtatni, mi történik egy meglévő értékelésen belül anélkül, hogy a nevét, a súlyát vagy a tanulási eredményeit megváltoztatná, és ez általában elég a kezdéshez.

„Ez bünteti a szorongó diákokat és a fogyatékossággal élőket.” Büntetheti. Az élő szóbeli elemekhez előre megtervezett méltányossági könnyítések kellenek, a formátum választása ott, ahol a konstruktum engedi, valamint figyelem a nyelvi különbségre és az értékelői torzításra. A képességet ellenőrizze, ne a teljesítés körülményeit.

„Vegyünk csak egy detektort.” A megkülönböztetési eredmény ellene szól annak, hogy a tervezés gerince legyen: ha a téves riasztások gyorsabban nőnek, mint a helyes találatok, az erősebb megfigyelés viszonylag vonzóbbá teszi az eltitkolást. A detektálásnak lehet helye egy olyan válaszban, amely a feladatot is újratervezi, és a használjunk-e MI-detektorokat ezt az érvet tárgyalja.

„A diákok úgyis használni fogják a MI-t.” Használni fogják, és a tervezési kérdés az, melyik választ teszi a feladata a legkönnyebbé. Ha a közzététel semmibe nem kerül a diáknak, és a rubrika a folyamatért fizet, a legtöbbjük élni fog vele; ha a közzététel gyanút kelt, az eltitkolás lesz az ésszerű választás.

Mit tegyen ezen a héten

1. Írjon egy mondatot, amely megnevezi a képességet, amelyet a következő nagy feladata osztályoz. Tegye be a feladatkiírásba.

2. Válassza ki az egyetlen legolcsóbb hitelesített lépést, amelyet fenn tud tartani, és tegye hozzá ahhoz a feladathoz.

3. Vegye számba a feladat lépéseit, és jelölje meg mindegyiknél, hordoz-e konstruktumot. Ahol nem, ott engedje a MI-t, ahol igen, ott korlátozza.

4. Tegyen folyamatbizonyítékot a rubrikába pontokkal, és mondja meg, milyen a jó.

5. Vigye a változtatást a képzésvezetőjéhez és ahhoz az irodához, amely a méltányossági könnyítéseket jóváhagyja, a félév kezdete előtt, ne az első fellebbezés után.

Hová tovább

Az egész oldal mögötti érvényességi érv az értékelési érvényességben van; a kikényszerítési oldali társ a MI-visszaélés csökkentése, mellette a kurzus MI-szabályzata. Az írástanítás bevált gyakorlatai MI-vel azt a megfogalmazást fedik, amelyet a diákok valóban követnek, az értékelési módszerek pedig azt, hogy a MI-eszköz, amely köré tervez, egyáltalán működik-e.