Források
Moodle AI Text kérdéstípus
Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.
A legtöbb MI-quizintegráció minden választ egy rögzített értékelő hívásnak küld. Ez a Moodle-kérdéstípus az ellenkezőjét teszi: az oktató írja a rubrikát. Minden kérdés hordoz egy promptot, amely megmondja a modellnek, hogyan értékelje a választ, és egy opcionális értékelési sémát, amely leírja, hogyan adják a pontokat, így egy „írj egy mondatot múlt időben” feladat megadhat tíz pontot hibátlanságért, nullát törött nyelvtanért, és pontlevonást minden helyesírási hibáért. A modell pontszámot és visszajelzést ad vissza, az oktató pedig a válasz mellett láthatja ezt a visszajelzést, amikor kézzel értékel.
Mire használható
Adj hozzá AIText-kérdést bármely Moodle-quizhez, írd meg a promptot és az értékelési sémát, és teszteld a promptokat a szerkesztőűrlap AJAX-alapú prompt testerében, ahelyett hogy előnézeti próbákon mennél keresztül. Az értékelés két kísérő kérdésviselkedésen (azonnali és halasztott) keresztül fut, amelyeket a kérdéstípus mellé kell telepíteni, ami elszigeteli az MI-értékelést a Moodle alap viselkedéseitől; a régi interactivecountback viselkedést használó meglévő próbálkozások frissítéskor migrálódnak. Ha a modell elérhetetlen, az értékelés lecsökken ahelyett, hogy hibát dobna, így egy próbálkozás nem vész el. Mivel a kérdés natív quiztípus, az eredmények úgy kerülnek az osztályzatnaplóba, mint bármely más elem – erre van szüksége egy kurzuscsapatnak ahhoz, hogy az automatikus értékelést kísérletnek tekintse, ne demónak.
A terv a rubrikát oda teszi, ahol az visszajelzés minősége eldől: az oktató által írt promptba, nem egy szolgáltatói alapértelmezésbe. Ez az eszköz őszinte használata – ellenőrizhető és módosítható szempontok –, bár azt is jelenti, hogy a minőség plafonja a rubrika, és egy homályos prompt homályos értékelést ad. Az intézmények azokhoz az alacsony tétű, gyakori ellenőrzésekhez nyúlnak hozzá, amelyektől a formatív értékelés függ, ahol egy ember egyébként negyven rövid választ olvasna el egy éjszaka.
Kinek szól
Olyan Moodle-adminisztrátoroknak és fejlesztőknek, akik már üzemeltetik az oldalt, oktatóknak, akik külön platform vagy kereskedelmi licenc nélkül akarnak MI-értékelést, és kutatóknak, akiknek szabályozható értékelési folyamatra van szükségük a vizsgálathoz. Moodle 4.5 vagy újabb, valamint API-hozzáférés kell egy modellhez – akár OpenAI, akár Azure a Moodle MI-alrendszerén keresztül, akár saját hosztolású Ollama a Local AI Manageren keresztül, ami a diákok szövegét helyi infrastruktúrán tartja. A bővítményt Marcus Green tartja karban, elérhető a Moodle bővítménypiacon, és az oldal ellenőrzésekor 33 csillaga és 36 forkja volt.
Megjegyzések és fenntartások
Nyílt forráskód GPL v3 vagy újabb alatt, de az ingyenes nem jelenti azt, hogy futtatni ingyenes: valaki fizet a modell API-jáért, és az értékelés minősége a modellválasztástól és a prompttervezéstől függ. A szabad szöveges válaszok elhagyják a Moodle-kiszolgálót, ha távoli szolgáltatót használnak, ezért az intézmény adatmegállapodása szabályozza, mi küldhető; a saját hosztolású Ollama-útvonal azoknak az oldalaknak létezik, amelyek nem küldhetik ki a diákok munkáját. A repository nem említ publikált pontossági vagy egyezési vizsgálatot, ezért a bővítményt nem szabad azon feltevés alapján bevezetni, hogy az LLM-értékelés egyenértékű az emberi értékeléssel – a érvényességet helyben, emberi pontszámokhoz kell megállapítani, mielőtt bármely jegy súlyt kap. A kísérő viselkedések kemény függőség: csak a kérdéstípus telepítése értékelhetetlen kérdéseket hagy.