Milyen mérőeszközökkel és kutatási módszerekkel értékelheti egy oktató a MI-vel kapcsolatos beavatkozásokat?

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

Két csoportban lefuttatta a kísérleti bevezetést, kitöltetett egy témazáró kérdőívet, és három hét múlva kari értekezlet lesz, ahol valaki meg fogja kérdezni, hogy működött-e. Vagy egy bíráló kérdezte meg, mi volt az összehasonlítási feltétel, és a másik csoport valami mást csinált. Akárhogy is: mi számítana itt bizonyítéknak?

A módszert az állításhoz kell illeszteni. Egy kérdőív azt mondja meg, hogy a diákok kedvelték-e a tevékenységet. Ahhoz, hogy tanultak-e, teljesítménymérés kell, ahhoz pedig, hogy a nyereséget a MI okozta-e, összehasonlítási feltétel.

A rövid változat

1. Fogalmazza meg az állítást egyetlen mondatban, megnevezve a kimenetet. Az a mondat, hogy „A tutort használó diákok magasabb pontszámot értek el a támogatás nélküli vizsgán”, tesztelhető.

2. Végezzen kiindulási mérést, hajtsa végre a beavatkozást, mérjen közvetlenül utána, majd később is, MI nélkül.

3. Az összehasonlítási feltételt ugyanolyan gondosan írja le, mint magát a kezelést, még akkor is, ha az a jelenlegi gyakorlata.

4. A támogatással nyújtott teljesítményt és az önálló tanulást külön mérje, és a publikált átlagokat tekintse a saját csoportjára vonatkozó hipotézisnek.

Válassza azt a módszert, amelyet a kérdése kibír

A Kutatási módszerek az AIED-ben oldal kifejti, mit nyújt az egyes lehetőségek. A randomizált kísérlet adja a legerősebb kauzális következtetést. A kvázi-kísérleti, előtte-utána vagy párosított csoportos elrendezés illeszkedik a meglévő osztályokhoz, és gyengébb állításokat támaszt alá. A kvalitatív interjúk, fókuszcsoportok, megfigyelések és alkotáselemzés feltárják a mechanizmusokat és a nem várt tapasztalatokat. A kevert módszerek a kimeneti bizonyítékot magyarázattal párosítják. A tervezésalapú kutatás annak az oktatónak való, aki több iteráción át finomít egy beavatkozást.

A MI-támogatással végzett kvalitatív elemzés feltétellel kerülhet fel erre a listára. Percek alatt átrendezi az interjúkorpuszt, ezért a megalapozhatóság legalább olyan fontos, mint a pontosság: rögzíteni kell a dokumentált átrendezéseket, amelyek révén az olvasó áttekintheti, vitathatja és felülvizsgálhatja az adattól az állításig vezető utat.

A kérdőív önbevallásos mérőeszköz: az attitűdökre jó, a tanulásra nem.

Nevezze meg az összehasonlítási feltételt

Három feltétel teszi értelmezhetővé a kauzális állítást: pontosan leírt kezelés, jól meghatározott összehasonlítási feltétel és a tartós tanulás érvényes mérőeszköze. Weidlich és mtsai. (2025) 19 oktatási célú ChatGPT-összehasonlítást vizsgált meg e szempontok szerint. Négy (21%) felelt meg mindháromnak. A kezelés 74%-ban volt jól meghatározott, a kontrollcsoport 42%-ban, a kimenet 53%-ban minősült tanulásnak.

A hiba útja könnyen megismételhető. Az új tevékenységek, új visszajelzés vagy újratervezett felület mellé bevezetett általános célú eszköz összekeveri a médiumot a módszerrel, és a szignifikáns eredmény az újratervezésé lesz.

Azt mérje, ami valóban számít Önnek

Az AIED-értékelés szintézise a támogatás nélküli tanulási nyereséget, a késleltetett megtartást, az új feladatra való átvitelt, az érvelés minőségét, a tévképzetek alakulását, a visszajelzés felhasználását és az alcsoportok teljesítményét javasolja. Az elköteleződés, az elégedettség, a MI-használati naplók, a önhatékonyság és az észlelt hasznosság ésszerű másodlagos mérőszámok, és gyenge helyettesítői a tanulásnak. A munkaterhelés és a megtakarított idő megvalósítási kimenet, ami más kérdés.

Az osztálytermi léptékű minimum a kiindulási mérés, a beavatkozás, egy azonnali utómérés és egy későbbi, támogatás nélküli mérés. Ahol lehet, vegyen fel összehasonlítási feltételt: a jelenlegi gyakorlatot, a MI nélküli helyzetet, a korlátlan MI-t az állványozott MI-vel szemben, vagy két alternatív tervezetet. A támogatott és a támogatás nélküli teljesítményt külön eszközön pontozza, mert egyetlen rubrika összemosná őket.

Minden számot hipotézisként olvasson

A szakirodalomból vett átlagos hatás gyenge útmutató egyetlen osztálytermi helyzethez. O'Neill (2026) áttekintése 14 nagy hatású meta-analízist vizsgált, és egyik sem nyújtott érvényes alapot a saját állításaihoz. Az összevont „tanulmányi teljesítmény” teszteredményeket, motivációt, önhatékonyságot és attitűdöket mosott össze egyetlen becslésbe. A heterogenitás szélsőséges volt: az I² a 77,2%-tól a 94,4%-ig terjedt abban a 13 elemzésben, amely közölte, és ezek közül 12 meghaladta a 80%-ot. Mind a 14 érvénytelenül vizsgálta a publikációs torzítást, és a véletlenszerűen ellenőrzött elsődleges kutatások 61%-a érvényességi problémákkal küzdött. Négy elemzés számolt be a vizsgálatok közötti varianciáról, kettő adott meg előrejelzési intervallumot, és mindkét intervallum tartalmazta a nullát.

Egy kényelmes pontszám a rossz konstruktumot is mérheti. Nyolc MI-tanítási ügynök értékelésében az az ügynök, amely a platform saját pontszámán harmadik lett, a szakértők által validált rubrikán az utolsó helyre került, mert a platform pontszámai a diákok interakció közbeni teljesítményét indexelték. Az irányítópult mérőszámát tekintse hipotézisnek.

Amit az oktatók elrontanak

Egy elégedettségi kérdőív a tanulást méri. Az elégedettséget méri, amit az AIED-értékelés szintézise a tanulási kimenetek mellett másodlagos mérőszámként sorol fel.

Az előtte-utána nyereség azt mutatja, hogy a beavatkozás működött. Azt mutatja, hogy emelkedtek a pontszámok. Az külön kérdés, hogy a mérőeszköz tanulásnak számít-e, és az áttekintés az általa vizsgált összehasonlítások 53%-ában talált tanulásnak minősülő kimenetet.

A publikált hatásméretek átvihetők az én csoportomra. O'Neill 14 meta-analízise nem tudta alátámasztani a rájuk épített állításokat, és mindkét közölt előrejelzési intervallum tartalmazta a nullát.

A platformanalitika a tanítás minőségét méri. Zhang harmadik helyen végzett ügynöke az utolsó lett a szakértői rubrikán.

Mi jön vissza Önre

„Már vannak tanfolyamvégi értékeléseink.” A kurzust mérik, és azután futnak le, hogy letelt a félév, amelyben a válaszra szüksége volt.

„Egy érintetlen kurzusban lehetetlen összehasonlító csoportot találni.” Hasonlítsa össze ugyanannak a feladatnak a tavalyi változatával vagy egy második csoporttal, és őszintén írja le a különbséget. A kvázi-kísérleti elrendezések gyengébbek, de még mindig informatívak, ha az alternatíva az összehasonlítás nélküli állítás.

„A meta-analízisben nagy a hatásméret.” Melyik kimeneten, kinek az osztályában? O'Neill mindkét előrejelzési intervalluma tartalmazta a nullát.

„Az irányítópultunk erős elköteleződést mutat.” Az elköteleződés másodlagos mérőszám az AIED-értékelés listáján. Tegye mellé a támogatás nélküli tanulás mérését.

Mit tegyen ezen a héten

1. Írja le az állítását egyetlen mondatban, és húzza alá a kimenetet.

2. Vegye fel a naptárba a későbbi, támogatás nélküli mérést, a beavatkozás után, de nem ugyanabban a héten.

3. Írjon egy bekezdést az összehasonlítási feltétel leírására, ugyanolyan részletességgel, mint a kezelését.

4. Szedje elő a már meglévő platformszámokat, és jelölje meg mindegyiket vagy artefaktum-kimenetként, vagy tanulási kimenetként.

5. Kérjen meg egy kollégát, hogy olvassa el a tervezetet, és mondja meg, mi más változott a félév során.

Hová tovább

A Segít a MI a diákoknak tanulni? összefoglalja, mit mutat a kimeneti bizonyíték, a Kutatási hiányok az AIED-ben pedig azt tárgyalja, hol ritkul meg. A Honnan tudjuk, hogy egy oktatási MI helyesen működik? a kérdésnek azokra szabott változata, akik rendszert építenek vagy vásárolnak.