Használjunk-e MI-detektorokat?

Ennek az angol oldalnak a gépi fordítása, amelyet még nem ellenőrzött anyanyelvi beszélő.

Egy detektor pontszáma jelzést ad egy olyan beadandóra, amelyet már kétszer elolvasott, vagy egy kollégája azt szeretné, hogy a következő esszéhatáridő előtt kapcsolják be az eszközt, vagy egy integritási bizottság arra kéri Önt, hogy védjen meg egy százalékon nyugvó megállapítást. Valaki a teremben azt fogja mondani, hogy a pontszám csak egyetlen bizonyíték. Amit Ön eldönt, szűkebb annál az érvnél, amely belőle következik: hogy ez a szám egyáltalán hordozhat-e súlyt egy kötelességszegési eljárásban, és mit tesz a helyére, ha nem.

A rövid válasz, amelyet a megbeszélésen fel tud idézni: egy detektor pontszáma nem alapozhat meg megállapítást, mert nem validálható hiteles referenciákkal szemben, nem lehet keresztkérdésekkel vizsgálni, és nem éri el a valószínűségek mérlegét. Hibái mintázatban ismétlődnek, és a legsúlyosabban az őszinte szerkesztőket és a második nyelven író hallgatókat sújtják. Kérdezze inkább azt, hogy egy hallgató be tudja-e mutatni, hogy érti azt, amit beadott, és finanszírozza azt a kapacitást.

A rövid változat

1. Írja bele a szabályzatba, hogy a detektor kimenete soha nem indít következményt, soha nem áll egyedül, és soha nem alapoz meg megállapítást. Magába a szabályzat dokumentumába írja bele, ahol egy bizottság megtalálja akkor is, amikor a feljegyzés már nincs meg.

2. Cserélje ki a „használt-e MI-t?” kérdést arra: „meg tudja mutatni, hogy érti ezt?”. Használjon rövid beszélgetést, korai vázlatot vagy felvett magyarázatot.

3. Tegyen egy hitelesített vagy segédeszköz nélküli lépést minden nagy tétű feladatba, akkorára szabva, amekkora javítási kapacitással ténylegesen rendelkezik.

4. Kérje írásban a szállítótól a hibaarányokat, majd próbálja meg reprodukálni őket a saját beadandóin. A Vanderbilt egyetem ezt kipróbálta, és kikapcsolta az eszközt.

5. Mozdítsa a pénzt a detektorlicencről az ellenőrzési kapacitásra és az útmutatásra. Ide mutat a dokumentált oktatói panasz.

Döntse el, hogy megállapítása vagy kérdése van-e

Ez két különböző munka, és különböző bizonyítékokon futnak. Egy megállapításhoz a valószínűségek mérlegét elérő bizonyíték kell, és egy detektor pontszáma önmagában nem jut el odáig. Nem validálható hiteles referenciákkal szemben, mert a valódi beadandókban senki nem tudja, hogyan készült a szöveg, így a validálás körkörössé válik, a téves pozitív és téves negatív arányok pedig csak egy kontrollált teszten belül jelentenek bármit. Az eszköz nem tesz közzé küszöbértékeket és tanítóadatokat, és nem enged független megismétlést, ami azt hagyja, hogy a megjelölt hallgatónak semmi ne jusson válaszként, Önnek pedig semmi magyarázatként (Heads We Win, Tails You Lose: AI Detectors in Education, Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI).

A pontszám más jelekkel való összevonása nem javítja ezt. A nyelvi markerek, a stílus-összehasonlítások, az nagy nyelvi modellek ítéletei és a hallgató hallgatása együtt is kevesebbet adnak a standardnál. A hallgatás az, amire figyelni kell: a hallgatóknak joguk van megtagadni a választ, és a megtagadás nem billenti el a mérleget. Amit jogszerűen kérdezhet, az az, hogy a hallgató be tudja-e mutatni azt a tanulást, amelyet az értékelés mérni állít, és egy szóbeli válasz úgy válaszol erre, ahogy egy hasonlósági pontszám soha nem fog (Heads We Win, Tails You Lose: AI Detectors in Education).

A bináris kérdés is rossz kérdés. A hallgatók munkája gyakran MI-vel készül, egy hibrid folytonosság mentén, és az „értékelésben” megfogalmazott szabályzatok ritkán határozzák meg, mikor kezdődik egy értékelés, ami annak a döntésére hagyja a kérdést, aki először olvassa a fájlt (Heads We Win, Tails You Lose: AI Detectors in Education).

Mindezt egy referenciaadat-probléma húzódik meg alatta. A detektorokat generatív MI előtti emberi szövegen tanítják és tesztelik, a Turnitin saját validálása pedig 700 000 2019 előtti dolgozatot használt. Ezt a korpuszt feltételezik a jelenlegi hallgatói próza reprezentánsának, olyan feltevést, amelyet senki nem ellenőrzött, és amely minden modellkiadással elmozdul (Heads We Win, Tails You Lose: AI Detectors in Education).

Nézze meg a pontossági számokat, mielőtt bármelyiket idézné

A tudásbázis legerősebb kontrollált tesztje 642 publikált angol absztraktot vizsgált négy területen és két időszakban. 0,50-es küszöbön két kereskedelmi detektor a szabályzatnak megfelelő könnyű MI-szerkesztést 38-80%-ban jelölt meg, a változatlan 2023-25-ös eredetiket 9-15%-ban (a nem STEM területek jóval a STEM fölött, p<0,001), és miután a szöveget egy humanizáló szolgáltatáson futtatták, az MI-jelölt átiratok kevesebb mint 4%-át fogta meg, ami több mint 96%-os téves negatív arány. A szerzők ezt integritási 22-es csapdának nevezik: azokat a hallgatókat fogja meg az eszköz, akik bevallják és könnyedén szerkesztenek, azokat pedig nem, akik kifejezetten megkerülni akarják. Ajánlásuk egyértelmű: a detektor pontszáma soha ne szolgáljon önálló kötelességszegési bizonyítékként (Why AI Detection Fails for Academic Integrity).

Egy független összehasonlító mérés más irányból ugyanoda jut. A 14 eszköz egyike sem érte el a 80%-os pontosságot, és az egyszerű átfogalmazás, a kisebb szerkesztés vagy egy humanizáló szolgáltatás nagyjából a felére csökkenti még ezt a teljesítményt is. Reális alaparányok mellett a téves pozitívok száma meghaladja a valódi pozitívokét (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI).

A teljes generáláson mért elkapási arányok rosszabbak, mint amit a címszámok hibaarányai sugallnak. Egy rejtett terepkutatásban a kutatók teljesen MI-vel generált beadandókat injektáltak egy élő online összegző vizsgarendszerbe öt pszichológiai modulon át: 94% észrevétlen maradt, és az MI-munka átlagosan jobb pontszámot ért el, mint a valódi hallgatók. A szerződéses csalás már korábban ugyanezt a szerkezeti problémát mutatta, mert nem hagy maga után megbízható nyomot (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI).

A pontosság a feladattal is mozog. Amikor a kutatók azt vizsgálták, hogy a generatív MI fel tudja-e ismerni a saját kimenetét, az eredmények a programozásnál és a hosszabb reflektív írásnál megbízhatók voltak, a rövid válaszoknál pedig gyengék, ahol a modell gyakran a saját szövegét ítélte emberibbenek, mint a valódi hallgatói munkát. A kisebb prompt-változatok élesen csökkentették a pontosságot (Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content). Egy küszöb, amely egy feladatnál tart, egy másiknál megbukik, és Ön nem fogja tudni, melyiknél, egészen a fellebbezésig.

Utána jön a lejárat. Egy 2026-os tanulmány a detektálást adaptációs problémaként értelmezi újra: egy fekete dobozos átírási támadás a Pangram kereskedelmi detektort 63,5%-os kiegyensúlyozott pontosságra és 27,0%-os MI-visszahívásra csökkentette, egy Llama 3.3 70B Instruct modellen tanított detektor pedig csak 55%-os visszahívást ért el egy újabb modell absztraktjain. A teszt idején történő adaptáció ugyanezen a szövegen 94,4%-os kiegyensúlyozott pontosságra és 99%-os visszahívásra állt vissza, ez a bíztató fele. Ugyanaz a tanulmány megmutatja, mibe kerül a javítás: ahogy a szimulált LLM-elterjedés nő, egy rögzített felügyelt detektor visszahívása az emberi szövegen 85,9%-ról 73,4%-ra hanyatlik az évtized során. Lejárati feltételét nyersen kimondja: a kiegyensúlyozott pontosság nem haladhatja meg az egy plusz az emberi és az MI-eloszlás közötti teljes variációs távolság felét, így a kettő konvergenciája minden tanulásalapú detektort legyőzne. Egy validált pontszám addig tart, amíg a modellek mozdulnak, és azok néhány havonta mozdulnak (Hitting a Moving Target: Test-Time Adaptation for AI Text Detection under Continual Distribution Shift).

És a gép soha nem győzte le egyértelműen a figyelmes olvasót. Leaton Gray, Edsall és Parapadakis (2025) az MI vagy átírt szöveg gépi detektálását hozzávetőleg 80%-ra teszik az emberi bírálók 78,4%-ával szemben, és olyan bizonyítékot idéznek, hogy az MI-generált szöveg az esetek akár 80%-ában emberi szerzőségűként ment át. Ez a különbség beleolvad abba a hibasávba, amelyet az ember amúgy is hoz, és túl vékony ahhoz, hogy megállapítást alapozzon rá (AI-based digital cheating at university, and the case for new ethical pedagogies).

Számolja ki, kinek a munkájára esik a hiba

A jellemzők, amelyeket a detektorok az MI jelzéseiként olvasnak, vagyis a hosszú tokenek sűrűsége, az akadémiai szógyakoriság és az egyenletes stílus, egyben a kompetens második nyelvi írás jellemzői is. A téves osztályozás ezért a nyelvi háttér szerint következik, nem a magatartás szerint, ami ezt méltányossági kérdéssé teszi, mielőtt technikai kérdés lenne (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI).

Ez a torzítás az angolon kívül is megmutatkozik. Egy 3 811 olyan szövegrész mérése, amelynek ChatGPT előtti szerzősége bizonyítható azt találta, hogy öt angolon tanított nyilvános detektor a kiadott formájában az emberi kazah szövegrészek 81,4%-át jelöli meg (TMR RoBERTa), a publikált kazah hallgatói esszék 79,6%-át (Desklib DeBERTa), a Fakespot pedig 25,5%-ot ér el, és ha 1%-os téves pozitív arányra kalibrálják őket, cserébe a gépi szöveg legfeljebb 1,3%-át fogják meg. A tanulmány saját fenntartása számít, amikor idézi: az emberi szövegrészek talált formájukban nyilvános ChatGPT előtti szövegek, nem hallgatói esszék, így az oktatási arányai a legbizonytalanabb számok, amelyeket közöl (Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh).

A tudományterület egy újabb tengelyt ad hozzá. A 642 absztraktos tanulmányban a nem STEM absztraktokat jóval a STEM-ek fölött jelölték meg, ami ezeknek a területeknek az írási hagyományait tükrözi, nem a szerzőik magatartását (Why AI Detection Fails for Academic Integrity). Két széles körben használt kereskedelmi eszköz 0,69 és 0,61 pontosságot mért egy összehasonlításban, és mindkettő megbukott a hibrid emberi-MI szövegen (Evaluating the accuracy and reliability of AI content detectors in academic contexts, Who wrote this? Evaluating the reliability of AI detection tools in higher education). A detektor stílusteszt, és a stílus, amelyet büntet, a nyelvi hátteret, a tudományterületet és a regisztert követi. Ezek egyike sem tény arról, hogy egy hallgató használt-e MI-t, és mindegyik tény a hallgatóról. A szélesebb mintázatot a A tanulócsoportok közötti eltérő hatások oldal dokumentálja.

A költség egy része már bármilyen meghallgatás előtt megjelenik. Mivel a formális eljárások detektálási szintű bizonyítékot követelnek, amely funkcionálisan nem áll rendelkezésre, az oktatók végül ahhoz jutnak, amit egy gyakorlati beszámoló „támasz nélküli gyanúnak” nevez, miközben a hallgatók megindokolják a saját használatukat, az ügyiratok pedig megrekednek (The Best Response to Student AI Use Is Not Detection, It Is Dialog). A bizalom költsége arra a kapcsolatra esik, amelyre az eljárás épül.

Változtassa meg a hallgatóhoz intézett kérdést

A Grand Canyon University a „Használt-e MI-t ez a hallgató?” kérdésről arra tért át, hogy „Be tudja-e mutatni ez a hallgató, hogy érti, amit beadott?”, rövid beszélgetéseket, korai vázlatokat és felvett magyarázatokat használva, intézményi szinten bevezetve 2025 őszén. Az érv mellette gyakorlati: az oktatók már most is alkalmasak a megértés megítélésére, és a váltás visszaadja a tekintélyüket ahelyett, hogy olyan bizonyítékra várnának, amely soha nem érkezik meg (The Best Response to Student AI Use Is Not Detection, It Is Dialog).

Ez azt is megváltoztatja, mit tud kezdeni a hallgató a váddal. Ha megmutatják neki az aggodalmat, és megkérik, hogy magyarázza el, meg tudja oldani. Ha egy százalékot mutatnak neki, csak tagadni tudja.

Úgy vezesse le a beszélgetést, hogy átmenjen a felülvizsgálaton

Kezelje az ellenőrző beszélgetést az eljárás egy lépéseként, értesítéssel és feljegyzéssel, és meg fog állni, amikor valaki egy félévvel később elolvassa az ügyiratot.

Kezdje az értesítéssel. Mondja el a hallgatónak egyszerű nyelven, mi váltotta ki az aggodalmat, és mondja meg, mi a beszélgetés célja. Ha az aggodalom egy detektor pontszámából jött, mondja ezt, és mondja azt is, hogy a pontszám nem megállapítás. Ha csak azt mondja a hallgatónak, hogy csalással vádolják, a megbeszélés a jellem védelmévé válik, nem a munka számbavételévé.

Aztán kérdezzen magáról a munkáról. Milyen állítást próbált megtenni ebben a szakaszban. Honnan jött ez a bizonyíték. Miért így rendezte el. Mit hagyott el. Aki írta a szöveget, az a döntések szintjén tud válaszolni ezekre. Aki nem írta, az a téma szintjén fog válaszolni, és a különbség gyorsan megmutatkozik anélkül, hogy bárkinek bizonyítania kellene a szándékot.

A hallgatás jogát tartsa érintetlenül. A válasz megtagadása semmit nem ismer el, és egy olyan eljárás, amely a megtagadást bevallásként kezeli, nem áll meg egy fellebbezésnél. Jegyezze fel, mit kérdeztek, mi volt a válasz, és mit tagadtak meg.

Zárja olyan döntéssel, amelyet a pontszám nélkül is ki tud mondani. Vagy a hallgató bemutatta azt a megértést, amelyet az értékelés mér, vagy van egy külön, tartalmi aggodalom a munkával kapcsolatban, amelyet a saját szavaival le tud írni. Ha egyik sem igaz, az ügyirat ott véget ér. Ez az eredmény normális, és ennek megfelelően le kell írni, mert egy olyan eljárás, amely valaha csak a bűnösséget rögzíti, azt tanítja meg a következő bizottságnak, hogy a gyanú ugyanaz, mint a megállapítás.

Tegyen egy lépést a feladatba, amelybe az eszköz nem tud beülni

Az aszinkron szóbeli értékelések, amelyeket just-in-time promptokként építenek fel, rövid, időben korlátozott felvett válaszokkal, beágyazott rubrikák alapján osztályozva, egy tanulmányban azonos szinten teljesítettek a személyes feleletválasztós vizsgákkal, egy másikban pedig jelentősen jobban, a hallgatók pedig aktívabb felkészülésről és magasabb észlelt szakmai relevanciáról számoltak be. Egy adminisztrátor számára az a tulajdonság számít, hogy ez felügyelet nélkül is skálázható (Asynchronous Oral Assessments: Enhancing Integrity, Engagement, and Communication in the AI Era).

A feladat újratervezése többet tesz, mint az ellenőrzés megerősítése. Egy egyetemi közgazdaságtan-hallgatókról szóló esettanulmány azt találta, hogy csak nagyjából egyharmaduk számolt be bármilyen MI-használatról, a bevallás pedig még ritkább volt, és a be nem vallást inkább racionális óvatosságnak olvasta kétértelmű szabályzat mellett, mint tisztességtelenségnek. Ugyanezek a hallgatók valósághű, adatalapú feladatokat pártoltak megoldásként (Beyond Detection: How Students Use—and Hide—AI in Online Assessments and What Authentic Tasks Can Do About It). Az MI-használat elvárása, deklarálása és vizsgálata jobb, mint a rendészeti kezelése, mert az autentikus értékelést meg kell tervezni, nem kikényszeríteni (Beyond Detection: Redesigning Authentic Assessment in an AI-Mediated World).

Két döntés következik. Először a méret. Egy rövid szóbeli ellenőrzés minden nagy beadandónál megfizethető egy szemináriumon. Egy háromszáz fős előadáson a szakaszos vázlatok és a rendellenes munkák mintavételezett ellenőrzése az, ami a tizedik hétig megmarad. Azt a változatot válassza, amelyet a félév utolsó hetében is le tud folytatni a rendelkezésére álló javítási órákkal, mert egy hitelesített lépés, amely terhelés alatt összeomlik, visszahagyja Önnél az artefaktumot.

Másodszor a pontok. Ha egy indoklás, egy vázlattörténet vagy egy elutasított MI-javaslatra adott reflexió semmit nem ér, öt perc alatt elkészül, és senki nem olvassa el, a hallgatók pedig arra optimalizálnak, amit osztályoznak. Adjon neki akkora súlyt, hogy a lépés kihagyása többe kerüljön, mint az elvégzése.

Tegye a bevallást olcsó választássá

A homályos vagy büntető szabályzatok rejtőzködést hajtanak. A kognitív szakaszokhoz kötött, konkrét deklarációs keretek, párosítva azzal a biztosítékkal, hogy az őszinte bevallást nem büntetik, több információt adnak ki a hallgatókból, mint a megfigyelés (Addressing student non-compliance in AI use declarations: implications for academic integrity and assessment in higher, "Should I Tell My Teacher?" Student AI Disclosure Practices, Stigma, and Self-Regulated Learning in Higher Education). A tervezési kérdés az, hogy a szabályai melyik választ teszik a legkönnyebbé annak a hallgatónak, aki hajlik a titkolózásra, és egy olyan szabály, amely a deklarációt bevallásként kezeli, rosszul válaszolta meg.

A megfogalmazás végzi itt a munka nagy részét. Egy olyan deklaráció, amely egy jelölőnégyzet bejelölését kéri, majd olvasatlanul hever egy beadási rendszerben, megtanítja a hallgatóknak, hogy a bevallás színház, és a következő évfolyam ezt gyorsabban megtanulja. A munka egy szakaszához kapcsolt deklaráció, amely azt kérdezi, mire használták az eszközt abban a szakaszban, és mit tett a hallgató a kimenettel, olyasmit ad, amit ténylegesen el lehet olvasni, és okot ad a hallgatónak a pontosságra.

Írja meg a kikötéseket, amelyek távol tartják a meghallgatástól

A kitettség ritkán pereskedésként indul. Először belső fellebbezésként vagy hatósági panaszasként jelenik meg, és az első, amit vizsgálnak, az eljárás. A természetes igazságosság megköveteli, hogy a hallgatónak mondják el a vádat, és adjanak lehetőséget a válaszra bármilyen döntés előtt, és ez a lehetőség jellemzően egy vizsgálati megbeszélés vagy egy bizottsági meghallgatás, amelynek jegyzőkönyve bizonyítékká válik. Az e lépés nélkül hozott megállapítások sebezhetők még akkor is, ha a mögöttes gyanú ésszerű volt (How strong is the evidence in generative AI-related academic misconduct allegations? A mixed-methods analysis).

A bizonyítéki standardok másodikként jönnek. A kötelességszegési megállapításokhoz a valószínűségek mérlegét elérő bizonyíték kell, és ha az ügye a detektor pontszáma nélkül nem mondható el, az ügy önmagában gyenge (Heads We Win, Tails You Lose: AI Detectors in Education). Ahol az ügy kizárólag stíluson nyugszik, a szóbeli ellenőrzés útjának az eljárásban van a helye, nem a bizottság elnökének jóindulatában.

A hatókör a harmadik. Azok az átfogó MI-tiltások, amelyek nem választják szét az átírást és az OCR-t a generatív szövegalkotástól, eltávolíthatnak egy olyan segédeszközt, amelyre a motoros kontrollt, a kézírás olvashatóságát vagy a gépelés pontosságát érintő állapotokkal élő hallgatók támaszkodnak, amelyek közül többet megszüntettek, és az MI-átírás tölti be a helyüket. Ez jogi kitettség is, nem csak pontatlanság (Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment). Nevezze meg a segítő és átíró eszközöket a szabályzat szövegében.

A beszerzés a negyedik. A detektorok harmadik fél szerverein tárolják a hallgatói munkát, néha tengerentúlon, gyengébb adatvédelmi védelem alatt, ami az adatszivárgást, a megőrzést és a további kereskedelmi felhasználást az Ön intézményének kockázati nyilvántartásába teszi, nem a szállító marketingoldalára. A feltételeknek ki kell terjedniük a megőrzésre, a modelltanításra való felhasználásra, a tárolási helyre, a szivárgás bejelentésére és a fellebbezési jogokra (Heads We Win, Tails You Lose: AI Detectors in Education). A tudásbázis jogi kitettségről szóló beszámolója a Jogi kérdések és kockázatok oldalon van, és őszinte a korlátairól: eljárásokat, bizonyítékkategóriákat és eszközmegbízhatóságot dokumentál, nem peres kimeneteleket.

Ami csökkenti a kockázatot, az eljárási jellegű. Soha ne kezelje a kimenetet önálló bizonyítékként vagy automatikus kiváltóként. Dokumentálja a standardot, amelyet az eljárása alkalmaz. Adjon értesítést és valódi lehetőséget a jegyzőkönyvben rögzített válaszra. Kínáljon ellenőrzést, amikor az ügy stíluson nyugszik. Tartsa meg az auditnyomot, amely megmutatja, hogy mindez megtörtént.

Tesztelje a megfogalmazást négy eseten

A szabályzat nyelve azokon az eseteken bukik meg, amelyekre senki nem gondolt, amikor megírták. Futtassa át ezt a négyet a tervezetén, mielőtt a bizottság elé kerül, és jegyezze fel, ahol a szövegnek nincs válasza.

Egy hallgató, aki egy vázlatot átfuttatott egy fordítóeszközön. A szabályzatnak ki kell mondania, hogy a fordítás MI-használatnak számít-e, és hogy ugyanúgy számít-e egy második nyelven író hallgatónál, mint egy első nyelven írónál. Ha hallgat róla, a bizottság rögtönözni fog, és a rögtönzés az, ahol a méltányossági érv elkezdődik.

Valaki, aki MI-t használt a vázoláshoz, és minden bekezdést maga írt. Egy olyan szabály alatt, amely azt kérdezi, hogy hozzáért-e az MI a munkához, ez a hallgató ugyanabba a kategóriába esik, mint aki az egész beadandót generálta. Egy lépésekhez kötött szabály alatt nem, és meg tudja mondani, miért. Ez a különbség a konstruktum, és a szabályzatnak meg kell neveznie.

Valaki, aki generálta a szöveget, és nem tudja elmagyarázni. Ez az az eset, amelyre az eljárása épült, és ez az, amely detektor pontszáma nélkül oldódik meg.

Egy hallgató, aki azért használ átírást, mert a gépelés megbízhatatlan. Nevezze meg a segítő eszközöket külön kategóriaként, saját útvonallal, hogy egy méltányosítás ne váljon váddá.

Amit az adminisztrátorok rosszul tudnak a detektorokról

A szállító által közzétett téves pozitív arány egy kockázati szám, amelyre lehet tervezni. A Vanderbilt engedélyezett egy detektort, amely 1%-os téves pozitív arányt hirdetett, majd megpróbálta validálni a számot, és nem tudta. Évi 75 000 beadásnál az 1% nagyjából 750 tévesen megjelölt hallgatót jelentett. Az egyetem kikapcsolta az eszközt (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI). Egy arány, amelyet nem tud a saját korpuszán reprodukálni, marketing szám, és a tévesen megjelölt hallgatók továbbra is az Önéi, akikkel foglalkozni kell.

A detektálás elrettenti azokat a hallgatókat, akik egyébként csalnának. Az elrettentés a detektor rejtett használat és jogszerű munka közötti megkülönböztetésén fut, nem a nyers elkapási arányán. Amikor a hozzáadott érzékenység több új téves pozitívot termel, mint új valódi pozitívot, az erősebb megfigyelés viszonylag vonzóbbá teszi a rejtőzködést, így gyorsabban költi el a hitelességét azokra a hallgatókra, akik nem tettek semmi rosszat, mint ahogy azonosítja azokat, akik tettek (Assessment Design Under Imperfect Information: Generative AI, Disclosure, and Student Response in Higher Education). Krou és munkatársai ugyanebben az áttekintésben idézett meta-analízise azt találja, hogy az önhatékonyság negatívan korrelál a csalással, míg a tényleges képesség egyáltalán nem korrelál fordítottan vele, így a képességes hallgatók csalhatnak, amikor az értékelést igazságtalannak ítélik. A detektálás sem megbízható eszköz, sem nyilvánvaló elrettentő erő (AI-based digital cheating at university, and the case for new ethical pedagogies).

Egy pontszám plusz néhány indikátor ügyet ad ki. Nem ad. A standard a valószínűségek mérlegét elérő bizonyíték, és a pontszámok markerekkel, stílus-összehasonlításokkal, LLM-ítéletekkel vagy hallgatással összevonva is elmaradnak tőle. Egy érdemes teszt: kimondaná-e az érvelést hangosan egy meghallgatáson (Heads We Win, Tails You Lose: AI Detectors in Education).

Egy detektorlicenc kevesebbe kerül, mint az értékelés újratervezése. A licenc a legkisebb tétel, és magával hozza az adatvédelmi kitettséget, a beszerzési munkát és a fellebbezések állandó áradatát egy olyan eszköz miatt, amelynek hibája a nyelvi háttér szerint mintázott. Az oktatók „támasz nélküli gyanúként” írják le a tapasztalatot, így a költségvetési sor, amely megváltoztatja az eredményeket, az ellenőrzési kapacitás és az útmutatás (The Best Response to Student AI Use Is Not Detection, It Is Dialog).

Az átfogó tiltás védi az intézményt. A túl széles szabályok elvehetnek egy méltányosítást, és meghívják azt a diszkriminációs érvet, amelyet el akart kerülni, mert az általuk termelt hiba azonosítható csoportokon összpontosul, nem oszlik el egyenletesen (Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment, Evaluating the accuracy and reliability of AI content detectors in academic contexts).

Mi jön vissza Önre

„A szállítónk 1%-os téves pozitív arányt hirdet.” A Vanderbilt engedélyezett detektora pontosan ezt állította, és az állítás nem állta meg az egyetem validálási kísérletét. A független mérések egyetlen eszközt sem tesznek 80% fölé a pontosságban (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI). Kérje el a validálási tanulmányt és a korpuszt, amelyen futott, majd kérje, hogy maga futtathassa.

„Csak egy bizonyítékként használjuk.” A standard a valószínűségek mérlegét elérő bizonyíték, és egy pontszám markerekkel, stílus-összehasonlításokkal, LLM-ítéletekkel vagy hallgatással összevonva sem elégíti ki (Heads We Win, Tails You Lose: AI Detectors in Education). Ha a bizottság nem fogadná el hangosan kimondva az érvelést, az ügyiratnak nem szabad tartalmaznia.

„Ha abbahagyjuk a detektálást, a csalás győz.” A csalás már most átjut ezeken az eszközökön. A befecskendezett MI-beadandók 94%-a észrevétlenül ment át egy élő online vizsgán, a humanizálás az esetek több mint 96%-ában legyőzi a detektálást, a szerződéses csalás pedig már korábban sem hagyott megbízható nyomot. Amit a detektorok mérhető megbízhatósággal megfognak, az az őszinte könnyű szerkesztés és a nem anyanyelvi próza (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI, Why AI Detection Fails for Academic Integrity).

„Csak privát módon használjuk, hogy elindítsunk egy beszélgetést.” Ez a legkevésbé káros használat, és még ez is kerül valamibe, mert a leginkább megjelölhető hallgatók a legkevésbé valószínű, hogy visszaélnének az MI-vel. A gyanú így a rossz emberekre esik, mielőtt bármilyen beszélgetés elkezdődne (Detecting the Undetectable? Reassessing Academic Misconduct Procedures in the Era of Generative AI). A Grand Canyon válasza az volt, hogy egyáltalán ne a gyanúból induljanak ki (The Best Response to Student AI Use Is Not Detection, It Is Dialog).

„A hallgatónak, akinek nincs rejtegetnivalója, nincs mitől félnie.” A 642 absztraktos tanulmány a szabályzatnak megfelelő könnyű szerkesztést 38-80%-ban megjelölve találta 0,50-es küszöbön, a kazah mérés pedig a bizonyíthatóan emberi szövegrészek 81,4%-át és 79,6%-át találta megjelöltnek a kiadott detektoroknál (Why AI Detection Fails for Academic Integrity, Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh). Egy tiszta előélet nem nyújt védelmet, amikor a jelzés a stílus. Ezért is jelölik meg a kazah szerzők a saját oktatási arányaikat a tanulmány leggyengébb számaként, és ezért ne idézze őket hallgatói esszéarányként.

„Nem lehetne egyszerűen megkövetelni egy deklarációt, és a hiányzót bűnösségként kezelni?” Egy hiányzó deklaráció nem bizonyíték a rejtett használatra, és ha annak kezelik, a rejtőzködés racionálissá válik. A kognitív szakaszokhoz kötött konkrét keretek, ahol az őszinte bevallást büntetés ellen védik, több információt nyernek ki, mint a megfigyelés (Addressing student non-compliance in AI use declarations: implications for academic integrity and assessment in higher, "Should I Tell My Teacher?" Student AI Disclosure Practices, Stigma, and Self-Regulated Learning in Higher Education). Az ezen az oldalon szereplő bizonyíték arról szól, mi termel bevallást. Semmit nem mond arról, mennyi csalást akadályoz meg egy deklarációs rendszer.

Mit tegyen ezen a héten

1. Nyissa meg a kötelességszegési eljárását, és keresse meg minden helyet, ahol egy detektor pontszáma elindíthat egy lépést. Írjon egy mondatot, amely eltávolítja a kiváltót, és vigye el ahhoz, aki a dokumentumért felel.

2. Írjon e-mailt a szállítónak a hirdetett hibaarány mögötti validálási tanulmányért, és kérdezze meg, milyen korpuszt használt.

3. Válassza ki a legnagyobb tétű feladatát, és adjon hozzá egy hitelesített lépést, amelyet a rendelkezésére álló időben meg tud jelölni.

4. Fogalmazza meg a három kérdést, amelyet egy megjelölt hallgatónak fel fog tenni, kezdve azzal, hogy mit próbált állítani, és hogyan ellenőrizte.

5. Küldje el a beszerzési és akadálymentesítési kikötéseket annak az irodának, amely a szerződéseket aláírja, a megőrzési, tanítási célú felhasználási és szivárgási feltételekkel együtt.

Hová tovább

A tervezési oldali társa a Hogyan csökkenthetem az MI-csalást a kurzusomon?, és a Az értékelés újratervezése az MI korszakában viszi tovább az értékelési érvet. A Kurzus MI-szabályzata arról szól, hogyan fogalmazzon meg és kommunikáljon egy kurzusszabályzatot, az MI-írástudás pedig arról, mit kell tudniuk a hallgatóknak ahhoz, hogy ezekkel az eszközökkel a munka elvesztése nélkül dolgozzanak. Az érvelés mögötti koncepcióoldalak: Akadémiai integritás, Méltányosság az MI-oktatásban és Jogi kérdések és kockázatok; a fenti, detektálásra vonatkozó kikötések az Oktatáspolitika és MI intézményi rétege.