Мога ли да използвам AI, за да оценявам работата на студентите справедливо и надеждно?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Имаш рубрика, в която вярваш, повече предадени работи, отколкото часове, и инструмент, който връща оценка и няколко уверени абзаца за времето, нужно да прочетеш едно есе. Пробваш го върху работа, която вече си оценил. Половината оценки изглеждат правилни. Една е странно щедра, една странно сурова и още не можеш да кажеш дали причината е инструментът, или есето.

Краткият отговор, който да дадеш на колега: оценяването с AI печели място като надзиран помощник или втори читател, върху задачи, в които си го проверил срещу работа, която вече си оценил. Съгласието не се пренася между различни типове оценяване. В изпит по фармация с шестнадесет студенти Falahat et al. (2026) намериха почти пълно съгласие при обективните типове въпроси и ненадеждно съгласие при отворените отговори. В три английски университета проектът OpRaise намери съгласие между AI и човешките оценители за степенната лента между 35% и 65% от случаите в зависимост от институцията, с оценки, притиснати към средата. Плавното обосноваване не е доказателство, че критериите ти са приложени. Дали резултатът е валиден за твоето решение е локален въпрос, на който ти трябва да отговориш сам, и човек остава отговорен за всичко, което става записана оценка.

Накратко

1. Назови ролята, преди да пуснеш каквото и да е: помощник за обратна връзка, втори читател или основен оценител. Те изискват различно количество доказателства.

2. Започни с най-малко последствената роля, която решава реалния ти проблем. Ако детерминиран ключ би свършил работа, LLM добавя риск, а не стойност.

3. Калибрирай върху работа, която вече си оценил, включително силни, слаби, гранични и необичайно структурирани работи. Удобните примери не доказват нищо.

4. Дръж калибриращия набор и тестовия набор отделно, иначе измерваш колко добре си настроил инструмента към познати есета.

5. Докладвай точното съгласие, разликите в оценките и посоката на пристрастието, а не корелация. Провери отделно границите за успех и провал.

6. Кажи на студентите каква роля играе инструментът, кой решава оценката и как да поискат преглед.

Реши какво е позволено на AI да прави

Три уговорки се наричат „оценяване с AI" и те носят различни задължения.

Помощник за обратна връзка черновира коментари или отбелязва възможни пропуски, които ти приемаш, пренаписваш или изхвърляш. Рискът се ограничава до качеството на коментара и ти четеш всичко, преди да стигне до студент. Втори читател предлага оценки по критерии или отбелязва несъгласия, за да структурира твоето оценяване. Грешките му трябва да са полезни, а не просто погрешни: сигнал, който те връща към работа, която иначе би оценил небрежно, си заслужава. Основен оценител произвежда оценки, които стават записани. Това е уговорката, която доказателствата в тази база знания не подкрепят извън тесни, локално валидирани случаи.

Избери най-ниското стъпало, което адресира реалното ти ограничение. Ако натоварването ти идва от проверка на фиксиран ключ с отговори, обикновеното детерминирано оценяване е по-прозрачно и проверимо от езиков модел, а изследването по фармация предполага, че предимството на LLM при обективните въпроси е отчасти артефакт от това, че са му дадени верните отговори по време на оценяването. Запази модела за работа, която изисква интерпретация, и после провери тази интерпретация.

Автоматизираното оценяване обхваща по-широката машина за оценяване, модерация и генериране на обратна връзка. Тази страница е въпросът за преценката под нея.

Какво всъщност показват доказателствата

Съгласието зависи от типа въпрос. Falahat et al. (2026) оцениха изпит по фармация в смесен формат, решен от 16 студенти, и докладваха съответствие с оценяването от преподаватели между 0,935 и 1,000 за въпросите с множествен избор, „избери всички верни" и попълване на празно място. Съгласието при субективните отворени отговори беше ненадеждно. Два детайла имат по-голямо значение от заглавието. Верните отговори бяха предоставени по време на оценяването, което ласкае резултатите при обективните въпроси, а добавянето на рубрика не подобри съгласието последователно, което подкопава общото допускане, че добрата рубрика превръща LLM в последователен оценител. Шестнадесет студенти не могат да подкрепят твърдение за твоя курс. Вариацията в рамките на един изпит е преносимият извод: система, която се справя със секцията ти с множествен избор, не казва нищо за есетата ти.

Съгласието по ленти е умерено и неравномерно. Докладът OpRaise разгледа автентични есета по психология на бакалавърско ниво и намери съгласие между AI и човешките оценители за британската степенна лента от 63% в Кеймбридж, 53% в Нотингам и 35% в Manchester Metropolitan. Оценките бяха притиснати към средата, като краищата бяха оценени най-неточно: есе, което човек е оценил със 75, получи няколко точки по-ниско от всяка AI система, а есе с 50 — няколко точки по-високо. Това притискане е провалът, който да следиш, защото поразява точно студентите в горния и долния край на разпределението ти, докато средата изглежда наред. Това е доклад по проект, а не рецензирано изпитване, и е най-полезното предупреждение в доказателствената база.

Собствените ти оценки са несъвършена референция. Преподавателите не са съгласни помежду си, а предишната ти оценка на подобно есе е преценка, не основна истина. Съгласието с един оценител установява последователност с този оценител, което не е същото като справедливост. Където залозите го оправдават, използвай втори квалифициран читател за трудните случаи и третирай несъгласието между AI и човешки оценител като повод да прочетеш работата отново, а не като присъда кой е прав.

Последователността и разумната преценка се разминават. Модел може да върне почти идентични оценки при повторно пускане, прилагайки критериите ти зле, защото повторяемостта измерва стабилност, не валидност. Краищата при OpRaise показват схемата: системата беше стабилна и грешна за есетата, които имаха най-голямо значение.

Валидирай процедурата, преди да докосне оценка

Работи по това с вече оценявани, подходящо защитени работи, които покриват отговорите, които реално получаваш: силни, слаби, гранични, непълни, необичайно структурирани и верни отговори, изразени по непознат начин.

1. Опиши критериите и изисквай доказателства. Дай задачата, рубриката, правилата за оценяване и примери как легитимни алтернативни отговори печелят точки. Поискай кратки обосновки на ниво критерий, вързани към разпознаваеми пасажи. После провери тези обосновки срещу работата сам.

2. Отдели калибрирането от оценяването. Настрой върху един набор, тествай върху друг. Без това разделение не можеш да различиш валидирана процедура от добре нагласена.

3. Измери решенията, които имат значение. Записвай точното съгласие, размера и посоката на разликите в оценките и дали моделът систематично дава по-високи или по-ниски оценки. Разгледай отделно границата успех и провал и другите последствени прагове. Висока корелация може да стои върху систематично изместване.

4. Тествай повторяемостта и поведението по подгрупи. Пусни отново подмножество при идентични настройки. Търси грешки на ниво критерий и случаи, в които език, форматиране или легитимен стил се приемат за по-слабо разбиране. Малките бройки в подгрупите подкрепят предпазливост, не твърдение за справедливост.

5. Напиши правилото за ескалация. Реши кои случаи винаги получават човешко оценяване и как се решават несъгласията. Не оставяй заявената увереност на модела да решава; увереността трябва да се валидира срещу наблюдавани грешки, преди да носи тежест.

6. Защити работния процес. Използвай одобрена среда, минимизирай идентифициращата информация и дръж рубриката и инструкциите отделно от предаденото съдържание. Това разделение прави манипулацията по-трудна за скриване. Не я прави невъзможна.

7. Записвай какво би обезсилило проверката. Пази модела и версията, подсказката, рубриката и настройките. Обновяване на модела или ревизия на рубриката е причина да повториш представителните проверки, вместо да допускаш приемственост.

Направи уговорката видима за студентите

Студентите имат право да знаят каква роля играе инструментът, кой решава и как да оспорят резултат. Неясното разкриване произвежда подозрение; конкретиката произвежда работеща връзка. Нещо като: „Одобрен AI инструмент може да черновира коментари по рубрика върху черновата ти. Преглеждам всеки коментар и определям оценката ти. Свържи се с мен, ако коментар представи работата ти погрешно." После направи това вярно.

Две посоки на провал изискват отделно внимание. Прекомерните отнемания на точки са тези, за които студентите съобщават, и доминират в обжалванията. Незаслужените точки са тези, за които никой не говори и които тихо развалят записа. Вземи извадка и за двете и включи часовете си за проверка, когато преценяваш дали работният процес ти е спестил нещо.

Какво ще ти се върне

„И хората са пристрастни." Така е, затова сравнението изисква изрични критерии, а не оценката на един оценител като стандарт. Институционалният размах на OpRaise е аргументът тук: ако човешките оценители в три университета са дали толкова различни съгласия по ленти със същите системи, човешката референция е част от онова, което трябва да се опише, а не фиксирана мярка.

„Рубриката го прави обективно." Рубриката прави очакванията изрични. Прилагането ѝ остава интерпретация, а изследването по фармация намери, че предоставянето на рубрика не подобрява съгласието последователно. Това, което рубриката ти купува, е проверим стандарт за обосновките, не гаранция за оценките.

„Ще трябва да проверявам всичко, което обезсмисля целта." За някои задачи това е правилният извод и отговорът е да стесниш работата. Черновирането на коментари от собствените ти бележки по оценяването оставя преценката при теб и премахва писането. Сигналите на втория читател върху гранични работи съсредоточават вниманието ти там, където то променя изхода.

„Колегата ми го пробва и работи добре." Питай какво е измерил. Положителните оценки съжителстват с грешки в тази литература рутинно, а колега, прочел няколко разумни резултата, е направил демонстрация, не валидиране. Въпросът е какво би направила процедурата му с есетата, които би забелязал последни.

Какво да направиш тази седмица

1. Избери едно оценяване и запиши единствената роля, която AI би играл. Запиши какви доказателства биха ти позволили да го вдигнеш с едно стъпало.

2. Пусни го върху пет работи, които вече си оценил, избрани така, че да включват силна, слаба, гранична и такава с необичайна, но легитимна структура.

3. Записвай всяко несъгласие с работата и критерия и назови грешките, които би сметнал за неприемливи, а не просто погрешни.

4. Тествай дали разликите в оценките вървят в последователна посока и провери границата си за успех и провал отделно.

5. Черновирай абзаца за разкриване пред студентите и пътя до преглед и сравни времето си за проверка с времето за оценяване, което си избегнал.

Накъде след това

Валидността на оценяването е понятието, което решава тези въпроси: дали доказателствата подкрепят извода, който искаш да направиш. Automated Assessment обхваща технологията и измереното ѝ представяне по формати, а Как може AI да ми помогне да давам по-добра обратна връзка в мащаб? се занимава със съседния проблем за генерираните коментари и дали студентите действат по тях.

За това какво трябва да представлява една оценка, след като студентите използват AI, включително заместване на конструкта и автентично доказателство за процеса, виж препроектирането на оценяването в ерата на AI. За това дали детекцията може да замести защитима задача, виж дали да използваме AI детектори. За въпроса за оценяването под всичко това виж проверка дали образователен AI работи.