Как да науча студентите да проверяват резултатите от AI?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Седмица е преди крайния срок за оценки и две работи цитират източници, които не съществуват. И двамата студенти казват, че са проверили. Единият отвори линка. Другият прочете абзаца и реши, че звучи правилно. Вече си казал на този клас да проверява какво им дава чатботът, а казването не произведе поведението.

Проверката е последователност, която можеш да вградиш в задание. Реши какво се брои за правилно, преди задачата да започне, накарай студента да се ангажира с очакване писмено, изпрати го до записа, а не до впечатлението му за прозата, и оцени записа, който произвежда. Ред в рубриката, който казва „проверени източници“, не измерва нищо от това.

Накратко

1. Напиши първо ключа с верните отговори. Една проверка се нуждае от нещо, срещу което да се разреши, а повечето задания за проверка никога не определят какво значи правилно.

2. Изисквай предсказание, преди резултатът да се появи, така че разсъждението на студента да съществува на хартия, преди инструментът да може да го презапише.

3. Назови целта на всяка проверка: списъкът с автори, изданието, годината, конкретното число, конкретната стъпка. „Увери се, че е вярно“ не е проверка.

4. Раздели проверката, която машина може да изпълни, от преценката, която само читател може да направи, и научи студентите коя от двете вършат.

5. Оценявай записа срещу ключа, а не усилията, така че театърът на проверяването да не печели нищо.

6. Планирай проверката вътре в задачата. Натискът на времето е документирана причина студентите да я пропускат.

Реши какво значи правилно, преди някой да провери нещо

Wei и Shang (2026), преглеждайки 493 дедупликирани записа и картографирайки 14 приоритетни емпирични изследвания, разделят седем неща, които „критичното използване на AI“ смачква в едно: епистемична оценка, иницииране на проверка, качество на процеса, успех на проверката, решения за разчитане, незабавно представяне в задачата и независимо учене. Твоята рубрика казва „проверени източници“, което стои на втората стъпка и не ти казва нищо за това дали проверката е била компетентна или дали е променила отговора на студента. Инициирането не е успех. Силният процес може да завърши без заключение, слабият може да стигне до правилния отговор, а студент, който е пуснал търсене и е останал объркан, получава същото като този, който е решил въпроса.

Същият преглед тегли втора линия, между доверието и разчитането. Калибрирането на разчитането пита дали едно решение за разчитане е било уместно при действителното качество на резултата, което връзва преценката към едно решение и един резултат. Едно одитирано изследване установи, че фалшивата информация от ChatGPT променя съобщаваното доверие на участниците и никога не записва дали после са приели или отхвърлили конкретна препоръка. Друго записа решения за приемане и отхвърляне на обратна връзка от ChatGPT при 78 студенти по превод, но без независима експертна оценка приемането не може да се нарече уместно, а отхвърлянето не може да се нарече оправдано. Без основна истина за качеството на резултата разчитането не може да се класифицира изобщо.

Това е дизайнерското следствие и първото нещо за поправяне. Преди да поставиш задача за проверка, напиши две кратки описания: как изглежда правилен резултат за тази задача и как изглежда правдоподобен, но грешен резултат. По едно от всяко е достатъчно. Студентите после имат стандарт, срещу който да проверяват, а ти имаш срещу какво да оценяваш проверката, различно от това дали студентът звучи внимателен.

Накарай ги да се ангажират, преди инструментът да отговори

Gousopoulos (2026) изгражда програма за измерване около предскажи, преди да пуснеш: обучаемият заявява какво трябва да се случи, а после поведението на артефакта се съди срещу това предсказание по дисциплинарни основания, а не по това дали се изпълнява. Разсъждението съществува, преди резултатът да съществува, което е и онова, което го прави оценяемо.

Одитът му на 24 изследвания установи същия инструмент да произвежда противоположни резултати при различни структури на задачата. Обичайна настройка с ChatGPT завърши значително по-ниско по постижения, самоефективност и поток, докато условие, което добави изисквания за проверка и модули за рефлексия върху грешки, показа по-силно мислене от по-висок ред. Инструментът беше постоянен в тези условия. Променяше се дали задачата иска от студента да държи позиция, която инструментът може да опровергае.

На практика това е един ред в заданието: преди да отвориш инструмента, запиши какво очакваш да каже и защо. После сравни. Двама студенти могат да произведат един и същ абзац и само един от тях може да обясни къде абзацът се отклонява от предсказаното.

Изпрати ги до записа

Denny и др. (2026) проследиха 113 588 препратки от 5 225 статии по компютърно образование, публикувани след 2021 г., и ръчно провериха 828 подозрителни записа. Те намериха 30 записа с проверимо измислена библиографска информация в 14 статии, всички от 2025 и 2026 г. Тринадесет бяха напълно измислени. Останалите 17 съчетаваха истинско заглавие с измислено или неправилно авторство, издание или година. На Техническия симпозиум SIGCSE броят нарасна от 3 в сборника за 2025 г. до 17 през 2026 г., или 2,3% от статиите в сборника за тази година.

Полетата за автор се провалят по-често от всяка друга част на генерирана препратка. Тази единствена находка ти казва какво да искаш. „Отвори източника и прочети списъка с автори“ се прицелва в полето, което най-вероятно е грешно, и произвежда факт, който студентът или има, или няма. „Увери се, че източниците са истински“ произвежда уверение. Искай от студентите да потвърдят автори, издание и година срещу самия запис. Статията иска всяка цитирана работа да бъде проверена и всеки автоматичен проверяващ да остане с човек в цикъла, което е точно навикът, който едно изискване за цитиране тренира.

Раздели проверката, която машина може да изпълни, от преценката, която само читател може да направи

Venetsanos (2026) поставя защитима граница за това какво може да се проверява механично: документирани критерии, сравнение с установено знание без интерпретативна преценка и един правилен отговор или предварително зададени приемливи алтернативи. Датите, формулите, цитатите и изчисленията минават тази граница. Всичко интерпретативно се проваля на нея и там собственото четене на студента е инструментът на проверката.

Gousopoulos формализира същото разделение като проблем за откриване на сигнал с два независими параметъра. Чувствителността е способността да различаваш правилен от дефектен резултат; критерият е къде обучаемият поставя прага за отхвърляне. Свръхразчитането се дели по тази линия. Предупрежденията, контролните списъци и подканите за халюцинации местят критерия, променяйки кога студентът отхвърля. Дисциплинарното обучение, решените сравнения и практиката със заложени грешки вдигат чувствителността, защото тогава обучаемият може да различи. Студент, който приема дефектен резултат, може да има проблем с критерия или проблем с чувствителността, и двете се нуждаят от различно преподаване.

Предпоставката е неудобна. Обучението по проверка е образователно само там, където чувствителността може да надхвърли нула, което изисква достатъчно дисциплинарно знание, за да различиш правилен от неправилен резултат. В същия одит новобранци, помолени да обяснят генериран от LLM код, успяха в около една трета от задачите, така че съденето на обратна връзка или код от AI срещу собственото разсъждение е истинска проверка само там, където това разсъждение има субстанция. Ако студентите ти още не могат да вършат дисциплинарното мислене без помощ, повече предупреждения не купуват нищо. Преподавай съдържанието и прикачи проверката към него.

Още едно предупреждение принадлежи на дизайна: интервенциите, които намаляват неуместното приемане, трябва да се проверят и за непреднамереното отхвърляне на правилна помощ. Остави място студентът да приеме добър резултат с посочена причина.

Оценявай проверката, без да я превръщаш в надзор

Gousopoulos извежда следствието директно. Ако AI може да произведе артефакта, артефактът не може да бъде оценяването, така че оценяването се премества в спецификацията, разсъждението за валидиране и интерпретацията. Неговият конструкт за авторство на модела има четири измерения, спецификация, концептуален модел, проверка и интерпретация, на четири подредени нива от делегирано до авторско. Авторското ниво изисква проверима спецификация преди първата подкана, отхвърляне на резултата по дисциплинарни основания с посочена причина и интерпретация, която отива отвъд собствения отчет на артефакта за самия него.

Рубриката черпи от материали, които една задача за конструиране вече генерира, така че същият инструмент е и формиращо оценяване, и изследователска мярка. Това отговаря на тревогата за излишна работа: оценяваш страничен продукт от задание, което вече си поставил. До него принадлежат две ограничения. Никое изследване сред 14-те приоритетни случая на Wei и Shang не измери успеха на проверката и следващото решение за разчитане заедно, а малко проследиха незабавното представяне със забавено задържане или пренос, така че рубриката почива на аналитична карта, а не на валидирана причинна последователност.

Три решения пазят това да не стане надзор. Оценявай проверката срещу отсъдено качество, а не срещу усилия, иначе създаваш стимул да се изпълнява проверяване. Заяви произхода, както изисква Venetsanos: студентите трябва да знаят кои части от обратната връзка, която получават, са проверени машинно, кои са преценени оценъчно и че човешката преценка има примат, защото не могат да претеглят обратна връзка, която не могат да ситуират. И дръж принудата далеч от инструментите за откриване. Bassett и др. (2026) защитават тезата, че откриването на AI не трябва да се използва в образованието изобщо: оценките му са вероятностни и не могат да се проверят независимо, защото реалният произход на текста е неизвестен, резултатите му не отговарят на стандарта за баланс на вероятностите, който изискват разследванията за честност, а дихотомията човек срещу AI е безсмислена за работа, създадена с AI, а не от AI. Заключението им е, че откриването „не защитава академичната честност; то я подкопава“. Режимите на надзор хранят подозрение и ерозират доверието на студентите. Дръж двете значения на откриването отделно. Откриването на генериран от AI текст няма защитима доказателствена роля тук; да научиш студентите да откриват грешки в резултата на AI е цялото упражнение.

Разделението е архитектурно и си струва да се каже на студентите. Li, Zhang и Botelho (2026) проверяват резултата с втори модел, вместо да вградят проверката в генератора. Студент, който вижда защо, може да види и защо „инструментът каза, че е вярно“ не е аргумент за проверка.

Ако проектираш курса, а не го преподаваш

Три находки по-горе принадлежат на изграждането на курса, където преподавател, работещ сам, няма да стигне до тях.

Първата е диагностична. Пусни задача със заложени грешки: двадесет единици, осем с грешка на дисциплинарно ниво. Тя ти казва дали студентите могат да различават изобщо, преди да похарчиш семестър да преподаваш критерий, който не могат да използват. Клас, който пропуска заложените грешки, се нуждае от преговор на съдържанието, каквото и да казва учебната програма за критично използване.

Втората е поставянето на предупреждението. Vu, Cummings и Park (2026) показаха общо предупредително съобщение непосредствено преди две задачи на 100 студенти в САЩ, 40 местни и 60 международни, учещи английски като чужд език. „Ваксинираните“ студенти бяха значително по-склонни да проверят задачата за резюме на академичен източник (M = 0,34 срещу 0,18), докато самоотчетените намерения за проверка не се промениха. Ефектът също зависеше от задачата: появи се при задачата за резюме на източник, но не равномерно при тест по математика за степенуване и умножение на големи числа. Сложи предупреждението в точката на използване, за всеки тип задача, а не веднъж в учебната програма или в уводния модул.

Третата е планирането. Учебна програма, която оставя проверката непланирана, казва, че тя е по избор, а натискът на времето е документирана причина студентите да пропускат проверки. Проверка, която живее вътре в задачата, с прикачен оценяван артефакт, се случва. Проверка, която живее в абзац от политика, не се случва.

Ако ти си студентът, който чете това

Четири хода покриват по-голямата част от онова, което изследванията искат от теб.

Напиши очакването си, преди да пуснеш подканата. Едно изречение за това какъв трябва да е отговорът, после сравни резултата с него.

Отвори източника. Прочети списъка с автори, изданието и годината срещу записа, защото полето за автор е там, където генерираните препратки се провалят най-често.

За всичко интерпретативно напиши причината със свои думи. Измислена причина е толкова видима, колкото измислен цитат.

Не се доверявай на усещането, че прозата се чете добре. Новобранци, помолени да обяснят генериран от LLM код, успяха в около една трета от задачите, а теренно изследване на разговори между студенти и ChatGPT по тест откри, че следването на правилни указания все пак произведе грешен отговор. Това, което можеш да провериш, е по-тясно от това, което можеш да прочетеш.

Какво преподавателите разбират погрешно тук

„Вече им казах да проверяват източниците си.“ Предупреждението иска нагласа. Внимателните студенти я имат, забързаните не, и няма нищо в изречението, по което студент да действа в 11 часа вечерта с резултат на екрана, който се чете напълно добре.

„Един ред в рубриката за проверяване на източници го покрива.“ Този ред стои при инициирането и не казва нищо за качеството на процеса или за успеха. Студент, който е пуснал едно търсене и се е отказал, получава същото като студент, който е решил въпроса, така че рубриката награждава жеста.

„Ако четат внимателно, ще хванат грешките.“ Гладкостта носи преценката. Одитираната литература показва новобранци с около една трета успех при обясняване на генериран код, а теренното изследване записа грешен отговор, който дойде чрез правилни указания.

„Студентите, които казват, че ще проверят, проверяват.“ В изследването на Vu, Cummings и Park самоотчетените намерения не се промениха, докато изпълняваното поведение се промени (M = 0,34 срещу 0,18). Оценявай поведението, което се промени.

„Студентите, които пропускат проверката, са тези, на които не им пука.“ Jaidka и Cai (2026) кръстосват способността да проверяваш с мотивацията да проверяваш, а профилите се нуждаят от различни средства. Студентът с висока способност и ниска мотивация е податлив на самодоволно свръхдоверие. Студентът с ниска способност и ниска мотивация е най-изложен. Двама студенти, които се провалят на една и съща проверка, могат да се нуждаят от противоположно преподаване, а предварителните знания решават кого виждаш.

„Повече предупреждения ще поправят студентите, които не могат да различат.“ Предупрежденията местят критерия. Те не вдигат чувствителността, а чувствителността е онова, което отделя студента, който може да забележи дефекта, от този, който не може.

„Детектор подкрепя политиката.“ Според доказателствата по-горе резултатът на детектор не издържа стандарта, който изисква случай за честност, разделението човек срещу AI не се държи за работа, направена с AI, а режимът ти струва доверието, което ти трябва, за да разкрият студентите каквото и да е.

Какво ще ти се върне

„Могат просто да го направят за оценката.“ Частично вярно, затова оценявай материали, които AI не може да произведе от името на студента. Спецификация, написана преди първата подкана, предсказание, записано преди артефактът да се изпълни, списък с източници, проверен срещу записа, посочена дисциплинарна причина за отхвърляне: всяко изисква от студента да държи позиция, която генераторът не може да достави. Измислена причина е толкова видима, колкото измислен цитат. Където студентът няма дисциплинарно знание, срещу което да проверява, проверката е театър и никаква рубрика не я спасява, което е аргумент първо да се преподава съдържанието.

„В учебната програма няма време.“ Предупреждението е едно съобщение преди задачата. Задачата със заложени грешки използва повторно тест, който вече даваш. Рубриката се вози на материали, които задачата вече генерира, така че струва време за оценяване върху доказателства, които иначе не би имал. Алтернативата струва повече: непроверени работи, измислени препратки и разговорите за честност, които следват.

„Инструментът обикновено е прав.“ Тогава проверката е евтина и изключенията са смисълът. Полетата за автор се провалят по-често от всяка друга част на генерирана препратка, 17 от 30-те измислени записа съчетаваха истинско заглавие с грешно авторство, издание или година, а 17 се появиха в сборника на един единствен симпозиум за една година. Точността в частите, които случайно забележиш, не казва нищо за частите, които не забелязваш.

„Студентите ми не знаят достатъчно, за да съдят резултата.“ Това е прагът на чувствителността и е реален. Gousopoulos предсказва, че обучението по проверка се проваля под един минимум дисциплинарно знание, и отбелязва, че някои области дават външен критерий, физика, химия, екология и епидемиология сред тях, докато историята, литературата и етиката до голяма степен не дават. Преподавай дисциплината и прикачи проверката към нея, или очаквай проверката да стане ритуал.

„Това е надзор.“ Така е, ако оценяваш усилия или наблюдаваш как работят студентите. Оценявай артефакта срещу ключа, заяви коя обратна връзка е проверена машинно и коя е преценена от човек, и остави детекторите настрана.

Какво да направиш тази седмица

1. Напиши двете описания за следващото си задание: правилен резултат и правдоподобен грешен резултат. Това е ключът, срещу който се разрешава проверката.

2. Добави реда с предсказанието. Едно изречение, написано преди инструментът да бъде отворен, сравнено после по дисциплинарни основания.

3. Замени „провери източниците си“ с „отвори записа и потвърди авторите, изданието и годината“.

4. Сложи осем заложени грешки в тест, който вече даваш, и виж кои студенти ще ги намерят.

5. Оцени един артефакт за проверка срещу ключа и кажи на студента коя част от проверката се е провалила: стандартът, процесът или решението.

Накъде след това

Как да вградиш AI грамотността покрива как да се изгради разбирането, което тази страница използва, а доказателствата за AI грамотността покриват какво струва тази работа. Намаляването на прекомерната зависимост се занимава с дизайнерската страна при студентите, които се облягат на инструмента, ученето с AI е спътникът, обърнат към студента, а AI в асинхронните онлайн курсове покрива версията на този проблем без час, в който да се планира проверка. За обратната връзка, която студентите проверяват, виж качеството на обратната връзка от AI и риска от халюцинации.