How Do I Teach Students to Verify AI Output?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Ви їх попереджали. Чатбот — це не пошукова машина, перевіряйте джерела, використовуйте його відповідально, — і ті самі вигадані цитати та впевнено неправильні відповіді усе одно приходять у поданнях. Попередження зазнають невдачі, оскільки вони просять про ставлення. Уважні студенти його мають, поспішні — ні, і в реченні немає нічого, за чим студент міг би діяти о 23:00, коли результат на екрані читається абсолютно добре.

Дослідження, зібрані тут, кажуть, що це формулювання занадто грубе, щоб його можна було навчати чи оцінювати. Перевірка — це набір аналітично відокремлених дій, і широка позначка «відповідальне використання» приховує різницю між студентом, який спробував перевірити, і тим, який визначив, чи результат був правильним. Головне висновок: перевірка стає такою, якій можна навчати, в ту мить, коли ви перестаєте розглядати її як рису і починаєте розглядати як послідовність — стандарт, зафіксований до перевірки, перевірку, яка дає запис, і рішення, яке студент має захищати на підставах із предметної галузі. Це проблема дизайну, яку ви можете розв’язати цього тижня, — і проблема оцінювання, яку ви можете розв’язати за допомогою артефактів, які завдання вже створює.

Ця сторінка висвітлює механіку самої перевірки. Щодо того, що студенти мають розуміти про те, як працюють ці системи, і як це розуміння визначається, упорядковується та оцінюється, див. Як інтегрувати ШІ-грамотність у свій курс? та Які є докази щодо інтервенцій у сфері ШІ-грамотності у вищій освіті?. Студент може багато знати про великі мовні моделі й не перевіряти нічого.

Що перевірка справді вимагає від студента

Wei та Shang (2026) відокремлюють сім цілей, у які «критичне використання ШІ» зазвичай згортає все в одне: епістемічну оцінку, початок перевірки, якість процесу, успіх перевірки, рішення про покладання, негайну продуктивність завдання та незалежне навчання. Ваша рубрика в програмі курсу каже «перевірені джерела», що сидить на другому кроці й не каже нічого про те, чи була перевірка компетентною (якість процесу) і чи щось вона змінила (успіх, а потім рішення про покладання). Початок — це не успіх: сильний процес може закінчитися невизначено, слабкий може дати правильну відповідь, а студент, який зробив пошук і залишився збентеженим, набирає стільки ж, скільки й той, хто розв’язав питання.

Друге розрізнення — між Довіра і покладанням. Той самий огляд визначає калібрування покладання як судження про те, чи було рішення про покладання доречним за фактичної якості результату ШІ — класифікацію, залежну від результату, а не етап на шкалі часу й не оцінку на шкалі довіри. В одному аудитованому дослідженні виявили, що хибна інформація від ChatGPT зміщувала повідомлювану учасниками довіру, але ніколи не фіксували, чи прийняли чи відкинули вони пізніше конкретну рекомендацію. Інше дослідження фіксувало рішення «прийняти» та «відкинути» щодо Зворотний зв’язок від ChatGPT для 78 студентів перекладу, але без незалежної експертної оцінки прийняття не можна назвати доречним, а відкинення — виправданим. Без еталонної істини щодо якості результату покладання взагалі не можна класифікувати, — що говорить вам, чого потребує кожне завдання з перевірки: захищеного еталонного ключа.

Ось чому Jaidka та Cai (2026) розглядають некаліброваність як проблему дизайну, а не як дефіцит студента. Їхня типологія перетинає здатність перевіряти з мотивацією перевіряти, і профілі потребують різних засобів: користувач із високою здатністю та низькою мотивацією схильний до самовдоволеної надмірної довіри, тоді як користувач із низькою здатністю та низькою мотивацією є найбільш незахищеним, — тому два студенти, які дають збій на тій самій перевірці, можуть потребувати протилежних засобів.

Як цьому навчати

Синтез Wei та Shang спирався на 493 дедубльованих записи з пошукових запитів у Web of Science Core і розмістив 14 пріоритетних емпіричних досліджень у стовпцях перевірки, покладання та результату. Його конструктивний вихід — це послідовність, навколо якої варто будувати завдання. Спершу визначте якість результату, зафіксуйте, чи розпочато перевірку, закодуйте якість процесу, оцініть, чи вона була успішною, запишіть рішення «прийняти–виправити–відкинути» та оцініть це рішення щодо визначеної якості. Тут також належить одне попередження: втручання, які зменшують неналежне прийняття, мають перевірятися й на ненавмисне відкидання правильної допомоги, тож залиште студенту місце для того, щоб прийняти добрий результат із зазначеною причиною.

Прогнозуйте до результату, а потім порівнюйте. Gousopoulos (2026) будує програму вимірювання для завдань на створення навколо ідеї прогнозуй, перш ніж запускати: здобувач заявляє, що має статися, а потім поведінка артефакту судиться щодо цього прогнозу на підставах із предметної галузі, а не за тим, чи він запускається. Його аудит 24 досліджень виявив той самий інструмент, що дає протилежні результати за різних структур завдання: звичайна конфігурація ChatGPT закінчилася значно нижче за досягнення, Самоефективність та потік, тоді як умова, що додає вимоги до перевірки та модулі рефлексії над помилками, показала сильніше мислення вищого порядку. Оскільки прогноз передує результату, міркування є в запису, — і саме цей запис ви оцінюєте.

Вимагайте перевірок джерел щодо запису, із названою ціллю. Denny та співавтори (2026) простежили 113 588 посилань із 5 225 статей з інформатики в освіті, опублікованих із 2021 року, і вручну перевірили 828 підозрілих записів, виявивши 30, що містять перевірно вигадану бібліографічну інформацію, у межах 14 статей, усі з 2025 та 2026 років. Тринадцять були цілковито вигаданими; інші 17 поєднували справжню назву з вигаданим або неправильним авторством, місцем публікації чи роком. На технічному симпозіумі SIGCSE кількість зросла з 3 у збірках 2025 року до 17 у 2026 році, або 2,3% статей у збірниках 2026 року. Поля авторів виявляються неправильними частіше, ніж будь-яка інша частина створеного посилання, тому «відкрийте джерело і прочитайте список авторів» націлюється на поле, яке найімовірніше є неправильним. Не просіть студентів «переконатися, що джерела справжні»; просіть їх підтвердити авторів, місце публікації та рік щодо самого запису. У статті просять, щоб кожна цитована робота була перевірена і щоб будь-який перевірювач лишався в людському контурі, — практика, яку репетикує вимога перевіряти цитування.

Навчіть розрізнення, а не лише обережності. Gousopoulos формалізує перевірку як задачу виявлення сигналу з двома незалежними параметрами: чутливість, здатність розрізняти правильний результат із тим, що має дефекти, і критерій, де здобувач встановлює поріг для відкидання. Надмірна залежність розпадається відповідно — попередження, контрольні списки та підказки про галюцинації зсувають критерій, змінюючи те, коли студент відкидає, тоді як навчання предметній галузі, розв’язані порівняння та практика з навмисно впровадженими помилками підвищують чутливість, оскільки тоді здобувач уже може розрізняти. Звідси передумова: навчання перевірці є освітнім лише там, де чутливість може перевищити нуль, що вимагає достатньо знань із предметної галузі, щоб відрізняти правильний результат від неправильного. У тому самому аудиті новачкам, яких просили пояснити створений Великі мовні моделі (LLM) код, вдавалося це приблизно в третині завдань, і саме тому судити зворотний зв’язок ШІ чи код щодо власного міркування є справжньою перевіркою лише там, де це міркування має зміст. Якщо ваші студенти ще не можуть самостійно виконувати мислення в предметній галузі, додаткові попередження вам не дадуть нічого; спочатку навчіть контенту та прикріпіть перевірку до нього.

Попереджайте, безпосередньо перед завданням. Vu, Cummings та Park (2026) показали загальне повідомлення про імунізацію (попередження) безпосередньо перед двома завданнями 100 студентам із США, 40 місцевим та 60 іноземним, які вивчають англійську як іноземну. Імунізовані студенти були значно імовірніше перевіряти завдання зі зведення академічного джерела (M = 0,34 проти 0,18), тоді як повідомлювані самостійно наміри щодо перевірки не зрушили. Два уроки: коротке попередження в моменті використання змінює здійснювану поведінку, і ефект залежав від завдання — він з’являвся для завдання зі зведення джерела, але не однаково для тесту з математики на піднесення до степеня та множення великих чисел.

Зробіть так, щоб коригування чогось коштувало. У парадигмі коригування помилок, яку перевірив огляд, зусилля під час коригування мало значення для навчання; проста підміна відповіді навряд чи дасть ту саму користь. Вимога, щоб студент відтворив крок, переписав уривок або зазначив причину з предметної галузі, чому результат є неправильним, перетворює перевірку на роботу. Venetsanos (2026) встановлює межу для того, що можна перевіряти механічно: задокументовані критерії, порівняння щодо усталених знань без інтерпретаційного судження та єдину правильну відповідь або заздалегідь конкретизовані прийнятні альтернативи. Усе інтерпретаційне не проходить цієї межі, тож відокремте механічний шар — дати, формули, цитування, обчислення — від шару судження, де інструментом перевірки є власне читання студента.

Як оцінювати це, не здійснюючи нагляду над студентами

Gousopoulos виводить наслідок безпосередньо: якщо ШІ може створити артефакт, артефакт не може бути оцінюванням, тому оцінювання переходить до специфікації, міркування про валідацію та інтерпретації. Його конструкт авторства моделі має чотири грані — специфікацію, концептуальну модель, перевірку, інтерпретацію — на чотирьох упорядкованих рівнях від делегованого до авторського, де рівень авторського вимагає перевірної специфікації, що передує першій підказці, відкидання результату на підставах із предметної галузі із зазначеною причиною та інтерпретації, що виходить за межі власного повідомлення артефакту про себе. Оскільки рубрика оцінюється за матеріалами, які завдання на створення вже дає, той самий інструмент служить як формативним оцінюванням, так і як мірою дослідження. Це відповідь на побоювання щодо непотрібної роботи: ви не додаєте завдання, ви оцінюєте побічний продукт.

Три рішення не дають цьому перетворитися на нагляд. Перше, оцінюйте перевірку щодо визначеної якості, а не щодо зусиль, — інакше ви створюєте стимул до вистави перевірки. Друге, зазначайте походження, як того вимагає Venetsanos: студенти мають розуміти походження, характер та обмеження зворотного зв’язку, який вони отримують, — які частини були перевірені машиною, які оцінені оцінно, і що людське судження має первинність, — оскільки студенти не можуть зважувати зворотний зв’язок, який вони не можуть розмістити в контексті. Третє, тримайте правозастосування осторонь від інструментів виявлення. Bassett та співавтори (2026) стверджують, що виявлення ШІ взагалі не слід використовувати в освіті: його оцінки є ймовірнісними й не можуть бути перевірені незалежно, оскільки походження тексту в реальному світі невідоме; його оцінки не відповідають стандарту переваги ймовірності, якого вимагають розслідування академічної доброчесності; і дихотомія «людина чи ШІ» є беззмістовною для роботи, створеної за допомогою, а не самим ШІ. Їхній висновок — що виявлення «не захищає академічну доброчесність; воно її підриває» — режими нагляду породжують підозру й роз’їдають Довіра студентів. Тримайте два значення виявлення окремо: виявлення створеного ШІ тексту не має тут захищеної ролі в доказах, тоді як навчання студентів виявляти помилки в результаті ШІ є метою вправи.

Розділення є архітектурним, і про нього варто розповісти студентам: Li, Zhang та Botelho (2026) перевіряють результат за допомогою другої моделі, а не вбудовують перевірку в генератор, — і студент, який бачить чому, бачить і чому «інструмент сказав, що це правильно» не є аргументом перевірки.

Чому студенти пропускають перевірку

Калібрування. Типологія Jaidka та Cai ставить студента з високою здатністю та низькою мотивацією під ризик самовдоволеної надмірної довіри, тоді як студент із низькою здатністю та низькою мотивацією є найбільш незахищеним. Аудитована література показує той самий розкол у мініатюрі: дизайн, який давав поради, правильні приблизно половину часу, де вагу, яку студенти їм надавали, варіювало за попередніми знаннями. Збої калібрування не виправляються закликами: те, що є некаліброваним, — це власний сигнал упевненості студента.

Плавність. Результат, який добре читається, розглядається як правильний. Новачкам, яких просили пояснити створений Великі мовні моделі (LLM) код, вдавалося це приблизно в третині завдань, а польове дослідження розмов студентів із ChatGPT під час тестів виявило, що дотримання правильних вказівок усе одно давало неправильну відповідь. Коли чутливість близька до нуля, пропускання перевірки не коштує студенту нічого, що він міг би сприйняти, — збій невидимий, доки його не оцінять.

Соціальний доказ і намір. Студенти повідомляють, що мають намір перевіряти, і це повідомлення нічого не варте: у дослідженні Vu, Cummings та Park повідомлювані самостійно наміри щодо перевірки не зрушили, тоді як здійснювана поведінка зрушила (M = 0,34 проти 0,18). Не оцінюйте намір. Заклики, засновані на нормах, теж не є надійним резервним засобом — підштовхування нормами на основі повідомлень не показали значущого ефекту в прямому турнірі, про який повідомляють Jaidka та Cai. Тиск часу є задокументованою причиною, з якої студенти пропускають перевірки, і програма курсу, яка залишає перевірку незапланованою, каже, що вона необов’язкова.

Три заперечення

«Вони можуть просто зробити це заради оцінки». Частково правда — тож оцінюйте матеріали, які ШІ не може створити від імені студента. Специфікація, написана до першої підказки, прогноз, записаний до запуску артефакту, список джерел, перевірений щодо запису, зазначена причина з предметної галузі для відкидання: кожен із цих потребує, щоб студент займав позицію, яку генератор не може надати. На рівні авторського Gousopoulos вимагає відкидання результату на підставах із предметної галузі із зазначеною причиною — вигадана причина така ж видима, як і вигадане цитування. Залишковий ризик обмежується порогом чутливості: там, де студент не має знань із предметної галузі, щоб щось перевіряти, перевірка є виставою, і жодна рубрика її не врятує. Це аргумент на користь навчання предметній галузі спочатку, а не на користь відмови від перевірки.

«У програмі курсу немає часу». Попередження — це одне повідомлення безпосередньо перед завданням; завдання з навмисно впровадженими помилками — це двадцять елементів, вісім із помилкою на рівні предметної галузі, і воно каже вам, чи можуть студенти взагалі розрізняти; а рубрика їде на матеріалах, які завдання вже дає, тож вона коштує часу на оцінювання доказів, яких ви інакше не мали б, а не нового завдання. Час коштує альтернатива: неперевірені подання, вигадані посилання та розмови про академічну доброчесність, які за ними слідують. Обмеження усе ж є справжнім — тиск часу є задокументованою причиною, з якої студенти пропускають перевірки, тож перевірка, не запланована в завдання, не відбудеться.

«Інструмент зазвичай правий». Тоді перевірка дешева, а винятки — це суть. Запис щодо посилань не втішає: 30 перевірно вигаданих пунктів у межах 14 статей, усі з 2025 та 2026 років, 17 із них поєднують справжню назву з вигаданим або неправильним авторством, місцем публікації чи роком, 13 цілковито вигадані, і стрибок із 3 у збірках SIGCSE 2025 року до 17 у 2026 році, або 2,3% статей у збірниках 2026 року. Точність на тих частинах, які ви випадково помічаєте, не говорить нічого про ті, яких ви не помічаєте, — поля авторів виявляються неправильними частіше, ніж будь-яка інша частина створеного посилання. І прийнята відповідь може бути неправильною, навіть коли вказівка була правильною: польове дослідження розмов студентів із ChatGPT під час тестів зафіксувало саме це. Причина навчати перевірці не в тому, що інструмент зазвичай неправий, а в тому, що студент не може сказати, в якому випадку він є, — і це саме та навичка, яку ваш курс має завдання розвивати.

Що залишається невідомим

• Чи покращує будь-яке втручання успіх перевірки та рішення про покладання, яке за ним слідує, судячи щодо визначеної якості результату: жодне дослідження серед 14 пріоритетних випадків Wei та Shang не виміряло обидва, і мало які перейшли від негайної продуктивності до відстроченого утримання чи перенесення.
• Чи пов’язані компоненти в тому порядку, який мапа має на увазі. Сім цілей — це аналітичне упорядкування, а не валідована причинова модель.
• Чи працюють положення дизайну. Вісім положень Jaidka та Cai — це неперевірені прогнози, і підштовхування нормами на основі повідомлень не показали значущого ефекту в прямому турнірі, про який вони повідомляють.
• Чи перевірка, вбудована у зворотний зв’язок, розвиває звички самостійної перевірки чи залежність від зовнішньої валідації, що Venetsanos порушує й залишає відкритим.
• Чи працює навчання перевірці нижче порогу знань із предметної галузі. Gousopoulos прогнозує, що не може, і зазначає, що деякі галузі дають зовнішній критерій — фізика, хімія, екологія, епідеміологія, — тоді як історія, література та Етика здебільшого не дають.

Що зробити цього тижня

• Зафіксуйте стандарт до перевірки. Визначте, що означає визначена правильність для завдання, щоб перевірці було проти чого розв’язувати.
• Попросіть прогноз спочатку. Нехай студенти письмово зафіксують, що має статися, а потім порівнюють результат на підставах із предметної галузі, а не за плавністю.
• Вимагайте перевірки цитувань із названою ціллю. Списки авторів — це найменш надійна частина створеного посилання; нехай студенти відкриють запис і підтвердять авторів, місце публікації та рік.
• Діагностуйте чутливість і критерій окремо. Студент, який приймає дефектний результат, оскільки не може розрізняти, потребує практики в предметній галузі; той, хто може розрізняти, але все одно приймає, потребує зсуву порога.
• Оцінюйте перевірку, а не лише артефакт. Оцінюйте специфікації, записи прогнозів, журнали валідації, перевірки джерел та зазначені причини відкидання.
• Зазначайте походження. Скажіть студентам, який зворотний зв’язок був перевірений машиною, а який — оцінений людиною.
• Тримайте правозастосування осторонь від детекторів і плануйте перевірку. Тиск часу є задокументованою причиною, з якої студенти пропускають перевірки.
• Виконайте завдання з навмисно впровадженими помилками. Двадцять елементів, вісім із помилкою на рівні предметної галузі, кажуть вам, чи можуть студенти взагалі розрізняти.
• Скажіть попередження в моменті використання. Попереджайте за типом завдання, а не один раз на всю програму курсу.

Щодо оточуючої роботи див. як впровадити ШІ-грамотність у курс та що показують докази про ШІ-грамотність — дві сторінки, які будують розуміння, що ця сторінка пускає в діло.