Как научить студентов проверять результаты ИИ?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Вы их предупреждали. Чат-бот — не поисковая машина, проверяйте источники, используйте ответственно, — а в сдаваемых работах по-прежнему приходят те же выдуманные цитаты и уверенно неверные ответы. Предупреждения не работают, потому что они требуют определённой расположенности. Внимательные студенты ею обладают, торопящиеся — нет, и в предложении нет ничего, на что студент мог бы действовать в 11 вечера, имея на экране прекрасно выглядящий результат.

Собранные здесь исследования говорят, что такая формулировка слишком груба, чтобы её можно было преподать или оценить. Проверка — это набор аналитически отдельных действий, и широкая метка «ответственное использование» скрывает разницу между студентом, который предпринял проверку, и тем, кто установил, верен ли результат. Главное: проверка становится обучаемой в тот момент, когда вы перестаёте относиться к ней как к черте характера и начинаете относиться к ней как к последовательности — стандарт, заданный до проверки; проверка, оставляющая запись; и решение, которое студент должен защищать на предметных основаниях. Это задача проектирования, которую вы можете решить на этой неделе, — и задача оценивания, которую вы можете решить с помощью артефактов, уже порождаемых заданием.

Эта страница посвящена механике самой проверки. О том, что студенты должны понимать о работе этих систем, и о том, как это понимание определяется, выстраивается в последовательность и оценивается, см. Как включить ИИ-грамотность в мой курс? и Какие доказательства существуют по интервенциям в области ИИ-грамотности в высшем образовании?. Студент может много знать о больших языковых моделях и не проверять ничего.

Что проверка действительно требует от студента

Вэй и Шан (2026) разделяют семь целей, в которые «критическое использование ИИ» обычно сворачивается в одну: эпистемическое оценивание, инициирование проверки, качество процесса, успех проверки, решения о доверии, непосредственное выполнение задачи и самостоятельное обучение. Ваша рубрика учебного плана говорит «проверены источники», что относится к шагу два и ничего не говорит о том, была ли проверка компетентной (качество процесса) или изменила ли она что-либо (успех, а затем решение о доверии). Инициирование — не успех: сильный процесс может окончиться безрезультатно, слабый — дать правильный ответ, и студент, который провёл поиск и остался в недоумении, получит ту же оценку, что и тот, кто разрешил вопрос.

Второе различие — между Доверие и доверием. Тот же обзор определяет калибровку доверия как суждение о том, было ли решение о доверии уместным с учётом фактического качества результата ИИ, — классификацию, зависящую от результата, а не этап на временной шкале и не балл по шкале доверия. Одно аудированное исследование обнаружило, что ложная информация от ChatGPT сдвигала заявляемое участниками доверие, но никогда не фиксировало, приняли ли они позже конкретную рекомендацию или отклонили её. Другое фиксировало решения о принятии и отклонении для Обратная связь ИИ у 78 студентов-переводчиков, но без независимой экспертной оценки принятие нельзя назвать уместным, а отклонение — обоснованным. Без эталонной истины о качестве результата доверие вообще нельзя классифицировать, — а это говорит о том, что нужно каждой задаче на проверку: защищаемый ключ ответов.

Именно поэтому Джайдка и Цай (2026) рассматривают неверную калибровку как задачу проектирования, а не как дефицит студента. Их типология пересекает способность проверять со стремлением проверять, и профилям нужны разные средства: пользователь с высокой способностью и низкой мотивацией склонен к беспечному чрезмерному доверию, тогда как пользователь с низкой способностью и низкой мотивацией наиболее уязвим, — поэтому двум студентам, провалившим одну и ту же проверку, могут потребоваться противоположные средства.

Как это преподавать

Синтез Вэя и Шана опирался на 493 дедуплицированных записей из поисков в Web of Science Core и отобразил 14 приоритетных эмпирических исследований на столбцы проверки, доверия и результата. Его конструктивный выход — последовательность, вокруг которой следует строить задачи. Сначала вынесите суждение о качестве результата, зафиксируйте, было ли инициировано проверка, закодируйте качество процесса, оцените, удалась ли она, запишите решение «принять — переработать — отклонить» и оцените это решение против вынесенного суждения о качестве. Сюда же относится одно предупреждение: вмешательства, снижающие неуместное принятие, нужно также проверять на непреднамеренное отклонение корректной помощи, поэтому оставляйте студенту возможность принять хороший результат по заявленной причине.

Предсказывайте до результата, затем сравнивайте. Гусопулос (2026) строит программу измерений для задач конструирования вокруг принципа предскажи до того, как запустишь: учащийся формулирует, что должно произойти, а затем поведение артефакта оценивается против этого предсказания на предметных основаниях, а не по тому, запускается ли он. Его аудит 24 исследований обнаружил один и тот же инструмент, дающий противоположные результаты при разных структурах задачи: обычная конфигурация ChatGPT завершилась значимо ниже по достижениям, Самоэффективность и потоку, тогда как условие, добавляющее требования проверки и модули рефлексии об ошибках, показало более сильное мышление высшего порядка. Поскольку предсказание предшествует результату, рассуждение остаётся записанным, — и именно запись вы оцениваете.

Требуйте проверки источников против записи, с названной целью. Денни и коллеги (2026) проследили 113 588 ссылок из 5 225 статей по компьютерному образованию, опубликованных с 2021 года, и вручную проверили 828 подозрительных записей, обнаружив 30, содержащих доказуемо выдуманную библиографическую информацию в 14 статьях, все из 2025 и 2026 годов. Тринадцать были выдуманы полностью; остальные 17 сочетали реальное название с выдуманными или неверными авторством, местом публикации или годом. На техническом симпозиуме SIGCSE число выросло с 3 в материалах 2025 года до 17 в 2026 году, или до 2,3 % статей в материалах 2026 года. Поля авторов дают сбои чаще любой другой части сгенерированной ссылки, поэтому «откройте источник и прочитайте список авторов» нацелено на поле, наиболее вероятно ошибочное. Не просите студентов «убедиться, что источники настоящие»; просите их подтвердить авторов, место публикации и год против самой записи. Статья требует, чтобы каждое цитируемое произведение проверялось и чтобы любой проверяющий оставался в контуре человека, — практика, которую отрабатывает требование проверки цитат.

Преподавайте различение, а не только осторожность. Гусопулос формализует проверку как задачу обнаружения сигнала с двумя независимыми параметрами: чувствительностью, способностью различать корректный и дефектный результат, и критерием, где учащийся устанавливает порог для отклонения. Чрезмерное доверие разделяется соответственно, — предупреждения, контрольные списки и промпты о галлюцинациях сдвигают критерий, меняя то, когда студент отклоняет, тогда как предметное обучение, разобранные сравнения и практика на засеянных ошибках повышают чувствительность, потому что тогда учащийся может различать. Отсюда следует предварительное условие: обучение проверке является образовательным только там, где чувствительность может превысить нуль, что требует достаточно предметных знаний, чтобы отличать корректный результат от некорректного. В том же аудите новичкам, попрошенным объяснить сгенерированный Большие языковые модели (LLM) код, удавалось это примерно в трети задач, поэтому суждение об обратной связи или коде ИИ против собственного рассуждения является настоящей проверкой только там, где это рассуждение имеет содержание. Если ваши студенты ещё не могут делать предметное мышление самостоятельно, дополнительные предупреждения не купят вам ничего; сначала учите содержанию и прикрепляйте проверку к нему.

Предупреждайте, непосредственно перед задачей. Вы, Каммингс и Парк (2026) показали общее сообщение об инокуляции (предупреждении) непосредственно перед двумя задачами 100 студентам из США, 40 местным и 60 иностранным EFL. Инокулированные студенты были значимо более склонны проверять задачу на конспектирование академических источников (M = 0,34 против 0,18), тогда как заявляемые намерения проверять не сдвинулись. Два урока: короткое предупреждение в точке применения меняет фактическое поведение, и эффект зависел от задачи, — появляясь для задачи с конспектом источников, но не одинаково для математического теста на возведение в степень и умножение больших чисел.

Сделайте так, чтобы исправление чего-то стоило. В исследованной обзором парадигме исправления ошибок усилия при исправлении имели значение для обучения; простая подмена ответа вряд ли даст тот же эффект. Требование, чтобы студент воспроизвёл шаг, переписал отрывок или сформулировал предметное основание, по которому результат неверен, превращает проверку в работу. Венецанос (2026) задаёт планку для того, что можно проверять механически: документированные критерии, сравнение против устоявшегося знания без интерпретационного суждения и единственный верный ответ или заранее заданные допустимые альтернативы. Всё интерпретационное эту планку не проходит, поэтому отделяйте механический слой — даты, формулы, цитаты, вычисления — от слоя суждения, где инструментом проверки является собственное чтение студента.

Как оценивать это, не полицейским образом

Гусопулос делает вывод прямо: если ИИ может произвести артефакт, артефакт не может быть оцениванием, поэтому оценивание перемещается к спецификации, рассуждению валидации и интерпретации. Его конструкция авторства модели имеет четыре грани — спецификацию, концептуальную модель, проверку, интерпретацию — на четырёх упорядоченных уровнях от делегированного до авторского, где авторский уровень требует проверяемой спецификации, предшествующей первому промпту, отклонения результата на предметных основаниях с заявленной причиной и интерпретации, выходящей за собственный отчёт артефакта о себе. Поскольку рубрика оценивается по материалам, которые задача конструирования уже порождает, тот же инструмент служит и формирующим оцениванием, и исследовательской мерой. Это ответ на беспокойство о бесполезной работе: вы не добавляете задание, вы оцениваете побочный продукт.

Три решения уберегают это от превращения в слежку. Во-первых, оценивайте проверку против вынесенного суждения о качестве, а не против усилий, иначе вы создадите стимул к показному театру проверки. Во-вторых, заявляйте происхождение, как требует Венецанос: студенты должны понимать происхождение, природу и ограничения получаемой ими обратной связи, — какие части были проверены машиной, какие оценены человеком, и что человеческое суждение имеет приоритет, — потому что студенты не могут взвесить обратную связь, которую они не могут соотнести с контекстом. В-третьих, держите правоприменение в стороне от инструментов обнаружения. Бассет и коллеги (2026) утверждают, что обнаружение ИИ вообще не следует использовать в образовании: его оценки вероятностны и не могут быть независимо проверены, потому что реальное происхождение текста неизвестно; их баллы не удовлетворяют стандарту баланса вероятностей, который требуется для расследований по вопросам честности; и дихотомия «человек против ИИ» бессмысленна для работы, созданной с ИИ, а не им. Их вывод: обнаружение «не охраняет академическую честность; оно её подрывает», — режимы слежки порождают подозрительность и разъедают Доверие студента. Держите эти два смысла обнаружения отдельно: обнаружение сгенерированного ИИ текста не имеет здесь защитимой доказательной роли, тогда как обучение студентов обнаруживать ошибки в результатах ИИ и есть смысл упражнения.

Разделение является архитектурным, и о нём стоит рассказать студентам: Ли, Чжан и Ботелью (2026) проверяют результат второй моделью, вместо того чтобы встраивать проверку в генератор, — и студент, который понимает почему, понимает и то, почему «инструмент сказал, что это верно» не является аргументом проверки.

Почему студенты пропускают проверку

Калибровка. Типология Джайдки и Цая подвергает студента с высокой способностью и низкой мотивацией риску беспечного чрезмерного доверия, тогда как студент с низкой способностью и низкой мотивацией наиболее уязвим. Аудированная литература показывает то же разделение в миниатюре: конфигурация, снабжавшая советами, верными примерно в половине случаев, где вес, который студенты им придавали, зависел от предшествующих знаний. Неудачи калибровки не исправляются увещеванием: именно собственный сигнал уверенности студента оказывается неверно калиброванным.

Гладкость. Результат, который хорошо читается, считается верным. Новичкам, попрошенным объяснить сгенерированный Большие языковые модели (LLM) код, это удавалось примерно в трети задач, и полевое исследование диалогов студент–ChatGPT по тестам обнаружило, что следование корректным указаниям всё равно давало неверный ответ. Когда чувствительность близка к нулю, пропуск проверки не стоит студенту ничего, что он может воспринять, — неудача невидима, пока её не оценят.

Социальное доказательство и намерение. Студенты сообщают, что намереваются проверять, и этот отчёт ничего не стоит: в исследовании Вы, Каммингса и Парка заявляемые намерения проверять не сдвинулись, тогда как фактическое поведение сдвинулось (M = 0,34 против 0,18). Не оценивайте намерение. Обращения к нормам — тоже не надёжный резерв: подталкивания нормами через сообщения не показали значимого эффекта в прямом турнире, о котором сообщают Джайдка и Цай. Нехватка времени — документированная причина, по которой студенты пропускают проверки, и учебный план, оставляющий проверку незапланированной, говорит, что она необязательна.

Три возражения

«Они могут сделать это просто ради оценки». Отчасти верно, — поэтому оценивайте материалы, которые ИИ не может произвести от имени студента. Спецификация, написанная до первого промпта; предсказание, записанное до запуска артефакта; список источников, проверенный против записи; заявленное предметное основание для отклонения: каждое из них требует, чтобы студент занимал позицию, которую генератор не может предоставить. На авторском уровне Гусопулос требует отклонения результата на предметных основаниях с заявленной причиной — выдуманная причина так же видна, как выдуманная цитата. Остаточный риск ограничен порогом чувствительности: там, где у студента нет предметных знаний, с которыми можно сверяться, проверка — театр, и никакая рубрика его не спасёт. Это аргумент за то, чтобы сначала преподавать предмет, а не за то, чтобы отказываться от проверки.

«В учебном плане нет времени». Предупреждение — одно сообщение непосредственно перед задачей; задача с засеянными ошибками — двадцать пунктов, восемь с ошибкой на предметном уровне, и она говорит вам, могут ли студенты вообще различать; а рубрика едет на материалах, которые задача уже порождает, поэтому она стоит времени на оценивание по доказательствам, которых у вас иначе не было бы, а не нового задания. Время стоит альтернатива: непроверенные сданные работы, выдуманные ссылки и разговоры о честности, которые за ними следуют. Ограничение всё же реально: нехватка времени — документированная причина, по которой студенты пропускают проверки, поэтому проверка, не запланированная в задачу, не произойдёт.

«Инструмент обычно прав». Тогда проверка дешева, а исключения и есть суть. Запись по ссылкам не утешительна: 30 доказуемо выдуманных пунктов в 14 статьях, все из 2025 и 2026 годов, 17 из них сочетают реальное название с выдуманными или неверными авторством, местом публикации или годом, 13 выдуманы полностью, и скачок с 3 в материалах SIGCSE 2025 года до 17 в 2026 году, или до 2,3 % статей в материалах 2026 года. Точность на тех частях, которые вы случайно замечаете, ничего не говорит о частях, которых вы не замечаете, — поля авторов дают сбои чаще любой другой части сгенерированной ссылки. И принятый ответ может быть неверным даже когда указание было верным: полевой исследование диалогов студент–ChatGPT по тестам зафиксировало именно это. Причина преподавать проверку не в том, что инструмент обычно неверен, а в том, что студент не может определить, в каком случае он находится, — и это именно тот навык, который ваш курс существует, чтобы выстраивать.

Что остаётся неизвестным

• Улучшает ли какое-либо вмешательство успех проверки и следующее за ним решение о доверии, судимые против вынесенного суждения о качестве результата: ни одно исследование среди 14 приоритетных случаев Вэя и Шана не измерило оба, и немногие проследили от непосредственного выполнения до отсроченного удержания или переноса.
• Связаны ли компоненты в том порядке, который подразумевает карта. Семь целей — это аналитическое упорядочивание, а не валидированная причинная модель.
• Работают ли проектные предположения. Восемь предположений Джайдки и Цая — непроверенные предсказания, и подталкивания нормами через сообщения не показали значимого эффекта в прямом турнире, о котором они сообщают.
• Развивает ли проверка, встроенная в обратную связь, привычки к самопроверке или зависимость от внешней валидации, что Венецанос поднимает и оставляет открытым.
• Работает ли обучение проверке ниже порога предметных знаний. Гусопулос предсказывает, что нет, и отмечает, что некоторые области предоставляют внешний критерий, — физика, химия, экология, эпидемиология, — тогда как история, литература и Этика по большей части нет.

Что сделать на этой неделе

• Задайте стандарт до проверки. Определите, что означает вынесенное суждение о корректности для задачи, чтобы проверке было что разрешать.
• Просите предсказание первым. Заставьте студентов зафиксировать в письменном виде, что должно произойти, затем сравнивайте результат на предметных основаниях, а не по гладкости.
• Требуйте проверки цитат с названной целью. Списки авторов — наименее надёжная часть сгенерированной ссылки; заставьте студентов открыть запись и подтвердить авторов, место публикации и год.
• Диагностируйте чувствительность и критерий по отдельности. Студенту, который принимает дефектный результат, потому что не может различить, нужна предметная практика; тому, кто может различить и всё равно принимает, нужно сдвинуть порог.
• Оценивайте проверку, а не только артефакт. Оценивайте спецификации, записи предсказаний, журналы валидации, проверки источников и заявленные причины отклонения.
• Заявляйте происхождение. Говорите студентам, какая обратная связь была проверена машиной, а какая — оценена человеком.
• Держите правоприменение в стороне от детекторов и планируйте проверку. Нехватка времени — документированная причина, по которой студенты пропускают проверки.
• Проводите задачу с засеянными ошибками. Двадцать пунктов, восемь с ошибкой на предметном уровне, говорят вам, могут ли студенты вообще различать.
• Говорите предупреждение в точке применения. Предупреждайте по каждому типу задачи, а не один раз на весь учебный план.

С окружающей работой см. как включить ИИ-грамотность в курс и что показывают доказательства об ИИ-грамотности — две страницы, которые выстраивают понимание, которое данная страница применяет на практике.