Как переработать оценивание так, чтобы оценка по-прежнему говорила мне нечто защитимое о том, что студент знает или умеет?

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Начните с того, что явно сформулируете, какую способность призвана представлять оценка. Вы оцениваете то, что студент может сделать самостоятельно, то, что он может сделать уместно с ИИ, его способность оценивать ИИ и управлять им, или некоторую комбинацию из этого? Страница базы знаний Assessment Validity рассматривает это как проблему валидности: отполированный артефакт больше не является достаточным доказательством того, что студент обладает способностью, которую этот артефакт, по-видимому, демонстрирует. Это — оценочная половина того же аргумента; половина, касающаяся контроля за соблюдением правил, находится в Как я могу снизить списывание с ИИ в своём курсе?, а общая рамка валидности проходит через Какие измерения и методы исследования может использовать преподаватель для оценки ИИ-интервенций?.

Риск подмены конструкта

Статья From Authentic Products to Authenticated Processes называет вытекающий отсюда риск подменой конструкта: оценивающий приписывает студенту продукт, созданный при посредничестве ИИ, и невольно измеряет возможности инструмента, а не студента. Рекомендуемый в ней ответ — сделать рассуждение, суждение, проверку, итерации и ответственность студента видимыми с помощью таких подходов, как поэтапные сдачи работы, аннотированные обоснования решений, записи процесса, заявления об использовании обратной связи, устные защиты и другие формы доказательств аутентифицированного процесса.

Mohamed and Temimi переформулируют ту же проблему как проблему несовершенной информации, а не морали: студент знает, как была выполнена работа, а институт видит только артефакт плюс частичные следы, — так что вопрос проектирования сводится к тому, какой ответ студента делает наиболее привлекательной данная среда оценивания. Их модель области ответов сравнивает три варианта — не использовать ИИ, disclosed использование и скрытое использование — и показывает, что правила, мониторинг, раскрытие информации и переработка действуют через разные каналы и приносят успех только тогда, когда самый привлекательный ответ согласуется с целью оценивания. Два результата напрямую касаются архитектуры. Сдерживание работает через способность детектора различать скрытое использование и законную работу, а не через его общую долю пойманных, поэтому, когда ложные срабатывания растут быстрее истинных, усиление мониторинга может сделать сокрытие относительно более привлекательным. А переработка смещает студентов в сторону ответственного использования только тогда, когда рубрика действительно вознаграждает доказательства процесса; в противном случае это остаётся косметикой. Их практическое правило — проектировать под студента, более всего склонного к сокрытию, а не под самого добросовестного.

Сильная архитектура оценивания

На практике сильная архитектура оценивания часто сочетает аутентичное задание с поддержкой ИИ с некоторой формой независимой проверки. В зависимости от дисциплины это может включать краткое устное объяснение, применение в аудитории, живую демонстрацию, аннотированное portfolio, короткий компонент без посторонней помощи или вопросы о ключевых решениях.

Концепция Authentic Assessment также подчёркивает реалистичную интеллектуальную работу, когнитивный вызов, агентность студента, обратную связь и социальную или профессиональную аутентичность — а не просто усложнение обычных заданий так, чтобы их было труднее выполнить с помощью ИИ. Устным и «живым» компонентам требуется внимательное отношение к тревожности, адаптациям для людей с ограниченными возможностями, языковым различиям и предвзятости оценивающих.

Одна популярная архитектура без слежения — вариация заданий по студентам, при которой каждый экзаменуемый получает внешне отличную, но эквивалентную по конструкту версию одного и того же задания, так что ответы нельзя с пользой пересылать друг другу, — зависит от возможностей, а не бесплатна. VARIA, Бенчмарк из 600 сгенерированных вариантов в 60 условиях, обнаружила, что модели передового уровня тесно группируются по общей оценке честности (0,81–0,88), тогда как не относящиеся к передовому уровню референсные модели падают до 0,50–0,55, и что ни одна prompting не оптимизирует одновременно поверхностное разнообразие и эквивалентность по конструкту. Вариация в масштабе не может считаться достижимой одним лишь промптингом, поэтому институт должен валидировать собственную пару «модель–промпт», прежде чем считать эту гарантию реальной.

Переработка также редко работает от задания к заданию. В qualitative исследовании 12 преподавателей и 17 студентов крупного австралийского университета Nicola-Richmond et al. обнаружили, что обе группы согласны с необходимостью изменить оценивание, но подчёркивают системное трение — длинные сроки, ограничения аккредитации на больших когортах, нагрузку и затраты — и пришли к выводу, что переработка делается всем миром: командой в масштабе программы, сочетающей экспертизу в проектировании оценивания, generative AI, в предметной области, в индустрии и в доказательной базе, с точками генеративной ИИ-грамотности и гарантии обучения, расставленными стратегически по всей квалификации. Метод на уровне заданий, который делает это выполнимым, документирует McCorkle: инвентаризировать каждый шаг, который выполняет студент, спросить о каждом шаге «что, собственно, я оцениваю?» и вывести границу использования ИИ из ответа — что также делает явными и реализуемыми ожидания, стоящие за Как я могу снизить списывание с ИИ в своём курсе?.

Цель важна не меньше, чем механика. El Khoury and Ma утверждают, что реформа, организованная только вокруг предотвращения нарушений, слишком оборонительна, и предлагают радостное оценивание — безопасное, эмоционально отзывчивое, расширяющее возможности и поддерживающее Автономность учащегося студента, — в котором честность является следствием хорошего проектирования, а не его отправной точкой. Их разобранный пример использует созданного преподавателем AI agent, чтобы отрепетировать со студентами до момента вынесения суждения и подготовить согласованный с рубрикой отчёт о доказательствах, но разделение труда сформулировано прямо: ИИ организует доказательства, преподаватель их интерпретирует.