Оценивание

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Оценивание — процесс сбора и интерпретации свидетельств о том, что знают и умеют учащиеся, а также методы, используемые для оценки обучения. ИИ в образовании коренным образом изменил оценивание: он обеспечивает automated grading and scoring, генерирует и адаптирует задания оценивания и поднимает глубокие вопросы о том, что на самом деле измеряют инструменты оценивания, когда студенты могут использовать ИИ. Оценивание — это зонтичное понятие, которое организует освещение Формативное оценивание, automated grading, validity и Образовательное измерение в базе знаний.

Вопросы для размышления

• Оценивание определяется здесь как сбор и интерпретация свидетельств о том, что знают и умеют учащиеся. До чтения: как бы вы закончили предложение «оценивание валидно, если…» — и что изменилось бы в этом ответе, если бы каждый студент мог тайно использовать ИИ для создания своей работы?
• На странице утверждается, что то, как студент использует GenAI (оценочная интеграция против некритического использования как сокращённого пути), предсказывало результативность, тогда как то, насколько часто он его использовал, не предсказывало ничего. Что это говорит о распространённом инстинкте регулировать ИИ, ограничивая его использование?
• Учащийся может сдать работу профессионального уровня, которую он не способен воспроизвести без инструмента, — разрывая вывод между результативностью и лежащей в основе способностью. Встречали ли вы, что «компетентность» присуждалась за работу, которую студент фактически не мог сделать самостоятельно? Что это вскрыло?
• Конструктивный вопрос, который предлагает страница, состоит не в том, «как нам помешать студентам использовать ИИ?», а в том, «как нам дать им возможность использовать его вдумчиво в контекстах, отражающих их будущую работу?» Как выглядело бы оценивание в вашей области, если бы это было целью?
• Рамка DRIVE предполагает оценивание качества вовлечения engagement в работу с GenAI, а не только артефакта, — рассматривая, ведёт ли он промпты стратегически и интегрирует ли собственные идеи. На что бы вы смотрели, чтобы отличить глубокое, рефлексивное AI interaction от поверхностного потребления?
• Опосредованное ИИ оценивание диверсифицируется в oral exams, портфолио и разговорные форматы, снижающие тревожность и ощущающиеся профессионально значимыми. Какой формат оценивания из вашего собственного опыта кажется вам наиболее «устойчивым к ИИ», — и является ли устойчивость тем же самым, что образовательная ценность?

Введение

Оценивание занимает центральное место в ИИ в образовании по двум причинам. Во-первых, сам ИИ используется для оценивания студентов — оценивания сочинений, кода, коротких ответов и экзаменов в масштабе. Во-вторых, ИИ в учебной аудитории меняет то, что инструменты оценивания могут валидно измерять, поскольку студенты могут использовать Генеративный ИИ для создания работы. Поэтому поле охватывает как инструменты, автоматизирующие оценивание, так и вопросы валидности и добросовестности, которые поднимает ИИ.

Как ИИ используется в оценивании

• Автоматизированное оценивание: AI-based assessment охватывает множество модальностей — множественный выбор, короткий ответ, сочинение, код и оценивание, основанное на выполнении, — посредством automated grading, Автоматизированное оценивание эссе и Автоматическая генерация вопросов.
• Формирующее оценивание: AI systems генерируют, валидизируют и адаптируют задания формирующего оценивания в масштабе, информируя текущее преподавание, а не только summative оценку.
• Аналитика обучения и измерение: Аналитика обучения и Образовательное измерение связывают данные оценивания с процессами обучения, используя Теория Item Response Theory (IRT), Трассирование знаний и Моделирование учащегося и адаптивное обучение для интерпретации результативности. Razavi and Powers (2026) демонстрируют оценку трудности заданий на основе LLM как входной параметр измерения: на 5 170 заданиях по математике и чтению для классов K-5, калиброванных по модели IRT Раша, оценки GPT-4o без примеров (zero-shot) коррелировали с истинной трудностью от умеренно до сильно (r = 0,83 по математике, r = 0,81 по чтению), но варьировались по классам, тогда как подход на основе признаков (извлечённые LLM признаки в древовидных моделях) достигал корреляций до r = 0,87. Исследование предлагает практический семишаговый workflow для специалистов по тестированию, предупреждая при этом, что обобщаемость за пределы математики и чтения для классов K-5 неясна.
• Циклы обратной связи: оценивание с помощью ИИ всё чаще питает feedback loops, замыкающие цикл от оценивания к обучению.
• Оценивание электронного портфолио: e-portfolios собирают работы и размышления студентов во времени как форму оценивания, основанную на процессе и устойчивую к ИИ. Генеративный ИИ может помогать процессу портфолио — создавая обратную связь, Скаффолдинг (опору, постепенно снимаемую поддержку) для рефлексии и, при соответствующем дизайне рубрики, поддерживая оценивание, — тогда как акцент портфолио на следах рассуждения и черновиках сопротивляется фабрикации с помощью ИИ. AI-assisted portfolio assessment и ChatGPT + e-portfolio for EFL speaking показывают, что ИИ может улучшить как опыт портфолио, так и Грамотность в сфере обратной связи учащегося.
• Надёжность оценивания открытых заданий зависит от модели: Pecuchova, Benko & Drlik (2025) протестировали одиннадцать моделей GenAI и моделей эмбеддингов предложений в сравнении с двумя экспертами-оценщиками на 1 885 открытых ответах по программной инженерии: только GPTo1 достиг почти совершенного согласия (каппа Флейса 0,82), тогда как основанные на референсе модели штрафовали правильные, но иначе сформулированные ответы. Поскольку GPTo1 была единственной моделью, признанной пригодной к развёртыванию без надзора, но несёт затраты на проприетарный API, авторы рекомендуют гибридные стратегии, сочетающие продвинутые модели с доступными вариантами или human oversight в условиях ограниченных ресурсов. systematic review под руководством PRISMA 42 эмпирических исследований (2023–2025) подтверждает эту картину условной надёжности на всём поле оценивания: LLM соответствуют оценщикам-людям на заданиях с закрытыми и короткими ответами, но не могут полностью заменить человеческое суждение на сложной, открытой или субъективной работе, и единообразной предвзятости в оценивании не возникло — модели были иногда более снисходительны, иногда более строги и часто избегали крайних оценок (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback). Итеративное уточнение рубрики может подтолкнуть оценивание LLM открытых заданий к почти человеческой надёжности в условиях medical оценивания с высокими ставками: Olvet et al. (2026) обнаружили, что, как только преподаватели повторно пересматривали аналитические и холистические рубрики на основе анализа паттернов ошибок, GPT-4 достигал существенного и почти совершенного согласия с преподавателями-оценщиками по трём из четырёх вопросов до клинической практики (взвешенная каппа до 0,94), тогда как остаточное задание с холистической рубрикой оставалось лишь на умеренном согласии (κw = 0,54), — что демонстрирует и выгоду от инженерной работы над рубрикой с участием человека, и её пределы на синтетических, холистических заданиях.
• Устное и исполнительское оценивание с поддержкой ИИ. TVET отодвигает оценивание от насыщенных текстом форматов в сторону интерактивного Устное оценивание, поддерживаемого LLM: в четырёх когортах 21 из 33 учащихся оценили голосовое задание как реалистичное, и никто не выразил несогласия с тем, что говорение в реальном времени отражает компетентность лучше, чем письменное портфолио, тогда как количество слов для идентичных вопросов варьировалось в пять–восемь раз между когортами, и девять учащихся отвечали от двух до тринадцати слов, и все отвечали правильно. Система работала офлайн на одном ноутбуке, обслуживая до 12 одновременно работающих учащихся, с Mistral 7B и faster-whisper, удаляла записи через 90 дней и оставляла оценочные суждения за оценщиками — пример дизайна оценивания Человек в контуре для квалификаций, ориентированных на рынок труда. (Designing AI-Supported Oral Assessment in TVET)

Проблемы валидности и измерения

ИИ поднимает фундаментальные вопросы validity: измеряют ли оцениваемые ИИ работы обучение учащегося или AI-prompting skill? Делает ли использование ИИ студентами недействительными традиционные оценивания? Ключевые проблемы включают:

• Валидность конструкта: Research on competency-based education показывает, что генеративный ИИ разорвал вывод между результативностью и лежащей в основе способностью — учащийся может сдать работу профессионального уровня, которую он не способен воспроизвести без инструмента. Это мотивирует переосмысление того, какие компетентности оцениваются.
• Соавторство и добросовестность: Coauthorship integrity предлагает новый источник свидетельств валидности, который нарушается, когда студенты сдают созданное ИИ содержание, которого они не понимают, и исследует разговорные «ИИ-вивы» как ответ.
• Психометрическое качество: Психометрически осведомлённый ИИ и confidence-aware assessment работают над тем, чтобы ИИ-оценивание оставалось надёжным, непредвзятым и интерпретируемым.
• Оценивание ИИ-оценщиков: Оценивание ИИ-образования предоставляет методы и benchmarks для определения того, действительно ли работают автоматизированные оценщики — по надёжности, Педагогики и стратегии преподавания и Справедливость, — а не только по заявленной в заголовках точности.
• Зависящая от качества надёжность ИИ-оценивания и взаимного оценивания (2026): Сравнивая оценивание ChatGPT, однокурсниками и instructor одних и тех же undergraduate group projects, Usher & Faraon (2026) показали, что согласованность оценивания с преподавателем обусловлена качеством студенческой работы: ChatGPT сильнее всего завышал оценки работ низкого качества и лучше согласовывался с преподавателем на работе высокого качества, тогда как однокурсники лучше согласовывались на более слабых работах и занижали оценки сильных проектов. Результат бросает вызов бинарной рамке «надёжный против ненадёжного», указывая на модели условной надёжности, в которых альтернативные оценщики подбираются под задание и уровень результативности.
• Человеческое оценивание само пронизано ценностями (2026): Luo & Dawson (2026) показывают, что даже человеческое оценивание работы, созданной с помощью GenAI, не является нейтральным действием на основе критериев. Интервью, основанные на сценариях, с 33 университетскими преподавателями вскрыли решения об оценивании, определяемые ориентированными на личность ценностями (честность, усердие), ориентированными на способности ценностями (независимость, навык работы с GenAI, дисциплинарное мастерство), ориентированными на отношения ценностями (доверие) и ориентированными на справедливость ценностями (справедливость, благодеяние), — выходящими за пределы задания к предположениям преподавателей о студенте. Исследование переформулирует вопрос оценивания с «является ли использование GenAI списыванием?» на «как ценностные суждения преподавателей формируют оценки, и являются ли эти ценности релевантными оцениваемым результатам?» — выдвигая на первый план validity и «двустороннюю transparency» о том, как использование GenAI будет влиять на оценки.

Добросовестность и спор об выявлении

ИИ в оценивании обострил разговор об integrity. Одно направление сосредоточено на detecting AI-generated text, тогда как растущий пласт research утверждает, что выявление — это ограниченный, ситуативный инструмент, а не стратегия первого прибежища. Beyond Detection и Responsible Assessment утверждают, что аутентичность нельзя ввести контролем; её необходимо перепроектировать, позиционируя ИИ как заявленного соавтора и отдавая приоритет authentic, process-based оцениванию над наблюдением. Walton et al. (2025) обосновывают это свидетельствами о том, как студенты на самом деле судят свой путь через оценивание с GenAI: интервью с прокруткой назад у 26 студентов вскрыли спектр из шести событий суждения — от критической оценки знаний ИИ и обучения на его ограничениях до некритического принятия идей и ошибочного причисления вклада ИИ себе. Stamatoulis et al. (2026) добавляют quantitative аналог: в группе из 157 студентов то, как используется GenAI (оценочная интеграция для поддержки понимания против использования как сокращённого пути с низкой верификацией), предсказывало результативность, тогда как простая частота использования не предсказывала ни результативности, ни академической Самоэффективность. Вместе эти исследования переформулируют вопрос оценивания с используют ли студенты ИИ на то, как они судят и структурируют это использование. Bassett et al. (2026) идут дальше, утверждая, что выявление не следует применять вовсе: его вероятностный вывод не может быть независимо верифицирован, потому что реальное происхождение текста неизвестно, а оценки детекторов — сами по себе или в сочетании с лингвистическими маркерами, сравнением стилей, утверждением LLM или молчанием студента — не соответствуют стандарту баланса вероятностей, который требуют расследования по добросовестности.

Обзор PRISMA 25 исследований добавляет фактор риска, который спор о выявлении оставляет в стороне: не-носители английского языка обнаруживали высокую тенденцию к нарушению добросовестности, когда им было трудно писать по-английски, так что ожидания в отношении добросовестности следует сочетать с конкретной поддержкой академического письма, а не полагаться только на правоприменение (Balalle and Pannilage (2025)).

Перепроектирование оценивания в эпоху ИИ

Конструктивный вопрос в литературе базы знаний об оценивании состоит не в том, «как нам помешать студентам использовать ИИ?», а в том, «как нам дать им возможность использовать его вдумчиво в контекстах, отражающих их будущую работу?» Это переформулирует оценивание вокруг:

• Аутентичных и основанных на процессе заданий, делающих использование ИИ видимым и оцениваемым. Аутентичное оценивание — изучение результативности студента на достойных, реалистичных заданиях — является ведущим ответом на вызов ИИ: любое задание, которое Большие языковые модели (LLM) может правдоподобно симулировать, утрачивает свою валидность, так что аутентичность должна быть перепроектирована вокруг сотрудничества в реальном времени collaboration, цифрового и социального вклада и индивидуального осмысления. Это связано с design frameworks for authentic assessment, authentic products and authenticated processes и tool-invariant assessment of process.
• Ответственный дизайн оценивания, обоснованный свидетельствами валидности (Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference)
• Разрешениями в отношении ИИ на уровне задания, выведенными из целей оценивания: McCorkle (2025) показывает работу по дизайну оценивания, которая предшествует AI policy — инвентаризация каждого задания в проекте, уточнение того, что оценивается и против какой цели, и разрешение или запрет ИИ для каждого задания на этом основании (мозговой штурм и курирование изображений разрешены; составление целей обучения и дизайн слайдов — нет). То же упражнение по согласованию вдвойне служит проверкой вывода, который поддерживает оценивание, потому что оно заставляет преподавателя назвать результативность, которую оценка призвана подтвердить (Валидность оценивания).
• Оцениванием, выходящим за пределы лингвистического режима: Jiang et al. (2026) определяют мультимодальную грамотность в оценивании для преподавателей второго языка как знание, ценность и компетентность в заданиях, вызывающих ответы в лингвистическом, визуальном, слуховом, жестовом и пространственном режимах. Годовая программа с 30 преподавателями английского из Гонконга повысила знание стратегий оценивания с 3,13 до 4,15 из 5 (частичное η² = 0,571) и компетентность в поддержке студентов с 3,05 до 3,98 (0,482), тогда как все три ценностных поддомена остались неизменными. Собственный опыт преподавателей добавил к рамке два измерения: поддержание практики вопреки конкурирующим приоритетам учебной программы и критическое задействование GenAI (Jiang et al. (2026)).
• Соавторством и декларированием как частью договора об оценивании
• Производством как компетентностью — оценкой способности учащегося направлять инструменты и создавать работу профессионального уровня (Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI)
• Оцениванием процесса взаимодействия, а не только артефакта — DRIVE framework (Directive Reasoning Interaction + Visible Expertise — направленное рассуждением взаимодействие + видимая экспертиза) рассматривает качество вовлечения учащегося в работу с GenAI как оцениваемый конструкт. Она различает поверхностное потребление и глубокое, рефлексивное взаимодействие, рассматривая, ведут ли студенты промпты стратегически (DRI) и интегрируют и развивают ли собственные дисциплинарные идеи в ходе обмена (VE), обосновывая ориентированные на процесс критерии в теориях Самонаправленное обучение и когнитивного вовлечения в духе иерархии ICAP. Это делает DRIVE примером опосредованного ИИ аутентичного оценивания — рубрики для оценивания того, как учащиеся работают в партнёрстве с GenAI, а не инструментом выявления.

Предложение в этой литературе выходит за рамки перепроектирования внутри текущей рамки. El Khoury and Ma (2026) утверждают, что реформа, организованная вокруг предотвращения нарушений или выявления использования ИИ, сужает образовательное воображение до контроля и соответствия, и предлагают вместо этого радостное оценивание: оценивание, которое безопасно, эмоционально отзывчиво, расширяет возможности и поддерживает student agency, — причём безопасность является несущим условием, потому что без неё эмоциональная настройка превращается в перформанс, расширение возможностей — в давление, а деятельность — в риск. Их рамка инвертирует повестку выявления: добросовестность становится следствием проектирования оценивания, в которое студенты хотят вовлекаться, а не его отправной точкой, — и они позиционируют созданные преподавателем AI agents (кастомные GPT, Gems, агенты Copilot Studio) как пространство репетиций с низкими ставками, где студенты практикуются перед суждением, утверждая, что ИИ организует свидетельства, тогда как преподаватель их интерпретирует.

Следствия для ИИ в образовании

• Оценивание и обучение неотделимы: хорошее оценивание с помощью ИИ должно поддерживать обучение (formative feedback) в той же мере, в какой оно его оценивает.

• Валидность должна быть переосмыслена: когда ИИ может создавать студенческую работу, инструменты оценивания должны измерять процессы, суждение и аутентичное производство, а не только выходы.

• Автоматизация должна оцениваться строго: автоматизированные оценщики нуждаются в психометрической оценке и оценке fairness, а не только в заявлениях о точности.

• Добросовестность смещается от выявления к дизайну: самый устойчивый ответ на ИИ в оценивании — проектирование заданий, где использование ИИ ожидается, декларируется и изучается критически.

• Инновационные практики могут решать сразу несколько проблем. Mesny, Roberge-Maltais & Galy (2026) утверждают, что набор из пяти взаимно усиливающих практик — Аутентичное оценивание, самооценивание и Взаимное оценивание, переоценивание, standards-based grading и отмена оценок (ungrading), — согласованный с парадигмой «оценивание для обучения», может противодействовать вреду традиционного, перегруженного суммативным, нормо-ориентированного выставления оценок (поверхностное обучение, подорванная intrinsic motivation, стресс и тревожность, неравенство и скомпрометированная integrity) в эпоху генеративного ИИ. Они обнаруживают, что внедрение неровно по областям: самооценивание и взаимное оценивание доминируют, тогда как ориентированные на выставление оценок инновации остаются маргинальными, — и призывают преподавателей активнее и взаимно вовлекаться в инновации в оценивании и выставлении оценок, опираясь на постепенные эксперименты и institutional поддержку.

• Опосредованное ИИ оценивание диверсифицируется. AIvaluate показывает, что усиленный LLM conversational agent снижал тревожность студентов во время оценивания, основанного на выполнении; Pentland (2026) обнаруживает, что асинхронные устные оценивания давали большее вовлечение и воспринимались как профессионально значимые; graph-based ITS используют адаптивное отслеживание состояния знаний для информирования оценивания.

Связанные концепции

• Учащиеся — Учащиеся: зонтичное понятие для понятий со стороны учащегося
• Педагогические партнёрства — Педагогические партнёрства
• Формативное оценивание — Формирующее оценивание: генерируемые ИИ, валидизированные, адаптивные задания в масштабе
• Автоматизированное оценивание — Автоматическое оценивание и выставление оценок во всех модальностях оценивания
• Аутентичное оценивание — Основанные на процессе, устойчивые к ИИ аутентичные задания
• Валидность оценивания — Валидность оцениваний в условиях генеративного ИИ
• Образовательное измерение — Теория измерения, лежащая в основе оценивания с помощью ИИ
• Автоматизированное оценивание эссе — Автоматическое оценивание сочинений
• Автоматическая генерация вопросов — Автоматическая генерация вопросов
• Устное оценивание — Устное оценивание: форматы в реальном времени и записанные, устойчивые к подмене ИИ
• Итоговое оценивание — Суммативное оценивание: устойчивые к ИИ форматы (устные, с прокторингом, закрытые экзамены)
• Теория Item Response Theory (IRT) — IRT для интерпретации ответов в оценивании эпохи ИИ
• Психометрически осведомлённый ИИ — Психометрически осведомлённое ИИ-оценивание
• Аналитика обучения — Аналитика, связывающая данные оценивания с обучением
• Обратная связь — Циклы обратной связи, замыкающие цикл «оценивание → обучение»
• Грамотность в сфере обратной связи — Грамотность учащегося в обратной связи
• Академическая добросовестность — Добросовестность и спор о выявлении ИИ
• Обнаружение ИИ — Выявление созданного ИИ текста
• Оценивание ИИ-образования — Методы и эталоны для оценивания автоматизированных оценщиков
• Электронное портфолио — Оценивание электронного портфолио, основанное на процессе
• Речевые и голосовые технологии
• Взаимное оценивание

Связанные статьи

• Conceptualizing and developing second language teachers' multimodal assessment literacy in the GenAI era — A year-long program that defines multimodal assessment literacy and measures what moved, and what did not
• AI Agents, Joyful Assessment, and Third Space: Rethinking Assessment in the GenAI Era — AI agents, joyful assessment, and third space
• Designing an Aligned Generative AI Course Policy: An Equitable and Transparent Learner-Centered Approach — Task-level AI permissions derived from what is assessed (McCorkle 2025)
• Who grades best? Comparing ChatGPT, peer, and instructor evaluations across varying levels of student project quality — Comparing ChatGPT, peer, and instructor grading across project quality levels (Usher & Faraon 2026)
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Responsible assessment in the AI era
• Beyond Detection: Redesigning Authentic Assessment in an AI-Mediated World — Beyond detection: authentic assessment
• Coauthorship integrity: Reconceptualising assessment validity for the age of generative artificial intelligence — Coauthorship integrity and assessment validity
• Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — Competency-based education after generative AI
• Generative AI as a Design Variable: An Evidence-Centered Framework for Principled Governance in STEM Assessment — Evidence-centered governance of generative AI in assessment
• Reassessing Academic Integrity in the Age of AI: A Systematic Literature Review on AI and Academic Integrity — AI integrity review: detection must pair with assessment redesign
• Heads We Win, Tails You Lose: AI Detectors in Education — Heads we win, tails you lose: AI detectors in education (Bassett et al. 2026)
• Exploring student anxiety and experience in performance-based assessments using AIvaluate: an LLM-augmented emotionally — AIvaluate: LLM-Augmented Assessment of Student Anxiety (2026)
• Intelligent tutoring in dynamic domains: a graph-based system for comparative analysis of adaptive algorithms — Graph-Based Intelligent Tutoring for Dynamic Domains (2026)
• Asynchronous Oral Assessments: Enhancing Integrity, Engagement, and Communication in the AI Era — Asynchronous Oral Assessments in the AI Era (Pentland 2026)
• Assessing students' DRIVE: A framework to evaluate learning through interactions with generative AI — DRIVE: assessing learning through GenAI interaction (DRI + Visible Expertise)
• How university students work on assessment tasks with generative AI: matters of judgement — Judgment in students' work with GenAI on assessment tasks (26 students, scroll-back)
• Same tool, different work: patterns of generative AI use and academic outcomes — Patterns of GenAI use (evaluative integration vs low-verification uptake) and outcomes
• Exploring value judgements in grading: will teachers mark down student work assisted by GenAI, and should they? — Value judgments in grading GenAI-assisted work: honesty, trust, validity, and two-way transparency (Luo & Dawson 2026)
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML
• Automated Grading of Open-Ended Questions in Higher Education Using GenAI Models
• Innovative assessment and grading practices in higher education: A critical exploration for management educators
• Can Generative Artificial Intelligence Reliably Score Open-Ended Question Assessments in Undergraduate Medical Education?
• Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback
• AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI — AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI