Як перепроєктувати оцінювання, щоб оцінка все ще щось обґрунтовано говорила про те, що студент знає або вміє?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Почніть із того, що ви явно сформулюєте, яку здатність оцінка має представляти. Ви оцінюєте те, що студент може зробити самостійно, те, що він може досягти належним чином за допомогою ШІ, його здатність оцінювати й направляти ШІ, чи якусь комбінацію цих речей? Сторінка бази знань Assessment Validity розглядає це як проблему валідності: відполірований артефакт більше не є достатнім доказом того, що студент володіє здатністю, яку цей артефакт, здавалося б, демонструє. Це — оцінювальна половина того самого аргументу; половина, що стосується примусу, міститься в Як я можу зменшити списування за допомогою ШІ на своєму курсі?, а загальна рамка валідності проходить через Які міри та методи дослідження може використовувати викладач для оцінювання втручань, пов’язаних зі ШІ?.

Ризик підміни конструкту

Стаття From Authentic Products to Authenticated Processes називає випливний ризик підміною конструкту: оцінювачі приписують студенту опосередкований ШІ продукт і ненавмисно вимірюють можливості інструмента, а не студента. Рекомендована ними відповідь — зробити міркування, судження, верифікацію, ітерації та відповідальність студента видимими через такі підходи, як поетапні подання, анотовані обґрунтування рішень, записи процесу, заяви щодо використання зворотного зв’язку, усні захисти та інші форми автентифікованих доказів процесу.

Mohamed and Temimi переосмислюють ту саму проблему як проблему недосконалої інформації, а не моралі: студент знає, як робота була створена, а заклад бачить лише артефакт плюс часткові сліди, тому питання проєктування стає таким: яку відповідь студента кожне середовище оцінювання робить найпривабливішою. Їхня модель областей відповіді порівнює три варіанти — використання ШІ відсутнє, disclosed використання та приховане використання — і показує, що правила, моніторинг, розкриття та перепроєктування діють через різні канали й досягають успіху лише тоді, коли найпривабливіша відповідь узгоджується з метою оцінювання. Два результати мають безпосереднє відношення до архітектури. Стримування проходить через дискримінаційну здатність детектора між прихованим використанням і легітимною роботою, а не через його сиру частоту виявлення, тому коли хибнопозитивні результати зростають швидше за істиннопозитивні, сильніший моніторинг може зробити приховування відносно привабливішим. А перепроєктування рухає студентів до відповідального використання лише тоді, коли рубрика справді винагороджує докази процесу; інакше воно залишається косметичним. Їхнє практичне правило — проєктуйте для студента, який найбільше схильний приховувати, а не для найсумліннішого.

Сильна архітектура оцінювання

На практиці сильна архітектура оцінювання часто поєднує автентичну задачу з можливостями ШІ з певною формою незалежної верифікації. Залежно від галузі це може включати короткий усний пояснення, застосування в аудиторії, живу демонстрацію, анотоване portfolio, коротку компоненту без допомоги або розпитування про ключові рішення.

Концепція Authentic Assessment також наголошує на реалістичній інтелектуальній праці, когнітивному виклику, здобувацькій активності, зворотному зв’язку та соціальній чи професійній автентичності — а не лише на тому, щоб зробити звичайні завдання важчими для виконання ШІ. Усні та живі компоненти потребують уважної уваги до тривожності, адаптацій за інвалідністю, мовних відмінностей і упередженості оцінювачів.

Одна популярна архітектура без стеження — варіація завдань для кожного студента, де кожен іспитуваний отримує поверхнево відмінну, але конструктно еквівалентну версію тієї самої задачі, щоб відповіді не могли бути корисно обміняні, — є зумовленою можливостями, а не безкоштовною. VARIA, Бенчмарк із 600 згенерованих варіантів за 60 умовними комірками, виявив, що найновіші моделі тісно групуються за спільною оцінкою цілісності (0.81–0.88), тоді як не-найновіші референсні моделі падають до 0.50–0.55, і що жодна окрема стратегія prompting не оптимізує поверхневу різноманітність і конструктну еквівалентність одночасно. Варіацію в масштабі не можна припускати на підставі самих лише підказок, тому заклад має валідувати власну пару «модель–підказка», перш ніж вважати гарантію справжньою.

Перепроєктування також рідко працює завдання за завданням. У qualitative дослідженні 12 науковців і 17 студентів у великому австралійському університеті Nicola-Richmond et al. виявили, що обидві групи погоджуються, що оцінювання мусить змінитися, але підкреслюють системну тертя — тривалі строки підготовки, обмеження акредитації для великих когорт, навантаження й витрати — і дійшли висновку, що перепроєктування потребує цілої громади: команди в межах усієї програми, що поєднує експертизу з проєктування оцінювання, generative AI, предметної галузі, індустрії та доказовості, із стратегічно розміщеними в межах кваліфікації пунктами щодо грамотності в GenAI і забезпечення навчальних результатів. Метод на рівні завдань, який робить це здійсненним, — той, який документує McCorkle: інвентаризувати кожен крок, який виконує студент, щодо кожного кроку запитати «що, конкретно, я оцінюю?», і вивести межу використання ШІ з відповіді, — що також є тим, як очікування за Як я можу зменшити списування за допомогою ШІ на своєму курсі? стають явними й придатними для примушення.

Мета важлива так само, як і механіка. El Khoury and Ma стверджують, що реформа, організована лише навколо запобігання порушенням, надто оборонна, і пропонують радісне оцінювання — безпечне, емоційно чуйне, розширююче повноваження та підтримувальне для студентської Суб’єктність здобувача — у якому цілісність є наслідком гарного проєктування, а не його вихідною точкою. Їхній розроблений приклад використовує побудований викладачем AI agent для репетицій із студентами перед судженням і для створення узгодженого з рубрикою звіту про докази, але розподіл праці сформульовано прямо: ШІ організовує докази, викладач їх інтерпретує.