База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Валідність оцінювання

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Валідність оцінювання — те, чи вимірює оцінювання саме те, що воно стверджує, що вимірює. ШІ в освіті порушує фундаментальні питання валідності: чи оцінюють завдання, оцінювані за допомогою ШІ (AI-graded), навчальне навчання студентів, чи Інженерія підказок? Чи анулює використання ШІ традиційні припущення оцінювання?

Питання для роздумів

  • Валідність оцінювання запитує, чи вимірює оцінювання те, що воно стверджує, що вимірює. Перед читанням: якби ви побачили, що студент подає відполіроване есе, за яким ви підозрюєте допомогу ШІ, — чи вважали б ви, що більшою проблемою є списування, чи те, що завдання вже не вимірює те, що, на вашу думку, мало вимірювати?
  • Ця сторінка ставить різке питання: коли студенти використовують ШІ, чи відображає оцінка знання студента, чи навички створення підказок для ШІ? Чи можете ви згадати оцінювання, яке ви розробили або в якому брали участь, де оцінка тепер може розповідати вам більше про інструмент, ніж про здобувача?
  • Ключовий висновок: одна й та сама вхідна інформація від здобувача може отримувати семантично різні відповіді залежно від того, яку базову LLM використано — це вводить «construct-irrelevant variance», що загрожує надійності та справедливості. Якщо два студенти отримують різну підтримку ШІ лише через модель, що за нею стоїть, наскільки справедливим є таке порівняння?
  • Сторінка стверджує, що навіть коли LLM оцінює добре, перенесення людських інтерпретацій оцінок вимагає подібності латентної структури відповідей — і саме тут LLM розходяться з людьми. Що це говорить про те, чи варто довіряти ШІ, який «складає» іспит, створений для людей?
  • Замість спроб виявляти використання ШІ база знань пропонує перепроєктувати оцінювання так, щоб воно залишалося валідним для студентів із можливостями ШІ. Чому перепроєктування завдання може бути стратегією, що краще зберігає валідність, ніж контроль за тим, чи використовувався ШІ?
  • ШІ тепер слугує і тим, хто складає іспит, і тим, хто його створює, оцінює та аналізує — що робить інтерпретаційний ланцюг непрозорим. Коли кожну роль в оцінюванні виконує ШІ, що взагалі означає сказати, що оцінювання «валідне» для людини-здобувача в його центрі?

Вступ

Виклики валідності

  • Конструктна валідність: Коли студенти використовують ШІ в оцінюванні, чи відображає оцінка знання студента, чи можливість ШІ? Дослідження продуктивності порівняно з навчанням дослідження звертається до цього безпосередньо.
  • Кросс-LLM дисперсія, не пов’язана з конструктом, в оцінюванні на основі діалогів: Hao (2026) показує, що навіть для одного діалогового ходу семантичний зміст відповідей, згенерованих Великі мовні моделі (LLM), змінюється між моделями та за різних умов розмовного контексту. Подібність усередині моделі стабільно перевищує подібність між моделями (0.715–0.795 проти 0.443–0.604), а додавання історії чату суттєво змінює зміст відповіді (медіанна подібність за історіями ~0.40–0.45). Оскільки одна й та сама вхідна інформація від здобувача може отримувати семантично різні відповіді залежно від базової моделі, самі по собі підказки та контекст не можуть зберегти послідовність відповідей — що вносить потенційну дисперсію, не пов’язану з конструктом (construct-irrelevant variance), яка загрожує валідності, надійності та справедливості. Підтримання стабільних умов оцінювання в міру еволюції LLM є тому інфраструктурним викликом (символічні правила, шаблони відповідей, шари валідації), а не лише завданням створення підказок.
  • Докази, що присутні, але ніколи не доходять до оцінювача: Abreu, Stari and Martí (2026) називають загрозу, не пов’язану з конструктом, яка передує будь-якому міркуванню: при оцінванні експериментальних лабораторних звітів із фізики за допомогою ШІ рівняння, графік, таблиця або одиниця вимірювання можуть бути коректно включені в звіт, але не витягнуті з обробленого контенту, з яким працює модель, а оскільки зміна знака, значення або одиниці змінює фізичну інтерпретацію, розбіжність із викладачем не обов’язково свідчить про помилку в міркуванні. Їхнє рішення є процедурним — PDF високої роздільної здатності замість сфотографованих сканів, рівняння, набрані в редакторі формул, читабельні осі та одиниці на малюнках і вимога конкретного посилання для кожної оцінки — оскільки якість документа задає межу для будь-якої претензії на валідність, яку підтримує отримана оцінка.
  • Валідність латентної структури між людьми та LLM: Strugatski et al. (2026) додають глибшу умову валідності: навіть коли LLM оцінює добре, перенесення людських інтерпретацій оцінок вимагає подібності латентної структури відповідей. Порівнюючи шість Мультимодальний ШІ LLM із людськими вибірками на інструментах із хімії та кількісного міркування, вони знаходять, що факторні структури LLM–людина стабільно розходяться (конгруентність LLM–людина нижче базової лінії людина–людина), тому результат на іспиті з людськими нормами є слабким доказом щодо можливостей LLM на конструктах, для вимірювання яких були створені завдання.
  • Консеквенційна валідність: Чи мають оцінювання за посередництва ШІ справедливі наслідки? Дослідження мовних упереджень показують, що оцінювання за допомогою ШІ може ставити в невигідне становище людей, для яких мова не є рідною.
  • Ціль, що рухається, у тестуванні мов. Тести високих ставок, такі як TOEFL iBT, IELTS, PTE Academic і Duolingo English Test, усе ще вимагають читання та письма без допомоги й з обмеженням за часом, тоді як студенти тепер використовують GenAI для цих завдань в академічному житті, тому екстраполяційний висновок — від оцінок без допомоги до реальної академічної успішності — є кроком, на який це найбільше впливає (Gonulal (2026)).
  • Сама сфера дії правила є властивістю валідності: Wright (2026) стверджує, що заборони, написані в вищій освіті з 2023 року, забороняють «генеративний ШІ» без технічної точності, щоб відокремити створення оцінюваного контенту від перетворення формату, оскільки оптичне розпізнавання символів, розпізнавання рукописного тексту та перетворення мови в текст є технологіями розпізнавання, які виводять те, що вже присутнє, а не створюють новий контент. Там, де правило прив’язується до ідентичності платформи, а не до функції, воно є надмірно широким через визнавальну випадковість: воно охоплює використання багатофункціонального інструменту лише для транскрипції та карає студента, який не зробив того, що правило мало запобігти, і найсильніше це вдаряє по Здобувачі, які покладаються на ці інструменти для доступності, — висновок, якого оцінювання не може підтримати щодо конструкту, що, на його думку, вимірюється. Він пропонує формулювання, засноване на функціях, плюс чотири операційні критерії (точність, недоповнення, відстежуваність, засвідчення) для пограничних випадків і розглядає опору на виходи детекторів і стилістичні евристики як доказ того, наскільки слабкою є власна доказова база правила.
  • Агентне виконання прибирає припущення про людське створення: Hadjisolomou & El-Haddad (2026) розширюють аналіз валідності від генеративної допомоги до агентного виконання: автономні ШІ-агенти тепер можуть входити в LMS, читати матеріали та виконувати непрокторовану асинхронну роботу від початку до кінця (продемонстровано на живому курсі — вікторина з оцінкою 10/10 менш ніж за 5 хвилин і вигадана, але правдоподібна рефлексія на форумі курсу). Поміщаючи «припущення про людське створення» в основу аргументативного ланцюга висновків Кейна, вони показують, що агентне виконання непомітно прибирає підґрунтя оцінкового висновку, на якому спираються висновки про узагальнення, екстраполяцію та прийняття рішень, — тому кожна непрокторована асинхронна оцінка, включно з чесно заробленою, втрачає свою інтерпретаційну підтримку, оскільки авторство неперевірне. Їхній вирішальний крок — класифікація цього як провалу валідності, а не академічної доброчесності: установа може карати за порушення і водночас не мати підстав для оцінок, які вона повідомляє. Виявлення структурно недостатнє (класифікатори ненадійні та упереджені; моніторинг LMS бачить ті самі кліки, що й студент), тому засіб — перепроєктування оцінювання для підтвердженої людської присутності (короткий усний компонент, чернетки з видимим процесом, посилання, специфічні для конкретного заняття), з меню варіантів, що зберігає справедливість, а не з вимогою прокторингу.
  • Дисперсія, не пов’язана з конструктом, у людській оцінці робіт із допомогою GenAI: Luo & Dawson (2026) надають пряме емпіричне підтвердження того, що людська оцінка робіт із допомогою GenAI пронизана дисперсією, не пов’язаною з конструктом. В інтерв’ю на основі сценаріїв із 33 викладачами університетів рішення про оцінку зумовлювалися цінностями, орієнтованими на особу (чесність і старанність студента), на можливості (незалежність від ШІ, навички GenAI, дисциплінарне володіння), на відносини (довіра, побудована зі студентами) та на справедливість (справедливість, благодійність) — усі вони можуть змінювати оцінки за факторами, не пов’язаними з оцінюваними результатами. Зниження оцінки за роботу з допомогою GenAI, стверджують вони, виправдане тоді і тільки тоді, коли використання ШІ завадило студентам продемонструвати оцінювані результати; в іншому разі оцінювання, кероване цінностями, загрожує валідності. Дослідження обґрунтовує рамки валідності в реальній практиці викладачів і закликає до «двосторонньої прозорості» — викладачів мають пояснювати, як використання GenAI впливатиме на оцінки, а не лише вимагати від студентів декларувати використання.
  • Варіація у масштабі вимагає створення конструкт-еквівалентних варіантів: VARIA (Lee 2026) піддає передумову «варіації у масштабі» AI-Integrated Authentic Assessment (AIAA) — заміну прокторингу з наглядом на варіацію завдань для кожного студента — емпіричній, фальсифікованій перевірці. Оскільки кожен іспитник отримує унікальне, але еквівалентне завдання на виконання, гарантія доброчесності залежить від того, чи генерують LLM варіанти, які водночас відмінні на поверхні, еквівалентні за конструктом, придатні для рубрики та узгоджені за складністю. Проводячи бенчмаркінг трьох сімейств фронтових моделей за чотирма стратегіями підказок на 600 варіантах, VARIA знаходить, що фронтові генератори задовольняють спільним критеріям доброчесності лише побічно (сукупна оцінка 0.81–0.88), тоді як нефронтові референси розвалюються (0.50–0.55), і жодна стратегія підказок не домінує за всіма чотирма властивостями — тому «варіація у масштабі не може бути вирішена лише за допомогою підказок», якщо поріг різноманіття задано агресивно, і установи мають валідувати свою конкретну пару модель–підказка.
  • Упередженість до заниження в оцінюванні ШІ з людиною в циклі — це особливість валідності, а не вада: Curi et al. (2026) показують, що в масштабному національному оцінюванні письма систематична консервативна (занижена) упередженість оцінювача на базі LLM, хоч і є проблематичною як остаточне рішення, саме дає змогу безпечно делегувати: відповіді, позначені ШІ як «що складають», можуть бути прийняті з упевненістю, тоді як відповіді, позначені ШІ як «що не складають» (15.3–16.5% випадків), спрямовуються на експертний розгляд — утримуючи загрозу валідності від помилки ШІ поза остаточним результатом. Їхній конвеєр на основі IRT і Bookmark робить вплив рівня володіння від оцінювання за допомогою ШІ зрозумілим, а не розглядає згоду сирих оцінок як єдиний сигнал валідності.
  • Інфляція оцінок, спричинена ШІ, як загроза валідності: Chirikov (2026) ідентифікує новий, зумовлений технологіями механізм інфляції оцінок, що діє перед самим оцінюванням — на створенні оцінюваних робіт. У дослідженні методом різниці в різницях на 500 000+ оцінок у 319 курсах (2018–2025) частка оцінок A на курсах із більшою кількістю завдань, підданих впливу ШІ (письмо, кодування), зросла на 13 процентних пунктів після виходу ChatGPT, із компресією розподілу оцінок. Аналіз потрійної різниці показує, що ефект концентрується на курсах із великою кількістю домашніх завдань — доказ того, що зміщення завдань (виконання ШІ оцінюваних завдань до того, як викладачі їх побачать) інфлює оцінки без відповідного зростання навичок. Це знижує порівнянність оцінок між курсами і руйнує інформаційну цінність академічних записів у спосіб, який важко виявити лише з розподілів оцінок.
  • Вразливість на рівні програми до складання/нескладання і критерії оцінювання, що її задають: Ivory et al. (2026) оцінили вихід ChatGPT для кожного завдання з оцінюванням трирічної програми з психології (40 завдань, 16 типів) бінарним критерієм складання/нескладання — тими критеріями, якими насправді користуються оцінювачі при першому читанні: 36 із 40 склали. Звідси випливають два наслідки для валідності. По-перше, операційною змінною є межа складання, а не виявлення — оцінювання, яке винагороджує структурну плавність і правильний вибір аналізу, водночас поблажливо ставлячись до хибних значень, дозволяє вигаданій статистиці та галюцинованим посиланням скласти іспит, тому оцінювання сертифікує вихід інструменту як розуміння студентом через те, як воно оцінюється, а не через те, що когось обдурили. По-друге, завдання з вибором відповіді видавали власні відповіді: ChatGPT правильно відповідав на питання зі статистики без показу студентам рисунка чи таблиці результатів, оскільки умова завдання і варіанти відповіді мали на увазі відповідь, що робить дизайн варіантів відповіді властивістю валідності завдання, а не властивістю ШІ.
  • Точність і згода як різні сигнали валідності: Falahat, Das, Bhaumik & Thambi (2026) оцінили за допомогою ChatGPT-5 іспит з фармації з 21 завдання і виявили, що помірна відсоткова точність часто співіснує з низькими коефіцієнтами кореляції згоди — методологічним розрізненням між точністю оцінювання та згодою, що обмежує надійність ШІ як замінника оцінювача навіть там, де сира точність виглядає прийнятною. Згода була сильною на об’єктивних завданнях (CCC 0.935–1.000), але майже нульовою на завданнях із короткою відповіддю і помірною на есе (0.341–0.854), а надання рубрики послідовно не закривало розрив.
  • Валідність завдань, згенерованих ШІ: Assessing AI-Generated Exams показує, що питання, згенеровані ШІ та валідовані за допомогою байєсівського IRT, досягають складності та дискримінативності на рівні завдань стандартизованих іспитів, написаних експертами (надійність 0.79 проти 0.72) — що підтримує валідність адаптованих до курсу оцінювань, згенерованих ШІ, за умови психометричної експертизи.
  • Аутентичне оцінювання: Аутентичне оцінювання і Шкала оцінювання ШІ пропонують такі перепроєктування оцінювання, що зберігають валідність.
  • Упевненість і калібрування: Системи, що усвідомлюють упевненість, покращують валідність, позначаючи невизначені оцінки.
  • Утілені та мультимодальні докази: оцінювання лише за мовленням може прийняти мовну плавність за концептуальне знання; Morphew et al. показують, що аналіз жестів за допомогою комп’ютерного зору в поєднанні з аналізом мовлення на базі LLM підвищує конструктну валідність і Справедливість, фіксуючи розуміння, виражене жестами, а не лише словами, — знижуючи упередженість щодо здобувачів, які виражають розуміння невербально.
  • Домашні завдання перестають сертифікувати здатність, коли модель може розв’язати завдання: Mikhasenko et al. (2026) документують конкретну інвалідацію домашнього завдання як міри здатності на курсі фізики частинок у Бохумі: щойно генеративна модель може створити правильне рішення, поданий виклад більше не доводить, що студент може розв’язати задачу самостійно. Їхня відповідь розділяє дві функції — домашні завдання дослідницького характеру з дозволеним ШІ зберігаються як дослідна, що приносить бонус, робота, а письмовий іспит без інструментів стає єдиним визначальним чинником остаточної оцінки — розподіл праці, керований валідністю, а не режим виявлення.
  • Орієнтована на рішення валідність для оцінювання ШІ у масштабі: Curi et al. (2026) ілюструють орієнтоване на рішення розуміння валідності в національному оцінюванні письма Acredita EB: замість того щоб запитувати лише, чи згодні оцінки ШІ з людськими, вони запитують, чи можуть помилки ШІ змінити рішення про сертифікацію. Автоматизовані IRT/Bookmark пороги проходження точно відтворили операційні пороги, а систематичне заниження оцінок ШІ було нейтралізовано спрямуванням результатів «не складають» від ШІ на розгляд людиною — причому на тлі еталонного стандарту, який сам є спірним, оскільки десять експертів-оцінювачів, оцінюючи ті самі 50 текстів, так і не досягли одностайності жодним пунктом рубрики.
  • Проблеми валідності з боку студентів щодо ШІ як оцінювача: AlGhamdi (2026) долучає голос здобувача до питання валідності: 13 студентів із обчислювальних спеціальностей, чиє письмове завдання було оцінене ChatGPT, сумнівалися, чи може оцінювач на базі ШІ валідно інтерпретувати намір, зусилля та інституційні норми оцінювання — один запитав ущипливо: «If ChatGPT [is] checking the exams, why are we going to university?»
  • Дозвіл сам по собі не погіршує завдання, і частота використання — хибний сигнал валідності: Zou et al. (2026) опитали 85 студентів-викладачів, чиї оцінювання явно дозволяли генеративний ШІ, і виявили, що залученість в оцінювання була високою і статистично не залежала від того, чи студенти його використовували (середнє 4.21/5, SD 0.46; Mann–Whitney U = 781.5, r = 0.07, p = 0.536). Оскільки 62.4% (53) відмовилися використовувати генеративний ШІ взагалі, а використання тими, хто його прийняв, здебільш обмежувалося коректурою (43.8%) і перевірками зрозумілості (34.4%), частота впровадження несе мало інформації про те, чи оцінювання досі виправдовувало висновок про навчання, — і невикористання, зумовлене страхом помилного звинувачення в плагіаті (41.5% серед тих, хто не впроваджував), також не є доказом валідності.
  • Валідність вибіркового обґрунтування, коли тест шкільного рівня читається як доказ щодо системи: Restrepo Morales et al. (2026) надають кількісне трактування висновку від оцінок до тверджень про систему. Пілотне оцінювання 1 198 студентів-волонтерів у 171 школі Сальвадору на основі PISA-based Test for Schools дало результати, оголошені як порівнянні з Німеччиною та Швецією, але інструмент дає оцінки для школи і не застосовується в національній вибірковій рамці з її стандартами частки відповідей, межами виключень і зважуванням — тому порівняння між оцінкою шкільного рівня і середнім по країні несе щонайменше три неповідомлених джерела невизначеності (похибка вибірки на шкільному рівні, похибка вибірки середнього по країні та похибка зв’язування шкал). Замість перевірки твердження про навчання автори його обмежують: за нульового навчання верхні 5.5% розподілу математики у Сальвадорі збігаються з німецьким середнім, а добровільна участь розуміється як така, що упереджує тестування досягнень вгору, тому опубліковані докази не можуть відокремити реальний ефект від відібраної вибірки. Це провал висновку про валідність порівняння, а не провал студентів чи інструменту.

Концептуальна пропозиція порушує межу валідності, що стосується кожного опосередкованого ШІ оцінювання на цій сторінці: El Khoury and Ma (2026) стверджують, що швидкість — це не валідність, і що підказки, приклади та звіти на основі стенограм, згенеровані ШІ, усе одно мають бути перевірені на точність, культурну чуйність, Доступність, інтерпретованість і узгодженість із результатами курсу. Вони також розширюють те, що вважається доказом: там, де діалог стає оцінюваним артефактом, стенограма є записом процесу, в якому судження, емпатія, уточнення та спільне прийняття рішень розгортаються в контексті, і питанням дизайну стає те, чи підтримує цей доказ висновок, зроблений з нього — те саме питання, яке постає перед автоматизованим оцінюванням і на яке відповідає узгодженість між завданням, зворотним зв’язком і доказами навчання, а не технологічна новизна.

  • Метадані завдань, призначені ШІ, — не психометричний доказ. У 10-тижневому дослідженні науки про дані з 311 розгорнутими завданнями з вибору відповіді оцінки складності від LLM корелювали з власними мітками Блума моделі (rho = 0.90), але не з емпіричною складністю завдання (rho = 0.06), тому складність завдання має встановлюватися з даних відповідей, а не з міток генеруючої моделі (An & Wang, 2026).

  • Студентські судження про узгодженість з навчальним планом відстежують складність, а не зміст. Vogt et al. (2026) просили студентів оцінити, чи узгоджується кожне завдання в оцінюваному іспиті з 60 завдань із навчальним планом курсу, і виявили, що оцінки корелювали зі складністю завдання при ρ = 0.762 (легші завдання оцінювалися як узгоджені, складніші — як неузгоджені, ρ = −0.762, p < 0.001), тоді як оцінки не відрізнялися за джерелом завдання. Там, де інструмент просить студентів судити про узгодженість оцінювання з навчальним планом, отримана оцінка є частково оцінкою складності і не може читатися як незалежний доказ узгодженості.

  • Переузгодити трикутник оцінювання, а не лагодити одну вершину. Koretsky et al. (2026) осмислюють проблему GenAI через трикутник оцінювання — пізнання (що оцінюється), спостереження (як викликають доказами навчання) та інтерпретація (який висновок робиться) — і стверджують, що три вершини мають бути переузгоджені разом, оскільки перепроєктування завдань без відновлення інтерпретації залишає висновок непідтриманим. Їхній оглядовий огляд також робить відповідність матеріалів оцінювання, згенерованих ШІ, самостійною властивістю валідності, каталогізуючи змістові, лінгвістичні, когнітивні, поведінкові, структурні та педагогічні виміри і вимагаючи оцінки з людиною в циклі до того, як такі завдання стануть підґрунтям оцінювання.

Перепроєктування замість виявлення

База знань стверджує, що підтримання валідності оцінювання вимагає перепроєктування оцінювань для студентів із можливостями ШІ, а не виявлення використання ШІ. Через вимірювання в дослідженнях проходить паралельна проблема валідності: багато тверджень про ШІ в освіті спираються на дані самооцінки, які не можуть підтримати висновок про навчання або компетентність, як би добре сам інструмент не був валідований. Підходи за межами виявлення та Оцінювання представляють мислення, орієнтоване на валідність.

Товари для винесення додому та розділення якісного/кількісного. Brunnström and Palmqvist (2026) надають аргументу перепроєктування конкретну пропозицію, обґрунтовану таксономією SOLO. Працюючи з питанням іспиту на винесення додому з когнітивної науки через чатбота, вони знаходять, що GenAI найсильніший саме там, де таксономія найнижча — створюючи всебічний, плавний, фактоїдний контент на кількісному (мультиструктурному) рівні, — тоді як якісний рівень (встановлення зв’язків, оцінювання, узагальнення) виникав лише завдяки повторюваному калібруванню, що його здійснював здобувач. Їхня рекомендація тому диференційована за конструктом: оцінювання на винесення додому мають робити акцент на доказах якісного розуміння, тоді як кількісні знання, засновані на запам’ятовуванні, краще оцінювати в аудиторії, де GenAI недоступний. Демонстрація також підкреслює, що відполірований поданий артефакт є слабким доказом в будь-якому напрямі, і що валідне перепроєктування має враховувати, наскільки вимогливим виявляється законне підтримуване ШІ навчання (Підсумкове оцінювання, Академічна доброчесність).

Контрагент на рівні дизайну походить від тієї самої популяції, яку аргумент перепроєктування зазвичай ігнорує. Zou et al. (2026) виявили, що рефлексивні та персоналізовані завдання широко вважалися занадто особистими для допомоги ШІ, тоді як завдання, насичене знаннями, в іншому курсі викликало сильний намір використовувати генеративний ШІ для посилань, — тому те, що студенти робили з ШІ, відстежувало конструкт, який завдання просило їх засвідчити. Урок для валідності точний, а не святковий: дизайн може прибрати виграш від узагальненого підстановлення, але те саме дослідження попереджає проти читання когорти, що відмовилася, як доказ того, що він це зробив, оскільки значну частку невикористання пояснювали страхом помилного звинувачення в плагіаті, а не тим, що завдання опиралося ШІ.

Sharma (2026) надає аргумент перепроєктування з боку доброчесності, що перетворює докази доброчесності на докази валідності. Розширюючи рамки постплагіату Ітона (2023) до дизайну оцінювання, він стверджує, що моделі доброчесності, засновані на виявленні та перевірці, не узгоджуються з роботами, в яких людське судження та машинне створення переплітаються, і переосмислює доброчесність як педагогічну практику, що здійснюється через Оцінювальний розсуд — здатність зважувати варіанти, обґрунтовувати академічний вибір і брати на себе відповідальність за умов епістемічної невизначеності. Наслідок для дизайну: доброчесність має бути засвідченою, а не виведеною: анотовані сліди рішень, перевірка тверджень, створених за участі GenAI, усний захист та історія версій пропонуються як артефакти доброчесності, і він чітко зазначає, що відмінність від Аутентичне оцінювання є епістемічною — аутентичність запитує, чи віддзеркалює завдання реальну практику, тоді як орієнтований на доброчесність дизайн запитує, чи можуть здобувачі обґрунтовувати рішення й брати на себе відповідальність за дисциплінарними стандартами, тому доброчесність стає оцінюваним критерієм, вбудованим в архітектуру завдання. Він називає ризик валідності власної пропозиції, а не залишає його неявним: вимога документованого міркування надає перевагу здобувачам, вільно володіючим рефлексивним дискурсом, і ризикує «заміною одного режиму дотримання іншим», оскільки судження як доказ «залишається реляційним і ситуативним, а не механічно перевірним» — тією самою проблемою інтерпретаційної надійності, яку ця сторінка фіксує для кожного опосередкованого ШІ оцінювання.

Weidlich (2026) переосмислює перепроєктування як питання про те, який висновок має захистити зміна. Працюючи від аргументованої валідності Кейна, він відокремлює п’ять тисків, які в дебатах звикли згортати в один: недовираженість конструкту, дисперсію, не пов’язану з конструктом, атрибуцію виконання, умовну екстраполяцію та непідтримане використання оцінки. Використання ШІ не є автоматично загрозою, оскільки використання інструменту є доречним там, де намічуваним конструктом є підтримуване ШІ професійне судження, і обходить цільове виконання там, де це — недопоможене міркування, тому конструкт і умови ШІ мають бути специфіковані разом. Звідси випливає його застереження щодо перепроєктування, оскільки інтервенції міняють один тиск на інший: усні захисти можуть зміцнювати атрибуцію, знижуючи надійність або доступність.

Зв’язки

Валідність оцінювання пов’язана з Аутентичне оцінювання, автоматизованим оцінюванням, уважним до упевненості оцінюванням на базі ШІ, Формативне оцінювання, Академічна доброчесність та Рандомізований контрольований експеримент (RCT) (який спирається на валідні міри результатів).

ШІ підриває валідність на епістемічному рівні: Hathcoat, Slotnick & Miller (2026) стверджують, що коли LLM служать тими, хто складає іспит, хто його створює, оцінює та аналізує, інтерпретаційний ланцюг стає непрозорим, і об’єкт вимірювання втрачає визначеність — переосмислюючи валідність як потребу вміння «кіборга», вільного у ШІ, судити, а Green et al. (2026) показують, що оцінки ШІ можуть узгоджуватися з людськими оцінювачами (87% контрольного списку), тоді як лежать в їх основі обґрунтування розходяться, особливо щодо якості вимірювання та слабких звітів.

Коли ШІ створює оцінюваний артефакт. Kumar, Wongsirichot and Nanthaamornphong (2026) надають проблемі валідності її найгостріший дисциплінарний випадок: в освіті з обчислювальної техніки ШІ створює артефакт, що оцінюється — вихідний код, — тому використання інструменту, навчання та оцінювання зливаються в єдину взаємодію, і подана кодова база більше не відокремлює навчання від делегування. Проаналізувавши 72 дослідження, вони знаходять прирости ефективності, які не переносяться на виконання без допомоги (21 дослідження), Попередні знання, що модерують, чи перетворюється допомога ШІ на навичку (6 досліджень), і фактично відсутні дослідження виявлення в доказовій базі (3 дослідження), тоді як перепроєктування оцінювання порівняно добре підтверджене доказами (25 досліджень). Їхній висновок для практики є специфічним для конструкту й низькотехнологічним: додати усний компонент або інший елемент із видимим процесом принаймні до одного високоважливого оцінювання на курс — єдина інтервенція з найбільшим впливом в огляді — і вимагати критичної залученості з виходами ШІ як оцінюваного, спостережуваного компонента, а не як необов’язкової диспозиції (Академічна доброчесність, Оцінювання).

Валідність за умов недосконалої інформації

Найгостріше останнє переосмислення розглядає проблему генеративного ШІ як евіденційну. Студент знає, як було створено твір; установа спостерігає артефакт і в кращому разі часткові сліди процесу — розрив між продуктом і процесом, який Mohamed and Temimi (2026) формалізують як валідність оцінювання за умов недосконалої інформації. За цією версією питання не в тому, чи було порушено правило, а в тому, чи оцінювання досі генерує достовірні докази міркування, зусиль і судження студента, і кожен інституційний механізм — заборона, моніторинг, розкриття, перепроєктування — оцінюється за тим, яку відповідь студента він робить найпривабливішою. Лінза валідності також розчиняє хибне розділення: доброчесність і валідність — це одна й та сама проблема, побажана з різних кінців, оскільки встановлення порушення саме по собі є твердженням про валідність того, що засвідчує твір.

Рамки з боку здобувача називають цілі висновку, яких артефакт не може врегулювати сам по собі. Sak (2026) пропонує атрибуційну валідність для суджень про обдарований потенціал на основі робіт із допомогою ШІ: відношення від здатності до продукту є багато-до-одного, оскільки компетентність здобувача, можливість моделі, спрямованість здобувача, відповідність людини та ШІ та контекст по-різному поєднуються, даючи еквівалентні артефакти, тому продукт не може ідентифікувати здатність, що за ним стоїть. Рамки відокремлюють чотири цілі висновку — незалежну компетентність, інтелектуальну Суб’єктність здобувача, гібридну здатність та розвиткове перенесення — і називають три помилки, які випливають, коли доказ однієї цілі читається як доказ іншої: надмірну атрибуцію, розвиткову ілюзію та припущену еквівалентність здатностей. Його вимога до запису віддзеркалює евіденційну дисципліну, яку цей розділ запозичує з літератури про порушення: назвати здатність, про яку йдеться в судженні, задокументувати, як було створено твір (модель і версія, інтерфейс, дозволені функції, посередництво дорослих, умови доступу), і вимагати пізніших доказів перенесення до того, як читати допоможене виконання як зміну в здобувачі.

Teichmann (2026) виводить процедурний наслідок: там, де заборонене використання не може бути виявлено, режим, який усе щно звинувачує на основі оцінок детектора, не може гарантувати висновок, який він робить, і тому створює несправедливість без ефективності. Він пропонує замінити судово-експертне питання — чи використовував студент ШІ? — питанням валідності — чи продемонстрував студент здатність, яку завдання мало сертифікувати? — що переносить зусилля установи в оцінювання на рівні програми між пов’язаними завданнями, усними та контрольованими елементами в точках сертифікації та Оцінювальний розсуд як явним об’єктом оцінювання.

Той самий розділ доказової бази дає відповідний приклад із справи, і він некомфортніший за самої літератури про виявлення. Munoz et al. (2026) кодували кожну справу про порушення з генеративним ШІ в одному регіональному австралійському університеті за три роки — 1 162 справи, що несуть 1 855 окремих елементів доказів — і оцінювали кожен елемент за доведеною цінністю за релевантністю, достовірністю та силою висновку. Найсильнішими категоріями були ті, що не залежать від імовірнісної класифікації тексту (зізнання студентів, спостережувана заборонена поведінка на іспиті та незалежно перевірені вигадані посилання), тоді як виходи детектора отримали найслабші оцінки з усіх категорій: звіти про подібність або Turnitin були цілком слабкими за силою висновку, а самостійні виходи детектора — цілком низькими за достовірністю, скоротившись із 8.8% елементів у 2024 році до 0.5% у 2025 році. Провал валідності є процедурним у не меншій мірі, ніж інструментальним — жоден етап конвеєра не задав мінімального евіденційного порогу і не вимагав від слідчих зважувати доведену цінність перед просуванням звинувачення, тому якість доказів не показала надійного зв’язку з результатами справ, що є точно тією ж проблемою стандарту доказовості, каталогізованою на Правові питання та ризики. Їхня пропозиція застосовувати рамки засвідчень у моменті звинувачення, а не лише при визначенні, є вимогою валідності: звинувачення є твердженням про те, що засвідчує твір, і воно має бути підтримане матеріалами, здатними його підтримати. Hadra, Cambridge and Mesbah (2026) показують, наскільки далеким є інструмент від цього стандарту, із макроточністю 0.69 (Originality) проти 0.61 (Turnitin) на 192 текстах, майже повним провалом на гібридних людсько-ШІ творах (чутливість 0.02 і 0.31), зниженням точності з довжиною тексту та на науковому письмі і побічною схильністю хибно класифікувати письмо студентів EFL як ШІ — тому оцінка детектора не може встановити факт, який стверджує висновок про порушення.

Еталон людського оцінювання та його стеля

Порівняння OpRaise трьох фронтових моделей із 761 автентичним есе в трьох університетах Великої Британії робить еталон частиною аргументу валідності. Людські оцінки використовувалися як істина за останню інстанцію на явній підставі, що академічне судження є суспільно прийнятим стандартом, тоді як автори визнають, що людські оцінювачі погоджуються між собою лише помірно — що обмежує ту згоду ШІ–людина, яку розумно було б вимагати, і означає, що кореляцію не можна читати як готовість без точки відліку. У цих рамках провали поставали як систематична структура, а не як випадкова похибка: оцінки стискалися до середини шкали, тому найкращі й найгірші есе помилялися найбільше; згода була найслабшою на межах оцінок; а оцінки ШІ відстежували багатство лексики, сполучники та складність речень, тоді як людські оцінки були до них здебільш нечутливі. Практичний урок двоїстий, оскільки те саме дослідження виявило надійність чудовою — тотожні переоцінювання в часі та висока згода між моделями. Отже, аргумент валідності для автоматизованого оцінювання не може спиратися на стабільність або на середню згоду; він має показати відсутність систематичного відхилення, що є точно тим, чого ці докази не виявили.

Однак стабільність від запуску до запуску не гарантована: повторення того самого оцінювання на тотожних подачах через п’ять днів дало альфу Кріпендорфа 0.625, із варіацією, зосередженою в середніх оцінках, а A і F відсутніми в підрахунках повторної сесії (Brevik et al. (2026)).

  • Розмір моделі не є показником валідності оцінювання. На восьми конфігураціях чотирьох сімейств на 114 оцінених есе точна згода по смугах коливалася від 18.4% до 54.4% і відстежувала сімейство, а не кількість параметрів — найбільша модель, GPT-OSS 120B, занижувала на 1.316 смуги, і температура цього не виправляла (Kerwat et al. (2026)).
  • Згода та похибка еталона маскуються під навчання. Два дослідження 2026 року показують різні шляхи, якими оцінка може виглядати валідною, установлюючи при цьому щось інше. Дослідження письма для маркетингу з відкритим закінченням виявило абсолютну згоду LLM–людина лише на рівні ICC(2,1) .435 і гібрид, який був значно гіршим за саму LLM, причому анкерна композиція зрушувала згоду з .338 до .902 (Agreement and error in automated scoring of student marketing posts). Експертний аудит шести еталонів із фізики приписав 95.20% перевірених відкидань дефектним завданням або оцінювачам, а не похибці моделі, зрушивши середнє CritPt@5 з 32.29% до 87.50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). В обох випадках загрозою є дисперсія, не пов’язана з конструктом, поза моделлю, що оцінюється.
  • Згода між кодерами на базі LLM — це послідовність, а не валідність. На позначеному експертами корпусі освітніх діалогів фільтр згоди між моделями зберіг лише 33 з 74 поведінкових тверджень, отриманих із корпусу, і 11 з 48 тверджень, отриманих із конструкту, і помилки, спільні для моделей, пройшли через фільтр, тому згода між моделями не може заступати конструктну валідність (Bernado et al., 2026).
  • Експозиція є вимірюваною, і засіб — достатні докази, а не максимальна безпека. Villanueva (2026) оцінив 53 915 завдань оцінювання за опублікованим форматом, наглядом і вагою оцінки і виявив, що більшість оцінюваних балів спирається на роботи, авторство яких не може бути перевірене після подачі; він стверджує, що програмам потрібно достатньо доказів навчання на ключових етапах, а не забезпечення безпеки кожного модуля.
  • Валідна міра може бути небезпечною для оптимізації. Дообучення репетитора на базі LLM за метрикою адаптивності в стилі рубрики підвищило метрику (з +0.05 до +0.42), тоді як сліпі оцінки експертів впали (з 4.46 до 3.03), оскільки метрика, яка оцінює рішення незалежно, максимізується повторенням єдиного найкращого рішення (Domínguez Figaredo & Fernández De la Cruz, 2026).

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Оцінювання та вимірюванняАутентичне оцінювання, Автоматизоване оцінювання, Формативне оцінювання
Методи досліджень та оцінкаРандомізований контрольований експеримент (RCT)
Справедливість, етика та відповідальне використанняПом’якшення упередженості, Справедливість
Основи ШІ в освітіАкадемічна доброчесність
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.